代碼 Archives - 第4頁共25頁 - 論野生技術&二次元

交叉編譯openresty，修復支持大文件 (LFS)

on 2019 年 8 月 3 日

C/C++
作死

0 8331 轉為簡體

老文存檔，有時間補全

http://www.gnu.org/software/libc/manual/html_node/Feature-Test-Macros.html

http://cgit.openembedded.org/meta-openembedded/tree/meta-webserver/recipes-httpd/nginx/files/nginx-cross.patch

https://stackoverflow.com/questions/4357570/use-file-offset64-vs-file-offset-bits-64

https://digital-domain.net/largefiles.html

https://stackoverflow.com/questions/35575749/how-to-define-file-offset-bits-large-files-macro-for-solaris-and-hp-aix

http://users.suse.com/~aj/linux_lfs.html

Jenkins 中構建有私有模塊的Go項目

on 2019 年 5 月 22 日

DevOps

0 7630 轉為簡體

更新：

可以使用 athens 來建立全局go modules緩存，管理SSH密鑰會更加方便。

go get 的底層會調用git來clone模塊，因此我們只要保證git clone repo_url 可以無交互正常運行，就可以讓go get 也正常下載模塊。

如果是在本地使用，則可以安裝hub或者設置將https重寫成ssh地址，以自動使用私鑰下載，而無需交互輸入用戶名密碼。

如果在Jenkins中使用，就算可以馬上使用後刪除，任何時候讓一個ssh私鑰保存在磁盤上都是不安全的。所以我們使用credential.helper + 環境變量，並且用https地址的方式來給git提供用戶名密碼。

使用credential.helper 可以允許git調用配置的命令獲取用戶名和密碼，我們使用一個一行的shell腳本把環境變量$USERNAME 和 $PASSWORD 打印出來：

git config credential.helper \'!f() { sleep 1; echo "username=${USERNAME}\npassword=${PASSWORD}"; }; f\''

1	git config credential.helper \'!f() { sleep 1; echo "username=${USERNAME}\npassword=${PASSWORD}"; }; f\''

這樣，任何時候我們都不會在磁盤上保存用戶名和密碼，所有信息都在內存里。

然後，因為go get 會clone一個新的repo到本地，我們沒有辦法在這之前設置每個repo的credential.helper，所以這個配置必須是全局的設置。我們用一個docker容器來完成整個項目，然後把這個配置通過docker volume掛載到$HOME/.gitconfig下：

[credential]
	helper = "!f() { sleep 1; echo \"username=${USERNAME}\npassword=${PASSWORD}\"; }; f"

1 2	[credential] helper = "!f() { sleep 1; echo \"username=${USERNAME}\npassword=${PASSWORD}\"; }; f"

注意Jenkins的docker插件會傳遞當前的HOME等環境變量，這個目錄往往在容器中不存在，所以我們覆蓋容器中的用戶目錄到/tmp。

完整的Jenkinsfile如下：

def GOLANG_VERSION = 1.12

pipeline {
  agent {
    docker {
      image "golang:${GOLANG_VERSION}"
      args '-v ${WORKSPACE}/.gitconfig:/tmp/.gitconfig -e HOME=/tmp'
    }
  }

  environment {
    GO111MODULE = "on"
    GOCACHE = "/tmp/.gocache"
    GOPATH = "${WORKSPACE}"
    PATH = "${GOPATH}/bin:$PATH"
  }

  stages {
    stage('Checkout') {
      steps {
        withCredentials([[$class: 'UsernamePasswordMultiBinding', credentialsId: 'CREDENTIAL_ID', usernameVariable: 'USERNAME', passwordVariable: 'PASSWORD']]) {
          checkout scm

          sh 'git config credential.helper \'!f() { sleep 1; echo "username=${USERNAME}\npassword=${PASSWORD}"; }; f\''
          sh 'git fetch'
        }
      }
    }
      
    stage('Install dependencies') {
      steps {
        sh 'go version'
        script {
          withCredentials([[$class: 'UsernamePasswordMultiBinding', credentialsId: 'CREDENTIAL_ID', usernameVariable: 'USERNAME', passwordVariable: 'PASSWORD']]) {
            sh "go get -v"
          }
        }
      }
    }

    stage('Run tests') {
      steps {
        script {
          sh "go test"
        }
      }
    }
  
    stage('Build') {
      steps {
        script {
          sh "go build -o ${item}"
        }
      }
    }
  }
}

def GOLANG_VERSION = 1.12

pipeline {

agent {

docker {

image "golang:${GOLANG_VERSION}"

args '-v ${WORKSPACE}/.gitconfig:/tmp/.gitconfig -e HOME=/tmp'

}

environment {

GO111MODULE = "on"

GOCACHE = "/tmp/.gocache"

GOPATH = "${WORKSPACE}"

PATH = "${GOPATH}/bin:$PATH"

}

stages {

stage('Checkout') {

steps {

withCredentials([[$class: 'UsernamePasswordMultiBinding', credentialsId: 'CREDENTIAL_ID', usernameVariable: 'USERNAME', passwordVariable: 'PASSWORD']]) {

checkout scm

sh 'git config credential.helper \'!f() { sleep 1; echo "username=${USERNAME}\npassword=${PASSWORD}"; }; f\''

sh 'git fetch'

}

stage('Install dependencies') {

steps {

sh 'go version'

script {

withCredentials([[$class: 'UsernamePasswordMultiBinding', credentialsId: 'CREDENTIAL_ID', usernameVariable: 'USERNAME', passwordVariable: 'PASSWORD']]) {

sh "go get -v"

}

stage('Run tests') {

steps {

script {

sh "go test"

}

stage('Build') {

steps {

script {

sh "go build -o ${item}"

}

HPE Microserver Gen8 升級安裝 Windows Server 2019

on 2019 年 3 月 20 日

Windows

0 14489 轉為簡體

原先安裝的是Windows Server 2016鮮嫩多汁學生版，決定安裝一個成人版操作系統。

下載MSDN的iso鏡像，掛載之後，雙擊setup.exe

提示 Windows安裝程序無法找到存儲臨時安裝文件所在的位置。若要安裝Windows，請確保啟動磁盤上分區至少具有xxx兆位元組(MB)的可用空間

我這裡的原因是用了TF卡啟動，windows發現啟動分區和系統分區不一致，就哭了。解決辦法是恢復用系統分區引導進入系統。我把存儲池的四塊硬盤都拔掉了，裝完之後可以重新識別，不怕。

還需要把這個註冊表的值改成0或者刪掉：

[HKEY_LOCAL_MACHINE\system\ControlSet001\Control]

"PortableOperatingSystem"=dword:00000001

[HKEY_LOCAL_MACHINE\system\ControlSet001\Control]

"PortableOperatingSystem"=dword:00000001

提示 Windows無法從無人參與應答文件讀取<ProductKey>設置

因為之前用了HP的Intelligent Provisioning，系統分區的辣雞還沒清理，刪除系統分區下的autounattend.xml後，問題解決。

安裝前，需要關閉Hyper-V的虛擬機，如果虛擬機用了直通磁盤，則不能為「已保存」狀態。

安裝時，選擇保留用戶設置和文件，泡一杯茶，等待安裝完成。

SIM800L EVB x 樹莓派

on 2018 年 5 月 11 日

作死

9 11258 轉為簡體

從Aliexpress上剁了一個SIM800L模塊，長這樣：

VDD接TTL參考電平，需要串口輸出5v（比如51）就接5v，需要輸出3.3v（比如樹莓派）就接3.3v。

要注意的是TTL需要交叉連接，即這個PCB板上的TxD和RxD應該分別接樹莓派上的RxD和TxD。

浪費了我一晚上的青春。

lua-resty-multiplexer: 端口服務復用

on 2018 年 4 月 10 日

0 11548 轉為簡體

Transparent port service multiplexer for stream subsystem
https://github.com/fffonion/lua-resty-multiplexer
18 forks.
61 stars.
1 open issues.

Recent commits:

doc(readme) fix example with correct version, Wangchong Zhou
release: 0.02, Wangchong Zhou
feat: support openresty 1.15.8 and later, Wangchong Zhou
fix(*) wait both upload and download coroutines to exit,add timeout options, add backwards compatibility, Alliumcepa
chore: update README and dist.ini, Alliumcepa

實現了一個端口服務復用的透明代理，可以在同一個端口上運行多個協議。根據每次連接中客戶端發起的首個請求檢測協議，根據協議或各種條件選擇代理的上游。

需要打一個補丁。由@fcicq在這個討論中貢獻。這個補丁實現了BSD的socket recv()語義。目前官方也有這個feature的PR。

示例配置：

stream {
    init_by_lua_block {
        local mul = require("resty.multiplexer")
        mul.load_protocols(
            "http", "ssh", "dns", "tls", "xmpp"
        )
        mul.set_rules(
            {{"client-host", "10.0.0.1"}, "internal-host", 80},
            {{"protocol", "http"}, {"client-host", "10.0.0.2"}, "internal-host", 8001},
            {{"protocol", "http"}, "example.com", 80},
            {{"protocol", "ssh"}, "github.com", 22},
            {{"protocol", "dns"}, "1.1.1.1", 53},
            {{"protocol", "tls"}, {"time", nil}, "twitter.com", 443},
            {{"protocol", "tls"}, "www.google.com", 443},
            {{"default", nil}, "127.0.0.1", 80}
        )
        mul.matcher_config.time = {
            minute_match = {0, 30},
            minute_not_match = {{31, 59}},
        }
    }

    resolver 8.8.8.8;

    server {
        listen 80;
        content_by_lua_block {
            local mul = require("resty.multiplexer")
            local mp = mul:new()
            mp:run()
        }
    }
}

stream {

init_by_lua_block {

local mul = require("resty.multiplexer")

mul.load_protocols(

"http", "ssh", "dns", "tls", "xmpp"

)

mul.set_rules(

{{"client-host", "10.0.0.1"}, "internal-host", 80},

{{"protocol", "http"}, {"client-host", "10.0.0.2"}, "internal-host", 8001},

{{"protocol", "http"}, "example.com", 80},

{{"protocol", "ssh"}, "github.com", 22},

{{"protocol", "dns"}, "1.1.1.1", 53},

{{"protocol", "tls"}, {"time", nil}, "twitter.com", 443},

{{"protocol", "tls"}, "www.google.com", 443},

{{"default", nil}, "127.0.0.1", 80}

)

mul.matcher_config.time = {

minute_match = {0, 30},

minute_not_match = {{31, 59}},

}

resolver 8.8.8.8;

server {

listen 80;

content_by_lua_block {

local mul = require("resty.multiplexer")

local mp = mul:new()

mp:run()

}

示例中服務監聽在80端口，並定義規則：

如果客戶端來自 10.0.0.1，代理到 internal-host.com:80
如果請求協議是HTTP 而且客戶端來自10.0.0.2，代理到 internal-host:8001
如果請求協議是 SSH，代理到 github.com:22
如果請求協議是 DNS，代理到 1.1.1.1:53
如果請求協議是 SSL/TLS 而且現在的時間是 0 到 30分，代理到 twitter.com:443
如果請求協議是 SSL/TLS 而且現在的時間是 31 到 59分，代理到 www.google.com:443
以上均不滿足，代理到 127.0.0.1:80

說明

只能實現識別連接建立後客戶端先發送請求的協議，不兼容服務端先發送響應的協議（比如FTP，SMTP等）
如果實現了ngx.reqsock.peak()，則可以使用ngx_stream_proxy來轉發流量，這樣的話除了首個請求以外同一連接的後續請求將沒有額外的性能損失；目前只能在Lua層轉發。

在Windows中使用命令行發起HTTP請求

on 2018 年 2 月 7 日

Windows

0 15261 轉為簡體

在開發mpv的插件時，需要發起http請求，但是mpv並沒有提供HTTP的api。

因此我們可以用VBScript或者PowerShell來發起請求。

運行cscript /nologo httpget.vbs “http://example.com”

args = WScript.Arguments.Count
if args <> 1 then
  wscript.Quit
end if

URL = WScript.Arguments.Item(0)
Set xmlhttp = CreateObject("Microsoft.XmlHttp")  
xmlhttp.open "GET", URL, false
xmlhttp.setRequestHeader "User-Agent",  "cscript/1.0"
xmlhttp.send

WScript.Echo xmlhttp.responseText

args = WScript.Arguments.Count

if args <> 1 then

wscript.Quit

end if

URL = WScript.Arguments.Item(0)

Set xmlhttp = CreateObject("Microsoft.XmlHttp")

xmlhttp.open "GET", URL, false

xmlhttp.setRequestHeader "User-Agent", "cscript/1.0"

xmlhttp.send

WScript.Echo xmlhttp.responseText

或者：

powershell (Invoke-WebRequest -UserAgent Ps/1.0  -URI "http://example.com").content

1	powershell (Invoke-WebRequest -UserAgent Ps/1.0 -URI "http://example.com").content

這兩種方法均可以將響應輸出到stdout。Windows會將輸出的內容都重新編碼為系統默認代碼頁，比如簡體中文系統中會被編碼為CP936。但是我們有時只想獲得原始的內容，而不是便於顯示在屏幕上的內容（比如下載文件或者不便於進行編碼轉換的時候）。

所以我們可以將響應輸出到文件：

args = WScript.Arguments.Count
if args <> 1 then
  wscript.Quit
end if

URL = WScript.Arguments.Item(0)

Set xmlhttp = CreateObject("Microsoft.XmlHttp")  
xmlhttp.open "GET", URL, false
xmlhttp.setRequestHeader "User-Agent",  "cscript/1.0"
xmlhttp.send

Set oStream = CreateObject("ADODB.Stream")
With oStream
	.Type = 1 'adTypeBinary
	.Open
	.Write xmlhttp.responseBody 'to save binary data
	.SaveToFile "out.txt", 2 'adSaveCreateOverWrite
End With

Set oStream = Nothing
Set ret = Nothing

args = WScript.Arguments.Count

if args <> 1 then

wscript.Quit

end if

URL = WScript.Arguments.Item(0)

Set xmlhttp = CreateObject("Microsoft.XmlHttp")

xmlhttp.open "GET", URL, false

xmlhttp.setRequestHeader "User-Agent", "cscript/1.0"

xmlhttp.send

Set oStream = CreateObject("ADODB.Stream")

With oStream

.Type = 1 'adTypeBinary

.Open

.Write xmlhttp.responseBody 'to save binary data

.SaveToFile "out.txt", 2 'adSaveCreateOverWrite

End With

Set oStream = Nothing

Set ret = Nothing

或者：

powershell Invoke-WebRequest -UserAgent Ps/1.0  -URI "http://example.com" -Outfile out.txt

1	powershell Invoke-WebRequest -UserAgent Ps/1.0 -URI "http://example.com" -Outfile out.txt

然後我們讀取out.txt就可以獲得響應內容了。

Category Archives

交叉編譯openresty，修復支持大文件 (LFS)

Jenkins 中構建有私有模塊的Go項目

HPE Microserver Gen8 升級安裝 Windows Server 2019

SIM800L EVB x 樹莓派

lua-resty-multiplexer: 端口服務復用

說明

在Windows中使用命令行發起HTTP請求