代码 Archives - 第4页共25页 - 论野生技术&二次元

交叉编译openresty，修复支持大文件 (LFS)

on 2019 年 8 月 3 日

C/C++
作死

0 8271 转为繁体

老文存档，有时间补全

http://www.gnu.org/software/libc/manual/html_node/Feature-Test-Macros.html

http://cgit.openembedded.org/meta-openembedded/tree/meta-webserver/recipes-httpd/nginx/files/nginx-cross.patch

https://stackoverflow.com/questions/4357570/use-file-offset64-vs-file-offset-bits-64

https://digital-domain.net/largefiles.html

https://stackoverflow.com/questions/35575749/how-to-define-file-offset-bits-large-files-macro-for-solaris-and-hp-aix

http://users.suse.com/~aj/linux_lfs.html

Jenkins 中构建有私有模块的Go项目

on 2019 年 5 月 22 日

DevOps

0 7598 转为繁体

更新：

可以使用 athens 来建立全局go modules缓存，管理SSH密钥会更加方便。

go get 的底层会调用git来clone模块，因此我们只要保证git clone repo_url 可以无交互正常运行，就可以让go get 也正常下载模块。

如果是在本地使用，则可以安装hub或者设置将https重写成ssh地址，以自动使用私钥下载，而无需交互输入用户名密码。

如果在Jenkins中使用，就算可以马上使用后删除，任何时候让一个ssh私钥保存在磁盘上都是不安全的。所以我们使用credential.helper + 环境变量，并且用https地址的方式来给git提供用户名密码。

使用credential.helper 可以允许git调用配置的命令获取用户名和密码，我们使用一个一行的shell脚本把环境变量$USERNAME 和 $PASSWORD 打印出来：

git config credential.helper \'!f() { sleep 1; echo "username=${USERNAME}\npassword=${PASSWORD}"; }; f\''

1	git config credential.helper \'!f() { sleep 1; echo "username=${USERNAME}\npassword=${PASSWORD}"; }; f\''

这样，任何时候我们都不会在磁盘上保存用户名和密码，所有信息都在内存里。

然后，因为go get 会clone一个新的repo到本地，我们没有办法在这之前设置每个repo的credential.helper，所以这个配置必须是全局的设置。我们用一个docker容器来完成整个项目，然后把这个配置通过docker volume挂载到$HOME/.gitconfig下：

[credential]
	helper = "!f() { sleep 1; echo \"username=${USERNAME}\npassword=${PASSWORD}\"; }; f"

1 2	[credential] helper = "!f() { sleep 1; echo \"username=${USERNAME}\npassword=${PASSWORD}\"; }; f"

注意Jenkins的docker插件会传递当前的HOME等环境变量，这个目录往往在容器中不存在，所以我们覆盖容器中的用户目录到/tmp。

完整的Jenkinsfile如下：

def GOLANG_VERSION = 1.12

pipeline {
  agent {
    docker {
      image "golang:${GOLANG_VERSION}"
      args '-v ${WORKSPACE}/.gitconfig:/tmp/.gitconfig -e HOME=/tmp'
    }
  }

  environment {
    GO111MODULE = "on"
    GOCACHE = "/tmp/.gocache"
    GOPATH = "${WORKSPACE}"
    PATH = "${GOPATH}/bin:$PATH"
  }

  stages {
    stage('Checkout') {
      steps {
        withCredentials([[$class: 'UsernamePasswordMultiBinding', credentialsId: 'CREDENTIAL_ID', usernameVariable: 'USERNAME', passwordVariable: 'PASSWORD']]) {
          checkout scm

          sh 'git config credential.helper \'!f() { sleep 1; echo "username=${USERNAME}\npassword=${PASSWORD}"; }; f\''
          sh 'git fetch'
        }
      }
    }
      
    stage('Install dependencies') {
      steps {
        sh 'go version'
        script {
          withCredentials([[$class: 'UsernamePasswordMultiBinding', credentialsId: 'CREDENTIAL_ID', usernameVariable: 'USERNAME', passwordVariable: 'PASSWORD']]) {
            sh "go get -v"
          }
        }
      }
    }

    stage('Run tests') {
      steps {
        script {
          sh "go test"
        }
      }
    }
  
    stage('Build') {
      steps {
        script {
          sh "go build -o ${item}"
        }
      }
    }
  }
}

def GOLANG_VERSION = 1.12

pipeline {

agent {

docker {

image "golang:${GOLANG_VERSION}"

args '-v ${WORKSPACE}/.gitconfig:/tmp/.gitconfig -e HOME=/tmp'

}

environment {

GO111MODULE = "on"

GOCACHE = "/tmp/.gocache"

GOPATH = "${WORKSPACE}"

PATH = "${GOPATH}/bin:$PATH"

}

stages {

stage('Checkout') {

steps {

withCredentials([[$class: 'UsernamePasswordMultiBinding', credentialsId: 'CREDENTIAL_ID', usernameVariable: 'USERNAME', passwordVariable: 'PASSWORD']]) {

checkout scm

sh 'git config credential.helper \'!f() { sleep 1; echo "username=${USERNAME}\npassword=${PASSWORD}"; }; f\''

sh 'git fetch'

}

stage('Install dependencies') {

steps {

sh 'go version'

script {

withCredentials([[$class: 'UsernamePasswordMultiBinding', credentialsId: 'CREDENTIAL_ID', usernameVariable: 'USERNAME', passwordVariable: 'PASSWORD']]) {

sh "go get -v"

}

stage('Run tests') {

steps {

script {

sh "go test"

}

stage('Build') {

steps {

script {

sh "go build -o ${item}"

}

HPE Microserver Gen8 升级安装 Windows Server 2019

on 2019 年 3 月 20 日

Windows

0 14435 转为繁体

原先安装的是Windows Server 2016鲜嫩多汁学生版，决定安装一个成人版操作系统。

下载MSDN的iso镜像，挂载之后，双击setup.exe

提示 Windows安装程序无法找到存储临时安装文件所在的位置。若要安装Windows，请确保启动磁盘上分区至少具有xxx兆字节(MB)的可用空间

我这里的原因是用了TF卡启动，windows发现启动分区和系统分区不一致，就哭了。解决办法是恢复用系统分区引导进入系统。我把存储池的四块硬盘都拔掉了，装完之后可以重新识别，不怕。

还需要把这个注册表的值改成0或者删掉：

[HKEY_LOCAL_MACHINE\system\ControlSet001\Control]

"PortableOperatingSystem"=dword:00000001

[HKEY_LOCAL_MACHINE\system\ControlSet001\Control]

"PortableOperatingSystem"=dword:00000001

提示 Windows无法从无人参与应答文件读取<ProductKey>设置

因为之前用了HP的Intelligent Provisioning，系统分区的辣鸡还没清理，删除系统分区下的autounattend.xml后，问题解决。

安装前，需要关闭Hyper-V的虚拟机，如果虚拟机用了直通磁盘，则不能为“已保存”状态。

安装时，选择保留用户设置和文件，泡一杯茶，等待安装完成。

SIM800L EVB x 树莓派

on 2018 年 5 月 11 日

作死

9 11233 转为繁体

从Aliexpress上剁了一个SIM800L模块，长这样：

VDD接TTL参考电平，需要串口输出5v（比如51）就接5v，需要输出3.3v（比如树莓派）就接3.3v。

要注意的是TTL需要交叉连接，即这个PCB板上的TxD和RxD应该分别接树莓派上的RxD和TxD。

浪费了我一晚上的青春。

lua-resty-multiplexer: 端口服务复用

on 2018 年 4 月 10 日

0 11517 转为繁体

Transparent port service multiplexer for stream subsystem
https://github.com/fffonion/lua-resty-multiplexer
18 forks.
61 stars.
1 open issues.

Recent commits:

doc(readme) fix example with correct version, Wangchong Zhou
release: 0.02, Wangchong Zhou
feat: support openresty 1.15.8 and later, Wangchong Zhou
fix(*) wait both upload and download coroutines to exit,add timeout options, add backwards compatibility, Alliumcepa
chore: update README and dist.ini, Alliumcepa

实现了一个端口服务复用的透明代理，可以在同一个端口上运行多个协议。根据每次连接中客户端发起的首个请求检测协议，根据协议或各种条件选择代理的上游。

需要打一个补丁。由@fcicq在这个讨论中贡献。这个补丁实现了BSD的socket recv()语义。目前官方也有这个feature的PR。

示例配置：

stream {
    init_by_lua_block {
        local mul = require("resty.multiplexer")
        mul.load_protocols(
            "http", "ssh", "dns", "tls", "xmpp"
        )
        mul.set_rules(
            {{"client-host", "10.0.0.1"}, "internal-host", 80},
            {{"protocol", "http"}, {"client-host", "10.0.0.2"}, "internal-host", 8001},
            {{"protocol", "http"}, "example.com", 80},
            {{"protocol", "ssh"}, "github.com", 22},
            {{"protocol", "dns"}, "1.1.1.1", 53},
            {{"protocol", "tls"}, {"time", nil}, "twitter.com", 443},
            {{"protocol", "tls"}, "www.google.com", 443},
            {{"default", nil}, "127.0.0.1", 80}
        )
        mul.matcher_config.time = {
            minute_match = {0, 30},
            minute_not_match = {{31, 59}},
        }
    }

    resolver 8.8.8.8;

    server {
        listen 80;
        content_by_lua_block {
            local mul = require("resty.multiplexer")
            local mp = mul:new()
            mp:run()
        }
    }
}

stream {

init_by_lua_block {

local mul = require("resty.multiplexer")

mul.load_protocols(

"http", "ssh", "dns", "tls", "xmpp"

)

mul.set_rules(

{{"client-host", "10.0.0.1"}, "internal-host", 80},

{{"protocol", "http"}, {"client-host", "10.0.0.2"}, "internal-host", 8001},

{{"protocol", "http"}, "example.com", 80},

{{"protocol", "ssh"}, "github.com", 22},

{{"protocol", "dns"}, "1.1.1.1", 53},

{{"protocol", "tls"}, {"time", nil}, "twitter.com", 443},

{{"protocol", "tls"}, "www.google.com", 443},

{{"default", nil}, "127.0.0.1", 80}

)

mul.matcher_config.time = {

minute_match = {0, 30},

minute_not_match = {{31, 59}},

}

resolver 8.8.8.8;

server {

listen 80;

content_by_lua_block {

local mul = require("resty.multiplexer")

local mp = mul:new()

mp:run()

}

示例中服务监听在80端口，并定义规则：

如果客户端来自 10.0.0.1，代理到 internal-host.com:80
如果请求协议是HTTP 而且客户端来自10.0.0.2，代理到 internal-host:8001
如果请求协议是 SSH，代理到 github.com:22
如果请求协议是 DNS，代理到 1.1.1.1:53
如果请求协议是 SSL/TLS 而且现在的时间是 0 到 30分，代理到 twitter.com:443
如果请求协议是 SSL/TLS 而且现在的时间是 31 到 59分，代理到 www.google.com:443
以上均不满足，代理到 127.0.0.1:80

说明

只能实现识别连接建立后客户端先发送请求的协议，不兼容服务端先发送响应的协议（比如FTP，SMTP等）
如果实现了ngx.reqsock.peak()，则可以使用ngx_stream_proxy来转发流量，这样的话除了首个请求以外同一连接的后续请求将没有额外的性能损失；目前只能在Lua层转发。

在Windows中使用命令行发起HTTP请求

on 2018 年 2 月 7 日

Windows

0 15235 转为繁体

在开发mpv的插件时，需要发起http请求，但是mpv并没有提供HTTP的api。

因此我们可以用VBScript或者PowerShell来发起请求。

运行cscript /nologo httpget.vbs “http://example.com”

args = WScript.Arguments.Count
if args <> 1 then
  wscript.Quit
end if

URL = WScript.Arguments.Item(0)
Set xmlhttp = CreateObject("Microsoft.XmlHttp")  
xmlhttp.open "GET", URL, false
xmlhttp.setRequestHeader "User-Agent",  "cscript/1.0"
xmlhttp.send

WScript.Echo xmlhttp.responseText

args = WScript.Arguments.Count

if args <> 1 then

wscript.Quit

end if

URL = WScript.Arguments.Item(0)

Set xmlhttp = CreateObject("Microsoft.XmlHttp")

xmlhttp.open "GET", URL, false

xmlhttp.setRequestHeader "User-Agent", "cscript/1.0"

xmlhttp.send

WScript.Echo xmlhttp.responseText

或者：

powershell (Invoke-WebRequest -UserAgent Ps/1.0  -URI "http://example.com").content

1	powershell (Invoke-WebRequest -UserAgent Ps/1.0 -URI "http://example.com").content

这两种方法均可以将响应输出到stdout。Windows会将输出的内容都重新编码为系统默认代码页，比如简体中文系统中会被编码为CP936。但是我们有时只想获得原始的内容，而不是便于显示在屏幕上的内容（比如下载文件或者不便于进行编码转换的时候）。

所以我们可以将响应输出到文件：

args = WScript.Arguments.Count
if args <> 1 then
  wscript.Quit
end if

URL = WScript.Arguments.Item(0)

Set xmlhttp = CreateObject("Microsoft.XmlHttp")  
xmlhttp.open "GET", URL, false
xmlhttp.setRequestHeader "User-Agent",  "cscript/1.0"
xmlhttp.send

Set oStream = CreateObject("ADODB.Stream")
With oStream
	.Type = 1 'adTypeBinary
	.Open
	.Write xmlhttp.responseBody 'to save binary data
	.SaveToFile "out.txt", 2 'adSaveCreateOverWrite
End With

Set oStream = Nothing
Set ret = Nothing

args = WScript.Arguments.Count

if args <> 1 then

wscript.Quit

end if

URL = WScript.Arguments.Item(0)

Set xmlhttp = CreateObject("Microsoft.XmlHttp")

xmlhttp.open "GET", URL, false

xmlhttp.setRequestHeader "User-Agent", "cscript/1.0"

xmlhttp.send

Set oStream = CreateObject("ADODB.Stream")

With oStream

.Type = 1 'adTypeBinary

.Open

.Write xmlhttp.responseBody 'to save binary data

.SaveToFile "out.txt", 2 'adSaveCreateOverWrite

End With

Set oStream = Nothing

Set ret = Nothing

或者：

powershell Invoke-WebRequest -UserAgent Ps/1.0  -URI "http://example.com" -Outfile out.txt

1	powershell Invoke-WebRequest -UserAgent Ps/1.0 -URI "http://example.com" -Outfile out.txt

然后我们读取out.txt就可以获得响应内容了。

Category Archives

交叉编译openresty，修复支持大文件 (LFS)

Jenkins 中构建有私有模块的Go项目

HPE Microserver Gen8 升级安装 Windows Server 2019

SIM800L EVB x 树莓派

lua-resty-multiplexer: 端口服务复用

说明

在Windows中使用命令行发起HTTP请求