論野生技術&二次元 - 第4頁共32頁

lua-resty-openssl: 基於FFI的Lua OpenSSL庫

on 2019 年 9 月 26 日

0 8116 轉為簡體

FFI-based OpenSSL binding for OpenResty
https://github.com/fffonion/lua-resty-openssl
43 forks.
132 stars.
5 open issues.

Recent commits:

chore(tests): add openssl 3.2.2, Wangchong Zhou
chore(ci) on PR only run valgrind for changed files, Wangchong Zhou
release: 1.5.1, Wangchong Zhou
chore(tests) update openssl link, Wangchong Zhou
chore(kdf) fix the outlen type to be size_t, Wangchong Zhou

支持OpenSSL 1.1.x, 1.0.x和1.0.2系列

lua-resty-acme: ACMEv2客戶端和Let’s Encrypt證書的自動化管理

on 2019 年 9 月 21 日

0 13231 轉為簡體

Automatic Let's Encrypt certificate serving and Lua implementation of ACMEv2 procotol
https://github.com/fffonion/lua-resty-acme
37 forks.
163 stars.
3 open issues.

Recent commits:

feat(storage/redis) use atomic set (#105)Note now redis 2.6.12 and up is needed., GitHub
release: 0.15.0 (#122), GitHub
feat(redis) add support for username/password auth (#121), GitHub
fix(tests) use tlsv1.2 in dual cert test, Wangchong Zhou
feat(etcd) etcd storage to use v3 protocol, Wangchong Zhou

安裝

使用opm：

opm install fffonion/lua-resty-acme

1	opm install fffonion/lua-resty-acme

opm中沒有luaossl庫，所以這種安裝使用的是基於FFI的Openssl後端；需要OpenResty鏈接了大於等於1.1版本的OpenSSL。

也可以使用luarocks安裝：

luarocks install lua-resty-acme

1	luarocks install lua-resty-acme

使用

以/etc/openresty目錄為例，如果目錄不存在，請自行修改。

生成一個賬戶密鑰

openssl genpkey -algorithm RSA -pkeyopt rsa_keygen_bits:4096 -out /etc/openresty/account.key

1	openssl genpkey -algorithm RSA -pkeyopt rsa_keygen_bits:4096 -out /etc/openresty/account.key

生成一個默認證書

openssl req -newkey rsa:2048 -nodes -keyout /etc/openresty/default.pem -x509 -days 365 -out /etc/openresty/default.key

1	openssl req -newkey rsa:2048 -nodes -keyout /etc/openresty/default.pem -x509 -days 365 -out /etc/openresty/default.key

在Nginx配置的http 節插入以下內容

resolver 8.8.8.8;

lua_shared_dict acme 16m;

init_by_lua_block {
    require("resty.acme.autossl").init({
        -- setting the following to true
        -- implies that you read and accepted https://letsencrypt.org/repository/
        tos_accepted = true,
        -- uncomment following for first time setup
        -- staging = true,
        -- uncomment folloing to enable RSA + ECC double cert
        -- domain_key_types = { 'rsa', 'ecc' },
        account_key_path = "/etc/openresty/account.key",
        account_email = "此處填寫郵箱",
        domain_whitelist = { "你的域名1", "你的域名2" },
    })
}
init_worker_by_lua_block {
    require("resty.acme.autossl").init_worker()
}

resolver 8.8.8.8;

lua_shared_dict acme 16m;

init_by_lua_block {

require("resty.acme.autossl").init({

-- setting the following to true

-- implies that you read and accepted https://letsencrypt.org/repository/

tos_accepted = true,

-- uncomment following for first time setup

-- staging = true,

-- uncomment folloing to enable RSA + ECC double cert

-- domain_key_types = { 'rsa', 'ecc' },

account_key_path = "/etc/openresty/account.key",

account_email = "此處填寫郵箱",

domain_whitelist = { "你的域名1", "你的域名2" },

})

}

init_worker_by_lua_block {

require("resty.acme.autossl").init_worker()

}

首次配置時，建議將init_by_lua_block中的staing = true取消注釋，以防錯誤過多觸發限流；測試通過後再加回注釋使用生產API。

在需要使用證書的server節插入

server {
    server_name example.com;

    # required to verify Let's Encrypt API
    lua_ssl_trusted_certificate /etc/ssl/certs/ca-certificates.crt;
    lua_ssl_verify_depth 2;

    # fallback certs, make sure to create them before hand
    ssl_certificate /etc/openresty/default.pem;
    ssl_certificate_key /etc/openresty/default.key;

    ssl_certificate_by_lua_block {
        require("resty.acme.autossl").ssl_certificate()
    }

    location /.well-known {
        content_by_lua_block {
            require("resty.acme.autossl").serve_http_challenge()
        }
    }
}

server {

server_name example.com;

# required to verify Let's Encrypt API

lua_ssl_trusted_certificate /etc/ssl/certs/ca-certificates.crt;

lua_ssl_verify_depth 2;

# fallback certs, make sure to create them before hand

ssl_certificate /etc/openresty/default.pem;

ssl_certificate_key /etc/openresty/default.key;

ssl_certificate_by_lua_block {

require("resty.acme.autossl").ssl_certificate()

}

location /.well-known {

content_by_lua_block {

require("resty.acme.autossl").serve_http_challenge()

}

CentOS/Fedora等系統的根證書在/etc/ssl/certs/ca-bundle.crt，請根據實際情況修改lua_ssl_trusted_certificate。

保存後，reload nginx。

在一般情況下，domain_whitelist必須配置，以防止惡意請求通過偽造SNI頭進行拒絕服務攻擊。

如果要匹配一系列域名，可以使用__index來實現。比如下面的例子僅匹配example.com的子域名：

domain_whitelist = setmetatable({}, { __index = function(_, k)
    return ngx.re.match(k, [[\.example\.com$]], "jo")
end}),

domain_whitelist = setmetatable({}, { __index = function(_, k)

return ngx.re.match(k, [[\.example\.com$]], "jo")

end}),

RSA+ECC雙證書

將init_by_lua_block中的domain_key_types = { 'rsa', 'ecc' }取消注釋後，即可同時申請兩套證書。

為了讓申請到證書前的握手不出錯斷開，給Nginx配置默認的ECC證書

openssl ecparam -name prime256v1 -genkey -out /etc/openresty/default-ecc.key	
openssl req -new -sha256 -key /etc/openresty/default-ecc.key -subj "/" -out temp.csr	
openssl x509 -req -sha256 -days 365 -in temp.csr -signkey /etc/openresty/default-ecc.key -out /etc/openresty/default-ecc.pem

openssl ecparam -name prime256v1 -genkey -out /etc/openresty/default-ecc.key

openssl req -new -sha256 -key /etc/openresty/default-ecc.key -subj "/" -out temp.csr

openssl x509 -req -sha256 -days 365 -in temp.csr -signkey /etc/openresty/default-ecc.key -out /etc/openresty/default-ecc.pem

然後在server節中原有的ssl_certificate下增加兩行

ssl_certificate /etc/openresty/default-ecc.pem;
ssl_certificate_key /etc/openresty/default-ecc.key;

1 2	ssl_certificate /etc/openresty/default-ecc.pem; ssl_certificate_key /etc/openresty/default-ecc.key;

關於加密套件等的選擇可藉助搜索引擎。

TLS-ALPN-01

0.5.0開始支持tls-alpn-01，可以支持在只開放443埠的環境里完成驗證。方法是通過蜜汁FFI偏移找到當前請求的SSL結構，然後設置了新的ALPN。需要多個stream server多次proxy，拓撲結構如下：

                                         [stream unix:/tmp/nginx-tls-alpn.sock ssl]
                                     Y / 
[stream 443] --- ALPN是acme-tls ?
                                     N \
                                         [http unix:/tmp/nginx-default.sock ssl]

[stream unix:/tmp/nginx-tls-alpn.sock ssl]

Y /

[stream 443] --- ALPN是acme-tls ?

N \

[http unix:/tmp/nginx-default.sock ssl]

第一個stream server打開了443埠，根據請求的ALPN分發到不同的後段；如果是acme-tls則轉發到我們的庫，否則轉發到正常的https。

示例配置見Github。

A systemd dependency mind blow story

on 2019 年 8 月 3 日

DevOps

0 6945 轉為簡體

The following is taken from a production system that we run, which I found might be helpful to others that are enjoying the happiness of using systemd.

交叉編譯openresty，修復支持大文件 (LFS)

on 2019 年 8 月 3 日

C/C++
作死

0 8278 轉為簡體

老文存檔，有時間補全

http://www.gnu.org/software/libc/manual/html_node/Feature-Test-Macros.html

http://cgit.openembedded.org/meta-openembedded/tree/meta-webserver/recipes-httpd/nginx/files/nginx-cross.patch

https://stackoverflow.com/questions/4357570/use-file-offset64-vs-file-offset-bits-64

https://digital-domain.net/largefiles.html

https://stackoverflow.com/questions/35575749/how-to-define-file-offset-bits-large-files-macro-for-solaris-and-hp-aix

http://users.suse.com/~aj/linux_lfs.html

Jenkins 中構建有私有模塊的Go項目

on 2019 年 5 月 22 日

DevOps

0 7605 轉為簡體

更新：

可以使用 athens 來建立全局go modules緩存，管理SSH密鑰會更加方便。

go get 的底層會調用git來clone模塊，因此我們只要保證git clone repo_url 可以無交互正常運行，就可以讓go get 也正常下載模塊。

如果是在本地使用，則可以安裝hub或者設置將https重寫成ssh地址，以自動使用私鑰下載，而無需交互輸入用戶名密碼。

如果在Jenkins中使用，就算可以馬上使用後刪除，任何時候讓一個ssh私鑰保存在磁碟上都是不安全的。所以我們使用credential.helper + 環境變數，並且用https地址的方式來給git提供用戶名密碼。

使用credential.helper 可以允許git調用配置的命令獲取用戶名和密碼，我們使用一個一行的shell腳本把環境變數$USERNAME 和 $PASSWORD 列印出來：

git config credential.helper \'!f() { sleep 1; echo "username=${USERNAME}\npassword=${PASSWORD}"; }; f\''

1	git config credential.helper \'!f() { sleep 1; echo "username=${USERNAME}\npassword=${PASSWORD}"; }; f\''

這樣，任何時候我們都不會在磁碟上保存用戶名和密碼，所有信息都在內存里。

然後，因為go get 會clone一個新的repo到本地，我們沒有辦法在這之前設置每個repo的credential.helper，所以這個配置必須是全局的設置。我們用一個docker容器來完成整個項目，然後把這個配置通過docker volume掛載到$HOME/.gitconfig下：

[credential]
	helper = "!f() { sleep 1; echo \"username=${USERNAME}\npassword=${PASSWORD}\"; }; f"

1 2	[credential] helper = "!f() { sleep 1; echo \"username=${USERNAME}\npassword=${PASSWORD}\"; }; f"

注意Jenkins的docker插件會傳遞當前的HOME等環境變數，這個目錄往往在容器中不存在，所以我們覆蓋容器中的用戶目錄到/tmp。

完整的Jenkinsfile如下：

def GOLANG_VERSION = 1.12

pipeline {
  agent {
    docker {
      image "golang:${GOLANG_VERSION}"
      args '-v ${WORKSPACE}/.gitconfig:/tmp/.gitconfig -e HOME=/tmp'
    }
  }

  environment {
    GO111MODULE = "on"
    GOCACHE = "/tmp/.gocache"
    GOPATH = "${WORKSPACE}"
    PATH = "${GOPATH}/bin:$PATH"
  }

  stages {
    stage('Checkout') {
      steps {
        withCredentials([[$class: 'UsernamePasswordMultiBinding', credentialsId: 'CREDENTIAL_ID', usernameVariable: 'USERNAME', passwordVariable: 'PASSWORD']]) {
          checkout scm

          sh 'git config credential.helper \'!f() { sleep 1; echo "username=${USERNAME}\npassword=${PASSWORD}"; }; f\''
          sh 'git fetch'
        }
      }
    }
      
    stage('Install dependencies') {
      steps {
        sh 'go version'
        script {
          withCredentials([[$class: 'UsernamePasswordMultiBinding', credentialsId: 'CREDENTIAL_ID', usernameVariable: 'USERNAME', passwordVariable: 'PASSWORD']]) {
            sh "go get -v"
          }
        }
      }
    }

    stage('Run tests') {
      steps {
        script {
          sh "go test"
        }
      }
    }
  
    stage('Build') {
      steps {
        script {
          sh "go build -o ${item}"
        }
      }
    }
  }
}

def GOLANG_VERSION = 1.12

pipeline {

agent {

docker {

image "golang:${GOLANG_VERSION}"

args '-v ${WORKSPACE}/.gitconfig:/tmp/.gitconfig -e HOME=/tmp'

}

environment {

GO111MODULE = "on"

GOCACHE = "/tmp/.gocache"

GOPATH = "${WORKSPACE}"

PATH = "${GOPATH}/bin:$PATH"

}

stages {

stage('Checkout') {

steps {

withCredentials([[$class: 'UsernamePasswordMultiBinding', credentialsId: 'CREDENTIAL_ID', usernameVariable: 'USERNAME', passwordVariable: 'PASSWORD']]) {

checkout scm

sh 'git config credential.helper \'!f() { sleep 1; echo "username=${USERNAME}\npassword=${PASSWORD}"; }; f\''

sh 'git fetch'

}

stage('Install dependencies') {

steps {

sh 'go version'

script {

withCredentials([[$class: 'UsernamePasswordMultiBinding', credentialsId: 'CREDENTIAL_ID', usernameVariable: 'USERNAME', passwordVariable: 'PASSWORD']]) {

sh "go get -v"

}

stage('Run tests') {

steps {

script {

sh "go test"

}

stage('Build') {

steps {

script {

sh "go build -o ${item}"

}

HPE Microserver Gen8 升級安裝 Windows Server 2019

on 2019 年 3 月 20 日

Windows

0 14441 轉為簡體

原先安裝的是Windows Server 2016鮮嫩多汁學生版，決定安裝一個成人版操作系統。

下載MSDN的iso鏡像，掛載之後，雙擊setup.exe

提示 Windows安裝程序無法找到存儲臨時安裝文件所在的位置。若要安裝Windows，請確保啟動磁碟上分區至少具有xxx兆位元組(MB)的可用空間

我這裡的原因是用了TF卡啟動，windows發現啟動分區和系統分區不一致，就哭了。解決辦法是恢復用系統分區引導進入系統。我把存儲池的四塊硬碟都拔掉了，裝完之後可以重新識別，不怕。

還需要把這個註冊表的值改成0或者刪掉：

[HKEY_LOCAL_MACHINE\system\ControlSet001\Control]

"PortableOperatingSystem"=dword:00000001

[HKEY_LOCAL_MACHINE\system\ControlSet001\Control]

"PortableOperatingSystem"=dword:00000001

提示 Windows無法從無人參與應答文件讀取<ProductKey>設置

因為之前用了HP的Intelligent Provisioning，系統分區的辣雞還沒清理，刪除系統分區下的autounattend.xml後，問題解決。

安裝前，需要關閉Hyper-V的虛擬機，如果虛擬機用了直通磁碟，則不能為「已保存」狀態。

安裝時，選擇保留用戶設置和文件，泡一杯茶，等待安裝完成。