Category Archives

147 Articles

Hashicorp Nomad的坑

0   7601 轉為簡體

因為組裡k8s大佬濃度不夠,最後用了Nomad來做容器編排。開個文章記錄一下踩過的坑:

network allocation配額沒有明確的提示

Nomad的文檔以及各種Grafana dashboard都沒有提到node上的network allocation其實是有上限的,雖然metrics里是有這一項的(nomad_client_allocated_network/nomad_client_unallocated_network)。具體如何計算尚不明確,可能需要看代碼。我們的EC2上有看到500Mb和1000Mb的上限。

如果不指定,默認每個task佔用100Mb的速度(見文檔),這是一個硬上限,如果node完全被allocate的時候,超過這個限制的容器會被限速。個人覺得Nomad的這個設計是坑爹的,網速這類資源相比於CPU和內存是更加體現突發的特性的,如果只能設置硬性上限,利用率顯然會非常低。這個是上個世紀的QoS了吧。

allocation啟動時的template re-render

這是一個bug:https://github.com/hashicorp/nomad/issues/5459。如果用了集成的consul-template來做服務發現,某些情況下可能在allocation啟動過程中觸發re-render,從而nomad client向容器發送信號;但當容器還沒起來的時候,nomad client會拒絕發送信號並且把這個容器幹掉,並且不會嘗試重新啟動

也不知道是哪個神仙想出來的這種奇葩設計。

system類型的task

如果一個task是system類型, 那它會在所有滿足條件的node上運行。但是它默認的restart參數很容易會因為一些臨時性的錯誤讓整個task掛掉,我們重新設置了restart參數

容器里的單個端口無法映射成多個端口

docker里我們可以把容器里的一個端口映射成任意多個端口;但是nomad無法做到,看起來像是處理job definition時的一個bug(issue鏈接)。

下面的配置,只有8001端口會被映射;http1這個端口在port_map里被http2覆蓋了。

下面的配置不會報錯,但是仍然只有8001會被映射。

解決的辦法是在容器內開多個端口,分別映射到不同的外部端口。

terraform provider無法檢查nomad job的更改

遠古bug: https://github.com/hashicorp/terraform-provider-nomad/issues/1

如果在terraform外部修改了nomad的job定義,在terraform provider里是無法檢測到的。

不是很懂那我有它何用?

從 MaxMind 新版 GeoIP 數據庫轉換舊版數據庫

0   8165 轉為簡體

因為MaxMind不再更新v1版的GeoIP數據庫,所以自己從v2的CSV文件轉格式。

使用的工具是https://github.com/fffonion/geolite2legacy

城市和ASN數據庫可以從這裡下載,每日更新。也可以直接使用cidr.me來查詢,使用方法可以參閱這篇文章

ASN數據來自HE BGP toolkit,可以同時查詢上一級的ASN。使用的工具是https://github.com/fffonion/GeoIPASNum-Generator

另外這個老哥也有(每月?)更新的數據庫,但是IPv6+IPv4的數據庫有問題,應該用的是上游的轉換腳本(騙了個PR)。

注意從2019年12月30日開始,需要使用License Key下載數據庫。

附更新腳本:

 

lua-resty-openssl: 基於FFI的Lua OpenSSL庫

0   8110 轉為簡體

支持OpenSSL 1.1.x, 1.0.x和1.0.2系列

lua-resty-acme: ACMEv2客戶端和Let’s Encrypt證書的自動化管理

0   13221 轉為簡體

 

 

安裝

使用opm:

opm中沒有luaossl庫,所以這種安裝使用的是基於FFI的Openssl後端;需要OpenResty鏈接了大於等於1.1版本的OpenSSL。

也可以使用luarocks安裝:

使用

以/etc/openresty目錄為例,如果目錄不存在,請自行修改。

生成一個賬戶密鑰

生成一個默認證書

在Nginx配置的http 節插入以下內容

首次配置時,建議將init_by_lua_block中的staing = true取消注釋,以防錯誤過多觸發限流;測試通過後再加回注釋使用生產API。

在需要使用證書的server節插入

CentOS/Fedora等系統的根證書在/etc/ssl/certs/ca-bundle.crt,請根據實際情況修改lua_ssl_trusted_certificate。

保存後,reload nginx。

在一般情況下,domain_whitelist必須配置,以防止惡意請求通過偽造SNI頭進行拒絕服務攻擊。

如果要匹配一系列域名,可以使用__index來實現。比如下面的例子僅匹配example.com的子域名:

RSA+ECC雙證書

將init_by_lua_block中的domain_key_types = { 'rsa', 'ecc' }取消注釋後,即可同時申請兩套證書。

為了讓申請到證書前的握手不出錯斷開,給Nginx配置默認的ECC證書

然後在server節中原有的ssl_certificate下增加兩行

關於加密套件等的選擇可藉助搜索引擎。

TLS-ALPN-01

0.5.0開始支持tls-alpn-01,可以支持在只開放443端口的環境里完成驗證。方法是通過蜜汁FFI偏移找到當前請求的SSL結構,然後設置了新的ALPN。需要多個stream server多次proxy,拓撲結構如下:

第一個stream server打開了443端口,根據請求的ALPN分發到不同的後段;如果是acme-tls則轉發到我們的庫,否則轉發到正常的https。

示例配置見Github