Category Archives

134 Articles

Hashicorp Nomad的坑

0   686 转为繁体

因为组里k8s大佬浓度不够,最后用了Nomad来做容器编排。开个文章记录一下踩过的坑:

network allocation配额没有明确的提示

Nomad的文档以及各种Grafana dashboard都没有提到node上的network allocation其实是有上限的,虽然metrics里是有这一项的(nomad_client_allocated_network/nomad_client_unallocated_network)。具体如何计算尚不明确,可能需要看代码。我们的EC2上有看到500Mb和1000Mb的上限。

如果不指定,默认每个task占用100Mb的速度(见文档),这是一个硬上限,如果node完全被allocate的时候,超过这个限制的容器会被限速。个人觉得Nomad的这个设计是坑爹的,网速这类资源相比于CPU和内存是更加体现突发的特性的,如果只能设置硬性上限,利用率显然会非常低。这个是上个世纪的QoS了吧。

allocation启动时的template re-render

这是一个bug:https://github.com/hashicorp/nomad/issues/5459。如果用了集成的consul-template来做服务发现,某些情况下可能在allocation启动过程中触发re-render,从而nomad client向容器发送信号;但当容器还没起来的时候,nomad client会拒绝发送信号并且把这个容器干掉,并且不会尝试重新启动

也不知道是哪个神仙想出来的这种奇葩设计。

system类型的task

如果一个task是system类型, 那它会在所有满足条件的node上运行。但是它默认的restart参数很容易会因为一些临时性的错误让整个task挂掉,我们重新设置了restart参数

容器里的单个端口无法映射成多个端口

docker里我们可以把容器里的一个端口映射成任意多个端口;但是nomad无法做到,看起来像是处理job definition时的一个bug(issue链接)。

下面的配置,只有8001端口会被映射;http1这个端口在port_map里被http2覆盖了。

下面的配置不会报错,但是仍然只有8001会被映射。

解决的办法是在容器内开多个端口,分别映射到不同的外部端口。

terraform provider无法检查nomad job的更改

远古bug: https://github.com/hashicorp/terraform-provider-nomad/issues/1

如果在terraform外部修改了nomad的job定义,在terraform provider里是无法检测到的。

不是很懂那我有它何用?

从 MaxMind 新版 GeoIP 数据库转换旧版数据库

0   2403 转为繁体

因为MaxMind不再更新v1版的GeoIP数据库,所以自己从v2的CSV文件转格式。

使用的工具是https://github.com/fffonion/geolite2legacy

城市和ASN数据库可以从这里下载,每日更新。也可以直接使用cidr.me来查询,使用方法可以参阅这篇文章

ASN数据来自HE BGP toolkit,可以同时查询上一级的ASN。使用的工具是https://github.com/fffonion/GeoIPASNum-Generator

另外这个老哥也有(每月?)更新的数据库,但是IPv6+IPv4的数据库有问题,应该用的是上游的转换脚本(骗了个PR)。

注意从2019年12月30日开始,需要使用License Key下载数据库。

附更新脚本:

 

lua-resty-openssl: 基于FFI的Lua OpenSSL库

0   1883 转为繁体

支持OpenSSL 1.1.x, 1.0.x和1.0.2系列

lua-resty-acme: ACMEv2客户端和Let’s Encrypt证书的自动化管理

0   2785 转为繁体

 

 

安装

使用opm:

opm中没有luaossl库,所以这种安装使用的是基于FFI的Openssl后端;需要OpenResty链接了大于等于1.1版本的OpenSSL。

也可以使用luarocks安装:

使用

以/etc/openresty目录为例,如果目录不存在,请自行修改。

生成一个账户密钥

生成一个默认证书

在Nginx配置的http 节插入以下内容

首次配置时,建议将init_by_lua_block中的staing = true取消注释,以防错误过多触发限流;测试通过后再加回注释使用生产API。

在需要使用证书的server节插入

CentOS/Fedora等系统的根证书在/etc/ssl/certs/ca-bundle.crt,请根据实际情况修改lua_ssl_trusted_certificate。

保存后,reload nginx。

在一般情况下,domain_whitelist必须配置,以防止恶意请求通过伪造SNI头进行拒绝服务攻击。

如果要匹配一系列域名,可以使用__index来实现。比如下面的例子仅匹配example.com的子域名:

RSA+ECC双证书

将init_by_lua_block中的domain_key_types = { 'rsa', 'ecc' }取消注释后,即可同时申请两套证书。

为了让申请到证书前的握手不出错断开,给Nginx配置默认的ECC证书

然后在server节中原有的ssl_certificate下增加两行

关于加密套件等的选择可借助搜索引擎。

TLS-ALPN-01

0.5.0开始支持tls-alpn-01,可以支持在只开放443端口的环境里完成验证。方法是通过蜜汁FFI偏移找到当前请求的SSL结构,然后设置了新的ALPN。需要多个stream server多次proxy,拓扑结构如下:

第一个stream server打开了443端口,根据请求的ALPN分发到不同的后段;如果是acme-tls则转发到我们的库,否则转发到正常的https。

示例配置见Github