Hashicorp Nomad的坑

fffonion

5 年前

因为组里k8s大佬浓度不够，最后用了Nomad来做容器编排。开个文章记录一下踩过的坑：

network allocation配额没有明确的提示

Nomad的文档以及各种Grafana dashboard都没有提到node上的network allocation其实是有上限的，虽然metrics里是有这一项的（nomad_client_allocated_network/nomad_client_unallocated_network）。具体如何计算尚不明确，可能需要看代码。我们的EC2上有看到500Mb和1000Mb的上限。

如果不指定，默认每个task占用100Mb的速度（见文档），这是一个硬上限，如果node完全被allocate的时候，超过这个限制的容器会被限速。个人觉得Nomad的这个设计是坑爹的，网速这类资源相比于CPU和内存是更加体现突发的特性的，如果只能设置硬性上限，利用率显然会非常低。这个是上个世纪的QoS了吧。

allocation启动时的template re-render

这是一个bug：https://github.com/hashicorp/nomad/issues/5459。如果用了集成的consul-template来做服务发现，某些情况下可能在allocation启动过程中触发re-render，从而nomad client向容器发送信号；但当容器还没起来的时候，nomad client会拒绝发送信号并且把这个容器干掉，并且不会尝试重新启动。

也不知道是哪个神仙想出来的这种奇葩设计。

system类型的task

如果一个task是system类型，那它会在所有满足条件的node上运行。但是它默认的restart参数很容易会因为一些临时性的错误让整个task挂掉，我们重新设置了restart参数

restart {
    attempts = 60       # attempts no more than interval / delay
    mode     = "delay"
    delay    = "5s"
    interval = "5m"
}

restart {

attempts = 60 # attempts no more than interval / delay

mode = "delay"

delay = "5s"

interval = "5m"

}

容器里的单个端口无法映射成多个端口

docker里我们可以把容器里的一个端口映射成任意多个端口；但是nomad无法做到，看起来像是处理job definition时的一个bug（issue链接）。

下面的配置，只有8001端口会被映射；http1这个端口在port_map里被http2覆盖了。

job "test" {
  group "test" {
    task "test" {
      driver = "docker"
      config {
        image = "nginx:latest"
        port_map = {
          http1    = 80
          http2    = 80
        }
      }
      resources {
        network {
          port "http1" {
            static = 8000
          }
          port "http2" {
            static = 8001
          }
        }
      }
    }
  }
}

job "test" {

group "test" {

task "test" {

driver = "docker"

config {

image = "nginx:latest"

port_map = {

http1 = 80

http2 = 80

}

resources {

network {

port "http1" {

static = 8000

}

port "http2" {

static = 8001

}

下面的配置不会报错，但是仍然只有8001会被映射。

job "test" {
  group "test" {
    task "test" {
      driver = "docker"
      config {
        image = "nginx:latest"
        port_map = {
          http1    = 80
        }
      }
      resources {
        network {
          port "http1" {
            static = 8000
            static = 8001
          }
        }
      }
    }
  }
}