DevOps Archives - 論野生技術&二次元

Ubuntu 22.04 / OpenSSH 8.9 使用 gpg-agent 登錄報錯 agent refused operation 的解決方法

on 2022 年 5 月 3 日

DevOps

0 5886 轉為簡體

Ubuntu 22.04 升級了 OpenSSH 到8.9，這個版本默認開啟 [email protected] 作為密鑰交換（KEX）方法。這個算法使用 512 bit 的 hash。

如果客戶端和服務端都升級到了8.9或以上，則成功協商使用這一KEX算法，這時如果使用 gpg-agent 的 SSH 功能簽名則會報 agent refused operation。

打印 gpg-agent 的日誌可看到報錯為 Provided object is too large。

解決方法是在客戶端（~/.ssh/config）或服務端（/etc/ssh/sshd_config）中禁用這個算法

KexAlgorithms -sntrup761x25519-sha512@openssh.com

1	KexAlgorithms -sntrup761x25519-sha512@openssh.com

同理 diffie-hellman-group16-sha512 和 diffie-hellman-group18-sha512 也應該被禁用，但它們優先級本來就很低。

如果仍然有問題，把Kex Host Key Algorithm也改一下，如改成

HostKeyAlgorithms ssh-ed25519

1	HostKeyAlgorithms ssh-ed25519

Hashicorp Nomad的坑

on 2020 年 6 月 23 日

DevOps

0 7604 轉為簡體

因為組裡k8s大佬濃度不夠，最後用了Nomad來做容器編排。開個文章記錄一下踩過的坑：

network allocation配額沒有明確的提示

Nomad的文檔以及各種Grafana dashboard都沒有提到node上的network allocation其實是有上限的，雖然metrics里是有這一項的（nomad_client_allocated_network/nomad_client_unallocated_network）。具體如何計算尚不明確，可能需要看代碼。我們的EC2上有看到500Mb和1000Mb的上限。

如果不指定，默認每個task佔用100Mb的速度（見文檔），這是一個硬上限，如果node完全被allocate的時候，超過這個限制的容器會被限速。個人覺得Nomad的這個設計是坑爹的，網速這類資源相比於CPU和內存是更加體現突發的特性的，如果只能設置硬性上限，利用率顯然會非常低。這個是上個世紀的QoS了吧。

allocation啟動時的template re-render

這是一個bug：https://github.com/hashicorp/nomad/issues/5459。如果用了集成的consul-template來做服務發現，某些情況下可能在allocation啟動過程中觸發re-render，從而nomad client向容器發送信號；但當容器還沒起來的時候，nomad client會拒絕發送信號並且把這個容器幹掉，並且不會嘗試重新啟動。

也不知道是哪個神仙想出來的這種奇葩設計。

system類型的task

如果一個task是system類型，那它會在所有滿足條件的node上運行。但是它默認的restart參數很容易會因為一些臨時性的錯誤讓整個task掛掉，我們重新設置了restart參數

restart {
    attempts = 60       # attempts no more than interval / delay
    mode     = "delay"
    delay    = "5s"
    interval = "5m"
}

restart {

attempts = 60 # attempts no more than interval / delay

mode = "delay"

delay = "5s"

interval = "5m"

}

容器里的單個端口無法映射成多個端口

docker里我們可以把容器里的一個端口映射成任意多個端口；但是nomad無法做到，看起來像是處理job definition時的一個bug（issue鏈接）。

下面的配置，只有8001端口會被映射；http1這個端口在port_map里被http2覆蓋了。

job "test" {
  group "test" {
    task "test" {
      driver = "docker"
      config {
        image = "nginx:latest"
        port_map = {
          http1    = 80
          http2    = 80
        }
      }
      resources {
        network {
          port "http1" {
            static = 8000
          }
          port "http2" {
            static = 8001
          }
        }
      }
    }
  }
}

job "test" {

group "test" {

task "test" {

driver = "docker"

config {

image = "nginx:latest"

port_map = {

http1 = 80

http2 = 80

}

resources {

network {

port "http1" {

static = 8000

}

port "http2" {

static = 8001

}

下面的配置不會報錯，但是仍然只有8001會被映射。

job "test" {
  group "test" {
    task "test" {
      driver = "docker"
      config {
        image = "nginx:latest"
        port_map = {
          http1    = 80
        }
      }
      resources {
        network {
          port "http1" {
            static = 8000
            static = 8001
          }
        }
      }
    }
  }
}

job "test" {

group "test" {

task "test" {

driver = "docker"

config {

image = "nginx:latest"

port_map = {

http1 = 80

}

resources {

network {

port "http1" {

static = 8000

static = 8001

}

解決的辦法是在容器內開多個端口，分別映射到不同的外部端口。

terraform provider無法檢查nomad job的更改

遠古bug： https://github.com/hashicorp/terraform-provider-nomad/issues/1

如果在terraform外部修改了nomad的job定義，在terraform provider里是無法檢測到的。

不是很懂那我有它何用？

從 MaxMind 新版 GeoIP 數據庫轉換舊版數據庫

on 2019 年 11 月 28 日

DevOps

0 8167 轉為簡體

因為MaxMind不再更新v1版的GeoIP數據庫，所以自己從v2的CSV文件轉格式。

使用的工具是https://github.com/fffonion/geolite2legacy。

城市和ASN數據庫可以從這裡下載，每日更新。也可以直接使用cidr.me來查詢，使用方法可以參閱這篇文章。

ASN數據來自HE BGP toolkit，可以同時查詢上一級的ASN。使用的工具是https://github.com/fffonion/GeoIPASNum-Generator。

另外這個老哥也有（每月？）更新的數據庫，但是IPv6+IPv4的數據庫有問題，應該用的是上游的轉換腳本（騙了個PR）。

注意從2019年12月30日開始，需要使用License Key下載數據庫。

附更新腳本：

#!/bin/bash
D=$(dirname $(readlink -f $0))
T=$(mktemp -d)
cd $T
F=GeoLite2-City
L=GeoLiteCityv6
# create license key from https://www.maxmind.com/en/accounts/current/license-key
LICENSE=xxxxx
wget "https://download.maxmind.com/app/geoip_download?edition_id=${F}-CSV&license_key=${LICENSE}&suffix=zip" -O ${F}-CSV.zip
unzip ${F}-CSV.zip
rm ${F}-CSV.zip
cd ${F}-CSV_*/
tail -n+2 ${F}-Blocks-IPv4.csv |
    awk -F, '{ split($1,a,"/"); split(a[1],a1,"."); m = 96+a[2]; printf("::ffff:%02x%02x:%02x%02x/%d,%s,%s,%s,%s,%s,%s,%s,%s\n"),a1[1],a1[2],a1[3],a1[4],m,$2,$3,$4,$5,$6,$7,$8,$9}' >> ${F}-Blocks-IPv6.csv
ls -lht
cd $T
zip ${F}-CSV.zip ${F}-CSV_*/*
python $D/geolite2legacy/geolite2legacy.py -i $T/${F}-CSV.zip -o $T/GeoLiteCity.dat -f /home/wow/geolite2legacy/geoname2fips.csv
python $D/geolite2legacy/geolite2legacy.py -i $T/${F}-CSV.zip -o $T/GeoLiteCityv6.dat -f /home/wow/geolite2legacy/geoname2fips.csv -6
for L in GeoLiteCityv6 GeoLiteCity; do
    if [[ -s $T/${L}.dat ]]; then
        cp $T/${L}.dat $D
    fi
done
rm -rf $T

#!/bin/bash

D=$(dirname $(readlink -f $0))

T=$(mktemp -d)

cd $T

F=GeoLite2-City

L=GeoLiteCityv6

# create license key from https://www.maxmind.com/en/accounts/current/license-key

LICENSE=xxxxx

wget "https://download.maxmind.com/app/geoip_download?edition_id=${F}-CSV&license_key=${LICENSE}&suffix=zip" -O ${F}-CSV.zip

unzip ${F}-CSV.zip

rm ${F}-CSV.zip

cd ${F}-CSV_*/

tail -n+2 ${F}-Blocks-IPv4.csv |

awk -F, '{ split($1,a,"/"); split(a[1],a1,"."); m = 96+a[2]; printf("::ffff:%02x%02x:%02x%02x/%d,%s,%s,%s,%s,%s,%s,%s,%s\n"),a1[1],a1[2],a1[3],a1[4],m,$2,$3,$4,$5,$6,$7,$8,$9}' >> ${F}-Blocks-IPv6.csv

ls -lht

cd $T

zip ${F}-CSV.zip ${F}-CSV_*/*

python $D/geolite2legacy/geolite2legacy.py -i $T/${F}-CSV.zip -o $T/GeoLiteCity.dat -f /home/wow/geolite2legacy/geoname2fips.csv

python $D/geolite2legacy/geolite2legacy.py -i $T/${F}-CSV.zip -o $T/GeoLiteCityv6.dat -f /home/wow/geolite2legacy/geoname2fips.csv -6

for L in GeoLiteCityv6 GeoLiteCity; do

if [[ -s $T/${L}.dat ]]; then

cp $T/${L}.dat $D

done

rm -rf $T

A systemd dependency mind blow story

on 2019 年 8 月 3 日

DevOps

0 6942 轉為簡體

The following is taken from a production system that we run, which I found might be helpful to others that are enjoying the happiness of using systemd.

Jenkins 中構建有私有模塊的Go項目

on 2019 年 5 月 22 日

DevOps

0 7603 轉為簡體

更新：

可以使用 athens 來建立全局go modules緩存，管理SSH密鑰會更加方便。

go get 的底層會調用git來clone模塊，因此我們只要保證git clone repo_url 可以無交互正常運行，就可以讓go get 也正常下載模塊。

如果是在本地使用，則可以安裝hub或者設置將https重寫成ssh地址，以自動使用私鑰下載，而無需交互輸入用戶名密碼。

如果在Jenkins中使用，就算可以馬上使用後刪除，任何時候讓一個ssh私鑰保存在磁盤上都是不安全的。所以我們使用credential.helper + 環境變量，並且用https地址的方式來給git提供用戶名密碼。

使用credential.helper 可以允許git調用配置的命令獲取用戶名和密碼，我們使用一個一行的shell腳本把環境變量$USERNAME 和 $PASSWORD 打印出來：

git config credential.helper \'!f() { sleep 1; echo "username=${USERNAME}\npassword=${PASSWORD}"; }; f\''

1	git config credential.helper \'!f() { sleep 1; echo "username=${USERNAME}\npassword=${PASSWORD}"; }; f\''

這樣，任何時候我們都不會在磁盤上保存用戶名和密碼，所有信息都在內存里。

然後，因為go get 會clone一個新的repo到本地，我們沒有辦法在這之前設置每個repo的credential.helper，所以這個配置必須是全局的設置。我們用一個docker容器來完成整個項目，然後把這個配置通過docker volume掛載到$HOME/.gitconfig下：

[credential]
	helper = "!f() { sleep 1; echo \"username=${USERNAME}\npassword=${PASSWORD}\"; }; f"

1 2	[credential] helper = "!f() { sleep 1; echo \"username=${USERNAME}\npassword=${PASSWORD}\"; }; f"

注意Jenkins的docker插件會傳遞當前的HOME等環境變量，這個目錄往往在容器中不存在，所以我們覆蓋容器中的用戶目錄到/tmp。

完整的Jenkinsfile如下：

def GOLANG_VERSION = 1.12

pipeline {
  agent {
    docker {
      image "golang:${GOLANG_VERSION}"
      args '-v ${WORKSPACE}/.gitconfig:/tmp/.gitconfig -e HOME=/tmp'
    }
  }

  environment {
    GO111MODULE = "on"
    GOCACHE = "/tmp/.gocache"
    GOPATH = "${WORKSPACE}"
    PATH = "${GOPATH}/bin:$PATH"
  }

  stages {
    stage('Checkout') {
      steps {
        withCredentials([[$class: 'UsernamePasswordMultiBinding', credentialsId: 'CREDENTIAL_ID', usernameVariable: 'USERNAME', passwordVariable: 'PASSWORD']]) {
          checkout scm

          sh 'git config credential.helper \'!f() { sleep 1; echo "username=${USERNAME}\npassword=${PASSWORD}"; }; f\''
          sh 'git fetch'
        }
      }
    }
      
    stage('Install dependencies') {
      steps {
        sh 'go version'
        script {
          withCredentials([[$class: 'UsernamePasswordMultiBinding', credentialsId: 'CREDENTIAL_ID', usernameVariable: 'USERNAME', passwordVariable: 'PASSWORD']]) {
            sh "go get -v"
          }
        }
      }
    }

    stage('Run tests') {
      steps {
        script {
          sh "go test"
        }
      }
    }
  
    stage('Build') {
      steps {
        script {
          sh "go build -o ${item}"
        }
      }
    }
  }
}

def GOLANG_VERSION = 1.12

pipeline {

agent {

docker {

image "golang:${GOLANG_VERSION}"

args '-v ${WORKSPACE}/.gitconfig:/tmp/.gitconfig -e HOME=/tmp'

}

environment {

GO111MODULE = "on"

GOCACHE = "/tmp/.gocache"

GOPATH = "${WORKSPACE}"

PATH = "${GOPATH}/bin:$PATH"

}

stages {

stage('Checkout') {

steps {

withCredentials([[$class: 'UsernamePasswordMultiBinding', credentialsId: 'CREDENTIAL_ID', usernameVariable: 'USERNAME', passwordVariable: 'PASSWORD']]) {

checkout scm

sh 'git config credential.helper \'!f() { sleep 1; echo "username=${USERNAME}\npassword=${PASSWORD}"; }; f\''

sh 'git fetch'

}

stage('Install dependencies') {

steps {

sh 'go version'

script {

withCredentials([[$class: 'UsernamePasswordMultiBinding', credentialsId: 'CREDENTIAL_ID', usernameVariable: 'USERNAME', passwordVariable: 'PASSWORD']]) {

sh "go get -v"

}

stage('Run tests') {

steps {

script {

sh "go test"

}

stage('Build') {

steps {

script {

sh "go build -o ${item}"

}

Category Archives

Ubuntu 22.04 / OpenSSH 8.9 使用 gpg-agent 登錄報錯 agent refused operation 的解決方法

Hashicorp Nomad的坑

network allocation配額沒有明確的提示

allocation啟動時的template re-render

system類型的task

容器里的單個端口無法映射成多個端口

terraform provider無法檢查nomad job的更改

從 MaxMind 新版 GeoIP 數據庫轉換舊版數據庫

A systemd dependency mind blow story

Jenkins 中構建有私有模塊的Go項目