從 MaxMind 新版 GeoIP 數據庫轉換舊版數據庫 ; 論野生技術&二次元

因為MaxMind不再更新v1版的GeoIP數據庫，所以自己從v2的CSV文件轉格式。

使用的工具是https://github.com/fffonion/geolite2legacy。

城市和ASN數據庫可以從這裡下載，每日更新。也可以直接使用cidr.me來查詢，使用方法可以參閱這篇文章。

ASN數據來自HE BGP toolkit，可以同時查詢上一級的ASN。使用的工具是https://github.com/fffonion/GeoIPASNum-Generator。

另外這個老哥也有（每月？）更新的數據庫，但是IPv6+IPv4的數據庫有問題，應該用的是上游的轉換腳本（騙了個PR）。

注意從2019年12月30日開始，需要使用License Key下載數據庫。

附更新腳本：

#!/bin/bash
D=$(dirname $(readlink -f $0))
T=$(mktemp -d)
cd $T
F=GeoLite2-City
L=GeoLiteCityv6
# create license key from https://www.maxmind.com/en/accounts/current/license-key
LICENSE=xxxxx
wget "https://download.maxmind.com/app/geoip_download?edition_id=${F}-CSV&license_key=${LICENSE}&suffix=zip" -O ${F}-CSV.zip
unzip ${F}-CSV.zip
rm ${F}-CSV.zip
cd ${F}-CSV_*/
tail -n+2 ${F}-Blocks-IPv4.csv |
    awk -F, '{ split($1,a,"/"); split(a[1],a1,"."); m = 96+a[2]; printf("::ffff:%02x%02x:%02x%02x/%d,%s,%s,%s,%s,%s,%s,%s,%s\n"),a1[1],a1[2],a1[3],a1[4],m,$2,$3,$4,$5,$6,$7,$8,$9}' >> ${F}-Blocks-IPv6.csv
ls -lht
cd $T
zip ${F}-CSV.zip ${F}-CSV_*/*
python $D/geolite2legacy/geolite2legacy.py -i $T/${F}-CSV.zip -o $T/GeoLiteCity.dat -f /home/wow/geolite2legacy/geoname2fips.csv
python $D/geolite2legacy/geolite2legacy.py -i $T/${F}-CSV.zip -o $T/GeoLiteCityv6.dat -f /home/wow/geolite2legacy/geoname2fips.csv -6
for L in GeoLiteCityv6 GeoLiteCity; do
    if [[ -s $T/${L}.dat ]]; then
        cp $T/${L}.dat $D
    fi
done
rm -rf $T

#!/bin/bash

D=$(dirname $(readlink -f $0))

T=$(mktemp -d)

cd $T

F=GeoLite2-City

L=GeoLiteCityv6

# create license key from https://www.maxmind.com/en/accounts/current/license-key

LICENSE=xxxxx

wget "https://download.maxmind.com/app/geoip_download?edition_id=${F}-CSV&license_key=${LICENSE}&suffix=zip" -O ${F}-CSV.zip

unzip ${F}-CSV.zip

rm ${F}-CSV.zip

cd ${F}-CSV_*/

tail -n+2 ${F}-Blocks-IPv4.csv |

awk -F, '{ split($1,a,"/"); split(a[1],a1,"."); m = 96+a[2]; printf("::ffff:%02x%02x:%02x%02x/%d,%s,%s,%s,%s,%s,%s,%s,%s\n"),a1[1],a1[2],a1[3],a1[4],m,$2,$3,$4,$5,$6,$7,$8,$9}' >> ${F}-Blocks-IPv6.csv

ls -lht

cd $T

zip ${F}-CSV.zip ${F}-CSV_*/*

python $D/geolite2legacy/geolite2legacy.py -i $T/${F}-CSV.zip -o $T/GeoLiteCity.dat -f /home/wow/geolite2legacy/geoname2fips.csv

python $D/geolite2legacy/geolite2legacy.py -i $T/${F}-CSV.zip -o $T/GeoLiteCityv6.dat -f /home/wow/geolite2legacy/geoname2fips.csv -6

for L in GeoLiteCityv6 GeoLiteCity; do

if [[ -s $T/${L}.dat ]]; then

cp $T/${L}.dat $D

done

rm -rf $T