Web Archives - 論野生技術&二次元

自定義字體反爬蟲方法的對抗

on 2021 年 4 月 2 日

0 7530 轉為簡體

1號晚上聽到兩聲春雷，我覺得它是在告訴我，春天到了，該發點什麼了。

我說好啊好啊，這就來發博客。

我們先來看這段網頁：

無限好文，盡在jjwxc

lua-resty-multiplexer: 端口服務復用

on 2018 年 4 月 10 日

0 11517 轉為簡體

Transparent port service multiplexer for stream subsystem
https://github.com/fffonion/lua-resty-multiplexer
18 forks.
61 stars.
1 open issues.

Recent commits:

doc(readme) fix example with correct version, Wangchong Zhou
release: 0.02, Wangchong Zhou
feat: support openresty 1.15.8 and later, Wangchong Zhou
fix(*) wait both upload and download coroutines to exit,add timeout options, add backwards compatibility, Alliumcepa
chore: update README and dist.ini, Alliumcepa

實現了一個端口服務復用的透明代理，可以在同一個端口上運行多個協議。根據每次連接中客戶端發起的首個請求檢測協議，根據協議或各種條件選擇代理的上游。

需要打一個補丁。由@fcicq在這個討論中貢獻。這個補丁實現了BSD的socket recv()語義。目前官方也有這個feature的PR。

示例配置：

stream {
    init_by_lua_block {
        local mul = require("resty.multiplexer")
        mul.load_protocols(
            "http", "ssh", "dns", "tls", "xmpp"
        )
        mul.set_rules(
            {{"client-host", "10.0.0.1"}, "internal-host", 80},
            {{"protocol", "http"}, {"client-host", "10.0.0.2"}, "internal-host", 8001},
            {{"protocol", "http"}, "example.com", 80},
            {{"protocol", "ssh"}, "github.com", 22},
            {{"protocol", "dns"}, "1.1.1.1", 53},
            {{"protocol", "tls"}, {"time", nil}, "twitter.com", 443},
            {{"protocol", "tls"}, "www.google.com", 443},
            {{"default", nil}, "127.0.0.1", 80}
        )
        mul.matcher_config.time = {
            minute_match = {0, 30},
            minute_not_match = {{31, 59}},
        }
    }

    resolver 8.8.8.8;

    server {
        listen 80;
        content_by_lua_block {
            local mul = require("resty.multiplexer")
            local mp = mul:new()
            mp:run()
        }
    }
}

stream {

init_by_lua_block {

local mul = require("resty.multiplexer")

mul.load_protocols(

"http", "ssh", "dns", "tls", "xmpp"

)

mul.set_rules(

{{"client-host", "10.0.0.1"}, "internal-host", 80},

{{"protocol", "http"}, {"client-host", "10.0.0.2"}, "internal-host", 8001},

{{"protocol", "http"}, "example.com", 80},

{{"protocol", "ssh"}, "github.com", 22},

{{"protocol", "dns"}, "1.1.1.1", 53},

{{"protocol", "tls"}, {"time", nil}, "twitter.com", 443},

{{"protocol", "tls"}, "www.google.com", 443},

{{"default", nil}, "127.0.0.1", 80}

)

mul.matcher_config.time = {

minute_match = {0, 30},

minute_not_match = {{31, 59}},

}

resolver 8.8.8.8;

server {

listen 80;

content_by_lua_block {

local mul = require("resty.multiplexer")

local mp = mul:new()

mp:run()

}

示例中服務監聽在80端口，並定義規則：

如果客戶端來自 10.0.0.1，代理到 internal-host.com:80
如果請求協議是HTTP 而且客戶端來自10.0.0.2，代理到 internal-host:8001
如果請求協議是 SSH，代理到 github.com:22
如果請求協議是 DNS，代理到 1.1.1.1:53
如果請求協議是 SSL/TLS 而且現在的時間是 0 到 30分，代理到 twitter.com:443
如果請求協議是 SSL/TLS 而且現在的時間是 31 到 59分，代理到 www.google.com:443
以上均不滿足，代理到 127.0.0.1:80

說明

只能實現識別連接建立後客戶端先發送請求的協議，不兼容服務端先發送響應的協議（比如FTP，SMTP等）
如果實現了ngx.reqsock.peak()，則可以使用ngx_stream_proxy來轉發流量，這樣的話除了首個請求以外同一連接的後續請求將沒有額外的性能損失；目前只能在Lua層轉發。

使用Redis協議來調試ngx.shared

on 2018 年 1 月 25 日

0 9951 轉為簡體

有時候用ngx.shared的時候想看一下到底存進去的值是什麼，或者想列一下滿足條件的鍵，或者想批量操作，所以這個項目就是用來解決這個問題的。

Use ngx.shared as a Redis server
https://github.com/fffonion/lua-resty-shdict-server
3 forks.
15 stars.
0 open issues.

Recent commits:

patch: add global shdict patch for 1.17.8.2 and 1.19.3.1, Wangchong Zhou
patch: add global shdict patch for 1.15.8.2, Wangchong Zhou
chore: add ci tests, Wangchong Zhou
fix: typo in redis-commands eval, Wangchong Zhou
doc: update doc, Alliumcepa

除了支持ngx.shared提供的操作以外，學習Redis增加了PING（測試連通性），KEYS（列出符合條件的鍵）和EVAL（在服務器上執行Lua腳本）。

已上傳到opm，可以通過

opm install fffonion/lua-resty-shdict-server

一鍵安裝。

由於目前stream和http子系統是兩個獨立的Lua VM，因此不能通過全局變量來共享數據。另外兩個子系統的shdict是分別定義的，因此也不能互擼。所以如果想用這個模塊來在redis-cli里擼http子系統下定義的shdict，需要這個補丁。

示例配置：

http {
    lua_shared_dict dog 10m;
}

stream {
    lua_shared_dict dog 10m;
    server {
        listen 6380;
        require "resty.core.shdict"
        require "resty.shdict.redis-commands"
        local srv = require("resty.shdict.server")
        local s = srv:new("a-very-strong-password", "dog")
        s:serve()
}

http {

lua_shared_dict dog 10m;

}

stream {

lua_shared_dict dog 10m;

server {

listen 6380;

require "resty.core.shdict"

require "resty.shdict.redis-commands"

local srv = require("resty.shdict.server")

local s = srv:new("a-very-strong-password", "dog")

s:serve()

}

然後

$ redis-cli -h 127.0.0.1 -p 6380
127.0.0.1:6380> set doge wow
(error) ERR authentication required
127.0.0.1:6380> auth a-very-strong-password
OK
127.0.0.1:6380> set doge wow
OK
127.0.0.1:6380> get doge
wow
127.0.0.1:6380> keys dog*
1) "doge"
127.0.0.1:6380> eval "return shdict.call('del', unpack(shdict.call('keys', ARGV[1])))" 0 dog*
OK
127.0.0.1:18002> keys *
(empty list or set)

$ redis-cli -h 127.0.0.1 -p 6380

127.0.0.1:6380> set doge wow

(error) ERR authentication required

127.0.0.1:6380> auth a-very-strong-password

127.0.0.1:6380> set doge wow

127.0.0.1:6380> get doge

wow

127.0.0.1:6380> keys dog*

1) "doge"

127.0.0.1:6380> eval "return shdict.call('del', unpack(shdict.call('keys', ARGV[1])))" 0 dog*

127.0.0.1:18002> keys *

(empty list or set)

使用lua-nginx-module緩存JSONP

on 2017 年 7 月 15 日

0 11960 轉為簡體

最近給暢言加上了單點登錄，也就是可以用網站的帳號來在暢言上發射評論。暢言會通過你設置的一個接口來獲得用戶名，頭像等。但是我發現隊友暢言會頻繁請求這個接口，有時候會達到單個用戶一秒鐘好幾次？？

雖然在php層有redis，壓力不會很大，但是這樣頻繁的請求還是會中防CC的策略，影響用戶正常的瀏覽。所以我決定在CDN上做個緩存。

IP Geolocation and ASN: 顯示GeoIP和ASN的Chrome插件

on 2016 年 10 月 28 日

Network
Web

0 10588 轉為簡體

寫了一個顯示GeoIP和ASN的Chrome插件，通過請求ip.yooooo.us得到GeoIP（Maxmind數據庫）和ASN信息（自己爬的），怕隱私泄露的可以自己搭一個。

效果如圖：

下載地址：

https://dl.yooooo.us/share/IP_Geo_Asn.zip

下載後解壓，在Chrome->插件中選擇「加載已解壓的擴展程序」

cidr.me地理位置查詢

on 2016 年 7 月 26 日

2 16316 轉為簡體

基於OpenResty ，MaxMind GeoIP數據庫和從bgp.he.net生成的ASN數據庫，因為沒有經緯度的需求所以沒有顯示。下文有源代碼的鏈接，如果需要可以自行修改加上經緯度或者將輸出變為JSON等。

這裡有chrome插件

使用方法

查詢當前IPv4地址

$ curl http://cidr.me/ip
x.x.x.x

查詢當前IPv6地址

$ curl http://ipv6.cidr.me/ip
x.x.x.x

查詢當前IP的PTR記錄（反向DNS），地理位置和ASN

$ curl http://cidr.me/
x.x.x.x
Country, City
ASN number

查詢當前IP的PTR記錄

$ curl http://cidr.me/rdns
x-x-x-x.com

查詢指定IP的地理位置

$ curl http://cidr.me/74.125.203.199
74.125.203.199 th-in-f199.1e100.net
United States, California, Mountain View
AS15169 Google Inc.

查詢域名的地理位置

$ curl http://cidr.me/www.google.com.hk
172.217.3.195 sea15s12-in-f3.1e100.net
United States, California, Mountain View
AS15169 Google LLC

2607:f8b0:400a:809::2003 sea15s12-in-x03.1e100.net
United States
AS15169 Google LLC

查詢域名的IP

$ curl http://cidr.me/www.google.com.hk/ip
74.125.203.199
2607:f8b0:400a:809::2003

查詢域名的IP和CNAME（如果存在）

$ curl http://cidr.me/www.youtube.com/dns
youtube-ui.l.google.com 172.217.3.174
172.217.3.206
216.58.193.78
216.58.217.46
2607:f8b0:400a:808::200e

源代碼

在這裡https://gist.github.com/fffonion/44e5fb59e2a8f0efba5c1965c6043584

需要ngx_http_geoip_module, echo-nginx-module, lua-nginx-module，安裝libgeoip，並將maxmind的舊版geoip數據庫放在/usr/share/GeoIP

通過bgp.he.net生成ASN數據庫

Category Archives