Web Archives - 論野生技術&二次元

lua-resty-multiplexer: 端口服務復用

on 2018 年 4 月 10 日

Transparent port service multiplexer for stream subsystem (not TCPMUX)
https://github.com/fffonion/lua-resty-multiplexer
2 forks.
23 stars.
0 open issues.
Recent commits:

fix(*) wait both upload and download coroutines to exit,add timeout options, add backwards compatibility, Alliumcepa
chore: update README and dist.ini, Alliumcepa
chore: refine log level, Alliumcepa
fix: handling tcpsock:close better, Alliumcepa
initial commit, Alliumcepa

實現了一個端口服務復用的透明代理，可以在同一個端口上運行多個協議。根據每次連接中客戶端發起的首個請求檢測協議，根據協議或各種條件選擇代理的上游。

需要打一個補丁。由@fcicq在這個討論中貢獻。這個補丁實現了BSD的socket recv()語義。目前官方也有這個feature的PR。

示例配置：

stream {
    init_by_lua_block {
        local mul = require("resty.multiplexer")
        mul.load_protocols(
            "http", "ssh", "dns", "tls", "xmpp"
        )
        mul.set_rules(
            {{"client-host", "10.0.0.1"}, "internal-host", 80},
            {{"protocol", "http"}, {"client-host", "10.0.0.2"}, "internal-host", 8001},
            {{"protocol", "http"}, "example.com", 80},
            {{"protocol", "ssh"}, "github.com", 22},
            {{"protocol", "dns"}, "1.1.1.1", 53},
            {{"protocol", "tls"}, {"time", nil}, "twitter.com", 443},
            {{"protocol", "tls"}, "www.google.com", 443},
            {{"default", nil}, "127.0.0.1", 80}
        )
        mul.matcher_config.time = {
            minute_match = {0, 30},
            minute_not_match = {{31, 59}},
        }
    }

    resolver 8.8.8.8;

    server {
        listen 80;
        content_by_lua_block {
            local mul = require("resty.multiplexer")
            local mp = mul:new()
            mp:run()
        }
    }
}

stream {

init_by_lua_block {

local mul = require("resty.multiplexer")

mul.load_protocols(

"http", "ssh", "dns", "tls", "xmpp"

)

mul.set_rules(

{{"client-host", "10.0.0.1"}, "internal-host", 80},

{{"protocol", "http"}, {"client-host", "10.0.0.2"}, "internal-host", 8001},

{{"protocol", "http"}, "example.com", 80},

{{"protocol", "ssh"}, "github.com", 22},

{{"protocol", "dns"}, "1.1.1.1", 53},

{{"protocol", "tls"}, {"time", nil}, "twitter.com", 443},

{{"protocol", "tls"}, "www.google.com", 443},

{{"default", nil}, "127.0.0.1", 80}

)

mul.matcher_config.time = {

minute_match = {0, 30},

minute_not_match = {{31, 59}},

}

resolver 8.8.8.8;

server {

listen 80;

content_by_lua_block {

local mul = require("resty.multiplexer")

local mp = mul:new()

mp:run()

}

示例中服務監聽在80端口，並定義規則：

如果客戶端來自 10.0.0.1，代理到 internal-host.com:80
如果請求協議是HTTP 而且客戶端來自10.0.0.2，代理到 internal-host:8001
如果請求協議是 SSH，代理到 github.com:22
如果請求協議是 DNS，代理到 1.1.1.1:53
如果請求協議是 SSL/TLS 而且現在的時間是 0 到 30分，代理到 twitter.com:443
如果請求協議是 SSL/TLS 而且現在的時間是 31 到 59分，代理到 www.google.com:443
以上均不滿足，代理到 127.0.0.1:80

說明

只能實現識別連接建立後客戶端先發送請求的協議，不兼容服務端先發送響應的協議（比如FTP，SMTP等）
如果實現了ngx.reqsock.peak()，則可以使用ngx_stream_proxy來轉發流量，這樣的話除了首個請求以外同一連接的後續請求將沒有額外的性能損失；目前只能在Lua層轉發。

使用Redis協議來調試ngx.shared

on 2018 年 1 月 25 日

0 1212 轉為簡體

有時候用ngx.shared的時候想看一下到底存進去的值是什麼，或者想列一下滿足條件的鍵，或者想批量操作，所以這個項目就是用來解決這個問題的。

A HTTP and Redis protocol compatible interface for debugging ngx.shared API
https://github.com/fffonion/lua-resty-shdict-server
1 forks.
2 stars.
0 open issues.
Recent commits:

doc: update doc, Alliumcepa
add patch to share shdict between http and stream, Alliumcepa
bugfix: avoid table index on hot function call, Alliumcepa
doc: add new commands and other fixes, Alliumcepa
bugfix: return proper value when user flag is set, Alliumcepa

除了支持ngx.shared提供的操作以外，學習Redis增加了PING（測試連通性），KEYS（列出符合條件的鍵）和EVAL（在服務器上執行Lua腳本）。

已上傳到opm，可以通過

opm install fffonion/lua-resty-shdict-server

一鍵安裝。

由於目前stream和http子系統是兩個獨立的Lua VM，因此不能通過全局變量來共享數據。另外兩個子系統的shdict是分別定義的，因此也不能互擼。所以如果想用這個模塊來在redis-cli里擼http子系統下定義的shdict，需要這個補丁。

示例配置：

http {
    lua_shared_dict dog 10m;
}

stream {
    lua_shared_dict dog 10m;
    server {
        listen 6380;
        require "resty.core.shdict"
        require "resty.shdict.redis-commands"
        local srv = require("resty.shdict.server")
        local s = srv:new("a-very-strong-password", "dog")
        s:serve()
}

http {

lua_shared_dict dog 10m;

}

stream {

lua_shared_dict dog 10m;

server {

listen 6380;

require "resty.core.shdict"

require "resty.shdict.redis-commands"

local srv = require("resty.shdict.server")

local s = srv:new("a-very-strong-password", "dog")

s:serve()

}

然後

$ redis-cli -h 127.0.0.1 -p 6380
127.0.0.1:6380> set doge wow
(error) ERR authentication required
127.0.0.1:6380> auth a-very-strong-password
OK
127.0.0.1:6380> set doge wow
OK
127.0.0.1:6380> get doge
wow
127.0.0.1:6380> keys dog*
1) "doge"
127.0.0.1:6380> eval "return shdict.call('del', unpack(shdict.call('keys', ARGV[1])))" 0 dog*
OK
127.0.0.1:18002> keys *
(empty list or set)

$ redis-cli -h 127.0.0.1 -p 6380

127.0.0.1:6380> set doge wow

(error) ERR authentication required

127.0.0.1:6380> auth a-very-strong-password

127.0.0.1:6380> set doge wow

127.0.0.1:6380> get doge

wow

127.0.0.1:6380> keys dog*

1) "doge"

127.0.0.1:6380> eval "return shdict.call('del', unpack(shdict.call('keys', ARGV[1])))" 0 dog*

127.0.0.1:18002> keys *

(empty list or set)

使用lua-nginx-module緩存JSONP

on 2017 年 7 月 15 日

0 2408 轉為簡體

最近給暢言加上了單點登錄，也就是可以用網站的帳號來在暢言上發射評論。暢言會通過你設置的一個接口來獲得用戶名，頭像等。但是我發現隊友暢言會頻繁請求這個接口，有時候會達到單個用戶一秒鐘好幾次？？

雖然在php層有redis，壓力不會很大，但是這樣頻繁的請求還是會中防CC的策略，影響用戶正常的瀏覽。所以我決定在CDN上做個緩存。

IP Geolocation and ASN: 顯示GeoIP和ASN的Chrome插件

on 2016 年 10 月 28 日

Network
Web

0 3502 轉為簡體

寫了一個顯示GeoIP和ASN的Chrome插件，通過請求ip.yooooo.us得到GeoIP（Maxmind數據庫）和ASN信息（自己爬的），怕隱私泄露的可以自己搭一個。

效果如圖：

下載地址：

https://dl.yooooo.us/share/IP_Geo_Asn.zip

下載後解壓，在Chrome->插件中選擇“加載已解壓的擴展程序”

cidr.me地理位置查詢

on 2016 年 7 月 26 日

2 3807 轉為簡體

基於OpenResty ，MaxMind GeoIP數據庫和從bgp.he.net生成的ASN數據庫，因為沒有經緯度的需求所以沒有顯示。下文有源代碼的鏈接，如果需要可以自行修改加上經緯度或者將輸出變為JSON等。

這裡有chrome插件

使用方法

查詢當前IP地理位置

$ curl http://cidr.me/
x.x.x.x
Country, City
ASN number

查詢當前IP

$ curl http://cidr.me/ip
x.x.x.x

查詢指定IP的地理位置

$ curl http://cidr.me/74.125.203.199
74.125.203.199 th-in-f199.1e100.net
United States, Mountain View
AS15169 Google Inc.

查詢域名的地理位置

$ curl http://cidr.me/www.google.com.hk
172.217.3.195 sea15s12-in-f3.1e100.net
United States, California, Mountain View
AS15169 Google LLC

2607:f8b0:400a:809::2003 sea15s12-in-x03.1e100.net
United States
AS15169 Google LLC

查詢域名的IP

$ curl http://cidr.me/www.google.com.hk/ip
74.125.203.199
2607:f8b0:400a:809::2003

查詢域名的IP和CNAME（如果存在）

$ curl http://cidr.me/www.google.com.hk/dns
www-wide.l.google.com 74.125.203.199

源代碼

在這裡https://gist.github.com/fffonion/44e5fb59e2a8f0efba5c1965c6043584

需要ngx_http_geoip_module, echo-nginx-module, lua-nginx-module，安裝libgeoip，並將maxmind的舊版geoip數據庫放在/usr/share/GeoIP

通過bgp.he.net生成ASN數據庫

用 OpenResty 寫了一個 SNI 代理

on 2016 年 6 月 6 日

0 4398 轉為簡體

功能類似於dlundquist/sniproxy

推薦 OpenResty 加上 stream 模塊和 ngx_stream_lua_module 模塊。在 1.9.15.1 上測試通過。

SNI Proxy based on stream-lua-nginx-module
https://github.com/fffonion/lua-resty-sniproxy
12 forks.
48 stars.
1 open issues.
Recent commits:

fix(*) wait both upload and download coroutines to exit,add timeout options, add backwards compatibility, Alliumcepa
fix rules to be initialized as nil, Alliumcepa
avoid using globals to define rules, Alliumcepa
Update README.mdlua_resolver is not available any more, GitHub
add dist.ini, fffonion

示例配置：

stream {
    lua_resolver 8.8.8.8;
    init_worker_by_lua_block {
        sni_rules = { 
            ["www.google.com"] = {"www.google.com", 443},
            ["www.facebook.com"] = {"9.8.7.6", 443},
            ["twitter.com"] = {"1.2.3.4"},
            [".+.twitter.com"] = {nil, 443}
        }   
    }

    server {
            error_log /var/log/nginx/sniproxy-error.log error;
            listen 443;
            content_by_lua_block {
                    local sni = require("resty.sniproxy")
                    local sp = sni:new()
                    sp:run()
            }   
    }
}

stream {

lua_resolver 8.8.8.8;

init_worker_by_lua_block {

sni_rules = {

["www.google.com"] = {"www.google.com", 443},

["www.facebook.com"] = {"9.8.7.6", 443},

["twitter.com"] = {"1.2.3.4"},

[".+.twitter.com"] = {nil, 443}

}

server {

error_log /var/log/nginx/sniproxy-error.log error;

listen 443;

content_by_lua_block {

local sni = require("resty.sniproxy")

local sp = sni:new()

sp:run()

}

A Lua table sni_rules should be defined in the init_worker_by_lua_block directive.

The key can be either whole host name or regular expression. Use . for a default host name. If no entry is matched, connection will be closed.

The value is a table containing host name and port. If host is set to nil, the server_name in SNI will be used. If the port is not defined or set to nil, 443 will be used.

Rules are applied with the priority as its occurrence sequence in the table. In the example above, twitter.com will match the third rule rather than the fourth.

If the protocol version is less than TLSv1 (eg. SSLv3, SSLv2), connection will be closed, since SNI extension is not supported in these versions.

Category Archives

lua-resty-multiplexer: 端口服務復用

說明

使用Redis協議來調試ngx.shared

使用lua-nginx-module緩存JSONP

IP Geolocation and ASN: 顯示GeoIP和ASN的Chrome插件

cidr.me地理位置查詢

使用方法

源代碼

用 OpenResty 寫了一個 SNI 代理