Web Archives - 论野生技术&二次元

自定义字体反爬虫方法的对抗

on 2021 年 4 月 2 日

0 7442 转为繁体

1号晚上听到两声春雷，我觉得它是在告诉我，春天到了，该发点什么了。

我说好啊好啊，这就来发博客。

我们先来看这段网页：

无限好文，尽在jjwxc

lua-resty-multiplexer: 端口服务复用

on 2018 年 4 月 10 日

0 11446 转为繁体

Transparent port service multiplexer for stream subsystem
https://github.com/fffonion/lua-resty-multiplexer
18 forks.
61 stars.
1 open issues.

Recent commits:

doc(readme) fix example with correct version, Wangchong Zhou
release: 0.02, Wangchong Zhou
feat: support openresty 1.15.8 and later, Wangchong Zhou
fix(*) wait both upload and download coroutines to exit,add timeout options, add backwards compatibility, Alliumcepa
chore: update README and dist.ini, Alliumcepa

实现了一个端口服务复用的透明代理，可以在同一个端口上运行多个协议。根据每次连接中客户端发起的首个请求检测协议，根据协议或各种条件选择代理的上游。

需要打一个补丁。由@fcicq在这个讨论中贡献。这个补丁实现了BSD的socket recv()语义。目前官方也有这个feature的PR。

示例配置：

stream {
    init_by_lua_block {
        local mul = require("resty.multiplexer")
        mul.load_protocols(
            "http", "ssh", "dns", "tls", "xmpp"
        )
        mul.set_rules(
            {{"client-host", "10.0.0.1"}, "internal-host", 80},
            {{"protocol", "http"}, {"client-host", "10.0.0.2"}, "internal-host", 8001},
            {{"protocol", "http"}, "example.com", 80},
            {{"protocol", "ssh"}, "github.com", 22},
            {{"protocol", "dns"}, "1.1.1.1", 53},
            {{"protocol", "tls"}, {"time", nil}, "twitter.com", 443},
            {{"protocol", "tls"}, "www.google.com", 443},
            {{"default", nil}, "127.0.0.1", 80}
        )
        mul.matcher_config.time = {
            minute_match = {0, 30},
            minute_not_match = {{31, 59}},
        }
    }

    resolver 8.8.8.8;

    server {
        listen 80;
        content_by_lua_block {
            local mul = require("resty.multiplexer")
            local mp = mul:new()
            mp:run()
        }
    }
}

stream {

init_by_lua_block {

local mul = require("resty.multiplexer")

mul.load_protocols(

"http", "ssh", "dns", "tls", "xmpp"

)

mul.set_rules(

{{"client-host", "10.0.0.1"}, "internal-host", 80},

{{"protocol", "http"}, {"client-host", "10.0.0.2"}, "internal-host", 8001},

{{"protocol", "http"}, "example.com", 80},

{{"protocol", "ssh"}, "github.com", 22},

{{"protocol", "dns"}, "1.1.1.1", 53},

{{"protocol", "tls"}, {"time", nil}, "twitter.com", 443},

{{"protocol", "tls"}, "www.google.com", 443},

{{"default", nil}, "127.0.0.1", 80}

)

mul.matcher_config.time = {

minute_match = {0, 30},

minute_not_match = {{31, 59}},

}

resolver 8.8.8.8;

server {

listen 80;

content_by_lua_block {

local mul = require("resty.multiplexer")

local mp = mul:new()

mp:run()

}

示例中服务监听在80端口，并定义规则：

如果客户端来自 10.0.0.1，代理到 internal-host.com:80
如果请求协议是HTTP 而且客户端来自10.0.0.2，代理到 internal-host:8001
如果请求协议是 SSH，代理到 github.com:22
如果请求协议是 DNS，代理到 1.1.1.1:53
如果请求协议是 SSL/TLS 而且现在的时间是 0 到 30分，代理到 twitter.com:443
如果请求协议是 SSL/TLS 而且现在的时间是 31 到 59分，代理到 www.google.com:443
以上均不满足，代理到 127.0.0.1:80

说明

只能实现识别连接建立后客户端先发送请求的协议，不兼容服务端先发送响应的协议（比如FTP，SMTP等）
如果实现了ngx.reqsock.peak()，则可以使用ngx_stream_proxy来转发流量，这样的话除了首个请求以外同一连接的后续请求将没有额外的性能损失；目前只能在Lua层转发。

使用Redis协议来调试ngx.shared

on 2018 年 1 月 25 日

0 9911 转为繁体

有时候用ngx.shared的时候想看一下到底存进去的值是什么，或者想列一下满足条件的键，或者想批量操作，所以这个项目就是用来解决这个问题的。

Use ngx.shared as a Redis server
https://github.com/fffonion/lua-resty-shdict-server
3 forks.
15 stars.
0 open issues.

Recent commits:

patch: add global shdict patch for 1.17.8.2 and 1.19.3.1, Wangchong Zhou
patch: add global shdict patch for 1.15.8.2, Wangchong Zhou
chore: add ci tests, Wangchong Zhou
fix: typo in redis-commands eval, Wangchong Zhou
doc: update doc, Alliumcepa

除了支持ngx.shared提供的操作以外，学习Redis增加了PING（测试连通性），KEYS（列出符合条件的键）和EVAL（在服务器上执行Lua脚本）。

已上传到opm，可以通过

opm install fffonion/lua-resty-shdict-server

一键安装。

由于目前stream和http子系统是两个独立的Lua VM，因此不能通过全局变量来共享数据。另外两个子系统的shdict是分别定义的，因此也不能互撸。所以如果想用这个模块来在redis-cli里撸http子系统下定义的shdict，需要这个补丁。

示例配置：

http {
    lua_shared_dict dog 10m;
}

stream {
    lua_shared_dict dog 10m;
    server {
        listen 6380;
        require "resty.core.shdict"
        require "resty.shdict.redis-commands"
        local srv = require("resty.shdict.server")
        local s = srv:new("a-very-strong-password", "dog")
        s:serve()
}

http {

lua_shared_dict dog 10m;

}

stream {

lua_shared_dict dog 10m;

server {

listen 6380;

require "resty.core.shdict"

require "resty.shdict.redis-commands"

local srv = require("resty.shdict.server")

local s = srv:new("a-very-strong-password", "dog")

s:serve()

}

然后

$ redis-cli -h 127.0.0.1 -p 6380
127.0.0.1:6380> set doge wow
(error) ERR authentication required
127.0.0.1:6380> auth a-very-strong-password
OK
127.0.0.1:6380> set doge wow
OK
127.0.0.1:6380> get doge
wow
127.0.0.1:6380> keys dog*
1) "doge"
127.0.0.1:6380> eval "return shdict.call('del', unpack(shdict.call('keys', ARGV[1])))" 0 dog*
OK
127.0.0.1:18002> keys *
(empty list or set)

$ redis-cli -h 127.0.0.1 -p 6380

127.0.0.1:6380> set doge wow

(error) ERR authentication required

127.0.0.1:6380> auth a-very-strong-password

127.0.0.1:6380> set doge wow

127.0.0.1:6380> get doge

wow

127.0.0.1:6380> keys dog*

1) "doge"

127.0.0.1:6380> eval "return shdict.call('del', unpack(shdict.call('keys', ARGV[1])))" 0 dog*

127.0.0.1:18002> keys *

(empty list or set)

使用lua-nginx-module缓存JSONP

on 2017 年 7 月 15 日

0 11871 转为繁体

最近给畅言加上了单点登录，也就是可以用网站的帐号来在畅言上发射评论。畅言会通过你设置的一个接口来获得用户名，头像等。但是我发现队友畅言会频繁请求这个接口，有时候会达到单个用户一秒钟好几次？？

虽然在php层有redis，压力不会很大，但是这样频繁的请求还是会中防CC的策略，影响用户正常的浏览。所以我决定在CDN上做个缓存。

IP Geolocation and ASN: 显示GeoIP和ASN的Chrome插件

on 2016 年 10 月 28 日

Network
Web

0 10539 转为繁体

写了一个显示GeoIP和ASN的Chrome插件，通过请求ip.yooooo.us得到GeoIP（Maxmind数据库）和ASN信息（自己爬的），怕隐私泄露的可以自己搭一个。

效果如图：

下载地址：

https://dl.yooooo.us/share/IP_Geo_Asn.zip

下载后解压，在Chrome->插件中选择“加载已解压的扩展程序”

cidr.me地理位置查询

on 2016 年 7 月 26 日

2 16230 转为繁体

基于OpenResty ，MaxMind GeoIP数据库和从bgp.he.net生成的ASN数据库，因为没有经纬度的需求所以没有显示。下文有源代码的链接，如果需要可以自行修改加上经纬度或者将输出变为JSON等。

这里有chrome插件

使用方法

查询当前IPv4地址

$ curl http://cidr.me/ip
x.x.x.x

查询当前IPv6地址

$ curl http://ipv6.cidr.me/ip
x.x.x.x

查询当前IP的PTR记录（反向DNS），地理位置和ASN

$ curl http://cidr.me/
x.x.x.x
Country, City
ASN number

查询当前IP的PTR记录

$ curl http://cidr.me/rdns
x-x-x-x.com

查询指定IP的地理位置

$ curl http://cidr.me/74.125.203.199
74.125.203.199 th-in-f199.1e100.net
United States, California, Mountain View
AS15169 Google Inc.

查询域名的地理位置

$ curl http://cidr.me/www.google.com.hk
172.217.3.195 sea15s12-in-f3.1e100.net
United States, California, Mountain View
AS15169 Google LLC

2607:f8b0:400a:809::2003 sea15s12-in-x03.1e100.net
United States
AS15169 Google LLC

查询域名的IP

$ curl http://cidr.me/www.google.com.hk/ip
74.125.203.199
2607:f8b0:400a:809::2003

查询域名的IP和CNAME（如果存在）

$ curl http://cidr.me/www.youtube.com/dns
youtube-ui.l.google.com 172.217.3.174
172.217.3.206
216.58.193.78
216.58.217.46
2607:f8b0:400a:808::200e

源代码

在这里https://gist.github.com/fffonion/44e5fb59e2a8f0efba5c1965c6043584

需要ngx_http_geoip_module, echo-nginx-module, lua-nginx-module，安装libgeoip，并将maxmind的旧版geoip数据库放在/usr/share/GeoIP

通过bgp.he.net生成ASN数据库

Category Archives