论野生技术&二次元 - 第4页共30页

lua-resty-multiplexer: 端口服务复用

on 2018 年 4 月 10 日

Transparent port service multiplexer for stream subsystem
https://github.com/fffonion/lua-resty-multiplexer
14 forks.
58 stars.
1 open issues.

Recent commits:

doc(readme) fix example with correct version, Wangchong Zhou
release: 0.02, Wangchong Zhou
feat: support openresty 1.15.8 and later, Wangchong Zhou
fix(*) wait both upload and download coroutines to exit,add timeout options, add backwards compatibility, Alliumcepa
chore: update README and dist.ini, Alliumcepa

实现了一个端口服务复用的透明代理，可以在同一个端口上运行多个协议。根据每次连接中客户端发起的首个请求检测协议，根据协议或各种条件选择代理的上游。

需要打一个补丁。由@fcicq在这个讨论中贡献。这个补丁实现了BSD的socket recv()语义。目前官方也有这个feature的PR。

示例配置：

stream {
    init_by_lua_block {
        local mul = require("resty.multiplexer")
        mul.load_protocols(
            "http", "ssh", "dns", "tls", "xmpp"
        )
        mul.set_rules(
            {{"client-host", "10.0.0.1"}, "internal-host", 80},
            {{"protocol", "http"}, {"client-host", "10.0.0.2"}, "internal-host", 8001},
            {{"protocol", "http"}, "example.com", 80},
            {{"protocol", "ssh"}, "github.com", 22},
            {{"protocol", "dns"}, "1.1.1.1", 53},
            {{"protocol", "tls"}, {"time", nil}, "twitter.com", 443},
            {{"protocol", "tls"}, "www.google.com", 443},
            {{"default", nil}, "127.0.0.1", 80}
        )
        mul.matcher_config.time = {
            minute_match = {0, 30},
            minute_not_match = {{31, 59}},
        }
    }

    resolver 8.8.8.8;

    server {
        listen 80;
        content_by_lua_block {
            local mul = require("resty.multiplexer")
            local mp = mul:new()
            mp:run()
        }
    }
}

stream {

init_by_lua_block {

local mul = require("resty.multiplexer")

mul.load_protocols(

"http", "ssh", "dns", "tls", "xmpp"

)

mul.set_rules(

{{"client-host", "10.0.0.1"}, "internal-host", 80},

{{"protocol", "http"}, {"client-host", "10.0.0.2"}, "internal-host", 8001},

{{"protocol", "http"}, "example.com", 80},

{{"protocol", "ssh"}, "github.com", 22},

{{"protocol", "dns"}, "1.1.1.1", 53},

{{"protocol", "tls"}, {"time", nil}, "twitter.com", 443},

{{"protocol", "tls"}, "www.google.com", 443},

{{"default", nil}, "127.0.0.1", 80}

)

mul.matcher_config.time = {

minute_match = {0, 30},

minute_not_match = {{31, 59}},

}

resolver 8.8.8.8;

server {

listen 80;

content_by_lua_block {

local mul = require("resty.multiplexer")

local mp = mul:new()

mp:run()

}

示例中服务监听在80端口，并定义规则：

如果客户端来自 10.0.0.1，代理到 internal-host.com:80
如果请求协议是HTTP 而且客户端来自10.0.0.2，代理到 internal-host:8001
如果请求协议是 SSH，代理到 github.com:22
如果请求协议是 DNS，代理到 1.1.1.1:53
如果请求协议是 SSL/TLS 而且现在的时间是 0 到 30分，代理到 twitter.com:443
如果请求协议是 SSL/TLS 而且现在的时间是 31 到 59分，代理到 www.google.com:443
以上均不满足，代理到 127.0.0.1:80

说明

只能实现识别连接建立后客户端先发送请求的协议，不兼容服务端先发送响应的协议（比如FTP，SMTP等）
如果实现了ngx.reqsock.peak()，则可以使用ngx_stream_proxy来转发流量，这样的话除了首个请求以外同一连接的后续请求将没有额外的性能损失；目前只能在Lua层转发。

Airmail解除网易邮箱屏蔽

on 2018 年 3 月 29 日

po主不想分类

0 8810 转为繁体

添加IMAP账户，如图所示

添加账户之后Airmail表示收不到任何邮件
打开这个网址http://config.mail.163.com/settings/imap/[email protected]，将uid后面改成自己的邮箱
按照页面提示，解除对第三方客户端对屏蔽

我为什么还在用这么辣鸡的网易邮箱

在Windows中使用命令行发起HTTP请求

on 2018 年 2 月 7 日

Windows

0 13597 转为繁体

在开发mpv的插件时，需要发起http请求，但是mpv并没有提供HTTP的api。

因此我们可以用VBScript或者PowerShell来发起请求。

运行cscript /nologo httpget.vbs “http://example.com”

args = WScript.Arguments.Count
if args <> 1 then
  wscript.Quit
end if

URL = WScript.Arguments.Item(0)
Set xmlhttp = CreateObject("Microsoft.XmlHttp")  
xmlhttp.open "GET", URL, false
xmlhttp.setRequestHeader "User-Agent",  "cscript/1.0"
xmlhttp.send

WScript.Echo xmlhttp.responseText

args = WScript.Arguments.Count

if args <> 1 then

wscript.Quit

end if

URL = WScript.Arguments.Item(0)

Set xmlhttp = CreateObject("Microsoft.XmlHttp")

xmlhttp.open "GET", URL, false

xmlhttp.setRequestHeader "User-Agent", "cscript/1.0"

xmlhttp.send

WScript.Echo xmlhttp.responseText

或者：

powershell (Invoke-WebRequest -UserAgent Ps/1.0  -URI "http://example.com").content

1	powershell (Invoke-WebRequest -UserAgent Ps/1.0 -URI "http://example.com").content

这两种方法均可以将响应输出到stdout。Windows会将输出的内容都重新编码为系统默认代码页，比如简体中文系统中会被编码为CP936。但是我们有时只想获得原始的内容，而不是便于显示在屏幕上的内容（比如下载文件或者不便于进行编码转换的时候）。

所以我们可以将响应输出到文件：

args = WScript.Arguments.Count
if args <> 1 then
  wscript.Quit
end if

URL = WScript.Arguments.Item(0)

Set xmlhttp = CreateObject("Microsoft.XmlHttp")  
xmlhttp.open "GET", URL, false
xmlhttp.setRequestHeader "User-Agent",  "cscript/1.0"
xmlhttp.send

Set oStream = CreateObject("ADODB.Stream")
With oStream
	.Type = 1 'adTypeBinary
	.Open
	.Write xmlhttp.responseBody 'to save binary data
	.SaveToFile "out.txt", 2 'adSaveCreateOverWrite
End With

Set oStream = Nothing
Set ret = Nothing

args = WScript.Arguments.Count

if args <> 1 then

wscript.Quit

end if

URL = WScript.Arguments.Item(0)

Set xmlhttp = CreateObject("Microsoft.XmlHttp")

xmlhttp.open "GET", URL, false

xmlhttp.setRequestHeader "User-Agent", "cscript/1.0"

xmlhttp.send

Set oStream = CreateObject("ADODB.Stream")

With oStream

.Type = 1 'adTypeBinary

.Open

.Write xmlhttp.responseBody 'to save binary data

.SaveToFile "out.txt", 2 'adSaveCreateOverWrite

End With

Set oStream = Nothing

Set ret = Nothing

或者：

powershell Invoke-WebRequest -UserAgent Ps/1.0  -URI "http://example.com" -Outfile out.txt

1	powershell Invoke-WebRequest -UserAgent Ps/1.0 -URI "http://example.com" -Outfile out.txt

然后我们读取out.txt就可以获得响应内容了。

使用Redis协议来调试ngx.shared

on 2018 年 1 月 25 日

0 8029 转为繁体

有时候用ngx.shared的时候想看一下到底存进去的值是什么，或者想列一下满足条件的键，或者想批量操作，所以这个项目就是用来解决这个问题的。

Use ngx.shared as a Redis server
https://github.com/fffonion/lua-resty-shdict-server
3 forks.
14 stars.
0 open issues.

Recent commits:

patch: add global shdict patch for 1.17.8.2 and 1.19.3.1, Wangchong Zhou
patch: add global shdict patch for 1.15.8.2, Wangchong Zhou
chore: add ci tests, Wangchong Zhou
fix: typo in redis-commands eval, Wangchong Zhou
doc: update doc, Alliumcepa

除了支持ngx.shared提供的操作以外，学习Redis增加了PING（测试连通性），KEYS（列出符合条件的键）和EVAL（在服务器上执行Lua脚本）。

已上传到opm，可以通过

opm install fffonion/lua-resty-shdict-server

一键安装。

由于目前stream和http子系统是两个独立的Lua VM，因此不能通过全局变量来共享数据。另外两个子系统的shdict是分别定义的，因此也不能互撸。所以如果想用这个模块来在redis-cli里撸http子系统下定义的shdict，需要这个补丁。

示例配置：

http {
    lua_shared_dict dog 10m;
}

stream {
    lua_shared_dict dog 10m;
    server {
        listen 6380;
        require "resty.core.shdict"
        require "resty.shdict.redis-commands"
        local srv = require("resty.shdict.server")
        local s = srv:new("a-very-strong-password", "dog")
        s:serve()
}

http {

lua_shared_dict dog 10m;

}

stream {

lua_shared_dict dog 10m;

server {

listen 6380;

require "resty.core.shdict"

require "resty.shdict.redis-commands"

local srv = require("resty.shdict.server")

local s = srv:new("a-very-strong-password", "dog")

s:serve()

}

然后

$ redis-cli -h 127.0.0.1 -p 6380
127.0.0.1:6380> set doge wow
(error) ERR authentication required
127.0.0.1:6380> auth a-very-strong-password
OK
127.0.0.1:6380> set doge wow
OK
127.0.0.1:6380> get doge
wow
127.0.0.1:6380> keys dog*
1) "doge"
127.0.0.1:6380> eval "return shdict.call('del', unpack(shdict.call('keys', ARGV[1])))" 0 dog*
OK
127.0.0.1:18002> keys *
(empty list or set)

$ redis-cli -h 127.0.0.1 -p 6380

127.0.0.1:6380> set doge wow

(error) ERR authentication required

127.0.0.1:6380> auth a-very-strong-password

127.0.0.1:6380> set doge wow

127.0.0.1:6380> get doge

wow

127.0.0.1:6380> keys dog*

1) "doge"

127.0.0.1:6380> eval "return shdict.call('del', unpack(shdict.call('keys', ARGV[1])))" 0 dog*

127.0.0.1:18002> keys *

(empty list or set)

Python局部变量的坑

on 2017 年 11 月 18 日

Python

0 9305 转为繁体

最近碰到这么个问题，有这么个函数，用来将HTML转义字符变回原来的字符：

def htmlescape(s):
    if sys.version_info[0] == 3: # python 3.x
        unichr = chr
    def replc(match):
        dict={'amp':'&','nbsp':' ','quot':'"','lt':'<','gt':'>','copy':'©','reg':'®'}
        if len(match.groups()) >= 2:
            if match.group(1) == '#':
                return unichr(int(match.group(2)))
            else:
                return dict.get(match.group(2), '?')
    htmlre = re.compile("&(#?)(\d{1,5}|\w{1,8}|[a-z]+);")
    return htmlre.sub(replc, s)

def htmlescape(s):

if sys.version_info[0] == 3: # python 3.x

unichr = chr

def replc(match):

if len(match.groups()) >= 2:

if match.group(1) == '#':

return unichr(int(match.group(2)))

else:

return dict.get(match.group(2), '?')

htmlre = re.compile("&(#?)(\d{1,5}|\w{1,8}|[a-z]+);")

return htmlre.sub(replc, s)

其中unichr用来将一个整数转换成Unicode字符，仅在Python2中存在。Python3中，chr可以同时处理ASCII字符和Unicode字符。所以我们在Python3环境中将unichr映射到chr上。

运行这段代码会在第8行报错：NameError: free variable ‘unichr’ referenced before assignment in enclosing scope。而且只有Python2会报错，Python3不会。

首先从问题上看，报错的原因是在闭包replc里unichr没有定义。

但是Python2明明是有unichr这个内置函数的，为啥就变成未定义呢？

ngx_http_geoip_module开启utf8支持

on 2017 年 11 月 8 日

C/C++

0 6377 转为繁体

在cidr.me中使用这个模块时，返回了类似这样的输出：

Canada, Quebec, Montr�al

发现有人提过PATCH。于是去喵了一眼源码，发现有一个文档里没有提到的隐藏参数。

可以使用

geoip_city /path/to/geoip_city.dat utf8;

1	geoip_city /path/to/geoip_city.dat utf8;

这样来启用utf8。默认是iso-8859-1，或者叫latin-1。

MySQL默认也是latin-1。大概因为是单字节的，所以大家都爱默认用它；可是除了肉眼可见的字符，别的控制符除了会在终端里用以外并没有什么卵用。

还有libzip里默认用的是CP437，是DOS版的单字节编码。因为大概只有中文版的windows自带的压缩功能会生成GB18030编码的zip文件，所以还魔改过一个中国特色的libzip。