代碼 Archives - 第5頁共25頁 - 論野生技術&二次元

使用Redis協議來調試ngx.shared

on 2018 年 1 月 25 日

0 9962 轉為簡體

有時候用ngx.shared的時候想看一下到底存進去的值是什麼，或者想列一下滿足條件的鍵，或者想批量操作，所以這個項目就是用來解決這個問題的。

Use ngx.shared as a Redis server
https://github.com/fffonion/lua-resty-shdict-server
3 forks.
15 stars.
0 open issues.

Recent commits:

patch: add global shdict patch for 1.17.8.2 and 1.19.3.1, Wangchong Zhou
patch: add global shdict patch for 1.15.8.2, Wangchong Zhou
chore: add ci tests, Wangchong Zhou
fix: typo in redis-commands eval, Wangchong Zhou
doc: update doc, Alliumcepa

除了支持ngx.shared提供的操作以外，學習Redis增加了PING（測試連通性），KEYS（列出符合條件的鍵）和EVAL（在伺服器上執行Lua腳本）。

已上傳到opm，可以通過

opm install fffonion/lua-resty-shdict-server

一鍵安裝。

由於目前stream和http子系統是兩個獨立的Lua VM，因此不能通過全局變數來共享數據。另外兩個子系統的shdict是分別定義的，因此也不能互擼。所以如果想用這個模塊來在redis-cli里擼http子系統下定義的shdict，需要這個補丁。

示例配置：

http {
    lua_shared_dict dog 10m;
}

stream {
    lua_shared_dict dog 10m;
    server {
        listen 6380;
        require "resty.core.shdict"
        require "resty.shdict.redis-commands"
        local srv = require("resty.shdict.server")
        local s = srv:new("a-very-strong-password", "dog")
        s:serve()
}

http {

lua_shared_dict dog 10m;

}

stream {

lua_shared_dict dog 10m;

server {

listen 6380;

require "resty.core.shdict"

require "resty.shdict.redis-commands"

local srv = require("resty.shdict.server")

local s = srv:new("a-very-strong-password", "dog")

s:serve()

}

然後

$ redis-cli -h 127.0.0.1 -p 6380
127.0.0.1:6380> set doge wow
(error) ERR authentication required
127.0.0.1:6380> auth a-very-strong-password
OK
127.0.0.1:6380> set doge wow
OK
127.0.0.1:6380> get doge
wow
127.0.0.1:6380> keys dog*
1) "doge"
127.0.0.1:6380> eval "return shdict.call('del', unpack(shdict.call('keys', ARGV[1])))" 0 dog*
OK
127.0.0.1:18002> keys *
(empty list or set)

$ redis-cli -h 127.0.0.1 -p 6380

127.0.0.1:6380> set doge wow

(error) ERR authentication required

127.0.0.1:6380> auth a-very-strong-password

127.0.0.1:6380> set doge wow

127.0.0.1:6380> get doge

wow

127.0.0.1:6380> keys dog*

1) "doge"

127.0.0.1:6380> eval "return shdict.call('del', unpack(shdict.call('keys', ARGV[1])))" 0 dog*

127.0.0.1:18002> keys *

(empty list or set)

Python局部變數的坑

on 2017 年 11 月 18 日

Python

0 11410 轉為簡體

最近碰到這麼個問題，有這麼個函數，用來將HTML轉義字元變回原來的字元：

def htmlescape(s):
    if sys.version_info[0] == 3: # python 3.x
        unichr = chr
    def replc(match):
        dict={'amp':'&','nbsp':' ','quot':'"','lt':'<','gt':'>','copy':'©','reg':'®'}
        if len(match.groups()) >= 2:
            if match.group(1) == '#':
                return unichr(int(match.group(2)))
            else:
                return dict.get(match.group(2), '?')
    htmlre = re.compile("&(#?)(\d{1,5}|\w{1,8}|[a-z]+);")
    return htmlre.sub(replc, s)

def htmlescape(s):

if sys.version_info[0] == 3: # python 3.x

unichr = chr

def replc(match):

dict={'amp':'&','nbsp':' ','quot':'"','lt':'<','gt':'>','copy':'©','reg':'®'}

if len(match.groups()) >= 2:

if match.group(1) == '#':

return unichr(int(match.group(2)))

else:

return dict.get(match.group(2), '?')

htmlre = re.compile("&(#?)(\d{1,5}|\w{1,8}|[a-z]+);")

return htmlre.sub(replc, s)

其中unichr用來將一個整數轉換成Unicode字元，僅在Python2中存在。Python3中，chr可以同時處理ASCII字元和Unicode字元。所以我們在Python3環境中將unichr映射到chr上。

運行這段代碼會在第8行報錯：NameError: free variable ‘unichr’ referenced before assignment in enclosing scope。而且只有Python2會報錯，Python3不會。

首先從問題上看，報錯的原因是在閉包replc里unichr沒有定義。

但是Python2明明是有unichr這個內置函數的，為啥就變成未定義呢？

ngx_http_geoip_module開啟utf8支持

on 2017 年 11 月 8 日

C/C++

0 8041 轉為簡體

在cidr.me中使用這個模塊時，返回了類似這樣的輸出：

Canada, Quebec, Montr�al

發現有人提過PATCH。於是去喵了一眼源碼，發現有一個文檔里沒有提到的隱藏參數。

可以使用

geoip_city /path/to/geoip_city.dat utf8;

1	geoip_city /path/to/geoip_city.dat utf8;

這樣來啟用utf8。默認是iso-8859-1，或者叫latin-1。

MySQL默認也是latin-1。大概因為是單位元組的，所以大家都愛默認用它；可是除了肉眼可見的字元，別的控制符除了會在終端里用以外並沒有什麼卵用。

還有libzip里默認用的是CP437，是DOS版的單位元組編碼。因為大概只有中文版的windows自帶的壓縮功能會生成GB18030編碼的zip文件，所以還魔改過一個中國特色的libzip。

Sphinx 2.11.1/2.3.2 mmseg patch (coreseek based)

on 2017 年 9 月 22 日

0 9542 轉為簡體

中文版本

This patches include work from nzinfo (add mmseg support) and my patch for Hiragana and Katagana support (see this blog post). The changes can be viewed here.

For Sphinx 2.11.1：Github dl.yooooo.us

For Sphinx 2.3.2：Github dl.yooooo.us

Sphinx 2.2.11和2.3.2的mmseg分詞補丁（基於Coreseek）

on 2017 年 9 月 22 日

C/C++

0 11216 轉為簡體

English Version

補丁包括了nzinfo在coreseek中貢獻的mmseg補丁，以及我提交的日語假名補丁（詳見這篇博客）。詳細更改見這裡。

打上補丁之後，可以使用mmseg來做分詞器。如果是對大篇幅的文章做索引，推薦使用mmseg處理結巴分詞的詞庫來生成一個比較靠譜的詞庫。

Sphinx 2.11.1：Github下載本地下載

Sphinx 2.3.2：Github下載本地下載

cloudflare-partner-cli: using CNAME on cloudflare

on 2017 年 8 月 31 日

0 9228 轉為簡體

Set CNAME to use Cloudflare using the partner program
https://github.com/fffonion/cloudflare-partner-cli
42 forks.
73 stars.
0 open issues.

Recent commits:

fix ssl status check, support http verfication, sort menu order, Alliumcepa
Handle r/w corretly on py3k #1, Alliumcepa
add #!, hide ssl notice if it's already active, Alliumcepa
add host_key_regen, fffonion
support chn menu on windows simplified cdn locale, fffonion

中文版本

This is a CLI program that let you set CNAME to use Cloudflare using the partner program.

Both Python2.x and Python3.x is supported. No extra library is needed.

To use Chinese menu, set environment variable LANG to use UTF-8 (for example, zh_CN.UTF-8).

Usage

Apply for partner program at https://www.cloudflare.com/partners/.
Clone this repository or download script.
Run python ./cloudflare-partner-cli.py.
Enter your host_key. You can get it here.
Enter the account you use to manage domains (your personal account, not partner login account). User key is stored in .cfhost.
Follow the instructions on screen.

Note

Value of resolve_to has to be DNS record (for example: google.com) instead of IP address.

Category Archives