2014 - 論野生技術&二次元

awk(又是awk)高亮顯示nginx日誌

on 2014 年 12 月 21 日

Linux

請叫我awk小(nao)王(can)子(fen)

tail -f /var/log/nginx/access.log|awk '{
if ($9 >= 400)
	$9="\33[1;31m"$9"\33[0m";
else
	$9="\33[1;32m"$9"\33[0m";
$1="\33[1;35m"$1"\33[0m";
$7="\33[33m"$7"\33[0m";
$10="\33[1;36m"$10"\33[0m";
print $0;
}'

tail -f /var/log/nginx/access.log|awk '{

if ($9 >= 400)

$9="\33[1;31m"$9"\33[0m";

else

$9="\33[1;32m"$9"\33[0m";

$1="\33[1;35m"$1"\33[0m";

$7="\33[33m"$7"\33[0m";

$10="\33[1;36m"$10"\33[0m";

print $0;

效果

awk分析日誌統計當日熱門頁面

on 2014 年 12 月 13 日

代碼

0 25651 轉為簡體

不想寫python，而且我比較相信awk+uniq+sort的速度

awk -v date="$(date '+\%d/\%b/\%Y')" '($4 ~ date && $9 ~ /200/ ){print $1,$7}' /var/log/nginx/access.log | sort | uniq |awk '{print $2}'|sort|uniq -c|sort -r|head -n 50

1	awk -v date="$(date '+\%d/\%b/\%Y')" '($4 ~ date && $9 ~ /200/ ){print $1,$7}' /var/log/nginx/access.log \| sort \| uniq \|awk '{print $2}'\|sort\|uniq -c\|sort -r\|head -n 50

cron的~~時區很奇怪，不會調，系統時間是+8，tail /var/log/syslog之後發現是西五區，手動+13小時~~ 可以通過修改localtime，修改完之後重啟service cron（還是重啟系統好了）參閱
Shell

rm /etc/localtime cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

1
2

rm /etc/localtime
cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
第一步取出所有日期是今天且響應是200的請求，打印請求ip和請求uri
第二、三步對(ip uri)排序，去重，單個ip訪問單個頁面只會被記為一次
打印uri，去重，排序，顯示前50個

time計時

52M日誌，26w條

awk -v date="$(date '+%d/%b/%Y')"  /var/log/nginx/access.log  0.14s user 0.01s system 92% cpu 0.159 total
sort  0.00s user 0.00s system 0% cpu 0.156 total
uniq -c  0.00s user 0.00s system 0% cpu 0.145 total
sort  0.00s user 0.00s system 0% cpu 0.136 total
awk '{print $3}'  0.00s user 0.00s system 0% cpu 0.137 total
sort  0.00s user 0.00s system 0% cpu 0.125 total
uniq -c  0.00s user 0.00s system 0% cpu 0.124 total
sort -r  0.00s user 0.00s system 0% cpu 0.114 total
head -n 50  0.00s user 0.00s system 0% cpu 0.113 total

awk -v date="$(date '+%d/%b/%Y')" /var/log/nginx/access.log 0.14s user 0.01s system 92% cpu 0.159 total

sort 0.00s user 0.00s system 0% cpu 0.156 total

uniq -c 0.00s user 0.00s system 0% cpu 0.145 total

sort 0.00s user 0.00s system 0% cpu 0.136 total

awk '{print $3}' 0.00s user 0.00s system 0% cpu 0.137 total

sort 0.00s user 0.00s system 0% cpu 0.125 total

uniq -c 0.00s user 0.00s system 0% cpu 0.124 total

sort -r 0.00s user 0.00s system 0% cpu 0.114 total

head -n 50 0.00s user 0.00s system 0% cpu 0.113 total

134M日誌，加上了兩個自定義條件，65w條

awk '($9 ~ /200/ && $7 !~ /#/){print $1,$7}'   0.70s user 0.09s system 53% cpu 1.457 total
sort  0.03s user 0.01s system 2% cpu 1.530 total
uniq -c  0.02s user 0.00s system 1% cpu 1.530 total
awk '{print $3}'  0.02s user 0.00s system 1% cpu 1.541 total
sort  0.02s user 0.00s system 1% cpu 1.563 total
uniq -c  0.01s user 0.00s system 0% cpu 1.569 total
sort -r  0.01s user 0.00s system 0% cpu 1.568 total
head -n 50  0.00s user 0.00s system 0% cpu 1.567 total

awk '($9 ~ /200/ && $7 !~ /#/){print $1,$7}' 0.70s user 0.09s system 53% cpu 1.457 total

sort 0.03s user 0.01s system 2% cpu 1.530 total

uniq -c 0.02s user 0.00s system 1% cpu 1.530 total

awk '{print $3}' 0.02s user 0.00s system 1% cpu 1.541 total

sort 0.02s user 0.00s system 1% cpu 1.563 total

uniq -c 0.01s user 0.00s system 0% cpu 1.569 total

sort -r 0.01s user 0.00s system 0% cpu 1.568 total

head -n 50 0.00s user 0.00s system 0% cpu 1.567 total

小站可以考慮

在某網站中使用的字幕文件名猜測視頻文件名的算法

on 2014 年 11 月 30 日

2 71191 轉為簡體

覺得有點意思，拿出來和大家一起研究下，歡迎提供更好的建議。

因為爬x手的時候，網頁已經沒了，只能自食其力；用unrar(rarlab上下的，apt-get里的太古老)獲得rar內的文件名，用zipfile模塊列zip包的，抓的時候直接把返回的內容插到數據庫了，沒分析，因為沒那麼多時間去想算法，還是先把dirty data擼下來再說。

然後開始正文了www

按照這麼一個基本思想，字幕文件名除了擴展名以外，其餘部分和視頻文件是一樣的。如果壓縮包裡面只有一個文件，那麼直接就是它去掉擴展名就好了；但是如果有多個版本的字幕（比如eng，GB，BIG5等），那就需要一個字符串最大匹配的算法。←為了裝B取的名字
Read More→

win8平板推黃油時提示Initializing DirectInput failed的解決方案

on 2014 年 11 月 5 日

國家大事

0 15305 轉為簡體

win8平板推黃油時提示Initializing DirectInput failed，插上鼠標就不提示，應該是找不到mouse device的關係

google了一下fake mouse device，第一個結果就找到了答案

11樓寫到

Update-

Enabling “mouse keys”, a Windows accessibility feature, allows games to detect a mouse on touch devices.
http://www.microsoft.com/enable/trai…ic-keypad.aspx

I’m working out which TBS and RTS games work well with touch……

按照渣軟的提示打開了這個黑科技：

右邊角滑出菜單，選擇設置->更改電腦設置
選擇輕鬆使用
選擇鼠標
打開使用數字小鍵盤在屏幕上移動鼠標

就好了lol；win8.1同樣適用

剁手道(又名原道) W8A 隨便寫的評測

on 2014 年 11 月 3 日

po主不想分類

4 12862 轉為簡體

昨天晚上發貨，今天中午就到了，順豐真是全宇宙最快的物流（?

寫篇剁手道的w8a測評

￥499你覺得值不值，請編輯 #剁手#+你的內容發送到106623333參與互動

優酷超清視頻(kux)壓制mkv腳本

on 2014 年 10 月 12 日

代碼

0 7025 轉為簡體

優酷客戶端下載的[超清]清晰度視頻會被保存為kux格式。其實這個格式就是一堆分段的flv。

頭上應該還有索引之類的，懶得分析了其實是分析不出來

因為木有索引，我們只能自己判斷flv段何時開始，何時結束；因為flv文件頭特徵不明顯其實是想裝b，我們需要分析flv的格式。

在參考這篇博客之後，寫了個腳本

def grab(infile, outfile, buff_size = 0x200000, debug = True):
    #flv format http://wuyuans.com/2012/08/flv-format/
    _in = open(infile, 'rb')
    _in.seek(0xe40000) # 第一個flv似乎總是在這個位置開始
    _out = None
    idx = 0xe40000 # 當前偏移量
    cnt = 1
    _ = '\x00' * 11 # setup
    while _:
        if _ == '\x00' * 11:
            if _out: # 不是第一次
                _out.close()
                _out = None
            idx = math.ceil(idx / 0x40000) * 0x40000 # flv的起始位置是0x40000對齊的
            _in.seek(idx)
            _h = _in.read(9 + 4) # 頭 9b，前一個tag 4b
            if _h.strip('\x00') != '' and _h[:3] == 'FLV': # 看開頭是不是FLV
                _out = open(outfile[:-4] + '_%d.flv' % cnt, 'wb')
                print('New flv(%dp) @0x%08X%s' % (cnt, idx, ' ' * 20))
                _out.write(_h)
                idx += 9 + 4
                cnt += 1
        else:
            tagtype, length = struct.unpack('b3s7x', _) # 我們只關心tag類型(其實也可以不用關係)和數據長度
            length = _byte2ui24(length) # 3字節轉uint24
            if debug:
                print('TAG:%6s 0x%06X @0x%08X-0x%08X%s' % (TAG_TYPE[tagtype], length, idx, idx + length + 4, '\b' * 42), end = '')
            idx += length + 4
            _ = _in.read(length + 4) #data, pre tag size
            _out.write(_)
 
        #next tag
        _ = _in.read(11)
        if _out:
            _out.write(_)
        idx += 11
 
    _in.close()
    #_out.close()# out is already closed
    return cnt - 1

def grab(infile, outfile, buff_size = 0x200000, debug = True):

#flv format http://wuyuans.com/2012/08/flv-format/

_in = open(infile, 'rb')

_in.seek(0xe40000) # 第一個flv似乎總是在這個位置開始

_out = None

idx = 0xe40000 # 當前偏移量

cnt = 1

_ = '\x00' * 11 # setup

while _:

if _ == '\x00' * 11:

if _out: # 不是第一次

_out.close()

_out = None

idx = math.ceil(idx / 0x40000) * 0x40000 # flv的起始位置是0x40000對齊的

_in.seek(idx)

_h = _in.read(9 + 4) # 頭 9b，前一個tag 4b

if _h.strip('\x00') != '' and _h[:3] == 'FLV': # 看開頭是不是FLV

_out = open(outfile[:-4] + '_%d.flv' % cnt, 'wb')

print('New flv(%dp) @0x%08X%s' % (cnt, idx, ' ' * 20))

_out.write(_h)

idx += 9 + 4

cnt += 1

else:

tagtype, length = struct.unpack('b3s7x', _) # 我們只關心tag類型(其實也可以不用關係)和數據長度

length = _byte2ui24(length) # 3字節轉uint24

if debug:

print('TAG:%6s 0x%06X @0x%08X-0x%08X%s' % (TAG_TYPE[tagtype], length, idx, idx + length + 4, '\b' * 42), end = '')

idx += length + 4

_ = _in.read(length + 4) #data, pre tag size

_out.write(_)

#next tag

_ = _in.read(11)

if _out:

_out.write(_)

idx += 11

_in.close()

#_out.close()# out is already closed

return cnt - 1

拖出了所有flv之後，我們用mkvmerge來合體

完整腳本在gist上可以找到

解包之後很有快感啊

Yearly Archives