使用Python的Tornado框架實現(xiàn)一個簡單的WebQQ機器人
我打算將WebQQ單獨出來運行, 一開始直接拷貝了pyxmpp2的mainloop, 但是跑起來問題多多, 所以我又研究了利用Tornado進行網(wǎng)絡(luò)編程(這里), 所以我放棄了Pyxmpp2的mainloop,使用Tornado進行重寫
首先放出項目代碼
引子
WebQQ協(xié)議是一套基于HTTP的QQ協(xié)議, 而用Python的urllib2庫進行請求太慢, 因為HTTP本身就使用socket請求, 所以改用多路復(fù)用I/O模型, 而Tornado簡單高效, 看過代碼后可以輕松上手.平臺兼容性很好, 所以選擇Tornado作為網(wǎng)絡(luò)框架.
原理
首先實現(xiàn)了一個 HTTPStream類, 其主要接口是add_request方法, 它接受一個必選參數(shù):request 是一個 urllib2.Request的實例, 和一個可選參數(shù):readback是一個接受一個urllib2.urlopen(request)返回的Response參數(shù)的讀取函數(shù), 代碼如下:
class HTTPStream(object): # 省略若干代碼 def add_request(self, request, readback = None): if not isinstance(request, urllib2.Request): raise ValueError, "Not a invaid requset" # 此處易觸發(fā)timeout異常, 省略處理異常代碼 sock, data = self.http_sock.make_http_sock_data(request) fd = sock.fileno() self.fd_map[fd] = sock self.fd_request_map[fd] = request callback = partial(self._handle_events, request, data, readback) self.ioloop.add_handler(fd, callback, IOLoop.WRITE)
HTTPStream.add_request將urllib2.Request的實例解析出一個socket和一個用于socket發(fā)送的數(shù)據(jù).前面文章介紹過了, tornado.ioloop.IOLoop.add_handler用于將注冊socket, 其需要三個參數(shù): socket的文件描述符, 接受文件描述符和事件參數(shù)的回調(diào), 和注冊的事件.
我們用到的回調(diào)是HTTPStream._handle_events:
class HTTPStream(object): # 省略若干代碼 def _handle_events(self, request, data, readback, fd, event): """ 用于處理Tornado事件 Arguments: `request` - urllib.Request `data` - socket要寫入的數(shù)據(jù) `readback` - 讀取函數(shù) 以上參數(shù)應(yīng)當(dāng)使用partial封裝然后將此方法作為IOLoop.add_handler的callback `fd` - IOLoop傳遞 文件描述符 `event` - IOLoop傳遞 tornado """ s = self.fd_map[fd] if event & IOLoop.READ: # 省略錯誤處理 resp = self.http_sock.make_response(s, request) args = readback(resp) s.setblocking(False) if args and len(args) == 3: t = threading.Thread(target = self.add_delay_request, args = args) t.setDaemon(True) t.start() if args and len(args) == 2: self.add_request(*args) self.ioloop.remove_handler(fd) if event & IOLoop.WRITE: s.sendall(data) if readback: self.ioloop.update_handler(fd, IOLoop.READ) else: self.ioloop.remove_handler(fd) if event & IOLoop.ERROR: pass
它接受的參數(shù)上面注釋寫的很清楚, 不做解釋, 所以將此方法通過functools.partial封裝做為callback傳遞給tornado.ioloop.IOLoop.add_handler, 并注冊為寫事件, 以便發(fā)送HTTP請求.
HTTPStream._handle_events用于處理事件, 當(dāng)事件為寫時就發(fā)送HTTP請求(根據(jù)urllib2.Request生成的用于發(fā)送的數(shù)據(jù)), 并判斷是否有讀取函數(shù), 有則注冊讀事件, 當(dāng)事件為讀時就從socket中構(gòu)建一個Response并傳遞給讀取函數(shù), 讀取函數(shù)會返回3個值, 分別為: 下一個請求, 請求的讀取函數(shù)(可為None, 為None則只請求不讀取), 下一個請求的延遲(多長事件后添加此請求, 可選, 單位為秒)
依據(jù)讀取函數(shù)返回的三個值來確定下一個請求, 并完成一系列的請求. 更加完整的代碼請參見文章開頭給出的項目代碼
HTTPStream.http_sock.make_response執(zhí)行時會將socket設(shè)為阻塞, 因為不設(shè)置阻塞會出現(xiàn)httplib.BadStatusLine異常.讀取函數(shù)執(zhí)行完畢,重新將socket設(shè)置為非阻塞, 并移除此socket(雖然做了這樣的處理但是QQ連接時間稍長還是會觸發(fā)httplib.BadStatusLine異常)
相關(guān)文章
Python函數(shù)參數(shù)類型及排序原理總結(jié)
這篇文章主要介紹了Python函數(shù)參數(shù)類型及排序原理總結(jié),文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2019-12-12python動態(tài)網(wǎng)站爬蟲實戰(zhàn)(requests+xpath+demjson+redis)
本文主要介紹了python動態(tài)網(wǎng)站爬蟲實戰(zhàn)(requests+xpath+demjson+redis),文中通過示例代碼介紹的非常詳細(xì),具有一定的參考價值,感興趣的小伙伴們可以參考一下2021-09-09pandas的排序、分組groupby及cumsum累計求和方式
這篇文章主要介紹了pandas的排序、分組groupby及cumsum累計求和方式,具有很好的參考價值,希望對大家有所幫助。如有錯誤或未考慮完全的地方,望不吝賜教2022-05-05python3中_from...import...與import?...之間的區(qū)別詳解(包/模塊)
Python編碼第一步是導(dǎo)入模塊,有時候用import?***有時候用from...import,下面這篇文章主要給大家介紹了關(guān)于python3中_from...import...與import?...之間區(qū)別的相關(guān)資料,需要的朋友可以參考下2022-08-08在anaconda中配置graphviz包的詳細(xì)過程
graphviz是貝爾實驗室開發(fā)的一個開源的工具包,它使用一個特定的DSL(領(lǐng)域特定語言):dot作為腳本語言,然后使用布局引擎來解析此腳本,并完成自動布局,這篇文章主要介紹了如何在anaconda中配置graphviz包,需要的朋友可以參考下2023-02-02TorchVision Transforms API目標(biāo)檢測實例語義分割視頻類
這篇文章主要為大家介紹了TorchVision Transforms API大升級,支持目標(biāo)檢測、實例/語義分割及視頻類任務(wù)示例詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪2022-11-11