Tornado 多進程實現(xiàn)分析詳解
引子
Tornado 是一個網(wǎng)絡(luò)異步的的web開發(fā)框架, 并且可以利用多進程進行提高效率, 下面是創(chuàng)建一個多進程 tornado 程序的例子.
#!/usr/bin/env python # -*- coding:utf-8 -*- import os import time import tornado.web import tornado.httpserver import tornado.ioloop import tornado.netutil import tornado.process class LongHandler(tornado.web.RequestHandler): def get(self): self.write(str(os.getpid())) time.sleep(10) if __name__ == "__main__": app = tornado.web.Application(([r'/', LongHandler], )) sockets = tornado.netutil.bind_sockets(8090) tornado.process.fork_processes(2) server = tornado.httpserver.HTTPServer(app) server.add_sockets(sockets) tornado.ioloop.IOLoop.instance().start()
上面代碼使用 tornado.process.fork_processes 創(chuàng)建了2個子進程, 同時用時訪問這個 服務(wù)兩次, 分別會返回兩個相鄰的pid. 可以看到 tornado 確實使用了兩個進程來同時完成任務(wù).
我一直很好奇 tornado 是如何將請求調(diào)度到子進程, 多個子進程又如何不同時處理一個請求呢?
探究
我們首先是調(diào)用 tornado.netutil.bind_sockets 來創(chuàng)建一個 socket(或一個 socket 列表),
接著我們調(diào)用 tornado.process.fork_processes 來 fork 子進程, 閱讀此函數(shù)的代碼會發(fā)現(xiàn)這個函數(shù)僅僅是創(chuàng)建子進程, 然后主進程負責(zé)等待子進程, 如果子進 程退出則會根據(jù)條件重啟子進程, 如果子進程全部退出并不符合重啟條件,則主進程退出.
調(diào)用這個函數(shù)之后, 子進程中函數(shù)會返回, 子進程則繼續(xù)執(zhí)行調(diào)用這個函數(shù)之后的代碼.
我們在 fork 子進程后做了如下操作.
server = tornado.httpserver.HTTPServer(app) server.add_sockets(sockets) tornado.ioloop.IOLoop.instance().start()
我們先看看 tornado.httpserver.HTTPServer.add_sockets 發(fā)現(xiàn) HTTPServer是繼承的 tornado.netutil.TCPServer , add_sockets 也是實現(xiàn)在 TCPServer 中
tornado.netutil.TCPServer.add_sockets
def add_sockets(self, sockets): if self.io_loop is None: self.io_loop = IOLoop.instance() for sock in sockets: self._sockets[sock.fileno()] = sock add_accept_handler(sock, self._handle_connection, io_loop=self.io_loop)
主要是映射了下 socket 和 socket 對應(yīng)的文件描述符, 我們看看它調(diào)用的 add_accept_handler
def add_accept_handler(sock, callback, io_loop=None): if io_loop is None: io_loop = IOLoop.instance() def accept_handler(fd, events): while True: try: connection, address = sock.accept() except socket.error as e: if e.args[0] in (errno.EWOULDBLOCK, errno.EAGAIN): return raise callback(connection, address) io_loop.add_handler(sock.fileno(), accept_handler, IOLoop.READ)
我們知道 I/O多路復(fù)用 在處理服務(wù)端 socket 時, 當(dāng)有連接請求過來時, 會觸發(fā) 可讀的事件, 此函數(shù)將 socket 在主事件循環(huán)中注冊讀事件(IOLoop.READ), 它的回調(diào) 會創(chuàng)建連接, 我注意到回調(diào)里的異常捕獲有這樣幾行
if e.args[0] in (errno.EWOULDBLOCK, errno.EAGAIN): return raise
發(fā)現(xiàn)在創(chuàng)建連接的時候會跳過這個異常呢, 為什么?那么 EWOULDBLOCK 和 EAGAIN是是什么呢? 通過查找知道它的意思是在非阻塞模式下, 不需要重讀或重寫, EAGAIN 是 EWOULDBLOCK 在 Windows 上的名字, 所以看到這里就很明確了.
結(jié)論
Tornado 多進程的處理流程是先創(chuàng)建 socket, 然后再 fork 子進程, 這樣所有的子進程實際都監(jiān)聽 一個(或多個)文件描述符, 也就是都在監(jiān)聽同樣的 socket.
當(dāng)連接過來所有的子進程都會收到可讀事件, 這時候所有的子進程都會跳到 accept_handler 回調(diào)函數(shù), 嘗試建立連接.
一旦其中一個子進程成功的建立了連接, 當(dāng)其他子進程再嘗試建立這個連接的時候就會觸發(fā) EWOULDBLOCK (或 EAGAIN) 錯誤. 這時候回調(diào)函數(shù)判斷是這個錯誤則返回函數(shù)不做處理.
當(dāng)成功建立連接的子進程還在處理這個連接的時候又過來一個連接, 這時候就會有另外一個 子進程接手這個連接.
Tornado 就是通過這樣一種機制, 利用多進程提升效率, 由于連接只能由一個子進程成功創(chuàng)建, 同一個請求也就不會被多個子進程處理.
后記
寫完才發(fā)現(xiàn), 我所使用的代碼是 tornado-2.4.post2 版本, 當(dāng)前最新代碼是 3.3.0, 查看了下最新代碼, 最新代碼 TCPServer 寫到單獨 tornado.tcpserver 里了, 其他和本文 相關(guān)的并沒有什么大的變化.
Category:PythonTagged:Pythonfork_processestornado多進程web提升效率
以上就是本文關(guān)于Tornado 多進程實現(xiàn)分析詳解的全部內(nèi)容,希望對大家有所幫助。感興趣的朋友可以繼續(xù)參閱本站其他相關(guān)專題,如有不足之處,歡迎留言指出。感謝朋友們對本站的支持!
相關(guān)文章
python?pandas創(chuàng)建多層索引MultiIndex的6種方式
這篇文章主要為大家介紹了python?pandas創(chuàng)建多層索引MultiIndex的6種方式,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪2022-07-07如何用六步教會你使用python爬蟲爬取數(shù)據(jù)
網(wǎng)絡(luò)爬蟲就是按照一定規(guī)則自動訪問互聯(lián)網(wǎng)上的信息并把內(nèi)容下載下來的程序或腳本,下面這篇文章主要給大家介紹了關(guān)于如何用六步教會你使用python爬蟲爬取數(shù)據(jù)的相關(guān)資料,需要的朋友可以參考下2022-04-04PyCharm插件開發(fā)實踐之PyGetterAndSetter詳解
這篇文章主要介紹了PyCharm插件開發(fā)實踐-PyGetterAndSetter,本文給大家介紹的非常詳細,對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友可以參考下2021-10-10windows下安裝python的C擴展編譯環(huán)境(解決Unable to find vcvarsall.bat)
這篇文章主要介紹了windows下安裝python的C擴展編譯環(huán)境(解決Unable to find vcvarsall.bat),需要的朋友可以參考下2018-02-02Python實現(xiàn)批量把SVG格式轉(zhuǎn)成png、pdf格式的代碼分享
這篇文章主要介紹了Python實現(xiàn)批量把SVG格式轉(zhuǎn)成png、pdf格式的代碼分享,本文代碼需要引用一個第三方模塊cairosvg,需要的朋友可以參考下2014-08-08在Python的Django框架中更新數(shù)據(jù)庫數(shù)據(jù)的方法
這篇文章主要介紹了在Python的Django框架中更新數(shù)據(jù)庫數(shù)據(jù),對此Django框架中提供了便利的插入和更新方法,需要的朋友可以參考下2015-07-07python使用tkinter打造三維繪圖系統(tǒng)的示例代碼
Python?的?tkinter?模塊是一個常用的?GUI(圖形用戶界面)工具包,它能夠讓你創(chuàng)建窗口應(yīng)用程序,你可以使用它來構(gòu)建用戶友好的界面,包括按鈕、標(biāo)簽、文本框、列表框等各種控件,本文講給大家介紹如何使用tkinter打造三維繪圖系統(tǒng),需要的朋友可以參考下2023-08-08