亚洲乱码中文字幕综合,中国熟女仑乱hd,亚洲精品乱拍国产一区二区三区,一本大道卡一卡二卡三乱码全集资源,又粗又黄又硬又爽的免费视频

Tornado 多進程實現(xiàn)分析詳解

 更新時間:2018年01月12日 11:49:28   作者:mingz2013  
這篇文章主要介紹了Tornado 多進程實現(xiàn)分析詳解,具有一定借鑒價值,需要的朋友可以參考下

引子

Tornado 是一個網(wǎng)絡(luò)異步的的web開發(fā)框架, 并且可以利用多進程進行提高效率, 下面是創(chuàng)建一個多進程 tornado 程序的例子.

#!/usr/bin/env python
# -*- coding:utf-8 -*-
import os
import time

import tornado.web
import tornado.httpserver
import tornado.ioloop
import tornado.netutil
import tornado.process


class LongHandler(tornado.web.RequestHandler):

	def get(self):
		self.write(str(os.getpid()))
		time.sleep(10)


if __name__ == "__main__":
	app = tornado.web.Application(([r'/', LongHandler], ))
	sockets = tornado.netutil.bind_sockets(8090)
	tornado.process.fork_processes(2)
	server = tornado.httpserver.HTTPServer(app)
	server.add_sockets(sockets)
	tornado.ioloop.IOLoop.instance().start()

上面代碼使用 tornado.process.fork_processes 創(chuàng)建了2個子進程, 同時用時訪問這個 服務(wù)兩次, 分別會返回兩個相鄰的pid. 可以看到 tornado 確實使用了兩個進程來同時完成任務(wù).

我一直很好奇 tornado 是如何將請求調(diào)度到子進程, 多個子進程又如何不同時處理一個請求呢?

探究

我們首先是調(diào)用 tornado.netutil.bind_sockets 來創(chuàng)建一個 socket(或一個 socket 列表),

接著我們調(diào)用 tornado.process.fork_processes 來 fork 子進程, 閱讀此函數(shù)的代碼會發(fā)現(xiàn)這個函數(shù)僅僅是創(chuàng)建子進程, 然后主進程負責(zé)等待子進程, 如果子進 程退出則會根據(jù)條件重啟子進程, 如果子進程全部退出并不符合重啟條件,則主進程退出.

調(diào)用這個函數(shù)之后, 子進程中函數(shù)會返回, 子進程則繼續(xù)執(zhí)行調(diào)用這個函數(shù)之后的代碼.

我們在 fork 子進程后做了如下操作.

server = tornado.httpserver.HTTPServer(app)
  server.add_sockets(sockets)
  tornado.ioloop.IOLoop.instance().start()

我們先看看 tornado.httpserver.HTTPServer.add_sockets 發(fā)現(xiàn) HTTPServer是繼承的 tornado.netutil.TCPServer , add_sockets 也是實現(xiàn)在 TCPServer 中

tornado.netutil.TCPServer.add_sockets

def add_sockets(self, sockets):
		if self.io_loop is None:
			self.io_loop = IOLoop.instance()

		for sock in sockets:
			self._sockets[sock.fileno()] = sock
			add_accept_handler(sock, self._handle_connection,
							  io_loop=self.io_loop)

主要是映射了下 socket 和 socket 對應(yīng)的文件描述符, 我們看看它調(diào)用的 add_accept_handler

def add_accept_handler(sock, callback, io_loop=None):
	if io_loop is None:
		io_loop = IOLoop.instance()

	def accept_handler(fd, events):
		while True:
			try:
				connection, address = sock.accept()
			except socket.error as e:
				if e.args[0] in (errno.EWOULDBLOCK, errno.EAGAIN):
					return
				raise
			callback(connection, address)
	io_loop.add_handler(sock.fileno(), accept_handler, IOLoop.READ)

我們知道 I/O多路復(fù)用 在處理服務(wù)端 socket 時, 當(dāng)有連接請求過來時, 會觸發(fā) 可讀的事件, 此函數(shù)將 socket 在主事件循環(huán)中注冊讀事件(IOLoop.READ), 它的回調(diào) 會創(chuàng)建連接, 我注意到回調(diào)里的異常捕獲有這樣幾行

if e.args[0] in (errno.EWOULDBLOCK, errno.EAGAIN):
          return
        raise

發(fā)現(xiàn)在創(chuàng)建連接的時候會跳過這個異常呢, 為什么?那么 EWOULDBLOCK 和 EAGAIN是是什么呢? 通過查找知道它的意思是在非阻塞模式下, 不需要重讀或重寫, EAGAIN 是 EWOULDBLOCK 在 Windows 上的名字, 所以看到這里就很明確了.

結(jié)論

Tornado 多進程的處理流程是先創(chuàng)建 socket, 然后再 fork 子進程, 這樣所有的子進程實際都監(jiān)聽 一個(或多個)文件描述符, 也就是都在監(jiān)聽同樣的 socket.

當(dāng)連接過來所有的子進程都會收到可讀事件, 這時候所有的子進程都會跳到 accept_handler 回調(diào)函數(shù), 嘗試建立連接.

一旦其中一個子進程成功的建立了連接, 當(dāng)其他子進程再嘗試建立這個連接的時候就會觸發(fā) EWOULDBLOCK (或 EAGAIN) 錯誤. 這時候回調(diào)函數(shù)判斷是這個錯誤則返回函數(shù)不做處理.

當(dāng)成功建立連接的子進程還在處理這個連接的時候又過來一個連接, 這時候就會有另外一個 子進程接手這個連接.

Tornado 就是通過這樣一種機制, 利用多進程提升效率, 由于連接只能由一個子進程成功創(chuàng)建, 同一個請求也就不會被多個子進程處理.

后記

寫完才發(fā)現(xiàn), 我所使用的代碼是 tornado-2.4.post2 版本, 當(dāng)前最新代碼是 3.3.0, 查看了下最新代碼, 最新代碼 TCPServer 寫到單獨 tornado.tcpserver 里了, 其他和本文 相關(guān)的并沒有什么大的變化.

Category:PythonTagged:Pythonfork_processestornado多進程web提升效率

以上就是本文關(guān)于Tornado 多進程實現(xiàn)分析詳解的全部內(nèi)容,希望對大家有所幫助。感興趣的朋友可以繼續(xù)參閱本站其他相關(guān)專題,如有不足之處,歡迎留言指出。感謝朋友們對本站的支持!

相關(guān)文章

最新評論