Python Web服務(wù)器Tornado使用小結(jié)

更新時(shí)間：2014年05月06日 11:00:42 作者：

最近在做一個(gè)網(wǎng)站的后端開發(fā)。因?yàn)槌跗谥挥形乙粋€(gè)人做，所以技術(shù)選擇上很自由。在 web 服務(wù)器上我選擇了 Tornado。雖然曾經(jīng)也讀過它的源碼，并做過一些小的 demo，但畢竟這是第一次在工作中使用，難免又發(fā)現(xiàn)了一些值得分享的東西

首先想說的是它的安全性，這方面確實(shí)能讓我感受到它的良苦用心。這主要可以分為兩點(diǎn)：

一、防范跨站偽造請(qǐng)求（Cross-site request forgery，簡稱 CSRF 或 XSRF）

CSRF 的意思簡單來說就是，攻擊者偽造真實(shí)用戶來發(fā)送請(qǐng)求。

舉例來說，假設(shè)某個(gè)銀行網(wǎng)站有這樣的 URL：
http://bank.example.com/withdraw?amount=1000000&for=Eve
當(dāng)這個(gè)銀行網(wǎng)站的用戶訪問該 URL 時(shí)，就會(huì)給 Eve 這名用戶一百萬元。用戶當(dāng)然不會(huì)輕易地點(diǎn)擊這個(gè) URL，但是攻擊者可以在其他網(wǎng)站上嵌入一張偽造的圖片，將圖片地址設(shè)為該 URL：
<img src="http://bank.example.com/withdraw?amount=1000000&for=Eve">
那么當(dāng)用戶訪問那個(gè)惡意網(wǎng)站時(shí)，瀏覽器就會(huì)對(duì)該 URL 發(fā)起一個(gè) GET 請(qǐng)求，于是在用戶毫不知情的情況下，一百萬就被轉(zhuǎn)走了。

要防范上述攻擊很簡單，不允許通過 GET 請(qǐng)求來執(zhí)行更改操作（例如轉(zhuǎn)賬）即可。不過其他類型的請(qǐng)求照樣也不安全，假如攻擊者構(gòu)造這樣一個(gè)表單：

復(fù)制代碼代碼如下:

<form action="http://bank.example.com/withdraw" method="post">
    <p>轉(zhuǎn)發(fā)抽獎(jiǎng)送 iPad 啊！</p>
    <input type="hidden" name="amount" value="1000000">
    <input type="hidden" name="for" value="Eve">
    <input type="submit" value="轉(zhuǎn)發(fā)">
</form>

不明真相的用戶點(diǎn)了下“轉(zhuǎn)發(fā)”按鈕，結(jié)果錢就被轉(zhuǎn)走了…

要杜絕這種情況，就需要在非 GET 請(qǐng)求時(shí)添加一個(gè)攻擊者無法偽造的字段，處理請(qǐng)求時(shí)驗(yàn)證這個(gè)字段是否修改過。
Tornado 的處理方法很簡單，在請(qǐng)求中增加了一個(gè)隨機(jī)生成的 _xsrf 字段，并且 cookie 中也增加這個(gè)字段，在接收請(qǐng)求時(shí)，比較這 2 個(gè)字段的值。
由于非本站的網(wǎng)頁是不能獲取或修改 cookie 的，這就保證了 _xsrf 無法被第三方網(wǎng)站偽造（HTTP 嗅探例外）。
當(dāng)然，用戶自己是可以隨意獲取和修改 cookie 的，不過這已經(jīng)不屬于 CSRF 的范疇了：用戶自己偽造自己所做的事情，當(dāng)然由他自己來承擔(dān)。

要使用該功能的話，需要在生成 tornado.web.Application 對(duì)象時(shí)，加上 xsrf_cookies=True 參數(shù)，這會(huì)給用戶生成一個(gè)名為 _xsrf 的 cookie 字段。
此外還需要你在非 GET 請(qǐng)求的表單里加上 xsrf_form_html()，如果不用 Tornado 的模板的話，在 tornado.web.RequestHandler 內(nèi)部可以用 self.xsrf_form_html() 來生成。

對(duì)于 AJAX 請(qǐng)求來說，基本上是不需要擔(dān)心跨站的，所以 Tornado 1.1.1 以前的版本并不對(duì)帶有 X-Requested-With: XMLHTTPRequest 的請(qǐng)求做驗(yàn)證。
后來 Google 的工程師指出，惡意的瀏覽器插件可以偽造跨域 AJAX 請(qǐng)求，所以也應(yīng)該進(jìn)行驗(yàn)證。對(duì)此我不置可否，因?yàn)闉g覽器插件的權(quán)限可以非常大，偽造 cookie 或是直接提交表單都行。
不過解決辦法仍然要說，其實(shí)只要從 cookie 中獲取 _xsrf 字段，然后在 AJAX 請(qǐng)求時(shí)加上這個(gè)參數(shù)，或者放在 X-Xsrftoken 或 X-Csrftoken 請(qǐng)求頭里即可。嫌麻煩的話，可以用 jQuery 的 $.ajaxSetup() 來處理：

復(fù)制代碼代碼如下:

$.ajaxSetup({
    beforeSend: function(jqXHR, settings) {
        type = settings.type
        if (type != 'GET' && type != 'HEAD' && type != 'OPTIONS') {
            var pattern = /(.+; *)?_xsrf *= *([^;" ]+)/;
            var xsrf = pattern.exec(document.cookie);
            if (xsrf) {
                jqXHR.setRequestHeader('X-Xsrftoken', xsrf[2]);
            }
        }
}});

此外再順便談?wù)効缯灸_本（Cross-site scripting，簡稱 XSS）。和 CSRF 相反的是，XSS 是利用被攻擊網(wǎng)站自身的漏洞，在該網(wǎng)站上注入攻擊者想執(zhí)行的腳本代碼，讓瀏覽該網(wǎng)站的用戶執(zhí)行。
不過只要不讓用戶隨意輸入 HTML（例如對(duì) < 和 > 進(jìn)行轉(zhuǎn)義），對(duì) HTML 元素的屬性做驗(yàn)證（例如屬性里的引號(hào)要轉(zhuǎn)義，src 和事件處理等屬性不能隨意填寫 JavaScript 代碼等），并檢查 CSS（含 style 屬性）中的 expression 即可避免。

二、防止偽造 cookie。

前面提到的 CSRF 和 XSS 都是攻擊者在用戶不知情的情況下，冒用他的名義來進(jìn)行操作；而偽造 cookie 則是攻擊者自己主動(dòng)偽造其他用戶來進(jìn)行操作。
舉例來說，假設(shè)網(wǎng)站的登錄驗(yàn)證就是檢查 cookie 中的用戶名，只要符合的話，就認(rèn)為該用戶已登錄。那么攻擊者只要在 cookie 中設(shè)置 username=admin 之類的值，就可以冒充管理員來操作了。

要防止 cookie 被偽造，首先需要提到設(shè)置 cookie 時(shí)的兩個(gè)參數(shù)：secure 和 httponly。這兩個(gè)參數(shù)并不在 tornado.web.RequestHandler.set_cookie() 的參數(shù)列表里，而是作為關(guān)鍵字參數(shù)傳遞，并在 Cookie.Morsel._reserved 中定義的。
前者是指這個(gè) cookie 只能通過安全連接傳遞（即 HTTPS），這就使得嗅探者無法截獲該 cookie；后者則要求其只能在 HTTP 協(xié)議下訪問（即無法通過 JavaScript 來獲取 document.cookie 中的該字段，并且設(shè)置后也不會(huì)通過 HTTP 協(xié)議向服務(wù)器發(fā)送），這便使得攻擊者無法簡單地通過 JavaScript 腳本來偽造 cookie。

不過對(duì)于惡意的攻擊者，這兩個(gè)參數(shù)并不能杜絕 cookie 被偽造。為此就需要對(duì) cookie 做個(gè)簽名，一旦被修改，服務(wù)器端可以判斷出來。
Tornado 中提供了 set_secure_cookie() 這個(gè)方法來對(duì) cookie 做簽名。簽名時(shí)需要提供一串秘鑰（生成 tornado.web.Application 對(duì)象時(shí)的 cookie_secret 參數(shù)），這個(gè)秘鑰可以通過如下代碼來生成：
base64.b64encode(uuid.uuid4().bytes + uuid.uuid4().bytes)
這個(gè)參數(shù)可以隨機(jī)生成，但如果同時(shí)有多個(gè) Tornado 進(jìn)程來服務(wù)的話，或者有時(shí)會(huì)重啟的話，還是共用一個(gè)常量比較好，并且注意不要泄露。

這個(gè)簽名用的是 HMAC 算法，hash 算法采用的是 SHA1。簡單來說就是把 cookie 名、值和時(shí)間戳的 hash 作為簽名，再把“值|時(shí)間戳|簽名”作為新的值。這樣服務(wù)器端只要拿秘鑰再次加密，比較簽名是否有變化過即可判斷真?zhèn)巍?BR>值得一提的是讀源碼時(shí)還發(fā)現(xiàn)這樣一個(gè)函數(shù)：
def _time_independent_equals(a, b):
    if len(a) != len(b):
        return False
    result = 0
    if type(a[0]) is int: # python3 byte strings
        for x, y in zip(a, b):
            result |= x ^ y
    else: # python2
        for x, y in zip(a, b):
            result |= ord(x) ^ ord(y)
    return result == 0
讀了半天也沒發(fā)現(xiàn)和普通的字符串比較有什么優(yōu)點(diǎn)，直到看了 StackOverflow 上的答案才知道：為了避免攻擊者通過測(cè)試比較時(shí)間來判斷正確的位數(shù)，這個(gè)函數(shù)讓比較的時(shí)間比較恒定，也就杜絕了這種情況。（話說這答案看得我各種佩服啊，搞安全的專家果然不是我那么膚淺的…）

三、接著是繼承 tornado.web.RequestHandler。

在執(zhí)行流程上，tornado.web.Application 會(huì)根據(jù) URL 尋找一個(gè)匹配的 RequestHandler 類，并初始化它。它的 __init__() 方法會(huì)調(diào)用 initialize() 方法，所以只要覆蓋后者即可，并且不需要調(diào)用父類的 initialize()。
接著根據(jù)不同的 HTTP 方法尋找該 handler 的 get/post() 等方法，并在執(zhí)行前運(yùn)行 prepare()。這些方法都不會(huì)主動(dòng)調(diào)用父類的，因此有需要時(shí)，自行調(diào)用吧。
最后會(huì)調(diào)用 handler 的 finish() 方法，這個(gè)方法最好別覆蓋。它會(huì)調(diào)用 on_finish() 方法，它可以被覆蓋，用于處理一些善后的事情（例如關(guān)閉數(shù)據(jù)庫連接），但不能再向?yàn)g覽器發(fā)送數(shù)據(jù)了（因?yàn)?HTTP 響應(yīng)已發(fā)送，連接也可能已被關(guān)閉）。

順便說下怎么處理錯(cuò)誤頁面。
簡單來說，執(zhí)行 RequestHandler 的 _execute() 方法（內(nèi)部依次執(zhí)行 prepare()、get() 和 finish() 等方法）時(shí)，任何未捕捉的錯(cuò)誤都會(huì)被它的 write_error() 方法捕捉，因此覆蓋這個(gè)方法即可：

復(fù)制代碼代碼如下:

class RequestHandler(tornado.web.RequestHandler):
    def write_error(self, status_code, **kwargs):
        if status_code == 404:
            self.render('404.html')
        elif status_code == 500:
            self.render('500.html')
        else:
            super(RequestHandler, self).write_error(status_code, **kwargs)

由于歷史原因，你也可以覆蓋 get_error_html() 方法，不過不被推薦。
此外，你還可能沒到 _execute() 方法就出錯(cuò)了。
例如 initialize() 方法拋出了一個(gè)未捕捉的異常，這個(gè)異常會(huì)被 IOStream 捕捉到，然后直接關(guān)閉連接，不能向用戶輸出任何錯(cuò)誤頁面。
再比如沒有找到一個(gè)能處理該請(qǐng)求的 handler，就會(huì)用 tornado.web.ErrorHandler 去處理 404 錯(cuò)誤。這種情況可以替換這個(gè)類來實(shí)現(xiàn)自定義錯(cuò)誤頁面：

復(fù)制代碼代碼如下:

class PageNotFoundHandler(RequestHandler):
def get(self):
raise tornado.web.HTTPError(404)

tornado.web.ErrorHandler = PageNotFoundHandler

另一種方法就是在 Application 的 handlers 參數(shù)的最后，加上一個(gè)能捕捉任何 URL 的 handler：

復(fù)制代碼代碼如下:

application = tornado.web.Application([
    # ...
    ('.*', PageNotFoundHandler)
])

四、接著說說處理登錄。

Tornado 提供了 @tornado.web.authenticated 這個(gè)裝飾器，在 handler 的 get() 等方法前加上即可。
它會(huì)依賴三處代碼：
需要定義 handler 的 get_current_user() 方法，例如：

復(fù)制代碼代碼如下:

def get_current_user(self):
    return self.get_secure_cookie('user_id', 0)

它的返回值為假時(shí)，就會(huì)跳轉(zhuǎn)到登錄頁面了。
創(chuàng)建 application 時(shí)設(shè)置 login_url 參數(shù)：

復(fù)制代碼代碼如下:

application = tornado.web.Application(
    [
        # ...
    ],
    login_url = '/login'
)

定義 handler 的 get_login_url() 方法。
如果不能使用默認(rèn)的 login_url 參數(shù)（例如普通用戶和管理員需要不同的登錄地址），那么可以覆蓋 get_login_url() 方法：

復(fù)制代碼代碼如下:

class AdminHandler(RequestHandler):
    def get_login_url(self):
        return '/admin/login'

順帶一提，跳轉(zhuǎn)到登錄頁后時(shí)會(huì)附帶一個(gè) next 參數(shù)，指向登錄前訪問的網(wǎng)址。為達(dá)到更好的用戶體驗(yàn)，需要在登錄后跳轉(zhuǎn)到該網(wǎng)址：

復(fù)制代碼代碼如下:

class LoginHandler(RequestHandler):
    def get(self):
        if self.get_current_user():
            self.redirect('/')
            return
        self.render('login.html')

    def post(self):
        if self.get_current_user():
            raise tornado.web.HTTPError(403)
        # check username and password
        if success:
            self.redirect(self.get_argument('next', '/'))

此外，我很多地方都使用了 AJAX 技術(shù)，而前端懶得去處理 403 錯(cuò)誤，所以我只能改造一下 authenticated() 了：

復(fù)制代碼代碼如下:

def authenticated(method):
    """Decorate methods with this to require that the user be logged in."""
    @functools.wraps(method)
    def wrapper(self, *args, **kwargs):
        if not self.current_user:
            if self.request.headers.get('X-Requested-With') == 'XMLHttpRequest': # jQuery 等庫會(huì)附帶這個(gè)頭
                self.set_header('Content-Type', 'application/json; charset=UTF-8')
                self.write(json.dumps({'success': False, 'msg': u'您的會(huì)話已過期，請(qǐng)重新登錄！'}))
                return
            if self.request.method in ("GET", "HEAD"):
                url = self.get_login_url()
                if "?" not in url:
                    if urlparse.urlsplit(url).scheme:
                        # if login url is absolute, make next absolute too
                        next_url = self.request.full_url()
                    else:
                        next_url = self.request.uri
                    url += "?" + urllib.urlencode(dict(next=next_url))
                self.redirect(url)
                return
            raise tornado.web.HTTPError(403)
        return method(self, *args, **kwargs)
    return wrapper

五、然后說下獲取用戶的 IP 地址。

簡單來說，在 handler 的方法里用 self.request.remote_ip 就能拿到了。
不過如果使用了反向代理，拿到的就是代理的 IP 了，這時(shí)候就需要在創(chuàng)建 HTTPServer 時(shí)增加 xheaders 的設(shè)置了：

復(fù)制代碼代碼如下:

if __name__ == '__main__':
from tornado.httpserver import HTTPServer
from tornado.netutil import bind_sockets

    sockets = bind_sockets(80)
    server = HTTPServer(application, xheaders=True)
    server.add_sockets(sockets)
    tornado.ioloop.IOLoop.instance().start()

此外，我只需要處理 IPv4，但本地測(cè)試時(shí)會(huì)拿到 ::1 這種 IPv6 地址，所以還需要設(shè)置一下：

復(fù)制代碼代碼如下:

if settings.IPV4_ONLY:
    import socket
    sockets = bind_sockets(80, family=socket.AF_INET)
else:
    sockets = bind_sockets(80)

六、最后再提下生產(chǎn)環(huán)境下如何提高性能。

Tornado 可以在 HTTPServer 調(diào)用 add_sockets() 前創(chuàng)建多個(gè)子進(jìn)程，利用多 CPU 的優(yōu)勢(shì)來處理并發(fā)請(qǐng)求。

簡單來說，代碼如下：

復(fù)制代碼代碼如下:

if __name__ == '__main__':
    if settings.IPV4_ONLY:
        import socket
        sockets = bind_sockets(80, family=socket.AF_INET)
    else:
        sockets = bind_sockets(80)
    if not settings.DEBUG_MODE:
        import tornado.process
        tornado.process.fork_processes(0) # 0 表示按 CPU 數(shù)目創(chuàng)建相應(yīng)數(shù)目的子進(jìn)程
    server = HTTPServer(application, xheaders=True)
    server.add_sockets(sockets)
    tornado.ioloop.IOLoop.instance().start()

注意這種方式下不能啟用 autoreload 功能（application 在創(chuàng)建時(shí)，debug 參數(shù)不能為真）。

您可能感興趣的文章: