Python的Django框架中的select_related函數(shù)對(duì)QuerySet 查詢的優(yōu)化
1. 實(shí)例的背景說明
假定一個(gè)個(gè)人信息系統(tǒng)，需要記錄系統(tǒng)中各個(gè)人的故鄉(xiāng)、居住地、以及到過的城市。數(shù)據(jù)庫(kù)設(shè)計(jì)如下：
Models.py 內(nèi)容如下：
from django.db import models
class Province(models.Model):
name = models.CharField(max_length=10)
def __unicode__(self):
return self.name
class City(models.Model):
name = models.CharField(max_length=5)
province = models.ForeignKey(Province)
def __unicode__(self):
return self.name
class Person(models.Model):
firstname = models.CharField(max_length=10)
lastname = models.CharField(max_length=10)
visitation = models.ManyToManyField(City, related_name = "visitor")
hometown = models.ForeignKey(City, related_name = "birth")
living = models.ForeignKey(City, related_name = "citizen")
def __unicode__(self):
return self.firstname + self.lastname
注1：創(chuàng)建的app名為“QSOptimize”
注2：為了簡(jiǎn)化起見，`qsoptimize_province` 表中只有2條數(shù)據(jù)：湖北省和廣東省，`qsoptimize_city`表中只有三條數(shù)據(jù)：武漢市、十堰市和廣州市
2. select_related()
對(duì)于一對(duì)一字段（OneToOneField）和外鍵字段（ForeignKey），可以使用select_related 來對(duì)QuerySet進(jìn)行優(yōu)化
作用和方法
在對(duì)QuerySet使用select_related()函數(shù)后，Django會(huì)獲取相應(yīng)外鍵對(duì)應(yīng)的對(duì)象，從而在之后需要的時(shí)候不必再查詢數(shù)據(jù)庫(kù)了。以上例說明，如果我們需要打印數(shù)據(jù)庫(kù)中的所有市及其所屬省份，最直接的做法是：
>>> citys = City.objects.all() >>> for c in citys: ... print c.province ...
這樣會(huì)導(dǎo)致線性的SQL查詢，如果對(duì)象數(shù)量n太多，每個(gè)對(duì)象中有k個(gè)外鍵字段的話，就會(huì)導(dǎo)致n*k+1次SQL查詢。在本例中，因?yàn)橛?個(gè)city對(duì)象就導(dǎo)致了4次SQL查詢：
SELECT `QSOptimize_city`.`id`, `QSOptimize_city`.`name`, `QSOptimize_city`.`province_id` FROM `QSOptimize_city` SELECT `QSOptimize_province`.`id`, `QSOptimize_province`.`name` FROM `QSOptimize_province` WHERE `QSOptimize_province`.`id` = 1 ; SELECT `QSOptimize_province`.`id`, `QSOptimize_province`.`name` FROM `QSOptimize_province` WHERE `QSOptimize_province`.`id` = 2 ; SELECT `QSOptimize_province`.`id`, `QSOptimize_province`.`name` FROM `QSOptimize_province` WHERE `QSOptimize_province`.`id` = 1 ;
注：這里的SQL語(yǔ)句是直接從Django的logger:‘django.db.backends'輸出出來的
如果我們使用select_related()函數(shù)：
>>> citys = City.objects.select_related().all() >>> for c in citys: ... print c.province ...
就只有一次SQL查詢，顯然大大減少了SQL查詢的次數(shù)：
SELECT `QSOptimize_city`.`id`, `QSOptimize_city`.`name`, `QSOptimize_city`.`province_id`, `QSOptimize_province`.`id`, `QSOptimize_province`.`name` FROM`QSOptimize_city` INNER JOIN `QSOptimize_province` ON (`QSOptimize_city`.`province_id` = `QSOptimize_province`.`id`) ;
這里我們可以看到，Django使用了INNER JOIN來獲得省份的信息。順便一提這條SQL查詢得到的結(jié)果如下：
+----+-----------+-------------+----+-----------+ | id | name | province_id | id | name | +----+-----------+-------------+----+-----------+ | 1 | 武漢市 | 1 | 1 | 湖北省 | | 2 | 廣州市 | 2 | 2 | 廣東省 | | 3 | 十堰市 | 1 | 1 | 湖北省 | +----+-----------+-------------+----+-----------+ 3 rows in set (0.00 sec)
使用方法
函數(shù)支持如下三種用法：
*fields 參數(shù)
select_related() 接受可變長(zhǎng)參數(shù)，每個(gè)參數(shù)是需要獲取的外鍵（父表的內(nèi)容）的字段名，以及外鍵的外鍵的字段名、外鍵的外鍵的外鍵…。若要選擇外鍵的外鍵需要使用兩個(gè)下劃線“__”來連接。
例如我們要獲得張三的現(xiàn)居省份，可以用如下方式：
>>> zhangs = Person.objects.select_related('living__province').get(firstname=u"張",lastname=u"三")
>>> zhangs.living.province
觸發(fā)的SQL查詢?nèi)缦拢?br />
SELECT `QSOptimize_person`.`id`, `QSOptimize_person`.`firstname`, `QSOptimize_person`.`lastname`, `QSOptimize_person`.`hometown_id`, `QSOptimize_person`.`living_id`, `QSOptimize_city`.`id`, `QSOptimize_city`.`name`, `QSOptimize_city`.`province_id`, `QSOptimize_province`.`id`, `QSOptimize_province`.`name` FROM `QSOptimize_person` INNER JOIN `QSOptimize_city` ON (`QSOptimize_person`.`living_id` = `QSOptimize_city`.`id`) INNER JOIN `QSOptimize_province` ON (`QSOptimize_city`.`province_id` = `QSOptimize_province`.`id`) WHERE (`QSOptimize_person`.`lastname` = '三' AND `QSOptimize_person`.`firstname` = '張' );
可以看到，Django使用了2次 INNER JOIN 來完成請(qǐng)求，獲得了city表和province表的內(nèi)容并添加到結(jié)果表的相應(yīng)列，這樣在調(diào)用 zhangs.living的時(shí)候也不必再次進(jìn)行SQL查詢。
+----+-----------+----------+-------------+-----------+----+-----------+-------------+----+-----------+ | id | firstname | lastname | hometown_id | living_id | id | name | province_id | id | name | +----+-----------+----------+-------------+-----------+----+-----------+-------------+----+-----------+ | 1 | 張 | 三 | 3 | 1 | 1 | 武漢市 | 1 | 1 | 湖北省 | +----+-----------+----------+-------------+-----------+----+-----------+-------------+----+-----------+ 1 row in set (0.00 sec)
然而，未指定的外鍵則不會(huì)被添加到結(jié)果中。這時(shí)候如果需要獲取張三的故鄉(xiāng)就會(huì)進(jìn)行SQL查詢了：
>>> zhangs.hometown.province SELECT `QSOptimize_city`.`id`, `QSOptimize_city`.`name`, `QSOptimize_city`.`province_id` FROM `QSOptimize_city` WHERE `QSOptimize_city`.`id` = 3 ; SELECT `QSOptimize_province`.`id`, `QSOptimize_province`.`name` FROM `QSOptimize_province` WHERE `QSOptimize_province`.`id` = 1
同時(shí)，如果不指定外鍵，就會(huì)進(jìn)行兩次查詢。如果深度更深，查詢的次數(shù)更多。
值得一提的是，從Django 1.7開始，select_related()函數(shù)的作用方式改變了。在本例中，如果要同時(shí)獲得張三的故鄉(xiāng)和現(xiàn)居地的省份，在1.7以前你只能這樣做：
>>> zhangs = Person.objects.select_related('hometown__province','living__province').get(firstname=u"張",lastname=u"三")
>>> zhangs.hometown.province
>>> zhangs.living.province
但是1.7及以上版本，你可以像和queryset的其他函數(shù)一樣進(jìn)行鏈?zhǔn)讲僮鳎?br />
>>> zhangs = Person.objects.select_related('hometown__province').select_related('living__province').get(firstname=u"張",lastname=u"三")
>>> zhangs.hometown.province
>>> zhangs.living.province
如果你在1.7以下版本這樣做了，你只會(huì)獲得最后一個(gè)操作的結(jié)果，在本例中就是只有現(xiàn)居地而沒有故鄉(xiāng)。在你打印故鄉(xiāng)省份的時(shí)候就會(huì)造成兩次SQL查詢。
depth 參數(shù)
select_related() 接受depth參數(shù)，depth參數(shù)可以確定select_related的深度。Django會(huì)遞歸遍歷指定深度內(nèi)的所有的OneToOneField和ForeignKey。以本例說明：
>>> zhangs = Person.objects.select_related(depth = d)
d=1 相當(dāng)于 select_related(‘hometown','living')
d=2 相當(dāng)于 select_related(‘hometown__province','living__province')
無參數(shù)
select_related() 也可以不加參數(shù)，這樣表示要求Django盡可能深的select_related。例如：zhangs = Person.objects.select_related().get(firstname=u”張”,lastname=u”三”)。但要注意兩點(diǎn)：
Django本身內(nèi)置一個(gè)上限，對(duì)于特別復(fù)雜的表關(guān)系，Django可能在你不知道的某處跳出遞歸，從而與你想的做法不一樣。具體限制是怎么工作的我表示不清楚。
Django并不知道你實(shí)際要用的字段有哪些，所以會(huì)把所有的字段都抓進(jìn)來，從而會(huì)造成不必要的浪費(fèi)而影響性能。
小結(jié)
- select_related主要針一對(duì)一和多對(duì)一關(guān)系進(jìn)行優(yōu)化。
- select_related使用SQL的JOIN語(yǔ)句進(jìn)行優(yōu)化，通過減少SQL查詢的次數(shù)來進(jìn)行優(yōu)化、提高性能。
- 可以通過可變長(zhǎng)參數(shù)指定需要select_related的字段名。也可以通過使用雙下劃線“__”連接字段名來實(shí)現(xiàn)指定的遞歸查詢。沒有指定的字段不會(huì)緩存，沒有指定的深度不會(huì)緩存，如果要訪問的話Django會(huì)再次進(jìn)行SQL查詢。
- 也可以通過depth參數(shù)指定遞歸的深度，Django會(huì)自動(dòng)緩存指定深度內(nèi)所有的字段。如果要訪問指定深度外的字段，Django會(huì)再次進(jìn)行SQL查詢。
- 也接受無參數(shù)的調(diào)用，Django會(huì)盡可能深的遞歸查詢所有的字段。但注意有Django遞歸的限制和性能的浪費(fèi)。
- Django >= 1.7，鏈?zhǔn)秸{(diào)用的select_related相當(dāng)于使用可變長(zhǎng)參數(shù)。Django < 1.7，鏈?zhǔn)秸{(diào)用會(huì)導(dǎo)致前邊的select_related失效，只保留最后一個(gè)。
相關(guān)文章
這篇文章主要介紹了python變量加逗號(hào),的含義,本文通過實(shí)例代碼給大家介紹的非常詳細(xì)，具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2020-02-02
Python 實(shí)現(xiàn)使用dict 創(chuàng)建二維數(shù)據(jù)、DataFrame
下面小編就為大家分享一篇Python 實(shí)現(xiàn)使用dict 創(chuàng)建二維數(shù)據(jù)、DataFrame，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2018-04-04
這篇文章主要介紹了Python?迭代器Iterator詳情，迭代器可以幫助我們解決面對(duì)復(fù)雜的數(shù)據(jù)場(chǎng)景時(shí)，快速簡(jiǎn)便的獲取數(shù)據(jù)，下文關(guān)于其詳細(xì)介紹，需要的小伙伴可以參考一下2022-05-05
利用python在大量數(shù)據(jù)文件下刪除某一行的例子
今天小編就為大家分享一篇利用python在大量數(shù)據(jù)文件下刪除某一行的例子，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2019-08-08
這篇文章主要介紹了Python 共享變量加鎖、釋放詳解,文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-08-08
Python采集電影評(píng)論實(shí)戰(zhàn)示例
這篇文章主要為大家介紹了Python采集電影評(píng)論實(shí)現(xiàn)示例詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2023-04-04
這篇文章主要介紹了Pycharm安裝及Django安裝配置指南,本文通過實(shí)例代碼給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2020-09-09
python?GUI多行輸入文本Text的實(shí)現(xiàn)
這篇文章主要介紹了python?GUI多行輸入文本Text的實(shí)現(xiàn)方式，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教2022-06-06
python解析html提取數(shù)據(jù)，并生成word文檔實(shí)例解析
這篇文章主要介紹了python解析html提取數(shù)據(jù)，并生成word文檔實(shí)例解析，小編覺得還是挺不錯(cuò)的，具有一定借鑒價(jià)值，需要的朋友可以參考下2018-01-01
這篇文章主要介紹了matplotlib繪制三維圖的示例，幫助大家更好的利用python matplotlib繪制圖像，感興趣的朋友可以了解下2020-09-09