用實(shí)例詳解Python中的Django框架中prefetch_related()函數(shù)對(duì)數(shù)據(jù)庫查詢的優(yōu)化

更新時(shí)間：2015年04月01日 15:24:18 作者：CuGBabyBeaR

這篇文章主要介紹了用實(shí)例詳解Python中的Django框架中prefetch_related()函數(shù)對(duì)數(shù)據(jù)庫查詢的優(yōu)化,可減少對(duì)數(shù)據(jù)庫的查詢次數(shù)從而優(yōu)化性能,需要的朋友可以參考下

實(shí)例的背景說明

假定一個(gè)個(gè)人信息系統(tǒng)，需要記錄系統(tǒng)中各個(gè)人的故鄉(xiāng)、居住地、以及到過的城市。數(shù)據(jù)庫設(shè)計(jì)如下：

201541150650059.jpg (591×250)

Models.py 內(nèi)容如下：

from django.db import models
 
class Province(models.Model):
 name = models.CharField(max_length=10)
 def __unicode__(self):
  return self.name
 
class City(models.Model):
 name = models.CharField(max_length=5)
 province = models.ForeignKey(Province)
 def __unicode__(self):
  return self.name
 
class Person(models.Model):
 firstname = models.CharField(max_length=10)
 lastname = models.CharField(max_length=10)
 visitation = models.ManyToManyField(City, related_name = "visitor")
 hometown = models.ForeignKey(City, related_name = "birth")
 living  = models.ForeignKey(City, related_name = "citizen")
 def __unicode__(self):
  return self.firstname + self.lastname

注1：創(chuàng)建的app名為“QSOptimize”

注2：為了簡(jiǎn)化起見，`qsoptimize_province` 表中只有2條數(shù)據(jù)：湖北省和廣東省，`qsoptimize_city`表中只有三條數(shù)據(jù)：武漢市、十堰市和廣州市

prefetch_related()

對(duì)于多對(duì)多字段（ManyToManyField）和一對(duì)多字段，可以使用prefetch_related()來進(jìn)行優(yōu)化。或許你會(huì)說，沒有一個(gè)叫OneToManyField的東西啊。實(shí)際上，F(xiàn)oreignKey就是一個(gè)多對(duì)一的字段，而被ForeignKey關(guān)聯(lián)的字段就是一對(duì)多字段了。

作用和方法

prefetch_related()和select_related()的設(shè)計(jì)目的很相似，都是為了減少SQL查詢的數(shù)量，但是實(shí)現(xiàn)的方式不一樣。后者是通過JOIN語句，在SQL查詢內(nèi)解決問題。但是對(duì)于多對(duì)多關(guān)系，使用SQL語句解決就顯得有些不太明智，因?yàn)镴OIN得到的表將會(huì)很長(zhǎng)，會(huì)導(dǎo)致SQL語句運(yùn)行時(shí)間的增加和內(nèi)存占用的增加。若有n個(gè)對(duì)象，每個(gè)對(duì)象的多對(duì)多字段對(duì)應(yīng)Mi條，就會(huì)生成Σ(n)Mi 行的結(jié)果表。

prefetch_related()的解決方法是，分別查詢每個(gè)表，然后用Python處理他們之間的關(guān)系。繼續(xù)以上邊的例子進(jìn)行說明，如果我們要獲得張三所有去過的城市，使用prefetch_related()應(yīng)該是這么做：

>>> zhangs = Person.objects.prefetch_related('visitation').get(firstname=u"張",lastname=u"三")
>>> for city in zhangs.visitation.all() :
...  print city
...

上述代碼觸發(fā)的SQL查詢?nèi)缦拢?br />

SELECT `QSOptimize_person`.`id`, `QSOptimize_person`.`firstname`,
`QSOptimize_person`.`lastname`, `QSOptimize_person`.`hometown_id`, `QSOptimize_person`.`living_id`
FROM `QSOptimize_person`
WHERE (`QSOptimize_person`.`lastname` = '三' AND `QSOptimize_person`.`firstname` = '張');
 
SELECT (`QSOptimize_person_visitation`.`person_id`) AS `_prefetch_related_val`, `QSOptimize_city`.`id`,
`QSOptimize_city`.`name`, `QSOptimize_city`.`province_id`
FROM `QSOptimize_city`
INNER JOIN `QSOptimize_person_visitation` ON (`QSOptimize_city`.`id` = `QSOptimize_person_visitation`.`city_id`)
WHERE `QSOptimize_person_visitation`.`person_id` IN (1);

第一條SQL查詢僅僅是獲取張三的Person對(duì)象，第二條比較關(guān)鍵，它選取關(guān)系表`QSOptimize_person_visitation`中`person_id`為張三的行，然后和`city`表內(nèi)聯(lián)（INNER JOIN 也叫等值連接）得到結(jié)果表。

+----+-----------+----------+-------------+-----------+
| id | firstname | lastname | hometown_id | living_id |
+----+-----------+----------+-------------+-----------+
| 1 | 張    | 三    |      3 |     1 |
+----+-----------+----------+-------------+-----------+
1 row in set (0.00 sec)
 
+-----------------------+----+-----------+-------------+
| _prefetch_related_val | id | name   | province_id |
+-----------------------+----+-----------+-------------+
|           1 | 1 | 武漢市  |      1 |
|           1 | 2 | 廣州市  |      2 |
|           1 | 3 | 十堰市  |      1 |
+-----------------------+----+-----------+-------------+
3 rows in set (0.00 sec)

顯然張三武漢、廣州、十堰都去過。

又或者，我們要獲得湖北的所有城市名，可以這樣：

>>> hb = Province.objects.prefetch_related('city_set').get(name__iexact=u"湖北省")
>>> for city in hb.city_set.all():
...  city.name
...

觸發(fā)的SQL查詢：

SELECT `QSOptimize_province`.`id`, `QSOptimize_province`.`name`
FROM `QSOptimize_province`
WHERE `QSOptimize_province`.`name` LIKE '湖北省' ;
 
SELECT `QSOptimize_city`.`id`, `QSOptimize_city`.`name`, `QSOptimize_city`.`province_id`
FROM `QSOptimize_city`
WHERE `QSOptimize_city`.`province_id` IN (1);

得到的表：

+----+-----------+
| id | name   |
+----+-----------+
| 1 | 湖北省  |
+----+-----------+
1 row in set (0.00 sec)
 
+----+-----------+-------------+
| id | name   | province_id |
+----+-----------+-------------+
| 1 | 武漢市  |      1 |
| 3 | 十堰市  |      1 |
+----+-----------+-------------+
2 rows in set (0.00 sec)

我們可以看見，prefetch使用的是 IN 語句實(shí)現(xiàn)的。這樣，在QuerySet中的對(duì)象數(shù)量過多的時(shí)候，根據(jù)數(shù)據(jù)庫特性的不同有可能造成性能問題。

使用方法
*lookups 參數(shù)

prefetch_related()在Django < 1.7 只有這一種用法。和select_related()一樣，prefetch_related()也支持深度查詢，例如要獲得所有姓張的人去過的?。?br />

>>> zhangs = Person.objects.prefetch_related('visitation__province').filter(firstname__iexact=u'張')
>>> for i in zhangs:
...  for city in i.visitation.all():
...   print city.province
...

觸發(fā)的SQL：

SELECT `QSOptimize_person`.`id`, `QSOptimize_person`.`firstname`,
`QSOptimize_person`.`lastname`, `QSOptimize_person`.`hometown_id`, `QSOptimize_person`.`living_id`
FROM `QSOptimize_person`
WHERE `QSOptimize_person`.`firstname` LIKE '張' ;
 
SELECT (`QSOptimize_person_visitation`.`person_id`) AS `_prefetch_related_val`, `QSOptimize_city`.`id`,
`QSOptimize_city`.`name`, `QSOptimize_city`.`province_id` FROM `QSOptimize_city`
INNER JOIN `QSOptimize_person_visitation` ON (`QSOptimize_city`.`id` = `QSOptimize_person_visitation`.`city_id`)
WHERE `QSOptimize_person_visitation`.`person_id` IN (1, 4);
 
SELECT `QSOptimize_province`.`id`, `QSOptimize_province`.`name`
FROM `QSOptimize_province`
WHERE `QSOptimize_province`.`id` IN (1, 2);

獲得的結(jié)果：

+----+-----------+----------+-------------+-----------+
| id | firstname | lastname | hometown_id | living_id |
+----+-----------+----------+-------------+-----------+
| 1 | 張    | 三    |      3 |     1 |
| 4 | 張    | 六    |      2 |     2 |
+----+-----------+----------+-------------+-----------+
2 rows in set (0.00 sec)
 
+-----------------------+----+-----------+-------------+
| _prefetch_related_val | id | name   | province_id |
+-----------------------+----+-----------+-------------+
|           1 | 1 | 武漢市  |      1 |
|           1 | 2 | 廣州市  |      2 |
|           4 | 2 | 廣州市  |      2 |
|           1 | 3 | 十堰市  |      1 |
+-----------------------+----+-----------+-------------+
4 rows in set (0.00 sec)
 
+----+-----------+
| id | name   |
+----+-----------+
| 1 | 湖北省  |
| 2 | 廣東省  |
+----+-----------+
2 rows in set (0.00 sec)

值得一提的是，鏈?zhǔn)絧refetch_related會(huì)將這些查詢添加起來，就像1.7中的select_related那樣。

要注意的是，在使用QuerySet的時(shí)候，一旦在鏈?zhǔn)讲僮髦懈淖兞藬?shù)據(jù)庫請(qǐng)求，之前用prefetch_related緩存的數(shù)據(jù)將會(huì)被忽略掉。這會(huì)導(dǎo)致Django重新請(qǐng)求數(shù)據(jù)庫來獲得相應(yīng)的數(shù)據(jù)，從而造成性能問題。這里提到的改變數(shù)據(jù)庫請(qǐng)求指各種filter()、exclude()等等最終會(huì)改變SQL代碼的操作。而all()并不會(huì)改變最終的數(shù)據(jù)庫請(qǐng)求，因此是不會(huì)導(dǎo)致重新請(qǐng)求數(shù)據(jù)庫的。

舉個(gè)例子，要獲取所有人訪問過的城市中帶有“市”字的城市，這樣做會(huì)導(dǎo)致大量的SQL查詢：

plist = Person.objects.prefetch_related('visitation')
[p.visitation.filter(name__icontains=u"市") for p in plist]

因?yàn)閿?shù)據(jù)庫中有4人，導(dǎo)致了2+4次SQL查詢：

SELECT `QSOptimize_person`.`id`, `QSOptimize_person`.`firstname`, `QSOptimize_person`.`lastname`,
`QSOptimize_person`.`hometown_id`, `QSOptimize_person`.`living_id`
FROM `QSOptimize_person`;
 
SELECT (`QSOptimize_person_visitation`.`person_id`) AS `_prefetch_related_val`, `QSOptimize_city`.`id`,
`QSOptimize_city`.`name`, `QSOptimize_city`.`province_id`
FROM `QSOptimize_city`
INNER JOIN `QSOptimize_person_visitation` ON (`QSOptimize_city`.`id` = `QSOptimize_person_visitation`.`city_id`)
WHERE `QSOptimize_person_visitation`.`person_id` IN (1, 2, 3, 4);
 
SELECT `QSOptimize_city`.`id`, `QSOptimize_city`.`name`, `QSOptimize_city`.`province_id`
FROM `QSOptimize_city`
INNER JOIN `QSOptimize_person_visitation` ON (`QSOptimize_city`.`id` = `QSOptimize_person_visitation`.`city_id`)
WHERE(`QSOptimize_person_visitation`.`person_id` = 1 AND `QSOptimize_city`.`name` LIKE '%市%' );
 
SELECT `QSOptimize_city`.`id`, `QSOptimize_city`.`name`, `QSOptimize_city`.`province_id`
FROM `QSOptimize_city`
INNER JOIN `QSOptimize_person_visitation` ON (`QSOptimize_city`.`id` = `QSOptimize_person_visitation`.`city_id`)
WHERE (`QSOptimize_person_visitation`.`person_id` = 2 AND `QSOptimize_city`.`name` LIKE '%市%' );
 
SELECT `QSOptimize_city`.`id`, `QSOptimize_city`.`name`, `QSOptimize_city`.`province_id`
FROM `QSOptimize_city`
INNER JOIN `QSOptimize_person_visitation` ON (`QSOptimize_city`.`id` = `QSOptimize_person_visitation`.`city_id`)
WHERE (`QSOptimize_person_visitation`.`person_id` = 3 AND `QSOptimize_city`.`name` LIKE '%市%' );
 
SELECT `QSOptimize_city`.`id`, `QSOptimize_city`.`name`, `QSOptimize_city`.`province_id`
FROM `QSOptimize_city`
INNER JOIN `QSOptimize_person_visitation` ON (`QSOptimize_city`.`id` = `QSOptimize_person_visitation`.`city_id`)
WHERE (`QSOptimize_person_visitation`.`person_id` = 4 AND `QSOptimize_city`.`name` LIKE '%市%' );

詳細(xì)分析一下這些請(qǐng)求事件。

眾所周知，QuerySet是lazy的，要用的時(shí)候才會(huì)去訪問數(shù)據(jù)庫。運(yùn)行到第二行Python代碼時(shí)，for循環(huán)將plist看做iterator，這會(huì)觸發(fā)數(shù)據(jù)庫查詢。最初的兩次SQL查詢就是prefetch_related導(dǎo)致的。

雖然已經(jīng)查詢結(jié)果中包含所有所需的city的信息，但因?yàn)樵谘h(huán)體中對(duì)Person.visitation進(jìn)行了filter操作，這顯然改變了數(shù)據(jù)庫請(qǐng)求。因此這些操作會(huì)忽略掉之前緩存到的數(shù)據(jù)，重新進(jìn)行SQL查詢。

但是如果有這樣的需求了應(yīng)該怎么辦呢？在Django >= 1.7，可以通過下一節(jié)的Prefetch對(duì)象來實(shí)現(xiàn)，如果你的環(huán)境是Django < 1.7，可以在Python中完成這部分操作。

plist = Person.objects.prefetch_related('visitation')
[[city for city in p.visitation.all() if u"市" in city.name] for p in plist]

Prefetch 對(duì)象

在Django >= 1.7，可以用Prefetch對(duì)象來控制prefetch_related函數(shù)的行為。

注：由于我沒有安裝1.7版本的Django環(huán)境，本節(jié)內(nèi)容是參考Django文檔寫的，沒有進(jìn)行實(shí)際的測(cè)試。

Prefetch對(duì)象的特征：

一個(gè)Prefetch對(duì)象只能指定一項(xiàng)prefetch操作。
Prefetch對(duì)象對(duì)字段指定的方式和prefetch_related中的參數(shù)相同，都是通過雙下劃線連接的字段名完成的。
可以通過 queryset 參數(shù)手動(dòng)指定prefetch使用的QuerySet。
可以通過 to_attr 參數(shù)指定prefetch到的屬性名。
Prefetch對(duì)象和字符串形式指定的lookups參數(shù)可以混用。

繼續(xù)上面的例子，獲取所有人訪問過的城市中帶有“武”字和“州”的城市：

wus = City.objects.filter(name__icontains = u"武")
zhous = City.objects.filter(name__icontains = u"州")
plist = Person.objects.prefetch_related(
  Prefetch('visitation', queryset = wus, to_attr = "wu_city"),
  Prefetch('visitation', queryset = zhous, to_attr = "zhou_city"),)
[p.wu_city for p in plist]
[p.zhou_city for p in plist]

注：這段代碼沒有在實(shí)際環(huán)境中測(cè)試過，若有不正確的地方請(qǐng)指正。

順帶一提，Prefetch對(duì)象和字符串參數(shù)可以混用。
None

可以通過傳入一個(gè)None來清空之前的prefetch_related。就像這樣：

>>> prefetch_cleared_qset = qset.prefetch_related(None)

小結(jié)

prefetch_related主要針一對(duì)多和多對(duì)多關(guān)系進(jìn)行優(yōu)化。
prefetch_related通過分別獲取各個(gè)表的內(nèi)容，然后用Python處理他們之間的關(guān)系來進(jìn)行優(yōu)化。
可以通過可變長(zhǎng)參數(shù)指定需要select_related的字段名。指定方式和特征與select_related是相同的。
在Django >= 1.7可以通過Prefetch對(duì)象來實(shí)現(xiàn)復(fù)雜查詢，但低版本的Django好像只能自己實(shí)現(xiàn)。
作為prefetch_related的參數(shù)，Prefetch對(duì)象和字符串可以混用。
prefetch_related的鏈?zhǔn)秸{(diào)用會(huì)將對(duì)應(yīng)的prefetch添加進(jìn)去，而非替換，似乎沒有基于不同版本上區(qū)別。
可以通過傳入None來清空之前的prefetch_related。

您可能感興趣的文章: