mysql分頁原理和高效率的mysql分頁查詢語句
以前我在mysql中分頁都是用的 limit 100000,20這樣的方式,我相信你也是吧,但是要提高效率,讓分頁的代碼效率更高一些,更快一些,那我們又該怎么做呢?
第一部分:看一下分頁的基本原理:
mysql explain SELECT * FROM message ORDER BY id DESC LIMIT 10000, 20
***************** 1. row **************
id: 1
select_type: SIMPLE
table: message
type: index
possible_keys: NULL
key: PRIMARY
key_len: 4
ref: NULL
rows: 10020
Extra:
1 row in set (0.00 sec)
對上面的mysql語句說明:limit 10000,20的意思掃描滿足條件的10020行,扔掉前面的10000行,返回最后的20行,問題就在這里,如果是limit 100000,100,需要掃描100100行,在一個高并發(fā)的應(yīng)用里,每次查詢需要掃描超過10W行,性能肯定大打折扣。文中還提到limit n性能是沒問題的,因為只掃描n行。
第二部分:根據(jù)雅虎的幾位工程師帶來了一篇Efficient Pagination Using MySQL的報告內(nèi)容擴展:在文中提到一種clue的做法,給翻頁提供一些線索,比如還是SELECT * FROM message ORDER BY id DESC,按id降序分頁,每頁20條,當前是第10頁,當前頁條目id最大的是1020,最小的是1000,如果我們只提供上一頁、下一頁這樣的跳轉(zhuǎn)(不提供到第N頁的跳轉(zhuǎn)),那么在處理上一頁的時候SQL語句可以是:
SELECT * FROM message WHERE id>1020 ORDER BY id ASC LIMIT 20;//下一頁
處理下一頁的時候SQL語句可以是:
SELECT * FROM message WHERE id<1000 ORDER BY id DESC LIMIT 20;//上一頁
不管翻多少頁,每次查詢只掃描20行。
缺點是只能提供上一頁、下一頁的鏈接形式,但是我們的產(chǎn)品經(jīng)理非常喜歡“上一頁 1 2 3 4 5 6 7 8 9 下一頁”這樣的鏈接方式,怎么辦呢?
如果LIMIT m,n不可避免的話,要優(yōu)化效率,只有盡可能的讓m小一下,我們擴展前面的clue做法,還是SELECT * FROM message ORDER BY id DESC,按id降序分頁,每頁20條,當前是第10頁,當前頁條目id最大的是2519,最小的是2500;
當是第10頁的SQL如下:
SELECT * FROM tb_goods_info WHERE auto_id >=2500 ORDER BY auto_id ASC LIMIT 0,20
比如要跳到第9頁,SQL語句可以這樣寫:
SELECT * FROM tb_goods_info WHERE auto_id <2500 ORDER BY auto_id desc LIMIT 0,20
比如要跳到第8頁,SQL語句可以這樣寫:
SELECT * FROM tb_goods_info WHERE auto_id <2500 ORDER BY auto_id desc LIMIT 20,20
比如要跳到第7頁,SQL語句可以這樣寫:
SELECT * FROM tb_goods_info WHERE auto_id <2500 ORDER BY auto_id desc LIMIT 40,20
跳轉(zhuǎn)到第11頁:
SELECT * FROM tb_goods_info WHERE auto_id >2519 ORDER BY auto_id asc LIMIT 0,20
跳轉(zhuǎn)到第12頁:
SELECT * FROM tb_goods_info WHERE auto_id >2519 ORDER BY auto_id asc LIMIT 20,20
跳轉(zhuǎn)到第13頁:
SELECT * FROM tb_goods_info WHERE auto_id >2519 ORDER BY auto_id asc LIMIT 40,20
原理還是一樣,記錄住當前頁id的最大值和最小值,計算跳轉(zhuǎn)頁面和當前頁相對偏移,由于頁面相近,這個偏移量不會很大,這樣的話m值相對較小,大大減少掃描的行數(shù)。其實傳統(tǒng)的limit m,n,相對的偏移一直是第一頁,這樣的話越翻到后面,效率越差,而上面給出的方法就沒有這樣的問題。
注意SQL語句里面的ASC和DESC,如果是ASC取出來的結(jié)果,顯示的時候記得倒置一下。
已在60W數(shù)據(jù)總量的表中測試,效果非常明顯
- MySql分頁時使用limit+order by會出現(xiàn)數(shù)據(jù)重復問題解決
- 為什么MySQL分頁用limit會越來越慢
- mysql分頁的limit參數(shù)簡單示例
- 淺談MySQL分頁Limit的性能問題
- MySQL分頁Limit的優(yōu)化過程實戰(zhàn)
- mysql分頁性能探索
- 淺析Oracle和Mysql分頁的區(qū)別
- SpringMVC+Mybatis實現(xiàn)的Mysql分頁數(shù)據(jù)查詢的示例
- 利用Spring MVC+Mybatis實現(xiàn)Mysql分頁數(shù)據(jù)查詢的過程詳解
- mysql分頁時offset過大的Sql優(yōu)化經(jīng)驗分享
- MySQL分頁分析原理及提高效率
- MySQL優(yōu)化案例系列-mysql分頁優(yōu)化
- 你應(yīng)該知道的PHP+MySQL分頁那點事
- MYSQL分頁limit速度太慢的優(yōu)化方法
- MySQL分頁優(yōu)化
- MySQL分頁技術(shù)、6種分頁方法總結(jié)
- 8種MySQL分頁方法總結(jié)
- MySQL的幾種分頁方式,你知道幾種方式
相關(guān)文章
Windows系統(tǒng)下MySQL無法啟動的萬能解決方法
這篇文章主要給大家介紹了關(guān)于Windows系統(tǒng)下MySQL無法啟動的萬能解決方法,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧2020-12-12Mysql Workbench查詢mysql數(shù)據(jù)庫方法
在本篇文章里小編給大家分享了個關(guān)于Mysql Workbench查詢mysql數(shù)據(jù)庫方法和步驟,有需要的朋友們學習下。2019-03-03Navicat for MySQL定時備份數(shù)據(jù)庫及數(shù)據(jù)恢復詳解
這篇文章主要介紹了Navicat for MySQL定時備份數(shù)據(jù)庫及數(shù)據(jù)恢復的相關(guān)資料,具有一定的參考價值,感興趣的小伙伴們可以參考一下2017-10-10centos6.5中rpm包安裝mysql5.7初始化出錯的解決方法
這篇文章主要介紹了centos6.5中rpm包安裝mysql5.7初始化出錯的解決方法,需要的朋友可以參考下2017-09-09MySQL數(shù)據(jù)庫外鍵?foreing?key
這篇文章主要介紹了MySQL數(shù)據(jù)庫外鍵?foreing?key,外鍵表示了兩個實體之間的聯(lián)系,更多相關(guān)介紹需要的小伙伴可以參考一下2022-06-06