MySQL執(zhí)行計(jì)劃詳解
一、MySQL執(zhí)行計(jì)劃介紹
在MySQL中,執(zhí)行計(jì)劃的實(shí)現(xiàn)是基于JOIN和QEP_TAB這兩個(gè)對(duì)象。其中JOIN類表示一個(gè)查詢語(yǔ)句塊的優(yōu)化和執(zhí)行,每個(gè)select查詢語(yǔ)句(即Query_block對(duì)象)在處理的時(shí)候,都會(huì)被當(dāng)做JOIN對(duì)象,其定義在sql/sql_optimizer.h。
QEP_TAB是Query Execution Plan Table的縮寫,這里的表Table對(duì)象主要包含物化表、臨時(shí)表、派生表、常量表等。JOIN::optimize()是優(yōu)化執(zhí)行器的統(tǒng)一入口,在這里會(huì)把一個(gè)查詢語(yǔ)句塊Query_block最終優(yōu)化成QEP_TAB。
在MySQL-8.0.22版本之后,又引入訪問(wèn)方式AccessPath和執(zhí)行迭代器Iterator對(duì)象,再結(jié)合JOIN和QEP_TAB對(duì)象,最終得到整個(gè)解析計(jì)劃的執(zhí)行路徑。
二、MySQL執(zhí)行計(jì)劃代碼概覽
本文主要基于MySQL-8.0.25版本,進(jìn)行說(shuō)明。
優(yōu)化器的入口函數(shù):bool JOIN::optimize(),對(duì)應(yīng)代碼文件sql/sql_optimizer.cc。
// 主要功能是把一個(gè)查詢塊Query_block優(yōu)化成一個(gè)QEP_TAB,得到AccessPath bool JOIN::optimize() {? ?? ?... ?? ?// 下面主要是為了可以借助INFORMATION_SCHEMA.OPTIMIZER_TRACE表,跟蹤優(yōu)化器的執(zhí)行狀態(tài)和執(zhí)行步驟 ?? ?Opt_trace_context *const trace = &thd->opt_trace; ?? ?Opt_trace_object trace_wrapper(trace); ?? ?Opt_trace_object trace_optimize(trace, "join_optimization"); ?? ?trace_optimize.add_select_number(Query_block->select_number); ?? ?Opt_trace_array trace_steps(trace, "steps"); ?? ?... ?? ?// 窗口函數(shù)裝配優(yōu)化 ?? ?if (has_windows && Window::setup_windows2(thd, m_windows)) ?? ?... ?? ?// 拷貝Query_block上的條件副本到JOIN結(jié)構(gòu)關(guān)聯(lián)的成員對(duì)象,為后續(xù)優(yōu)化做準(zhǔn)備 ?? ?if (Query_block->get_optimizable_conditions(thd, &where_cond, &having_cond)) ?? ?... ?? ?// 統(tǒng)計(jì)抽象語(yǔ)法樹(shù)中的葉節(jié)點(diǎn)表,其中l(wèi)eaf_tables是在Query_block::setup_tables中進(jìn)行裝配 ?? ?tables_list = Query_block->leaf_tables; ?? ?... ?? ?// 分區(qū)裁剪 ?? ?if (Query_block->partitioned_table_count && prune_table_partitions()) { ?? ?... ?? ?// 嘗試把聚合函數(shù)COUNT()、MIN()、MAX()對(duì)應(yīng)的值,替換成常量 ?? ?if (optimize_aggregated_query(thd, Query_block, *fields, where_cond, ?? ??? ??? ??? ??? ??? ??? ??? ??? ??? ??? ??? ??? ??? ??? ??? ?&outcome)) { ?? ?... ?? ?// 采用超圖算法生成執(zhí)行計(jì)劃,注意超圖算法通過(guò)set optimizer_switch="hypergraph_optimizer=on"方式啟用 ?? ?if (thd->lex->using_hypergraph_optimizer) { ?? ??? ?FindBestQueryPlan(thd, Query_block, /*trace=*/nullptr); ?? ??? ?// 如果Join優(yōu)化器是超圖算法,處理結(jié)束直接返回 ?? ??? ?return false; ?? ?} ?? ?...
下面代碼主要涉及Join優(yōu)化器連接方式為左深樹(shù)的情況,主要用到j(luò)oin_tab數(shù)組來(lái)進(jìn)行組織關(guān)聯(lián)
根據(jù)代價(jià)計(jì)算表的連接方式,核心函數(shù)make_join_plan(),實(shí)現(xiàn)非常復(fù)雜。比較關(guān)鍵的函數(shù)是bool Optimize_table_order::choose_table_order()
其主要思想是通過(guò)貪婪搜索Optimize_table_order::greedy_search,根據(jù)最小的連接代價(jià),進(jìn)行有限的窮舉搜索(細(xì)節(jié)參考Optimize_table_order::best_extension_by_limited_search)
最終找到近似最優(yōu)解的連接排列組合
?? ?if (make_join_plan()) { ?? ?... ?? ?// 語(yǔ)句塊謂詞條件下推,提升過(guò)濾性能 ?? ?if (make_join_Query_block(this, where_cond)) { ?? ?... ?? ?// 優(yōu)化order by/distinct語(yǔ)句 ?? ?if (optimize_distinct_group_order()) return true; ?? ?... ?? ?// 分配QEP_TAB數(shù)組 ?? ?if (alloc_qep(tables)) return (error = 1); /* purecov: inspected */ ?? ?... ?? ?// 執(zhí)行計(jì)劃細(xì)化,優(yōu)化子查詢和半連接的情況,具體策略可以參考mariadb的文檔: ?? ?// https:// mariadb.com/kb/en/optimization-strategies/ ?? ?// 關(guān)鍵代碼是setup_semijoin_dups_elimination,主要對(duì)半連接關(guān)聯(lián)的策略進(jìn)行裝配 ?? ?if (make_join_readinfo(this, no_jbuf_after)) ?? ?... ?? ?// 為處理group by/order by創(chuàng)建開(kāi)辟臨時(shí)表空間 ?? ?if (make_tmp_tables_info()) return true; ?? ?... ?? ?// 生成訪問(wèn)方式AccessPath,供后續(xù)迭代器Iterator訪問(wèn)使用 ?? ?create_access_paths(); ?? ?... ?? ?return false; }
三、MySQL執(zhí)行計(jì)劃總結(jié)
MySQL的執(zhí)行計(jì)劃是整個(gè)數(shù)據(jù)庫(kù)最核心的模塊,其代碼也在不斷地迭代更新過(guò)程中。執(zhí)行計(jì)劃中優(yōu)化器的好壞和背后的搜索策略、數(shù)學(xué)模型緊密相關(guān)。MySQL支持的搜索策略有窮舉搜索、貪婪搜索,對(duì)應(yīng)的Join優(yōu)化器有左深樹(shù)算法和超圖算法,整個(gè)優(yōu)化過(guò)程主要是基于CBO策略進(jìn)行優(yōu)化。
執(zhí)行計(jì)劃運(yùn)行的過(guò)程,實(shí)際上就是一個(gè)動(dòng)態(tài)規(guī)劃的過(guò)程。這個(gè)過(guò)程的優(yōu)劣,快慢決定了MySQL和主流商業(yè)數(shù)據(jù)庫(kù)的差距。只有深入地理解MySQL優(yōu)化器的運(yùn)行原理,才能幫助我們積極有效地探索更高性能優(yōu)化的可能。
最后由于筆者知識(shí)水平有限,疏漏之處,還望斧正。
到此這篇關(guān)于MySQL執(zhí)行計(jì)劃詳解的文章就介紹到這了,更多相關(guān)MySQL執(zhí)行計(jì)劃內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
MySQL thread_stack連接線程的優(yōu)化
當(dāng)有新的連接請(qǐng)求時(shí),MySQL首先會(huì)檢查Thread Cache中是否存在空閑連接線程,如果存在則取出來(lái)直接使用,如果沒(méi)有空閑連接線程,才創(chuàng)建新的連接線程2017-04-04MySQL中對(duì)表連接查詢的簡(jiǎn)單優(yōu)化教程
這篇文章主要介紹了MySQL中對(duì)表連接查詢的簡(jiǎn)單優(yōu)化教程,表連接查詢是MySQL最常用到的基本操作之一,因而其的優(yōu)化也非常值得注意,需要的朋友可以參考下2015-12-12mysql制作外鍵出現(xiàn)duplicate?key?name錯(cuò)誤問(wèn)題及解決
這篇文章主要介紹了mysql制作外鍵出現(xiàn)duplicate?key?name錯(cuò)誤問(wèn)題及解決方案,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2023-02-02MySQL數(shù)據(jù)庫(kù)設(shè)置遠(yuǎn)程訪問(wèn)權(quán)限方法小結(jié)
很多情況下我們需要遠(yuǎn)程連接mysql數(shù)據(jù)庫(kù),那么就可以參考下面的權(quán)限設(shè)置2013-10-10SQL查詢超時(shí)的設(shè)置方法(關(guān)于timeout的處理)
為了優(yōu)化OceanBase的query timeout設(shè)置方式,特調(diào)研MySQL關(guān)于timeout的處理,下面與大家分享下處理記錄,感興趣的朋友可以參考下哈2013-04-04mysql注入之長(zhǎng)字符截?cái)?orderby注入,HTTP分割注入,limit注入方式
這篇文章主要介紹了mysql注入之長(zhǎng)字符截?cái)?orderby注入,HTTP分割注入,limit注入方式,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2023-11-11一次docker登錄mysql報(bào)錯(cuò)問(wèn)題的實(shí)戰(zhàn)記錄
這篇文章主要給大家介紹了一次docker登錄mysql報(bào)錯(cuò)問(wèn)題的實(shí)戰(zhàn)記錄,文中通過(guò)實(shí)例代碼介紹的非常詳細(xì),對(duì)大家學(xué)習(xí)或者使用docker具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2022-01-01深入mysql YEAR() MONTH() DAYOFMONTH()日期函數(shù)的詳解
本篇文章是對(duì)mysql中的YEAR() MONTH() DAYOFMONTH()日期函數(shù)進(jìn)行了詳細(xì)的分析介紹,需要的朋友參考下2013-06-06