快捷導(dǎo)航

MySQL 5.7臨時表空間如何玩才能不掉坑里詳解

更新時間：2018年09月12日 10:48:56 作者：葉師傅不會詠春拳

這篇文章主要給大家介紹了關(guān)于MySQL 5.7臨時表空間如何玩才能不掉坑里的相關(guān)資料，文中通過示例代碼介紹的非常詳細，對大家學(xué)習(xí)或者使用mysql具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起看看吧

導(dǎo)讀

MySQL 5.7的目標(biāo)是成為發(fā)布以來最安全的MySQL服務(wù)器，其在SSL/TLS和全面安全開發(fā)方面有一些重要的改變。

MySQL 5.7起支持獨立臨時表空間，但個別時候也可能會踩坑的。

MySQL 5.7起，開始采用獨立的臨時表空間（和獨立的undo表空間不是一回事喲），命名ibtmp1文件，初始化12M，且默認無上限。

選項 innodb_temp_data_file_path 可配置臨時表空間相關(guān)參數(shù)。

innodb_temp_data_file_path = ibtmp1:12M:autoextend

臨時表空間的幾點說明

臨時表空間不像普通InnoDB表空間那樣，不支持裸設(shè)備（raw device）。
臨時表空間使用動態(tài)的表空間ID，因此每次重啟時都會變化（每次重啟時，都會重新初始化臨時表空間文件）。
當(dāng)選項設(shè)置錯誤或其他原因（權(quán)限不足等原因）無法創(chuàng)建臨時表空間時，mysqld實例也無法啟動。
臨時表空間中存儲這非壓縮的InnoDB臨時表，如果是壓縮的InnoDB臨時表，則需要單獨存儲在各自的表空間文件中，文件存放在 tmpdir（/tmp）目錄下。
臨時表元數(shù)據(jù)存儲在 INFORMATION_SCHEMA.INNODB_TEMP_TABLE_INFO 視圖中。

有時執(zhí)行SQL請求時會產(chǎn)生臨時表，極端情況下，可能導(dǎo)致臨時表空間文件暴漲，幫人處理過的案例中最高漲到快300G，比以前遇到的 ibdata1 文件暴漲還要猛…

臨時表使用的幾點建議

設(shè)置 innodb_temp_data_file_path 選項，設(shè)定文件最大上限，超過上限時，需要生成臨時表的SQL無法被執(zhí)行（一般這種SQL效率也比較低，可借此機會進行優(yōu)化）。
檢查 INFORMATION_SCHEMA.INNODB_TEMP_TABLE_INFO，找到最大的臨時表對應(yīng)的線程，kill之即可釋放，但 ibtmp1 文件則不能釋放（除非重啟）。
擇機重啟實例，釋放 ibtmp1 文件，和 ibdata1 不同，ibtmp1 重啟時會被重新初始化而 ibdata1 則不可以。
定期檢查運行時長超過N秒（比如N=300）的SQL，考慮干掉，避免垃圾SQL長時間運行影響業(yè)務(wù)。

附：臨時表測試案例

表DDL

CREATE TEMPORARY TABLE `tmp1` (
 `id` int(10) unsigned NOT NULL DEFAULT '0',
 `name` varchar(50) NOT NULL DEFAULT '',
 `aid` int(10) unsigned NOT NULL AUTO_INCREMENT,
 `nid` int(11) unsigned GENERATED ALWAYS AS ((`id` + 1)) VIRTUAL NOT NULL,
 `nnid` int(11) unsigned GENERATED ALWAYS AS ((`id` + 1)) STORED NOT NULL,
 PRIMARY KEY (`aid`),
 KEY `name` (`name`),
 KEY `id` (`id`),
 KEY `nid` (`nid`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8

原表大小只有 120MB，從這個表直接 INSERT…SELECT 導(dǎo)數(shù)據(jù)到tmp1表。

-rw-r----- 1 yejr imysql 120M Apr 14 10:52 /data/mysql/test/sid.ibd

生成臨時表（去掉虛擬列，臨時表不支持虛擬列，然后寫入數(shù)據(jù)），還更大了（我也不解，以后有機會再追查原因）。

-rw-r----- 1 yejr imysql 140M Jun 25 09:55 /Users/yejinrong/mydata/ibtmp1

查看臨時表元數(shù)據(jù)信息

yejr@imysql.com [test]>select * from 
 INFORMATION_SCHEMA.INNODB_TEMP_TABLE_INFO\G
*********************** 1. row ***********************
   TABLE_ID: 405
    NAME: #sql14032_300000005_3
    N_COLS: 6
    SPACE: 421
PER_TABLE_TABLESPACE: FALSE
  IS_COMPRESSED: FALSE

再刪除索引，結(jié)果，又更大了

-rw-r----- 1 yejr imysql 204M Jun 25 09:57 /data/mysql/ibtmp1

第二次測試刪除索引后，變成了200M（因為第二次測試時，我設(shè)置了臨時表最大200M）

innodb_temp_data_file_path = ibtmp1:12M:autoextend:max:200M

-rw-r----- 1 yejr imysql 200M Jun 25 10:15 /data/mysql/ibtmp1

執(zhí)行一個會產(chǎn)生臨時表的慢SQL。

注：MySQL 5.7起，執(zhí)行UNION ALL不再產(chǎn)生臨時表（除非需要額外排序）。

yejr@imysql.com [test]>explain select * from tmp1 union 
 select id,name,aid from sid\G
*************************** 1. row ***************************
   id: 1
 select_type: PRIMARY
  table: tmp1
 partitions: NULL
   type: ALL
possible_keys: NULL
   key: NULL
  key_len: NULL
   ref: NULL
   rows: 3986232
  filtered: 100.00
  Extra: NULL
*************************** 2. row ***************************
   id: 2
 select_type: UNION
  table: sid
 partitions: NULL
   type: ALL
possible_keys: NULL
   key: NULL
  key_len: NULL
   ref: NULL
   rows: 802682
  filtered: 100.00
  Extra: NULL
*************************** 3. row ***************************
   id: NULL
 select_type: UNION RESULT
  table: <union1,2>
 partitions: NULL
   type: ALL
possible_keys: NULL
   key: NULL
  key_len: NULL
   ref: NULL
   rows: NULL
  filtered: NULL
  Extra: Using temporary

文件漲到588M還沒結(jié)束，我直接給卡了

-rw-r----- 1 yejr imysql 588M Jun 25 10:07 /data/mysql/ibtmp1

第二次測試時，設(shè)置了臨時表空間文件最大200M，再執(zhí)行會報錯：

yejr@imysql.com [test]>select * from tmp1 union 
 select id,name,aid from sid;
ERROR 1114 (HY000): The table '/var/folders/bv/j4tjn6k54dj5jh1tl8yn6_y00000gn/T/#sql14032_5_8' is full

總結(jié)

以上就是這篇文章的全部內(nèi)容了，希望本文的內(nèi)容對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，如果有疑問大家可以留言交流，謝謝大家對腳本之家的支持。

參考

[MySQL FAQ]系列 — 什么情況下會用到臨時表

FAQ系列 | 如何避免ibdata1文件大小暴漲

https://dev.mysql.com/doc/refman/5.7/en/temporary-files.html

https://dev.mysql.com/doc/refman/5.7/en/internal-temporary-tables.html

https://dev.mysql.com/doc/refman/5.7/en/innodb-parameters.html#sysvar_innodb_temp_data_file_path

https://dev.mysql.com/doc/refman/5.7/en/innodb-temporary-tablespace.html

您可能感興趣的文章: