mysql數(shù)據(jù)損壞,如何通過ibd和frm文件批量恢復(fù)數(shù)據(jù)庫數(shù)據(jù)
問題描述
客戶那邊的測試服務(wù)器下午3:00左右因不明原因,所有服務(wù)訪問不了,ssh也無法連接,客戶手動進(jìn)行強(qiáng)制重啟服務(wù)器,重啟后將所有應(yīng)用、中間件重啟,重啟nacos時發(fā)現(xiàn)無法連接數(shù)據(jù)庫,通過賬號密碼登錄到數(shù)據(jù)庫發(fā)現(xiàn)可以正常登錄,但是奇怪的問題來了。。。
show tables
時可以正??吹奖?,但是查詢表中數(shù)據(jù)時發(fā)現(xiàn)提示表不存在。。
如下圖:
查看mysql日志:
作為一名mysql菜的不能再菜的小白。。這屬實難到我了,看起來像是數(shù)據(jù)損壞。。沒辦法,通過多方查詢資料,解決辦法如下:
解決辦法
首先了解InnoDB引擎創(chuàng)建數(shù)據(jù)庫會產(chǎn)生的文件:
.ibd
:包含每個表的數(shù)據(jù)和索引.frm
:描述表的結(jié)構(gòu)ibdata1
:包含所有表的字典和歷史操作
在test目錄下,包含每個表的.ibd和.frm文件
恢復(fù)前提:ibd文件的數(shù)據(jù)都是正常的
之后也是需要通過這些文件進(jìn)行恢復(fù),我這邊新啟了一個mysql實例,過程略,
大體的恢復(fù)步驟如下:
1.在新的mysql實例中創(chuàng)建數(shù)據(jù)庫,需要跟原數(shù)據(jù)庫的庫名和字符集保持一致
2.創(chuàng)建數(shù)據(jù)表,表名要求一致,對應(yīng)原庫data目錄下的表名(我這里用工具對原庫表的表結(jié)構(gòu)導(dǎo)出創(chuàng)建的)
3.通過.ibd文件批量恢復(fù)表數(shù)據(jù)信息
- 3.1 讓表結(jié)構(gòu)和表空間脫離
- 3.2 將需要恢復(fù)的.ibd替換到新實例的/data的對應(yīng)庫下
1、安裝mysqlfrm 工具
下載鏈接:
wget https://cdn.mysql.com/archives/mysql-utilities/mysql-utilities-1.6.5.tar.gz tar -xvf mysql-utilities-1.6.5.tar.gz cd mysql-utilities-1.6.5/ 安裝(需要Python環(huán)境,python2.6及以上) python ./setup.py build python ./setup.py install 檢查是否安裝成功 mysqlfrm --version
2、使用mysqlfrm查看表結(jié)構(gòu)創(chuàng)建語句
mysqlfrm 有–basedir模式以及–server 模式,推薦–server,能夠還原最為準(zhǔn)確的信息
使用方式(需要啟動原mysql):
格式:mysqlfrm --server=用戶名:密碼@數(shù)據(jù)庫地址:端口 需恢復(fù)的frm文件目錄 --diagnostic > 保存SQL文件名.sql
mysqlfrm --server=root:password@x.x.x.x:13306 /home/mysql/data/test/*.frm --diagnostic > test_frm.sql
執(zhí)行所生成的SQL文件
注:mysqlfrm僅僅顯示整個數(shù)據(jù)庫的表結(jié)構(gòu)創(chuàng)建語句,可以顯示在控制臺也可以輸出到文件,不過需要手動執(zhí)行這些表的創(chuàng)建SQL語句。
先創(chuàng)建數(shù)據(jù)庫
CREATE database test;
可以查看生成的sql文件手動刪除相關(guān)無用信息等,可命令行執(zhí)行或者客戶端執(zhí)行等
命令行導(dǎo)入:
mysql -uroot -ppassword test < test_frm.sql
此時執(zhí)行完就可以通過desc命令查看到表結(jié)構(gòu)了(報錯1:這步我遇到報錯,下面有解決方法)
3、通過.ibd文件批量恢復(fù)表數(shù)據(jù)信息
1)讓表結(jié)構(gòu)和表空間脫離生
成表結(jié)構(gòu)和表空間脫離的sql:
mysql -uroot -ppassword -h x.x.x.x -P 13306 -e " SELECT concat('alter table ', table_name, ' discard tablespace;') FROM information_schema.tables WHERE table_schema = 'test';" > /root/test.sql
將sql文件中沒有用的內(nèi)容刪除
sed '/^c/d' /root/test.sql> /root/test_discard_new.sql
將sql文件導(dǎo)入到新庫
mysql -uroot -ppassword -h x.x.x.x -P 13307 test_AII < test_discard_new.sql
2)將需要恢復(fù)的.ibd文件替換到新庫所在的/data/庫名 目錄下
cp /home/mysql/data/test/*.ibd /home/mysql-test/data/test/
3)權(quán)限設(shè)置
chown -R mysql. /home/mysql-test/data/test
4)導(dǎo)入表空間
mysql -uroot -ppassword -h x.x.x.x -P 13306 -e " SELECT concat('alter table ', table_name, ' import tablespace;') FROM information_schema.tables WHERE table_schema = 'test';" > /root/tem_import.sql
清除沒用的數(shù)據(jù)
sed '/^c/d' /root/tem_import.sql > /root/config_import.sql
將sql文件導(dǎo)入(報錯2:有報錯,下面有解決方法)
mysql -uroot -ppassword -h x.x.x.x -P 13307 test_aii < /root/config_import.sql
此時如果操作沒問題,查看數(shù)據(jù)庫表已經(jīng)有了原始數(shù)據(jù)了(報錯3:有報錯,查看下面解決方法)
恢復(fù)過程中遇到的問題
報錯1、在導(dǎo)入創(chuàng)建表結(jié)構(gòu)語句的時候報錯了,顯示語法錯誤我的創(chuàng)建表語句如下:
1064 - You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near '5, COMMENT 'config_info'' at line 21, Time: 0.011000s
建表語句:
CREATE TABLE `test_config`.`config_info` ( `id` bigint(20) NOT NULL AUTO_INCREMENT comment 'id', `data_id` varchar(255) COLLATE `utf8_bin` NOT NULL comment 'data_id', `group_id` varchar(255) COLLATE `utf8_bin` DEFAULT NULL, `content` longtext COLLATE `utf8_bin` comment 'content', `md5` varchar(32) COLLATE `utf8_bin` DEFAULT NULL comment 'md5', `gmt_create` datetime NOT NULL comment '創(chuàng)建時間', `gmt_modified` datetime NOT NULL comment '修改時間', `src_user` text COLLATE `utf8_bin` DEFAULT NULL comment 'source user', `src_ip` varchar(50) COLLATE `utf8_bin` DEFAULT NULL comment 'source ip', `app_name` varchar(128) COLLATE `utf8_bin` DEFAULT NULL, `tenant_id` varchar(128) COLLATE `utf8_bin` DEFAULT NULL comment '租戶字段', `c_desc` varchar(256) COLLATE `utf8_bin` DEFAULT NULL, `c_use` varchar(64) COLLATE `utf8_bin` DEFAULT NULL, `effect` varchar(64) COLLATE `utf8_bin` DEFAULT NULL, `type` varchar(64) COLLATE `utf8_bin` DEFAULT NULL, `c_schema` text COLLATE `utf8_bin` DEFAULT NULL, `encrypted_data_key` text COLLATE `utf8_bin` comment '秘鑰', PRIMARY KEY `PRIMARY` (`id`) USING BTREE, UNIQUE KEY `uk_configinfo_datagrouptenant` (`data_id`(255),`group_id`(255),`tenant_id`(128)) USING BTREE ) ENGINE=InnoDB DEFAULT CHARSET=utf8, ROW_FORMAT = 5, COMMENT 'config_info';
解決方法:
將ROW_FORMAT 改為COMPACT或DYNAMIC就可以解決
報錯2:導(dǎo)入表空間時,報錯
ERROR 1812 (HY000): Tablespace is missing for table ops.tt7.
解決方法:查看從原庫/data/目錄copy的.ibd文件的屬主和屬組是否是mysql的啟動用戶,不是則修改即可
報錯3:所有步驟執(zhí)行完成后,重啟mysql時啟動失敗,查看mysql日志如下報錯:
[InnoDB] [FATAL] Tablespace id is xx in the data dictionary but in file .\test\config.ibd it is xx!
這個錯誤意思就是庫名表名一致,但是表空間id已經(jīng)不同了,說明上面的執(zhí)行步驟有錯誤,導(dǎo)致表空間id記錄在兩個地方,一個在系統(tǒng)表空間中的字典表,一個記錄在表對應(yīng)的ibd文件里。這個時候,不管出于何種原因,ibd文件使用了舊文件,就會報這個錯誤。并且導(dǎo)致mysqld進(jìn)程崩潰退出。
解決方法:
將對應(yīng)的庫中的某個表刪除,并重新生成表結(jié)構(gòu)并創(chuàng)建表,然后重新將原表結(jié)構(gòu)和表空間脫離并重新導(dǎo)入表空間,操作上面都有,重新執(zhí)行即可
總結(jié)
以上為個人經(jīng)驗,希望能給大家一個參考,也希望大家多多支持腳本之家。
- MySQL通過binlog實現(xiàn)恢復(fù)數(shù)據(jù)
- Python MySQL如何通過Binlog獲取變更記錄恢復(fù)數(shù)據(jù)
- MySQL通過日志恢復(fù)數(shù)據(jù)的操作步驟
- MySQL通過ibd文件恢復(fù)數(shù)據(jù)的操作過程
- MySQL開啟配置binlog及通過binlog恢復(fù)數(shù)據(jù)步驟詳析
- mysql binlog如何恢復(fù)數(shù)據(jù)到某一時刻
- MySQL誤刪后使用binlog恢復(fù)數(shù)據(jù)的實現(xiàn)方法
- Mysql如何通過ibd文件恢復(fù)數(shù)據(jù)
- mysql如何根據(jù).frm和.ibd文件恢復(fù)數(shù)據(jù)表
- 一步步教你如何使用mysql?binlog恢復(fù)數(shù)據(jù)
- MySql恢復(fù)數(shù)據(jù)方法梳理講解
- Mysql通過ibd文件恢復(fù)數(shù)據(jù)的詳細(xì)步驟
- MySQL數(shù)據(jù)庫通過Binlog恢復(fù)數(shù)據(jù)的詳細(xì)步驟
- Mysql如何通過binlog日志恢復(fù)數(shù)據(jù)詳解
- mysql5.7使用binlog 恢復(fù)數(shù)據(jù)的方法
- MySQL通過binlog恢復(fù)數(shù)據(jù)
- mysql8.0無備份通過idb文件恢復(fù)數(shù)據(jù)的方法、idb文件修復(fù)和tablespace?id不一致處理
相關(guān)文章
Mysql 5.6.37 winx64安裝雙版本mysql筆記記錄
機(jī)器上現(xiàn)在已經(jīng)存在5.0版本MySQL的情況下裝一個最新版的mysql,下文通過實例代碼給大家介紹Mysql 5.6.37 winx64安裝雙版本mysql筆記記錄,感興趣的朋友一起看看吧2017-07-07MySQL數(shù)據(jù)庫遠(yuǎn)程連接開啟方法
有時候需要遠(yuǎn)程連接mysql數(shù)據(jù)庫,默認(rèn)是不可以的,大家可以參考下面的方法,解決下。2010-08-08