MYSQL里有五百萬數(shù)據(jù)，但大多是重復的，真實的就180萬，于是想怎樣把這些重復的數(shù)據(jù)搞出來，在網(wǎng)上找了一圈，好多是用NOT IN這樣的代碼，這樣效率很低，自己琢磨組合了一下，找到一個高效的處理方式，用這個方式，五百萬數(shù)據(jù)，十來分鐘就全部去除重復了，請各位參考。

第一步：從500萬數(shù)據(jù)表data_content_152里提取出不重復的字段SFZHM對應的ID字段到TMP3表

create table tmp3 as select min(id) as col1 from data_content_152 group by SFZHM;

第二步：創(chuàng)建新表RES

CREATE TABLE `res` (
`id` int(11),
`sfz` char(20)
) ENGINE=MyISAM;

第三步：把TMP3表ID對應到data_content_152里需要提取的數(shù)據(jù)添加到RES表的SFZ字段

INSERT INTO res (sfz) SELECT sfzhm FROM data_content_152,tmp3 where data_content_152.id=tmp3.col1

至此，就在MYSQL里實現(xiàn)了，給數(shù)據(jù)表data_content_152完全刪除重復數(shù)據(jù)，把去重復后的數(shù)據(jù)導入到RES表。

您可能感興趣的文章:

MySQL
重復

MySQL中的排序規(guī)則
這篇文章主要介紹了MySQL中的排序規(guī)則,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教
2023-11-11
Mysql事物鎖等待超時Lock wait timeout exceeded;的解決
本文主要介紹了Mysql事物鎖等待超時Lock wait timeout exceeded;的解決，文中通過示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下
2022-03-03
Mysql 數(shù)據(jù)庫死鎖過程分析(select for update)
最近有項目需求，需要保證多臺機器不拿到相同的數(shù)據(jù)，后來發(fā)現(xiàn)Mysql查詢語句使用select.. for update經(jīng)常導致數(shù)據(jù)庫死鎖問題，下面小編給大家介紹mysql 數(shù)據(jù)庫死鎖過程分析(select for update)，對mysql數(shù)據(jù)庫死鎖問題感興趣的朋友一起學習吧
2015-12-12
Mysql表的操作方法詳細介紹
這篇文章主要為大家詳細介紹了MySQL數(shù)據(jù)庫中表常用的一些操作方法，文中的示例代碼講解詳細，對我們學習MySQL有一定幫助，需要的可以參考一下
2022-09-09
mysql 月份查詢該月有付款的數(shù)據(jù)
mysql選擇月份查詢該月有付款的數(shù)據(jù)（間隔x月并提前5天付款）
2010-04-04
mysql 設置自動創(chuàng)建時間及修改時間的方法示例
這篇文章主要介紹了mysql 設置自動創(chuàng)建時間及修改時間的方法,結合實例形式分析了mysql針對創(chuàng)建時間及修改時間相關操作技巧,需要的朋友可以參考下
2019-09-09
如何使用Maxwell實時同步mysql數(shù)據(jù)
這篇文章主要介紹了如何使用Maxwell實時同步mysql數(shù)據(jù)，幫助大家更好的理解和學習使用MySQL，感興趣的朋友可以了解下
2021-04-04
MySQL中ESCAPE關鍵字的用法詳解
這篇文章主要介紹了MySQL中ESCAPE關鍵字的用法詳解,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧
2020-12-12
mysql處理海量數(shù)據(jù)時的一些優(yōu)化查詢速度方法
最近一段時間由于工作需要，開始關注針對Mysql數(shù)據(jù)庫的select查詢語句的相關優(yōu)化方法,需要的朋友可以參考下
2017-04-04
mysql8.0.23 linux（centos7)安裝完整超詳細教程
這篇文章主要介紹了mysql8.0.23 linux（centos7)安裝完整超詳細教程,本文給介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下
2021-01-01