mysql技巧：提高插入數(shù)據(jù)(添加記錄)的速度
更新時間：2014年12月20日 00:54:29 投稿：mdxy-dxy
這篇文章主要介紹了mysql技巧：提高插入數(shù)據(jù)(添加記錄)的速度,需要的朋友可以參考下
問題描述：
普通臺式機，采集數(shù)據(jù)，表中已經(jīng)有>1000萬數(shù)據(jù)量。
采集回來的數(shù)據(jù)插入表中的時候很慢，每條約100毫秒。
解決方法：
1、加大mysql配置中的bulk_insert_buffer_size，這個參數(shù)默認為8M
bulk_insert_buffer_size=100M
2、改寫所有insert語句為insert delayed
這個insert delayed不同之處在于：立即返回結(jié)果，后臺進行處理插入。
還有一個技巧是在一跳insert中插入多條數(shù)據(jù)，類似insert into tablename values('xxx','xxx'),('yyy','yyy'),('zzz','zzz')...;但是在我采集程序中改sql比較麻煩，故未采用
腳本之家小編提醒：
說實話一般主要用于數(shù)據(jù)的采集入庫操作，成熟的cms不建議修改，dedecms是由于本人的系統(tǒng)設(shè)計問題，建議使用商業(yè)版或自行建立索引等，現(xiàn)在大數(shù)據(jù)首選帝國cms或phpcms。
您可能感興趣的文章:
- mysql大批量插入數(shù)據(jù)的4種方法示例
- mysql中迅速插入百萬條測試數(shù)據(jù)的方法
- MySql中把一個表的數(shù)據(jù)插入到另一個表中的實現(xiàn)代碼
- 用一條mysql語句插入多條數(shù)據(jù)
- mysql如果數(shù)據(jù)不存在，則插入新數(shù)據(jù)，否則更新的實現(xiàn)方法
- mysql中插入表數(shù)據(jù)中文亂碼問題的解決方法
- mysql數(shù)據(jù)庫插入速度和讀取速度的調(diào)整記錄
- MYSQL批量插入數(shù)據(jù)的實現(xiàn)代碼
- mysql 一次向表中插入多條數(shù)據(jù)實例講解
- Mysql快速插入千萬條數(shù)據(jù)的實戰(zhàn)教程
相關(guān)文章
MySQL執(zhí)行SQL文件報錯:Unknown collation ‘utf8mb4_0900_ai_
這篇文章主要給大家分享了MySQL執(zhí)行SQL文件出現(xiàn)【Unknown collation ‘utf8mb4_0900_ai_ci‘】的解決方案,如果又遇到相同問題的同學(xué),可以參考閱讀本文2023-09-09
這篇文章主要為大家詳細介紹了linux下mysql 5.7.16 免安裝版本圖文教程，具有一定的參考價值，感興趣的小伙伴們可以參考一下
2017-02-02 
SQL標(biāo)準(zhǔn)中定義了4種隔離級別，分別是讀未提交、讀已提交、可重復(fù)讀以及序列化。不同的隔離級別下，本文將重點探討下MySQL是如何解決幻讀問題的,需要的朋友可以跟著小編一起來探討一下
2023-07-07 
MySQL 的 EXPLAIN 是一個用于查詢優(yōu)化的關(guān)鍵字。它用于分析和評估查詢語句的執(zhí)行計劃，幫助開發(fā)者理解查詢語句的性能問題以及優(yōu)化查詢的方式，所以本文就給大家詳細的介紹一下MySQL關(guān)鍵字explain的用法,需要的朋友可以參考下
2023-07-07 
MySQL索引查詢limit?offset及排序order?by用法
這篇文章主要介紹了MySQL限制數(shù)據(jù)返回條數(shù)limit?offset及排序order?by用法,有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪
2023-05-05 
這篇文章主要介紹了解決MySql客戶端秒退問題（找不到my.ini）,本文給大家介紹的非常詳細，具有一定的參考借鑒價值，需要的朋友可以參考下
2020-02-02 
在向表中插入數(shù)據(jù)的時候，經(jīng)常遇到這樣的情況：1. 首先判斷數(shù)據(jù)是否存在； 2. 如果不存在，則插入；3.如果存在，則更新。
2014-06-06 
剛剛我們說過了，生活中難免會有一些不如意，比如，我們用一個字符串類型的字段來作為主鍵，表面上，這太不如意了，然而，事實也證明這是有用的。
2011-03-03 
MySQL主從數(shù)據(jù)一致性怎么恢復(fù)，MySQL主從數(shù)據(jù)庫的數(shù)據(jù)不一致，猜測備庫在同步過程中出現(xiàn)了問題，現(xiàn)在的問題很明確，就是如何恢復(fù)主從庫數(shù)據(jù)的一致性，下文為大家分享解決方法，感興趣的小伙伴們可以參考一下
2016-04-04