您現在的位置: 365建站網 > 365學習 > MySQL批量SQL插入性能優化方法

MySQL批量SQL插入性能優化方法

文章來源:365jz.com     點擊數:364    更新時間:2019-06-23 00:59   參與評論

,數據庫面臨的問題除了查詢效率低下,還有就是數據入庫時間長。特別像報表系統,每天花費在數據導入上的時間可能會長達幾個小時或十幾個小時之久。因此,優化數據庫插入性能是很有意義的。 
經過對MySQL innodb的一些性能測試,發現一些可以提高insert效率,MySQL批量SQL插入性能優化方法供大家參考參考。

1、一條SQL語句插入多條數據。

常用的插入語句如:

INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`)      
VALUES ('0', 'userid_0', 'content_0', 0);INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`) 
 VALUES ('1', 'userid_1', 'content_1', 1);12345

修改成:

INSERT INTO `insert_table` (`datetime`,`uid`,`content`,`type`)VALUES ('0','userid_0','content_0',0),('1','userid_1','content_1',1);12

修改后的插入操作能夠提高程序的插入效率。這里第二種SQL執行效率高的主要原因是合并后日志量(MySQL的binlog和innodb的事務讓日志)減少了,降低日志刷盤的數據量和頻率,從而提高效率。通過合并SQL語句,同時也能減少SQL語句解析的次數,減少網絡傳輸的IO。

這里提供一些測試對比數據,分別是進行單條數據的導入與轉化成一條SQL語句進行導入,分別測試1百、1千、1萬條數據記錄。

這里寫圖片描述

2、 在事務中進行插入處理。

把插入修改成:

START TRANSACTION;INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`) 
   VALUES ('0', 'userid_0', 'content_0', 0);INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`) 
    VALUES ('1', 'userid_1', 'content_1', 1);...COMMIT;1234567

使用事務可以提高數據的插入效率,這是因為進行一個INSERT操作時,MySQL內部會建立一個事務,在事務內才進行真正插入處理操作。通過使用事務可以減少創建事務的消耗,所有插入都在執行后才進行提交操作。

這里也提供了測試對比,分別是不使用事務與使用事務在記錄數為1百、1千、1萬的情況。

這里寫圖片描述

3、數據有序插入。

數據有序的插入是指插入記錄在主鍵上是有序排列,例如datetime是記錄的主鍵:

INSERT INTO `insert_table` (`datetime`,`uid`,`content`,`type`)VALUES('1','userid_1','content_1',1);INSERT INTO `insert_table`(`datetime`,`uid`,`content`,`type`)VALUES('0','userid_0','content_0',0);INSERT INTO `insert_table`(`datetime`,`uid`,`content`,`type`)VALUES('2','userid_2','content_2',2);12345678

修改成:

INSERT INTO `insert_table` (`datetime`,`uid`,`content`,`type`)VALUES('0','userid_0','content_0',0);INSERT INTO `insert_table` (`datetime`,`uid`,`content`,`type`)VALUES('1','userid_1','content_1',1);INSERT INTO`insert_table`(`datetime`,`uid`,`content`,`type`)VALUES('2','userid_2','content_2',2);12345678

由于數據庫插入時,需要維護索引數據,無序的記錄會增大維護索引的成本。我們可以參照innodb使用的B+tree索引,如果每次插入記錄都在索引的最后面,索引的定位效率很高,并且對索引調整較??;如果插入的記錄在索引中間,需要B+tree進行分裂合并等處理,會消耗比較多計算資源,并且插入記錄的索引定位效率會下降,數據量較大時會有頻繁的磁盤操作。

下面提供隨機數據與順序數據的性能對比,分別是記錄為1百、1千、1萬、10萬、100萬。 
這里寫圖片描述

從測試結果來看,該優化方法的性能有所提高,但是提高并不是很明顯。

性能綜合測試:

這里提供了同時使用上面三種方法進行INSERT效率優化的測試。

這里寫圖片描述

從測試結果可以看到,合并數據+事務的方法在較小數據量時,性能提高是很明顯的,數據量較大時(1千萬以上),性能會急劇下降,這是由于此時數據量超過了innodb_buffer的容量,每次定位索引涉及較多的磁盤讀寫操作,性能下降較快。而使用合并數據+事務+有序數據的方式在數據量達到千萬級以上表現依舊是良好,在數據量較大時,有序數據索引定位較為方便,不需要頻繁對磁盤進行讀寫操作,所以可以維持較高的性能。

注意事項:

1、SQL語句是有長度限制,在進行數據合并在同一SQL中務必不能超過SQL長度限制,通過max_allowed_packet配置可以修改,默認是1M,測試時修改為8M。

2、事務需要控制大小,事務太大可能會影響執行的效率。MySQL有innodb_log_buffer_size配置項,超過這個值會把innodb的數據刷到磁盤中,這時,效率會有所下降。所以比較好的做法是,在數據達到這個這個值前進行事務提交。


如對本文有疑問,請提交到交流論壇,廣大熱心網友會為你解答??! 點擊進入論壇


發表評論 (364人查看,0條評論)
請自覺遵守互聯網相關的政策法規,嚴禁發布色情、暴力、反動的言論。
用戶名: 驗證碼: 點擊我更換圖片
最新評論
------分隔線----------------------------
自拍偷拍福力视频,偷拍国际精品,麻豆一区福利电影,国产网红视频午夜福利,se视频大全,久久国产AV影院 疯狂的交换女友第一部| 成上人色爱a∨综合网| bgmbgmbgm老太太| 亚洲欧美午夜理论电影在线观看| 沟厕一个接一个美女嘘嘘| 久久婷香五月综合色啪| 亚洲区少妇熟女专区| 偷拍性交| 午夜欧美理论2019理论| 色偷偷人人澡久久超碰97位wa| 18禁大片免费播放器| 日本熟妇无码免费视频色播| 亚洲熟妇无码aⅤ在线播放| 打开双腿让老男人玩| 欧美a级在线现免费观看| 亚洲高清无码在线 视频| 高清人妻互换av片| 日本邪恶少女漫画| 国产综合色在线精品| 97视频在线精品国自产拍| 丝袜老师自慰丝袜jk| 欧美人与动牲交a免费观看| 大香伊蕉人在播放| 18japanese宾馆直播| av无码电影一区二区三区| 日本免费专区在线观看中破初| 极品少妇的粉嫩小泬视频| 日韩性公交车上xxhd| 人体自然造型| gv无码免费无禁网站| 漂亮女医生被强奷在线观看| http://www.air-condition-hk.com