关于mysql导入大文本txt文件

前几天在偶然的情况下,获得了一个18G的txt文件,现在需要导入到数据库中,那么该怎么导入才能保证高效并且稳定呢?


mysql插入效率

首先应该知道的就是mysql的插入效率跟下面几个点有关

1:mysql数据库引擎,myisam,innodb,甚至是memory的插入效率都是不一样

2:索引,索引也会导致插入效率变慢

3:唯一索引冲突,在插入mysql数据库时,如果有相同数据,将会报错,降低插入效率

4:mysql硬盘,机械硬盘跟固态硬盘的插入效率也是不一样的

5:导入方法,单线程多线程等

6:mysql配置项,各种缓存区大小配置,索引查询配置等.


我们通过一个个点进行比对,找出最优的方案.


数据库引擎

我们先测试下myisam 和innodb的插入效率对比,至于memory就不测试了.没有必要.

CREATE TABLE `test_1` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `phone` varchar(18) DEFAULT NULL,
  `uid` bigint(20) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

CREATE TABLE `test_2` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `phone` varchar(18) DEFAULT NULL,
  `uid` bigint(20) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=MyISAM DEFAULT CHARSET=utf8;

2者都通过 Navicat txt导入方式导入10万条数据:

仙士可博客


仙士可博客


可看到.在默认情况下innodb的插入时间为10.02秒,而myisam为5.93秒,所以默认情况下,innodb插入效率确实是比myisam慢的,那么有没有办法提高innodb速度呢?

提高innodb插入速度方法

注意,此方法只用于测试innodb极限插入速度,不建议在生产环境中使用.

首先,我们需要知道,innodb引擎的插入逻辑:










仙士可博客
请先登录后发表评论
  • 最新评论
  • 总共1条评论
仙士可博客

CCC:笑死了哈哈哈哈 我也是因为偶然得到了那个18G的txt文件才找到了你的文章

2021-06-21 22:02:02 回复

仙士可博客
  • 仙士可 回复 CCC:别笑死了,这文章我都忘记写了
  • 2021-06-22 15:12:48 回复
  • 本站由白俊遥博客程序搭建
    © 2017-1-17 php20.cn 版权所有 ICP证:闽ICP备17001387号
  • 联系邮箱:1067197739@qq.com