- 最近用 java 做了一个小工具 可以向 mysql 插入大量插入随机数据 可是效率有点低
之前想过生成随机数据后 写到 txt 文本 再读到 数据库 但这需要 mysql 开启读文本的权限
想知道有其他方式优化插入速度么
This topic created in 2148 days ago, the information mentioned may be changed or developed.
 |
xuanbgDec 19, 2020
1
楼主批量插入了解一下
|
 |
LGA1150Dec 19, 2020
2
是自增主键吗？
|
 |
clrssDec 19, 2020
5
server 端 prepare stmt 用了么
|
 |
ericbizeDec 19, 2020 via iPhone
6
lz 是单次插入单条吗？
|
 |
7
数据如果不重要的话可以把表结构设计为 memory，然后 insert 的时候，可以拼接多个 value，但是不要拼接太多
|
1 |
johnsonaDec 19, 2020
8
九浅一深
|
 |
opengpsDec 19, 2020
9
机械硬盘的话，换成 ssd 硬盘
单条单次写入的话，改为多次批量写入 写入随机时候，保持聚集索引列是递增状态的 |
 |
wellscDec 19, 2020
10
换 myrocks 引擎，插入贼快，查找就有点捉急
|
 |
limuyan44Dec 19, 2020
11
只是生成随机数据还有比存储过程快的吗
|
 |
ericlsDec 20, 2020 via iPhone
19
去掉 constraint 和 index
|
 |
20
@caiji11 他的意思是，你直接在存储过程里写随机值插数据。我没用过，对该方法不表态。
另外，如果用的是 inodb，插入前可以将 innodb_flush_log_at_trx_commit 设置为 0，保证最快插入，处理完再设置回去(默认值是 1)。该参数为 0 时表示每次事务(注意每次插入就是一次事务的提交)写到 buffer 后就返回了，会有个线程异步去刷到日志和落磁盘。而 1 则落到磁盘才返回。 |
 |
haosamaxDec 20, 2020 via iPhone
21
change buffer
|
 |
OldCarManDec 20, 2020
22
@caiji11 个人猜测 楼上说的存储过程应该是类似这个（ https://zhuanlan.zhihu.com/p/62626328 ）的意思，不知道是不是你想要的。另外，自增主键存储过程中可以用 AUTO_INCREMENT，其他字段也想自增的话，可以使用序列。
|
 |
YouLMAODec 20, 2020 via Android
23
购买 spanner, 全球三地三中心三活
|
|
OldCarManDec 21, 2020
25
@caiji11 我好奇，你用 java 这种方式批量导入随机数据的耗时是怎么样，我用我上面贴的例子，批量导入 20 万条（表结构 user(id,name,age)）数据到我电脑虚拟机 mysql 容器花了 44 秒左右。
|
 |
26
@OldCarMan 很慢的 没有这么快 逻辑处理要耗费很多时间 做到可以自定义日期范围 以及一个表中几个日期之间的关系 如果没有自定义生成的话 出来的数据也不能用 主要考虑到这 所以没有用存储过程 用 go 会不会快些呢 哈哈
|
|
27
@OldCarMan https://github.com/fcdml/MOCKSQL 工具地址 可以看看具体的实现
|
Select Language