我有来自主数据库的大量数据,通过应用一些逻辑来清理数据,我正在读写CSV数据。这是一个超过100K的大数据集。我正在使用beanshell写入CSV,速度非常快。
现在的最终目标是将数据写入下一个mySQL DB。
理想情况下,我不希望涉及CSV并直接写入mySQL DB,但这可能会有一个问题,那就是我需要添加JDBC步骤来调用它以获取10万条记录。
所以我想仍然写到CSV,然后从那里我想将记录分成1000或2000组,以减少SQL查询的负担。
注意:我无法删除beanshell部分,因为我正在解析JSON响应,然后写入CSV,因此必须对其进行处理。
任何建议解决方案将受到高度赞赏。
如果您需要将整个CSV最快最快地插入MySQL数据库,最简单的方法是使用LOAD DATA语句,例如:
LOAD DATA INFILE '/path/to/your/file.csv' INTO TABLE YOUR_TABLE_NAME_HERE FIELDS TERMINATED BY ',' ENCLOSED BY '"' LINES TERMINATED BY '\\r\\n'
[我也建议重新考虑您的“ beanshell”方法,since JMeter 3.1 it's recommended to use JSR223 Test Elements and Groovy language用于脚本编写,Groovy performs much better并具有built-in JSON support(以及SQL support)。