sqlite3 批量insert的性能优化

1、传统方式导入,一万条数据的导入(46s)

$sqlite_db=newPDO('sqlite:sqlitedata.db','gongz',[]);
$start=time();
$n=0;
while($n<100000){
$n++;
$sql="INSERTINTO`result_data`(`buguid`,`buname`,`签约金额_万`,`认购金额_万`,`认购套数_万`,`date`,`number1`,`number2`,`rp_buname_95938`,`rp_type_95938`,`rp_parentguid_95938`,`rp_levelcode_95938`)VALUES('871709c2-083c-e511-80c0-00155d0a6f23','名称','31','547','776','2015-12-0700:00:00','123.7890','456.5678','4','e64c7c15-7ac9-406c-9969-d41aeebf3a09','a.aa.001.01')";
$sqlite_db->exec($sql);
}
echotime()-$start;

2、传统方式导入,关闭写如磁盘的检查,一万条数据的导入(10s)

$sqlite_db=newPDO('sqlite:sqlitedata.db',[]);
$start=time();
$n=0;
$sqlite_db->exec('PRAGMAsynchronous=OFF;');
while($n<10000){
$n++;
$sql="INSERTINTO`result_data`(`buguid`,'a.aa.001.01')";
$sqlite_db->exec($sql);
}
echotime()-$start;

3、开启事务,一万条数据的导入(0s)

$sqlite_db=newPDO('sqlite:sqlitedata.db',[]);
$start=time();
$n=0;
$sqlite_db->beginTransaction();
while($n<10000){
$n++;
$sql="INSERTINTO`result_data`(`buguid`,'a.aa.001.01')";
$sqlite_db->exec($sql);
}
$sqlite_db->commit();
echotime()-$start;

另外关于sqlite主键id的小技巧:

在创建表的时候,可以不用指定主键,sqlite认会有一个隐藏的rowid字段存在,只需要在select的时候在字段中将rowid as成一个字段名称就可以使用了

相关文章

SQLite架构简单,又有Json计算能力,有时会承担Json文件/RES...
使用Python操作内置数据库SQLite以及MySQL数据库。
破解微信数据库密码,用python导出微信聊天记录
(Unity)SQLite 是一个软件库,实现了自给自足的、无服务器...
安卓开发,利用SQLite实现登陆注册功能