锐客网

  1. 首页 > 睿知 > it技术 > >

php大数据插入数据库 php做大数据

IT技术数据库

PHP 怎么循环一组数字（1万条数据）插入数据库？1W条数据量也不是特别大，那就直接读?。缓笤趂oreach入库就可以了
如果数据量非常大的时候，那就分段读取 ， 然后入库~
考虑到php超时，那就网页端打开 ， 第一部分执行完 ， 刷新页面，开始执行第二部分，依次进行...
当然，直接在命令行下执行也可以~
求关于php excel导入大数据到mysql的解决办法下载 PHPExcel
require_once( './PHPExcel/IOFactory.php');
$filePath = 'D:/xxx.xlsx'; //excel 文件名
$objReader = new PHPExcel_Reader_Excel2007();//具体查看（Documentation/Examples/Reader/exampleReader01.php）
$objPHPExcel = $objReader-load($filePath);
$sheetData = https://www.04ip.com/post/$objPHPExcel-getActiveSheet()-toArray(null,true,true,true);
$insql = 'insert into 表名(x,x,x) valeus';
//遍历数组 $sheetData
//如果有标题 先删除 unset($sheetData[1]);
foreach($sheetData as $k = $data){
$insql .= '('.$data['A'].','.$data['B'].','.$data['C'].'),';
//一次插入100条数据减少数据库压力
if(($k+1 / 100) == 0){
$insql = rtrim($insql,',').';'; //将最后的逗号替换成分好
//插入数据库 并且重置 字符串 $insql
//或者保存到文件中 利用source 命令插入数据库
}
}
php 怎么解决 大数据量 插入数据库ini_set('max_execution_time','0');
$pdo
=
new
PDO("mysql:host=localhost;dbname=test","root","123456");
$sql
=
"insert
into
test(name,age,state,created_time)
values";
for($i=0;
$i100000;
$i++){
$sql
.="('zhangsan',21,1,'2015-09-17')";
}
$sql
=
substr($sql,0,strlen($sql)-1);
var_dump($sql);
if($pdo
-
exec($sql)){
echo
"插入成功！";
echo
$pdo
-
lastinsertid();
}
试试吧 。10万条1分钟多，我觉得还行
如何用php导出导入大数据库在使用PhpMyAdmin的时候经常用到数据的导入和导出(Export/Import)，但是在导入大数据的时候由于php上传文件的限制和脚本响应时间的限制 ， 导致phpMyAdmin无法导入大数据 。很多时候都是由于文件过大 ， 从本地浏览上传导入，容易中断失败 ， 有没有更好的方法呢？
方法：
在phpMyAdmin的目录下，找到根目录的config.inc.php文件，
打开config.inc.php文件 ， 查找$cfg['UploadDir']，这个参数就是设定导入文件存放的目录，这里把值设定为：ImportSQLFile 。
在phpMyAdmin目录下 ， 建立以ImportSQLFile命名的文件夹，
把我们需要导入的数据文件，放到ImportSQLFile文件夹下面 ， 非常简单，
登入phpMyAdmin，选择需要导入的数据，点击导航条上面的“导入”按钮，
选中“从网站服务器上传文件夹ImportSQLFile/中选择：”选项，并需要导入的数据文件，
最后点击“执行”，即可导入成功 。
注意事项
如果在config.inc.php文件，没有找到$cfg['UploadDir'] ， 可以自己在文件中添加上去即可 。
php 怎么解决 大数据量 插入数据库（1次几千条数据）如果是用mysql数据库的话，一条语句可以插入几千条语句 。类似以下语句：
insert into table_name (field1,field2) values (1,2),(2,3),(3,5),(5,6)
请查看mysql手册 。
其他数据库请查阅相应手册 。
php如何读取CSV大文件并且将其导入数据库示例思路：
读取csv文件php大数据插入数据库，每读取一行数据php大数据插入数据库，就插入数据库
示例
文件夹结构
/
file.csv//csv大文件 ， 这里只模拟三行数据，不考虑运行效率（PS：csv文件格式很简单，文件一般较小，解析很快，运行效率php大数据插入数据库的瓶颈主要在写入数据库操作）

推荐阅读


上一篇：路由器rat怎么使用方法，路由器ra配置是什么意思

下一篇：沙发套直播话术，沙发垫直播话术