锐客网

  1. 首页 > 生活百科 > it技术 > >

php大量数据 php处理大量数据+超时

IT技术数据

php处理大量数据时 ， 运行到一定时间就中断了，请问如何解决php处理数据时会有一个等待时间php大量数据，就是所说php大量数据的超时时间php大量数据 ， 而且如果使用mysql的话 ， 它也有一个超时时间 ， 运行一串代码时间如果超过配置文件的时间，会被中断不运行 。第一种你可以修改php配置文件timeout的运行时间，第二你可以分批处理大量数据 ， 注意是分批处理，就OKphp大量数据了 。
在PHP中怎么解决大量数据处理的问题mysql_query函数查询的方式是查询出全部结果后缓存到内存中，这样就会出现超内存的现象，使用另外一个函数mysql_unbuffered_query可以解决这个问题，mysql_unbuffered_query不会缓存结果集 ， 而是查询出来数据后立马对结果集进行操作，也就是便查询边返回 ， 这样就不会出现超出内存的现象，但是使用mysql_unbuffered_query的是时候不能使用 mysql_num_rows() 和 mysql_data_seek() 。并且向 MySQL 发送一条新的 SQL 查询之前，必须提取掉所有未缓存的 SQL 查询所产生的结果行 。例如：
使用缓存结果集的代码：
function selecttest()
{
try {
$pdo = new PDO("mysql:host=localhost;dbname=test", 'root', '123456');
//不使用缓存结果集方式
//$pdo-setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);
$sth = $pdo-prepare('select * from test');
$sth-execute();
echo '最初占用内存大?。? . memory_get_usage() . "\n";
$i = 0;
while ($result = $sth-fetch(PDO::FETCH_ASSOC)) {
$i= 1;
if ($i10) {
break;
}
sleep(1);
print_r($result);
echo '占用内存大?。? . memory_get_usage() . "\n";
}
} catch (Exception $e) {
echo $e-getMessage();
}
}
执行时将会报超出内存的错误：
Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to allocate 204800000 bytes) in E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php on line 56
Call Stack:
0.00051353921. {main}() E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php:0
0.00051355682. test-selecttest() E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php:85
0.00501425283. PDOStatement-execute() E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php:56
将上面代码中的$pdo-setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);一行的注释去掉后将不在缓存结果集，这时运行该函数的结果如下：
最初占用内存大?。?44808
Array
(
[id] = 1
[a] = v
[b] = w
[c] = i
)
占用内存大?。?45544
Array
(
[id] = 2
[a] = b
[b] = l
[c] = q
)
占用内存大?。?45544
Array
(
[id] = 3
[a] = m
[b] = p
[c] = h
)
占用内存大?。?45536
Array
(
[id] = 4
[a] = j
[b] = i
[c] = b
)
占用内存大?。?45536
可以看到，这时返回一条数据内存占用非常的小，也就700多字节，这样就不会出现超出内存的错误了 。
php怎么导出大量数据的Excel用这个吧：PHPExcel
步骤：
1.百度：phpexcel ， 结果如图所示，点击第一个结果php大量数据；
2.进入官网后，找到右边php大量数据的download按钮，下载 ， 下载完成的是一个压缩文件 ， 解压放到你的项目目录里 ， 根据个人情况而定；
3.因为这里给大家做演示，所以建了一个测试文件 ， 有点基础的都能明白是怎么回事，下面进入代码；
4.
//引入PHPExcel库文件（路径根据自己情况）
include './phpexcel/Classes/PHPExcel.php';
//创建对象
$excel = new PHPExcel();
//Excel表格式,这里简略写了8列
$letter = array('A','B','C','D','E','F','F','G');
//表头数组
$tableheader = array('学号','姓名','性别','年龄','班级');
//填充表头信息
for($i = 0;$icount($tableheader);$i) {
$excel-getActiveSheet()-setCellValue("$letter[$i]1","$tableheader[$i]");
}
5.
//表格数组
$data = https://www.04ip.com/post/array(
array('1','小王','男','20','100'),
array('2','小李','男','20','101'),
array('3','小张','女','20','102'),
array('4','小赵','女','20','103')
);
//填充表格信息
for ($i = 2;$i = count($data)1;$i) {
$j = 0;
【php大量数据 php处理大量数据 超时】foreach ($data[$i - 2] as $key=$value) {
$excel-getActiveSheet()-setCellValue("$letter[$j]$i","$value");
$j;
}
}
6.
//创建Excel输入对象
$write = new PHPExcel_Writer_Excel5($excel);
header("Pragma: public");
header("Expires: 0");
header("Cache-Control:must-revalidate, post-check=0, pre-check=0");
header("Content-Type:application/force-download");
header("Content-Type:application/vnd.ms-execl");
header("Content-Type:application/octet-stream");
header("Content-Type:application/download");;
header('Content-Disposition:attachment;filename="testdata.xls"');
header("Content-Transfer-Encoding:binary");
$write-save('php://output');
7.打开页面，刷新的时候会弹出对话框，让你选择文件保存路径和文件名称，我直接放在了桌面上，如图所示；
8.打开表格后，数据和格式跟代码中的一致，说明PHP导出的Excel是正确的 。如果出现错误，检查一下你的表格数组和数据数组吧 。
如何解决PHP里大量数据循环时内存耗尽的问题?php
mysql_connect("localhost", "mysql_user", "mysql_password") or
die("Could not connect: " . mysql_error());//连接你的数据库
mysql_select_db("mydb");//选择你的数据库
$result = mysql_query("SELECT `name` FROM data_boy WHERE `id`='2' LIMIT 0, 60");//执行SQL查询语句,搜索出60条数据
while ($row = mysql_fetch_array($result)) {
echo "姓名:".$row[name]."br";
/*补充一句，此处也可以是：
echo "姓名:".$row[0]."br";此处"mysql_fetch_array"默认返回的既有 关联数组（字段作为键名），也有数字索引数组*/
}
mysql_free_result($result);//释放结果
如何解决PHP查询大量数据内存耗尽的问题这个问题在PHP的官方网站上叫缓冲查询和非缓冲查询(Buffered and Unbuffered queries) 。PHP的查询缺省模式是缓冲模式 。也就是说，查询数据结果会一次全部提取到内存里供PHP程序处理 。这样给了PHP程序额外的功能 ， 比如说，计算行数，将指针指向某一行等 。更重要的是程序可以对数据集反复进行二次查询和过滤等操作 。但这种缓冲查询模式的缺陷就是消耗内存，也就是用空间换速度 。
相对的，另外一种PHP查询模式是非缓冲查询，数据库服务器会一条一条的返回数据，而不是一次全部返回 ， 这样的结果就是PHP程序消耗较少的内存 ， 但却增加了数据库服务器的压力，因为数据库会一直等待PHP来取数据，一直到数据全部取完 。
很显然 ， 缓冲查询模式适用于小数据量查询，而非缓冲查询适应于大数据量查询 。
PHP 用PHPExcel往数据库导入大量数据1、首先我们准备一个含有数据php大量数据的Excel表格，表头和数据表中php大量数据的表字段相对应 。
2、在ThinkPHP中引入PHPExcel类库 。
3、然后我们编写导入的PHP代码 。
4、然后我们编写导出的PHP代码 。
5、然后我们进行导出测试发现可以导出即可 。
关于php大量数据和php处理大量数据 超时的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站 。

    推荐阅读


    上一篇：如何正确填写笔记本电脑的服务器地址？ 笔记本服务器地址怎么填写

    下一篇：封面怎么换视频号的背景，视频号 修改封面