锐客网

  1. 首页 > 生活百科 > it技术 > >

php处理大数据量 php处理大数据量数据的思路

IT技术数据

php怎么导出大量数据的Excelphp导出大量数据Excel的具体操作步骤如下：
1、使用phpstudy搭建一个测试平台，直接访问数据库 。
2、下载的phpcms安装包拷贝到IIS目录，开通访问 ， 即可搭建成功 。
3、登录网站后台，系统权限，文件目录以及数据库等功能，进行管理 。
4、在phpcms后台，扩展，数据库工具，数据库导出，程序池选择phpcmsv9，开始备份数据 。
5、打开IIS网站目录 ， 在D:\wwwroot\kmxy\wwwroot\caches\bakup\default文件夹，查看导出的数据库文件 。
6、登录phpmyadmin，选择数据库导出 ， 选择Excel格式，即可导出 。
如何解决PHP查询大量数据内存耗尽的问题这个问题在PHP的官方网站上叫缓冲查询和非缓冲查询(Buffered and Unbuffered queries) 。PHP的查询缺省模式是缓冲模式 。也就是说php处理大数据量，查询数据结果会一次全部提取到内存里供PHP程序处理 。这样给php处理大数据量了PHP程序额外的功能php处理大数据量，比如说，计算行数，将指针指向某一行等 。更重要的是程序可以对数据集反复进行二次查询和过滤等操作 。但这种缓冲查询模式的缺陷就是消耗内存，也就是用空间换速度 。
相对的，另外一种PHP查询模式是非缓冲查询，数据库服务器会一条一条的返回数据，而不是一次全部返回，这样的结果就是PHP程序消耗较少的内存，但却增加php处理大数据量了数据库服务器的压力，因为数据库会一直等待PHP来取数据，一直到数据全部取完 。
很显然，缓冲查询模式适用于小数据量查询，而非缓冲查询适应于大数据量查询 。
PHP-大数据量怎么处理优化大数据的话可以进行以下操作：
减少对数据库的读取，也就是减少调用数据库 ，
进行数据缓存，
利用数据库的自身优化技术，如索引等
精确查询条件 ， 有利于提高查找速度
在PHP中怎么解决大量数据处理的问题mysql_query函数查询的方式是查询出全部结果后缓存到内存中 ， 这样就会出现超内存的现象，使用另外一个函数mysql_unbuffered_query可以解决这个问题，mysql_unbuffered_query不会缓存结果集 ， 而是查询出来数据后立马对结果集进行操作，也就是便查询边返回，这样就不会出现超出内存的现象 ， 但是使用mysql_unbuffered_query的是时候不能使用 mysql_num_rows() 和 mysql_data_seek() 。并且向 MySQL 发送一条新的 SQL 查询之前，必须提取掉所有未缓存的 SQL 查询所产生的结果行 。例如：
使用缓存结果集的代码：
function selecttest()
{
try {
$pdo = new PDO("mysql:host=localhost;dbname=test", 'root', '123456');
//不使用缓存结果集方式
//$pdo-setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);
$sth = $pdo-prepare('select * from test');
$sth-execute();
echo '最初占用内存大?。? . memory_get_usage() . "\n";
$i = 0;
while ($result = $sth-fetch(PDO::FETCH_ASSOC)) {
$i= 1;
if ($i10) {
break;
}
sleep(1);
print_r($result);
echo '占用内存大?。? . memory_get_usage() . "\n";
}
} catch (Exception $e) {
echo $e-getMessage();
}
}
执行时将会报超出内存的错误：
Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to allocate 204800000 bytes) in E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php on line 56
Call Stack:
0.00051353921. {main}() E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php:0
0.00051355682. test-selecttest() E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php:85
0.00501425283. PDOStatement-execute() E:\ProgramDevelopment\RuntimeEnvironment\xampp\htdocs\test\test.php:56
将上面代码中的$pdo-setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);一行的注释去掉后将不在缓存结果集，这时运行该函数的结果如下：
最初占用内存大?。?44808
Array
(
[id] = 1
[a] = v
[b] = w
[c] = i
)
占用内存大?。?45544
Array
(
[id] = 2
[a] = b
[b] = l
[c] = q
)
占用内存大?。?45544
Array
(
[id] = 3
[a] = m
[b] = p
【php处理大数据量 php处理大数据量数据的思路】[c] = h
)
占用内存大?。?45536
Array
(
[id] = 4
[a] = j
[b] = i
[c] = b
)
占用内存大?。?45536
可以看到，这时返回一条数据内存占用非常的小，也就700多字节，这样就不会出现超出内存的错误了 。
关于php处理大数据量和php处理大数据量数据的思路的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息 ， 记得收藏关注本站 。

    推荐阅读


    上一篇：怎么选移动硬盘，怎么选移动硬盘盒型号

    下一篇：mysql数据复制，mysql数据复制的前提