锐客网

  1. 首页 > 睿知 > it技术 > >

php多进程处理大数据库 php多线程处理大数据

IT技术数据库

如何用php导出导入大数据库在使用PhpMyAdmin的时候经常用到数据的导入和导出(Export/Import)，但是在导入大数据的时候由于php上传文件的限制和脚本响应时间的限制，导致phpMyAdmin无法导入大数据 。很多时候都是由于文件过大，从本地浏览上传导入，容易中断失败，有没有更好的方法呢？
方法php多进程处理大数据库：
在phpMyAdmin的目录下，找到根目录的config.inc.php文件，
打开config.inc.php文件，查找$cfg['UploadDir']，这个参数就是设定导入文件存放的目录，这里把值设定为：ImportSQLFile 。
在phpMyAdmin目录下 ， 建立以ImportSQLFile命名的文件夹 ， 
把php多进程处理大数据库我们需要导入的数据文件，放到ImportSQLFile文件夹下面 ， 非常简单，
登入phpMyAdmin，选择需要导入的数据，点击导航条上面的“导入”按钮，
选中“从网站服务器上传文件夹ImportSQLFile/中选择：”选项，并需要导入的数据文件 ， 
最后点击“执行”，即可导入成功 。
注意事项
如果在config.inc.php文件，没有找到$cfg['UploadDir']，可以自己在文件中添加上去即可 。
php处理大文件文件我前几天有一个面试，面试题就是有这样一道题 。先把自己的思路说一下，因为信息量非常的大，所以我采用了分表 ， 分成24张表 ， 每个小时一张，虽然凌晨时刻的表可能很少数据，但这样sum字段的问题就容易解决了，我理解的sum字段是一个小时同一个用户在相同的环境的登陆次数 。这样理解不知对否，请网友自行甄辨 。然后我通过PHP中的fgets函数一行一行的数据取出，入表 。实验了几万条数据是没有问题的，但是上亿条数据可能够呛 。这一点也请网友注意，我也是新手 。只是看到这里没有答案 ， 给大家一个参考 。废话不多，看流程：
日志文件（access.log）格式：
200 /alipeng.gif?zoneid=2bannerid=44clentid=6materialid=64redirect=http%3a%2f%2f;time=1384444800.832ip=127.0.0.1user_agent=Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1650.48 Safari/537.36utrace=a6dbdd2f6a37b946165b7ae98dcd4f79
502 /alipeng.gif?zoneid=2bannerid=44clentid=6materialid=64redirect=http%3a%2f%2f;time=1384444800.904ip=127.0.0.1user_agent=Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1650.48 Safari/537.36utrace=a6dbdd2f6a37b946165b7ae98dcd4f79
配置文件cfg.php：
define(HOST,'localhost');//主机名
define(USER,'root');//数据库账号
define(PASS,'111111');//数据库密码
define(DBNAME,'test');//所用的数据库
define(CHARSET,'utf8');//使用的字符集
具体代码test.php：
?php
header("content-type:text/html;charset=utf-8");
require './cfg.php';
$link = mysql_connect(HOST,USER,PASS) or die('连接数据库失败');
//程序中自动建库和建表 ， 这样一定程度上拖慢了程序的速度
//创建数据库
$crdb="create database if not exists ".DBNAME;
if(!mysql_query($crdb)){
die('创建数据库失败');
}
//链接数据库
mysql_select_db(DBNAME) or die('选择数据库失败');
mysql_set_charset(CHARSET);
//因为数据量很大我将数据按小时分表，分成24个表,每小时一个表，这样num字段的值也好做统计
//数据循环建表
for($i=0;$i24;$i++){
if($i10){
$tbhz='0'.$i;//如果前10张表，表后缀应该是00-09
}else{
$tbhz=$i;
}
$ctbsql="create table if not exists logininfo_{$tbhz}(
id int not null auto_increment primary key,
zoneid int not null default 0,
bannerid int not null default 0,
clentid int not null default 0,

推荐阅读


上一篇：绿幕助手怎么搭建视频号，绿幕助手收费吗

下一篇：查看oracle表空间路径，oracle查看表空间数据文件位置