锐客网

  1. 首页 > 生活百科 > it技术 > >

php抓网页数据库 php网页调用数据库

IT技术curl

使用PHP的cURL库进行网页抓取 使用PHP的cURL库可以简单和有效地去抓网页 php抓网页数据库你只需要运行一个脚本 然后分析一下你所抓取的网页 然后就可以以程序的方式得到你想要的数据php抓网页数据库了 无论是你想从从一个链接上取部分数据 或是取一个XML文件并把其导入数据库 那怕就是简单的获取网页内容 cURL 是一个功能强大的PHP库 本文主要讲述如果使用这个PHP库
启用 cURL 设置
首先 我们得先要确定我们的PHP是否开启了这个库 你可以通过使用php_info()函数来得到这一信息
﹤?phpphpinfo();?﹥
如果你可以在网页上看到下面的输出 那么表示cURL库已被开启
如果你看到的话 那么你需要设置你的PHP并开启这个库 如果你是在Windows平台下 那么非常简单 你需要改一改你的php ini文件的设置 找到php_curl dll 并取消前面的分号注释就行了 如下所示
//取消下在的注释extension=php_curldll
如果你是在Linux下面 那么 你需要重新编译你的PHP了 编辑时 你需要打开编译参数——在configure命令上加上 –with curl参数
一个小示例
如果一切就绪 下面是一个小例程
﹤?php// 初始化一个 cURL 对象$curl = curl_init();
// 设置你需要抓取的URLcurl_setopt($curlCURLOPT_URL//cocre);
// 设置headercurl_setopt($curlCURLOPT_HEADER);
// 设置cURL 参数 要求结果保存到字符串中还是输出到屏幕上 curl_setopt($curlCURLOPT_RETURNTRANSFER);
// 运行cURL 请求网页$data = https://www.04ip.com/post/curl_exec($curl);
// 关闭URL请求curl_close($curl);
// 显示获得的数据var_dump($data);
如何POST数据
上面是抓取网页的代码 下面则是向某个网页POST数据 假设我们有一个处理表单的网址// example /sendSMS php 其可以接受两个表单域 一个是电话号码 一个是短信内容
﹤?php$phoneNumber =;$message =This message was generated by curl and php;$curlPost =pNUMBER=urlencode($phoneNumber)MESSAGE=urlencode($message)SUBMIT=Send;$ch = curl_init();curl_setopt($chCURLOPT_URL//example/sendSMSphp);curl_setopt($chCURLOPT_HEADER);curl_setopt($chCURLOPT_RETURNTRANSFER);curl_setopt($chCURLOPT_POST);curl_setopt($chCURLOPT_POSTFIELDS$curlPost);$data = https://www.04ip.com/post/curl_exec();curl_close($ch);?﹥
从上面的程序我们可以看到 使用CURLOPT_POST设置HTTP协议的POST方法 而不是GET方法 然后以CURLOPT_POSTFIELDS设置POST的数据
关于代理服务器
下面是一个如何使用代理服务器的示例 请注意其中高亮的代码 代码很简单 我就不用多说了
﹤?php $ch = curl_init();curl_setopt($chCURLOPT_URL//example);curl_setopt($chCURLOPT_HEADER);curl_setopt($chCURLOPT_RETURNTRANSFER);curl_setopt($chCURLOPT_HTTPPROXYTUNNEL);curl_setopt($chCURLOPT_PROXYfakeproxy:);curl_setopt($chCURLOPT_PROXYUSERPWDuser:password);$data = https://www.04ip.com/post/curl_exec();curl_close($ch);?﹥关于SSL和Cookie
关于SSL也就是HTTPS协议 你只需要把CURLOPT_URL连接中的//变成//就可以了 当然 还有一个参数叫CURLOPT_SSL_VERIFYHOST可以设置为验证站点
关于Cookie 你需要了解下面三个参数
CURLOPT_COOKIE 在当面的会话中设置一个cookie
CURLOPT_COOKIEJAR 当会话结束的时候保存一个Cookie
CURLOPT_COOKIEFILE Cookie的文件
HTTP服务器认证
最后 我们来看一看HTTP服务器认证的情况
﹤?php $ch = curl_init();curl_setopt($chCURLOPT_URL// example);curl_setopt($chCURLOPT_RETURNTRANSFER);curl_setopt($chCURLOPT_HTTPAUTHCURLAUTH_BASIC);curl_setopt(CURLOPT_USERPWD[username]:[password] )
$data = https://www.04ip.com/post/curl_exec();curl_close($ch);?﹥
关于其它更多的内容 请参看相关的cURL手册lishixinzhi/Article/program/PHP/201311/21491
你好，你有抓取网页数据到数据库的PHP代码么??php
//设置连接
$DBserver
=
"localhost";
$DBname
=
"数据库";
$DBuser
=
"账号";
$DBpassword
=
"密码";
【php抓网页数据库 php网页调用数据库】$con
=
mysql_connect("localhost","账号","密码");
mysql_select_db("数据库");
$contents
=
file_get_contents($url);
//$contents就是网页内容，$url就是链接
$contents
=
mysql_real_escape_string($contents);
//转义，不用可以不要
$SQL="
INSERT
INTO
数据库表(数据字段)
VALUES('{$contents}')";
mysql_query($SQL)
or
die(mysql_error());
?
抓取网页数据怎么保存到数据库 php给一个例子php抓网页数据库你看看吧.
if($pro_list_contents=@file_get_contents(''))
{
preg_match_all("/td width=\"50%\" valign=\"top\"(.*)td width=\"10\"img src=https://www.04ip.com/"images\/spacer.gif\"/isU", $pro_list_contents, $pro_list_contents_ary);
for($i=0; $icount($pro_list_contents_ary[1]); $i)
{
preg_match_all("/a href=https://www.04ip.com/"(.*)\"img src=https://www.04ip.com/"(.*)\".*span(.*)\/span/isU", $pro_list_contents_ary[1][$i], $url_img_price);
$url=addslashes($url_img_price[1][0]);
$img=str_replace(' ', '20%', trim(''.$url_img_price[2][0]));
$price=(float)str_replace('$', '', $url_img_price[3][0]);
preg_match_all("/a class=\"ml1\" href=https://www.04ip.com/".*\"(.*)\/a/isU", $pro_list_contents_ary[1][$i], $proname_ary);
$proname=addslashes($proname_ary[1][0]);
include("inc/db_connections.php");
$rs=mysql_query("select * from pro where Url='$url' and CateId='{$cate_row['CateId']}'"); //是否已经采集php抓网页数据库了
if(mysql_num_rows($rs))
{
echo "跳过php抓网页数据库：{$url}br";
continue;
}
$basedir='/u_file/pro/img/'.date('H/');
$save_dir=Build_dir($basedir); //创建目录函数
$ext_name = GetFileExtName( $img); //取得图片后辍名
$SaveName = date( 'mdHis' ) . rand( 10000, 99999 ) . '.' . $ext_name;
if( $get_file=@file_get_contents( $img ) )
{
$fp = @fopen( $save_dir . $SaveName, 'w' );
@fwrite( $fp, $get_file );
@fclose( $fp );
@chmod( $save_dir . $SaveName, 0777 );
@copy( $save_dir . $SaveName, $save_dir . 'small_'.$SaveName );
$imgpath=$basedir.'small_'.$SaveName;
}
else
{
$imgpath='';
}
if($pro_intro_contents=@file_get_contents($url))
{
preg_match_all("/\/h1(.*)\/td\/tr/isU", $pro_intro_contents, $pro_intro_contents_ary);
$p_contents=addslashes(str_replace('src="', 'src="', $pro_intro_contents_ary[1][0]));
$p_contents=SaveRemoteImg($p_contents, '/u_file/pro/intro/'.date('H/')); //把远程html代码里php抓网页数据库的图片保存到本地
}
$t=time();
mysql_query("insert into pro(CateId, ProName, PicPath_0, S_PicPath_0, Price_0, Contents, AddTime, Url) values('{$cate_row['CateId']}', '$proname', '$imgpath', '$img', '$price', '$p_contents', '$t', '$url')");
echo $url.$img.$cate."br\r\n";
}
}
PHP网站怎么连接到数据库？常规方式
常规方式就是按部就班的读取文件了 。其余的话和上述方案一致 。
// 读取配置文件内容
$handle = fopen("filepath", "r");$content = fread($handle, filesize("filepath"));123
PHP解析XML
上述两种读取文件，其实都是为了PHP解析XML来做准备的 。关于PHP解析XML的方式的博客有很多 。方式也有很多，像simplexml，XMLReader，DOM啦等等 。但是对于比较小型的xml配置文件，simplexml就足够了 。
配置文件
?xml version="1.0" encoding="UTF-8" ?mysql
!-- 为防止出现意外，请按照此标准顺序书写.其实也无所谓了 --
hostlocalhost/host
userroot/user
password123456/password
dbtest/db
port3306/port/mysql12345678910
解析
?php/**
* 作为解析XML配置文件必备工具
*/class XMLUtil {
public static $dbconfigpath = "./db.config.xml";public static function getDBConfiguration() {
$dbconfig = array ();try {// 读取配置文件内容
$handle = fopen(self::$dbconfigpath, "r");$content = fread($handle, filesize(self::$dbconfigpath));// 获取xml文档根节点 ， 进而获取相关的数据库信息
$mysql = simplexml_load_string($content);// 将获取到的xml节点信息赋值给关联数组，方便接下来的方法调用
$dbconfig['host'] = $mysql-host;$dbconfig['user'] = $mysql-user;$dbconfig['password'] = $mysql-password;$dbconfig['db'] = $mysql-db;$dbconfig['port'] = $mysql-port;// 将配置信息以关联数组的形式返回
return $dbconfig;
} catch ( Exception $e ) {throw new RuntimeException ( "mark读取数据库配置文件信息出错！/markbr /" );
}return $dbconfig;
}
}1234567891011121314151617181920212223242526272829
数据库连接池
对于PHP程序而言，优化永无止境 。而数据库连接池就在一定程度上起到了优化的作用 。其使得对用户的每一个请求而言 ， 无需每次都像数据库申请链接资源 。而是通过已存在的数据库连接池中的链接来返回 ， 从时间上，效率上，都是一个大大的提升 。
于是，这里简单的模拟了一下数据库连接池的实现 。核心在于维护一个“池” 。
从池子中取，用毕，归还给池子 。
?php/**x
*PHP中的数据库 工具类设计
*郭璞
*2016年12月23日
*
**/class DbHelper {private $dbconfig;private $dbpool;public $poolsize;public function __construct($poolsize = 20) {if (! file_exists ( "./utils.php" )) {throw new RuntimeException ( "markutils.php文件丢失 ， 无法进行配置文件的初始化操作！/markbr /" );
}else {
require './utils.php';
}// 初始化 配置文件信息
$this-dbconfig = XMLUtil::getDBConfiguration ();// 准备好数据库连接池“伪队列”
$this-poolsize = $poolsize;
$this-dbpool = array ();for($index = 1; $index = $this-poolsize; $index) {
$conn = mysqli_connect ( $this-dbconfig ['host'], $this-dbconfig ['user'], $this-dbconfig ['password'], $this-dbconfig ['db'] ) or die ( "mark连接数据库失败！/markbr /" );
array_push ( $this-dbpool, $conn );
}
}/**
* 从数据库连接池中获取一个数据库链接资源
*
* @throws ErrorException
* @return mixed
*/
public function getConn() {if (count ( $this-dbpool ) = 0) {throw new ErrorException ( "mark数据库连接池中已无链接资源，请稍后重试!/mark" );
} else {return array_pop ( $this-dbpool );
}
}/**
* 将用完的数据库链接资源放回到数据库连接池
*
* @param unknown $conn
* @throws ErrorException
*/
public function release($conn) {if (count ( $this-dbpool ) = $this-poolsize) {throw new ErrorException ( "mark数据库连接池已满/markbr /" );
} else {
array_push ( $this-dbpool, $conn );
}
}
}
php抓网页数据库的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于php网页调用数据库、php抓网页数据库的信息别忘了在本站进行查找喔 。

    推荐阅读


    上一篇：酒类该如何营销，如何营销一种酒类产品

    下一篇：休闲游戏大全单机，休闲游戏大全单机手游