锐客网

  1. 首页 > 睿知 > it技术 > >

php爬取网页数据内容 php抓取网页数据( 三 )

IT技术convention


﹤?php $ch = curl_init();curl_setopt($chCURLOPT_URL//example);curl_setopt($chCURLOPT_HEADER);curl_setopt($chCURLOPT_RETURNTRANSFER);curl_setopt($chCURLOPT_HTTPPROXYTUNNEL);curl_setopt($chCURLOPT_PROXYfakeproxy:);curl_setopt($chCURLOPT_PROXYUSERPWDuser:password);$data = https://www.04ip.com/post/curl_exec();curl_close($ch);?﹥关于SSL和Cookie
关于SSL也就是HTTPS协议 你只需要把CURLOPT_URL连接中的//变成//就可以了 当然 还有一个参数叫CURLOPT_SSL_VERIFYHOST可以设置为验证站点
关于Cookie 你需要了解下面三个参数
CURLOPT_COOKIE 在当面的会话中设置一个cookie
CURLOPT_COOKIEJAR 当会话结束的时候保存一个Cookie
CURLOPT_COOKIEFILE Cookie的文件
HTTP服务器认证
最后 我们来看一看HTTP服务器认证的情况
﹤?php $ch = curl_init();curl_setopt($chCURLOPT_URL// example);curl_setopt($chCURLOPT_RETURNTRANSFER);curl_setopt($chCURLOPT_HTTPAUTHCURLAUTH_BASIC);curl_setopt(CURLOPT_USERPWD[username]:[password] )
$data = https://www.04ip.com/post/curl_exec();curl_close($ch);?﹥
关于其它更多的内容 请参看相关的cURL手册lishixinzhi/Article/program/PHP/201311/21491
php获取网页源码内容有哪些办法可以参考以下几种方法：
方法一： file_get_contents获取
span style="white-space:pre" /span$url="";
span style="white-space:pre" /span$fh= file_get_contents
('');span style="white-space:pre" /spanecho $fh;
方法二：使用fopen获取网页源代码
span style="white-space:pre" /span$url="";
span style="white-space:pre" /span$handle = fopen ($url, "rb");
span style="white-space:pre" /span$contents = "";
span style="white-space:pre" /spanwhile (!feof($handle)) {
span style="white-space:pre"/span$contents .= fread($handle, 8192);
span style="white-space:pre" /span}
span style="white-space:pre" /spanfclose($handle);
span style="white-space:pre" /spanecho $contents; //输出获取到得内容 。
方法三：使用CURL获取网页源代码
$url="";
$UserAgent = 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; SLCC1; .NET CLR 2.0.50727; .NET CLR 3.0.04506; .NET CLR 3.5.21022; .NET CLR 1.0.3705; .NET CLR 1.1.4322)';
$curl = curl_init(); //创建一个新的CURL资源
curl_setopt($curl, CURLOPT_URL, $url); //设置URL和相应的选项
curl_setopt($curl, CURLOPT_HEADER, 0);//0表示不输出Header，1表示输出
curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1); //设定是否显示头信息,1显示，0不显示 。//如果成功只将结果返回，不自动输出任何内容 。如果失败返回FALSE
curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, false);
curl_setopt($curl, CURLOPT_SSL_VERIFYHOST, false);
curl_setopt($curl, CURLOPT_ENCODING, ''); //设置编码格式，为空表示支持所有格式的编码
//header中“Accept-Encoding: ”部分的内容，支持的编码格式为："identity"，"deflate"，"gzip" 。
curl_setopt($curl, CURLOPT_USERAGENT, $UserAgent);
curl_setopt($curl, CURLOPT_FOLLOWLOCATION, 1);
//设置这个选项为一个非零值(象 “Location: “)的头 ， 服务器会把它当做HTTP头的一部分发送(注意这是递归的，PHP将发送形如 “Location: “的头) 。
$data = https://www.04ip.com/post/curl_exec($curl);
echo $data;
//echo curl_errno($curl); //返回0时表示程序执行成功
curl_close($curl); //关闭cURL资源，并释放系统资源
拓展资料
PHP（外文名:PHP: Hypertext Preprocessor，中文名：“超文本预处理器”）是一种通用开源脚本语言 。语法吸收了C语言、Java和Perl的特点，利于学习，使用广泛 ， 主要适用于Web开发领域 。PHP 独特的语法混合了C、Java、Perl以及PHP自创的语法 。它可以比CGI或者Perl更快速地执行动态网页 。
用PHP做出的动态页面与其他的编程语言相比，PHP是将程序嵌入到HTML（标准通用标记语言下的一个应用）文档中去执行，执行效率比完全生成HTML标记的CGI要高许多；PHP还可以执行编译后代码，编译可以达到加密和优化代码运行，使代码运行更快 。

推荐阅读


上一篇：查询oracle内所有的表，oracle怎么查所有的表

下一篇：python跨平台app开发，python的跨平台