锐客网

  1. 首页 > it技术 > >

二.Ajax数据的爬取

1.有时候我们在用 requests 抓取页面 的时候,得到的结果可能和在浏览器中看到的不一样:在浏览
器中可以看到正常显示的页面数据,但是使用 requests 得到的结果并没有 。 这是因为 requests 获取的
都是原始的 HTML 文档,而浏览器中的页面则是经过 JavaScript 处理数据后生成的结果,这些数据的
来源有多种,可能是通过 Ajax 加载的, 可能是包含在 HTML 文档中的,也可能是经过 JavaScript 和特
定算法计算后生成的 。
【二.Ajax数据的爬取】对于第一种情况,数据加载是一种异步加载方式,原始的页面最初不会包含某些数据,原始页面
加载完后,会再向服务器请求某个接口获取数据,然后数据才被处理从而呈现到网页上,这其实就是
发送了一个 人jax 请求 。
2.什么是Ajax?
Ajax ,全称为 Asynchronous JavaScript and XML ,即异步的 JavaScript 和 XML 。 它不是一门编程
语言,而是利用 JavaScript 在保证页面不被刷新、页面链接不改变的情况下与服务器交换数据并更新
部分网页的技术 。
3.初步了解了 Ajax 之后,我们再来详细了解它的基本原理 。 发送 Ajax 请求到网页更新的这个过程
简单分为以下 3 步:
(I )发送请求;
(2)解析内容;
(3 )渲染网页 。
下面我们分别来详细介绍这几个过程
(1)发送请求:
我们知道 JavaScript 可以 实现页丽的各种交互功能, Ajax 也不例外,它也是由 JavaScript 实现的,
实际上执行了如下代码:
var xmlhttp;
if (window.XMLHttpRequest) {
II code for IE7+ , Firefox, Chrome, Opera, Safari
xmlhttp=new XMLHttpRequest();
} el se {II code for IE6, IES
xmlhttp=new ActiveXObject (” Microsoft.XMLHTTP ”);
}
xmlhttp. onreadystatechange=function() {
if (xmlhttp.ready5tate==4 && xmlhttp.status==200) {
document.getElementById('myDiv').innerHTML=xmlhttp.responseText;
}
}
xmlhttp.open("POST ”,"/ ajax /”, true);
xmlhttp.send();
这是 JavaScript 对 Ajax 最底层的实现,实际上就是新建了 XMLHttpRequest 对象,然后调用
onreadystatechange 属性设置了监昕,然后调用 open ()和 send ()方法向某个链接(也就是服务器 ) 发
送了请求 。 前面用 Python 实现请求发送之后,可以得到响应结果,但这里请求的发送变成 JavaScript
来完成 。 由于设置了监听,所以当服务器返回响应时, onreadystatechange 对应的方法便会被触发 ,
然后在这个方法里面解析响应内容即可 。
·解析内容
得到响应之后, onreadystatechange 属性对应的方法便会被触发,此时利用 xmlhttp 的
response Text 属性便可取到响应内容 。 这类似于 Python 中利用 requests 向服务器发起请求,然后得到
响应的过程 。 那么返回内容可能是 HTML ,可能是 JSON ,接下来只需要在方法中用 JavaScript 进一步
处理即可 。 比如,如果是 JSON 的话,可以进行解析和转化。
·渲染网页
JavaScr刷有改变网页内容的能力,解析完响应内容之后,就可以调用 JavaScript 来针对解析完的
内容对网页进行下一步处理了 。 比如,通过 document.getElementByid().innerHTML 这样的操作,便可
以对某个元素内的源代码进行更改,这样网页显示的内容就改变了,这样的操作也被称作 DOM 操作 ,
即对 Document 网页文档进行操作,如更改、删除等 。
4.Ajax 分析方法
这里还以拉钩网为例:
打开拉勾网在搜索框中输入python:

二.Ajax数据的爬取
文章图片
QQ截图20181217160836.png 2.随便复制一条招聘的岗位,如:Python开发工程师,在网页源代码中查找,则没有查找到对应的结果
3.随后回到初始页面,右键点检查,找到Netwoek(网络)并点开,随后选择XHR选项,Name下的第一条,右侧点击Preview,content,positionResult,result依次点开,
随后通过对比和分析发现result选项下的每一条信息就是我们要找的数据:
如下图:

二.Ajax数据的爬取
文章图片
QQ截图20181217163117.png 4.由此分析此网站是一个ajax请求:
代码如下:

二.Ajax数据的爬取
文章图片
QQ截图20181217170118.png 运行结果:

二.Ajax数据的爬取
文章图片
QQ截图20181217170400.png

    推荐阅读


    上一篇：Java开发必备知识之数组详解

    下一篇：悟纳合落地实修作业第六天