锐客网

  1. 首页 > it技术 > >

网络爬虫与信息提取（二）

爬取网页的通用代码框架 Requests库的异常 网络爬虫与信息提取（二）
文章图片
image.png
网络爬虫与信息提取（二）
文章图片
image.png 爬取网页的通用代码框架

import requestsdef getHTMLText(url): try: r=requests.get(url,timout=30) r.raise_for_status()#如果状态不是200，引发HTTPError异常 r.encoding=r.apparent_encoding return r.text except: return "产生异常"if __name__ =="_main_": url="http://www.baidu.com" print(getHTMLText(url))

协议 HTTP
http://host[:port][path]
host:合法的internet主机域名或IP地址
port:端口号，缺省端口为80
path:请求资源的路径
http url:相当于存取资源的Internet路径，一个URL对应一个数据资源

网络爬虫与信息提取（二）
文章图片
image.png
PATCH强调的是局部
PUT强调的是全部
HTTP协议对资源的操作

网络爬虫与信息提取（二）
文章图片
image.png
实例 向URL POST一个字典自动编码为form（表单）

网络爬虫与信息提取（二）
文章图片
image.png
【网络爬虫与信息提取（二）】向URL POST一个字符串自动编码为data

网络爬虫与信息提取（二）
文章图片
image.png

    推荐阅读


    上一篇：继续这段美梦

    下一篇：责任感