网络爬虫与信息提取（二）网络爬虫与信息提取（二）

爬取网页的通用代码框架 Requests库的异常
文章图片
image.png

文章图片
image.png 爬取网页的通用代码框架

import requestsdef getHTMLText(url): try: r=requests.get(url,timout=30) r.raise_for_status()#如果状态不是200，引发HTTPError异常 r.encoding=r.apparent_encoding return r.text except: return "产生异常"if __name__ =="_main_": url="http://www.baidu.com" print(getHTMLText(url))

协议 HTTP
http://host[:port][path]
host:合法的internet主机域名或IP地址
port:端口号，缺省端口为80
path:请求资源的路径
http url:相当于存取资源的Internet路径，一个URL对应一个数据资源