Python爬虫爬取商品失败处理方法 Python爬虫爬取商品失败处理方

1.登陆网站，开启开发者模式。
可以在浏览器中点击右键检查或者F12打开开发者模式。
2.点选 NetWork，DOC，然后刷新页面。
在 network 中选择 doc，在请求的 headers 中搜索 cookie。
3.获取对应的 cookie 以及 user-agent。
4.在代码中添加到 headers 里面。

def getHTMLText(url):kv = {'cookie': 'adsgadfafegadsgadsfaefasdfaewfadsfag''uaer-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}try:r = requests.get(url, headers=kv, timeout=30)r.raise_for_status()r.encoding = r.apparent_encodingreturn r.textexcept:return "gg"

实例扩展：
程序的结构设计