锐客网

  1. 首页 > it技术 > >

解决爬虫错误（urllib.error.URLError:）

Python

【解决爬虫错误（urllib.error.URLError:）】当用多线程爬取网站出现urlopen error [errno 10060]的错误，也就是连接失败。原因是多个线程爬去某个网站的数据，每次连接完需要sleep(1)一会，不然该网站服务端的防火墙会ban掉你的connect。睡眠等待机制会减少urlopen error [errno 10060]出现的概率，但访问次数多了还是会出现
开始的解决思路是每次连接的时候换用不同的useragent,结果仍会出现urlopen error [errno 10060]的异常。
后看了网上说法是连接时网络不稳定造成的，于是写了个多次尝试连接的函数

#打开网页链接 def openlink(self,link): maNum = 10 for tries in range(maxTryNum): try: req = urllib.request.Request(link, headers = self.headers) response = urllib.request.urlopen(link) return response except: if tries < (maxTryNum - 1): continue else: print("Has tried %d times to access url %s, all failed!", maxNum, link) break

    推荐阅读


    上一篇：Python 正则表达式验证信用卡号码

    下一篇：领虎公寓智能锁，让公寓管理更便捷！