简单的爬虫----爬取百度百科练习 Python学习

一开始看完文件的读写后以为可以一气呵成得写完这个代码，中途发现了很多得问题，比如中文字符写入文件格外得麻烦，还有就是一开始用requests来发送请求不知道为什么会报错，后来改成了urllib2.urlopen就不报错了，中文字符的处理看完一篇博客以后恍然大悟：点击打开链接，要转码的略显麻烦，不过也学到了，还有就是正则表达式很容易出错。。。还是bs4大法好，然后学到了如果想要获得标签之间的内容就用.text，然后贴上代码
代码：

#coding=utf-8 import sys reload(sys) sys.setdefaultencoding('utf-8') from bs4 import BeautifulSoup import urllib2 import urllib import re import requests url="https://baike.baidu.com/item/%E8%B6%85%E8%87%AA%E7%84%B6%E8%83%BD%E5%8A%9B/5246252" r=urllib2.urlopen(url) x=0 f=open('test.txt','wb') soup=BeautifulSoup(r,"html.parser") for link in soup.find_all('div',class_='para'): d=link.text f.write(d+'\n') x += 1 print x f.close()

【简单的爬虫----爬取百度百科练习】