Python|python网络爬虫案例（批量爬取百度贴吧页面数据） python|爬虫|网络爬虫|爬虫

?先我们创建?个 python?件, tiebaSpider.py，我们要完成的是，输??个百度贴吧的地址，?如：
百度贴吧 LOL 吧第??：http://tieba.baidu.com/f?kw=lol&ie=utf-8&pn=0 这个是 lol 吧的第??的 url 地址，如果打开第??，你会发现他的 url 如下：第??： http://tieba.baidu.com/fkw=lol&ie=utf-8&pn=50
第三?： http://tieba.baidu.com/f?kw=lol&ie=utf-8&pn=100
发现规律了吧，贴吧中每个??不同之处，就是 url 最后的 pn 的值，其余的都是?样的，我们可以抓住这个规律。
1、简单写?个?爬?程序，来爬取百度 LOL 吧的所有?? 【Python|python网络爬虫案例（批量爬取百度贴吧页面数据）】我们已经之前写出?个爬取?个??的代码。现在，我们可以将它封装成?个?函数 loadPage，供我们使?。

def loadPage(url): ''' ''' 通过 URL 请求爬取到 html 静态??源代码 url：需要爬取的 url 地址 req = urllib2.Request(url) response = urllib2.urlopen(req) html = response.read() return html

接下来，我们写?个百度贴吧爬?接?，我们需要传递 3 个参数给这个接?， ?个是我们要爬取的 url 地址，以及起始?码和终??码，表示要爬取?码的范围。

def tiebaSpider(url, beginPage, endPage): ''' ''' 百度贴吧爬?核?程序： url: 要爬取的 url 地址 beginPage: 爬?贴吧的起始?数 endPage: 爬?贴吧的终??数 user_agent = "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1 ; Trident/5.0; " # IE9.0 的 User-Agent headers = {"User-Agent":user_agent} for i in range(beginPage, endPage+1): pn = 50 * (i - 1) html = loadPage(url+str(pn))

最后如果我们希望将爬取到了每?的信息存储在本地磁盘上，我们可以简单写?个存储?件的接?。

def writeFile(file_name, text): ''' ''' 将字符串内容写到?件中: file_name: ?件路径 text: 要写进的字符串 print "正在存储?件" + file_name f = open(file_name, 'w+') f.write(text) f.close()

ok，接下来就是写?个 main 函数吧，然后提示?户输?即将爬取的百度贴吧 url 地址。（注意：百度贴吧最后?码” pn= “后的数字，这些数字为我们传?的?码参数，所以我们再提供的时候不能包括数字）

if name == ' main ': tiebaurl = str(raw_input('请输?贴吧的地址, 去掉 pn=后?的数字:')) beginPage = int(raw_input('请输?开始的?数')) endPage = int(raw_input('请输?结束的?数')) tiebaSpider(tiebaurl, beginPage, endPage)

综上, 全部代码完成。好了，最后我们测试?下。
2、爬虫代码测试运?后，输?lol 吧的 url 地址 http://tieba.baidu.com/f?kw=lol&ie=utf-8&pn= （注意=号后?不要加数字，因为我们要?动添加）

Power@PowerMac ~$ python tiebaSpider.py 请输?贴吧的地址, 去掉 pn=后?的数字: http://tieba.baidu.com/f?kw=lol&i e=utf-8&pn= 请输?开始的?数 5 请输?结束的?数 10 正在下载第 5 个?? 正在存储?件 5.html 正在下载第 6 个?? 正在存储?件 6.html 正在下载第 7 个?? 正在存储 ?件 7.html 正在下载第 8 个?? 正在存储?件 8.html 正在下载第 9 个 ?? 正在存储?件 9.html 正在下载第 10 个?? 正在存储?件 10.html

3、总结其实很多?站都是这样的，当前?址下会有?个 html??，分别对应?址后的??序号。
这样?个简单的爬?程序就可以批量获取?站??源码，然后我们就可以从中筛选??想要的数据信息了。
点击获取全套python爬虫视频教程，从爬虫基础到高级项目实战教程，非常值得零基础的人学习爬虫，理论+项目实践，终成爬虫大神。