爬取维基百科词条爬取维基百科词条

python爬取维基百科词条，获得某词汇页面中释义段落的加粗词汇、链接词汇以及所爬词汇对应的分类，为自动构建同义词汇树准备数据。
以下代码可能为一次性代码，因为解析html靠的是标签的相对位置，维基百科的html标签修改后，可能会对爬虫有影响，所以先给出学习爬虫的资料，页面改动后代码对应改动即可。
requests库使用教程
BeautifulSoup使用教程
这个爬虫是爬取我指定文件中包含的词汇，并不是在维基百科随便爬取，你可以在一个文件中指定要爬取的词汇，也可以看这篇文章获得指定文件。

# -*- coding: utf-8 -*-import requests from bs4 import BeautifulSoupdef get_word(folder_name, file_name):fp = open(folder_name + '/' + file_name, 'r') for line in fp: yield line.split('\t')[0]fp.close()def download_html(url, word): response = requests.get(url + word) return response.textdef parse_html(html, word): ''' 维基百科3类不正常页面： 1. 消歧页 2. 重定向页 3. 长度过短文章 (不必处理) '''def write2file(fp, arr): for item in arr: fp.write(item.encode('utf-8') + '#') fp.write('|||')soup = BeautifulSoup(html, 'html.parser') content = soup.find(id='mw-content-text')redirect = soup.find(attrs={'class' : 'mw-redirectedfrom'}) title = '' if redirect != None: title = soup.find(id='firstHeading').text print '重定向到', titleambiguity = content.find_all(id='disambigbox') if len(ambiguity) != 0: ''' 对歧义词分文件存储 ''' print '是消岐页'fp_ambiguity = open('ambiguity.txt', 'a') fp_ambiguity.write(word + '|||' + title.encode('utf-8') + '|||')# 加粗的词汇 paragraphs = content.find_all('b') for b in paragraphs: fp_ambiguity.write(b.text.strip().encode('utf-8') + '#') fp_ambiguity.write('|||') # 消歧页的歧义列表取出链接指向关系 lis = content.find_all('li') for li in lis: fp_ambiguity.write(li.a.text.strip().encode('utf-8') + '#') fp_ambiguity.write('|||') fp_ambiguity.write('\n') fp_ambiguity.close() return# 取出词汇的分类 catlinks_arr = [] catlinks = soup.find(id='mw-normal-catlinks').find_all('li') for catlink in catlinks: catlinks_arr.append(catlink.a.text)arr_para = [] arr_b = [] arr_a = [] for children in content.children: if children.name == 'p': if children.text == '': break # 取出整段的释义 arr_para.append(children.text.strip()) # 取出加粗词汇 bs = children.find_all('b') if len(bs) != 0: for b in bs: arr_b.append(b.text.strip()) # 取出链接词汇 ass = children.find_all('a') if len(ass) != 0: for a in ass: arr_a.append(a.text.strip())fp = open('result.txt', 'a') fp.write(word + '|||' + title.encode('utf-8') + '|||') write2file(fp, catlinks_arr) write2file(fp, arr_b) write2file(fp, arr_a) write2file(fp, arr_para) fp.write('\n') fp.close()def main(): root_url = 'https://zh.wikipedia.org/wiki/'for word in get_word('../zh_labels', 'labels_result.txt'): print '爬取', word try: html = download_html(root_url, word) parse_html(html, word) except: print word, '爬取失败' fp = open('error_log.txt', 'a') fp.write(word + '\n') fp.close() continueprint 'done' passif __name__ == '__main__':main()pass

注意修改代码中关于文件的路径
get_word(folder_name, file_name)函数从指定文件中取出待爬取的词汇。
download_html(url, word)函数下载对应url的html源码，并交给parse_html(html, word)函数解析。
维基百科的词条页面有4种情况：

正常页面
重定向，即用某个词汇访问url，会被带到另一个词汇页面。如访问https://zh.wikipedia.org/wiki/狗，会被维基百科带到了https://zh.wikipedia.org/wiki/犬页面。
歧义，即访问的词汇有多种含义，对于这种页面，我取出加粗词汇和歧义词汇（链接词汇）。如访问https://zh.wikipedia.org/wiki/金毛狗，会出现这样的页面：
文章图片
未收录词汇，如访问https://zh.wikipedia.org/wiki/性质，会出现这种情况：

文章图片

数据存储： 【爬取维基百科词条】分三个文件存储：

正常词汇的维基百科数据，按如下格式存储：
被爬取词汇|||重定向词汇|||分类1#分类2#|||加粗词汇1#加粗词汇2#|||链接词汇1#链接词汇2#|||释义段落1#释义段落2#|||\n
\n代表换行
歧义词汇的维基百科数据，按如下格式存储：
被爬取词汇|||重定向词汇|||加粗词汇1#加粗词汇2#|||链接词汇1#链接词汇2#|||\n
未收录词汇和爬取出错的词汇，全部写入error_log.txt文件中。