爬虫之哔哩哔哩弹幕的获取
【爬虫之哔哩哔哩弹幕的获取】突然想爬一下哔哩哔哩的弹幕，视频不重要，弹幕才是本体，从弹幕的内容里还可以看出来大众的态度和情绪，是一个很好的舆论分析的工具。
分析一下接口，
文章图片
是一个以list开头的xhr文件
import time,requests,re
from selenium import webdriver
from lxml import etree
"""解析哔哩哔哩弹幕：
哔哩哔哩二次请求的弹幕文件是一个xml文件，这里用两种方法来解析"""
# 第一种方式，使用selenium来解析，这种方式不用解码与编码
# driver = webdriver.PhantomJS(executable_path=r'C:\python3.5.3\phantomjs-2.1.1-windows\bin\phantomjs.exe')
# base_url = 'https://api.bilibili.com/x/v1/dm/list.so?oid=100236969'
# driver.get(base_url)
# # 弹幕主体是被d标签包围的
# muma=driver.find_elements_by_tag_name('d')
# for dan in muma:
#print(dan.text)# 第二种方式是用requests与xpath来解析，不需要解码
base_url = 'https://api.bilibili.com/x/v1/dm/list.so?oid=100236969'
contents = requests.get(base_url).content
contents = etree.XML(contents)
#使用html也可以
#contents = etree.XML(contents)
muma = contents.xpath('.//d/text()')
for dan in muma:
print(dan)# 第三种方式是正则提取，需要解码
# base_url = 'https://api.bilibili.com/x/v1/dm/list.so?oid=100236969'
# contents = requests.get(base_url).content.decode('utf-8')
# muma_rule = re.compile(r'(.*?)')
# muma = muma_rule.findall(contents)
# for dan in muma:
#print(dan)
推荐阅读
- Python爬虫|Python爬虫 --- 1.4 正则表达式（re库）
- 爬虫数据处理HTML转义字符
- 2018-12-05爬虫
- Python爬虫技术要学到什么程度才可以找到工作（）
- python|python 爬虫抓取图片
- 爬虫|若想拿下爬虫大单，怎能不会逆向爬虫，价值过万的逆向爬虫教程限时分享
- 分布式|《Python3网络爬虫开发实战（第二版）》内容介绍
- 【入门】Python网络爬虫与信息提取1
- python|尚硅谷python爬虫（二）-解析方法
- 爬虫实战|爬虫实战| 8w+网友亲身体验，告诉你充气娃娃有多爽（）