第三章|第三章数据解析（十二）续 2019-12-23 第三章数据解析（十二）续2

十二、bs4 – 实战– 豆瓣Top250爬虫实战（续）

爬取内容

爬取豆瓣Top250

注意事项

1、headers
2、编码
3、使用BeautifulSoup

网站：
https://movie.douban.com/top250

示例代码：
import requests
from bs4 import BeautifulSoup

headers= {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36(KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36'}

# 获取详情页面url
def get_detail_urls(url):
resp = requests.get(url, headers=headers)
# print(resp.text)
html = resp.text
soup = BeautifulSoup(html, 'lxml')
lis = soup.find('ol',class_='grid_view').find_all('li')
detail_urls = []
for li in lis:
detail_url = li.find('a')['href']
# print(detail_url)
detail_urls.append(detail_url)
return detail_urls

# 解析详情页面内容
def parse_detail_url(url):
#解析详情页面内容
resp = requests.get(url, headers=headers)
# print(resp.text)
html = resp.text
soup = BeautifulSoup(html, 'lxml')
#电影名
name = list(soup.find('div',id='content').find('h1').stripped_strings)
# 去除列表，输出字符串
name = ''.join(name)
# print(name)
#导演
director = list(soup.find('div',id='info').find('span').find('span', class_='attrs').stripped_strings)
director = ''.join(director)
# print(director)
#编剧
screenwriter = list(soup.find('div',id='info').find_all('span')[3].find("span",class_='attrs').stripped_strings)
screenwriter = ''.join(screenwriter)
# print(screenwriter)
# 主演
actor = list(soup.find('span',class_='actor').find('span', class_='attrs').stripped_strings)
# print(actor)
#评分
score = soup.find('strong', class_='llrating_num').string
print(score)
f.write('{},{},{},{},{}\n'.format(name,director, screenwriter, ''.join(actor), score))
【第三章|第三章数据解析（十二）续 2019-12-23】
def main():
base_url ='https://movie.douban.com/top250?start={}&filter='
with open('Top250.csv', 'a',encoding='utf-8') as f:
#调用get_detail_urls函数
for x in range(0.251,25):
url = base_url.format(x)
detail_urls = get_detail_urls(url)
for detail_url in detail_urls:
parse_detail_url(detail_url, f)

if__name__ == '__main__':
main()

上一篇文章第三章数据解析（十二） 2019-12-22 地址：
https://www.jianshu.com/p/a70e17e2e7c9
下一篇文章第三章数据解析（十三） 2019-12-24 地址：
https://www.jianshu.com/p/3303a724cd67

以上资料内容来源网络，仅供学习交流，侵删请私信我，谢谢。

第三章|第三章数据解析（十二）续 2019-12-23

推荐阅读

如何下载bt磁力种子

亚索在永恩出来后新台词 mysql的特征及性能

三星W2019手机屏幕失灵维修价格

解压包子使用感怎么样网红解压包子里面是什么

经常莫名其妙的就来一下胸口痛，想知道怎么了

非法吸收公众存款罪怎么处罚非法吸收公众存款罪怎么处罚的

方太烤箱烧烤用哪个模式方太烤箱烤红薯用哪个模式

大金空调制冷可以制热没反应大金空调为什么加热不制冷解决步骤

湖山入映—西湖游记

石斛粉一天吃多少克为好

《LOL》IG经理透露,战队被官方针对,选手在韩服无法正常游戏,这事你怎么看？

莲子煮粥一次放几个

数据分析行业的薪酬,游戏公司数据分析工程师薪酬

原神神鹤是谁原神神鹤雨海阵容厉害吗

?V怎么读汜怎么读

有没有专门抓小三的机构专业捉小三团队多少钱

公司不证明个人可以申请工伤鉴定吗

大众辉昂的发动机是进口的吗大众辉昂的发动机是进口的吗多少钱

八下期中语文考卷

二零小麦粉和三零面粉的区别二零小麦粉和三零面粉的区别是什么

第三章|第三章 数据解析（十二）续 2019-12-23

推荐阅读

第三章|第三章数据解析（十二）续 2019-12-23