第三章|第三章数据解析（十二）续 2019-12-23 第三章数据解析（十二）续2

十二、bs4 – 实战– 豆瓣Top250爬虫实战（续）

爬取内容

爬取豆瓣Top250

注意事项

1、headers
2、编码
3、使用BeautifulSoup

网站：
https://movie.douban.com/top250

示例代码：
import requests
from bs4 import BeautifulSoup

headers= {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36(KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36'}

# 获取详情页面url
def get_detail_urls(url):
resp = requests.get(url, headers=headers)
# print(resp.text)
html = resp.text
soup = BeautifulSoup(html, 'lxml')
lis = soup.find('ol',class_='grid_view').find_all('li')
detail_urls = []
for li in lis:
detail_url = li.find('a')['href']
# print(detail_url)
detail_urls.append(detail_url)
return detail_urls

# 解析详情页面内容
def parse_detail_url(url):
#解析详情页面内容
resp = requests.get(url, headers=headers)
# print(resp.text)
html = resp.text
soup = BeautifulSoup(html, 'lxml')
#电影名
name = list(soup.find('div',id='content').find('h1').stripped_strings)
# 去除列表，输出字符串
name = ''.join(name)
# print(name)
#导演
director = list(soup.find('div',id='info').find('span').find('span', class_='attrs').stripped_strings)
director = ''.join(director)
# print(director)
#编剧
screenwriter = list(soup.find('div',id='info').find_all('span')[3].find("span",class_='attrs').stripped_strings)
screenwriter = ''.join(screenwriter)
# print(screenwriter)
# 主演
actor = list(soup.find('span',class_='actor').find('span', class_='attrs').stripped_strings)
# print(actor)
#评分
score = soup.find('strong', class_='llrating_num').string
print(score)
f.write('{},{},{},{},{}\n'.format(name,director, screenwriter, ''.join(actor), score))
【第三章|第三章数据解析（十二）续 2019-12-23】
def main():
base_url ='https://movie.douban.com/top250?start={}&filter='
with open('Top250.csv', 'a',encoding='utf-8') as f:
#调用get_detail_urls函数
for x in range(0.251,25):
url = base_url.format(x)
detail_urls = get_detail_urls(url)
for detail_url in detail_urls:
parse_detail_url(detail_url, f)

if__name__ == '__main__':
main()

上一篇文章第三章数据解析（十二） 2019-12-22 地址：
https://www.jianshu.com/p/a70e17e2e7c9
下一篇文章第三章数据解析（十三） 2019-12-24 地址：
https://www.jianshu.com/p/3303a724cd67

以上资料内容来源网络，仅供学习交流，侵删请私信我，谢谢。

第三章|第三章数据解析（十二）续 2019-12-23

推荐阅读

电子烟的好处

做什么行业会利润高又赚钱？

乳胶内衣怎么清洗晾晒

梦见买枕巾是什么意思梦见枕巾是怎么回事

涉嫌非法种植毒品原植物法定刑罚内容是多少

自己读书感悟的名言

投稿|何时起数码玩家已不再期待Android新版本？

支付宝基金过年期间休市吗

犯七是什么意思,有什么讲究犯七是什么意思

如何选购新鲜白萝卜

米兔|小米新品儿童手表发售，米兔儿童电话手表5C入手体验

秦书记青岛高速公路青岛高速公路最新消息今天

法院对串通投标罪规定定罪量刑标准是怎样

嵌怎么读嵌字是什么意思

苹果11网络特别差是什么原因

贵阳市少年儿童图书馆春节活动一览

solidworks2012热分析

2023年南四湖禁渔/禁采时间南四湖鱼馆怎么样

奥迪车质量怎么样? 奥迪车质量怎么样

2021送同事元宵节祝福语

第三章|第三章 数据解析（十二）续 2019-12-23

推荐阅读

第三章|第三章数据解析（十二）续 2019-12-23