import requests
from bs4 import BeautifulSoup
url = 'https://car.autohome.com.cn/diandongche/index.html'
headers = {
'Referer': 'https://car.autohome.com.cn/',
'Sec-Fetch-Mode': 'no-cors',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0;
WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.90 Safari/537.36'
}
brand_data = https://www.it610.com/article/{}
try:
r = requests.get(url, headers=headers)
if r.status_code == 200:
r.encoding = r.apparent_encoding# 此处将编码改成网页的编码样式，防止出现乱码
soup = BeautifulSoup(r.text,"lxml")car_tree = soup.find('div', id='cartree')
for i in car_tree.find_all('li'):
for j in i.find_all('a'):
print("一级品牌数据：", j.text.strip(), "=", 'https://car.autohome.com.cn' + j.get('href'))
brand_data[j.text.strip()] = 'https://car.autohome.com.cn' + j.get('href')
except:
print("爬取失败！")【python|【Python】获取汽车论坛所有汽车品牌列表及链接地址数据】
推荐阅读
- 网络爬虫|网络爬虫（Scrapy爬虫框架）
- python|【研究】ms17-010永恒之蓝漏洞复现
- python|python vnc_使用Python进行VNC身份验证检查
- 机器学习实战|四、案例（北京二手房价影响因素分析）
- 运维|高可用服务设计之一（负载均衡与反向代理、隔离）
- Python GUI编程(Tkinter)
- 拓端tecdat|拓端tecdat|Python用Markowitz马克维兹有效边界构建最优投资组合可视化分析四只股票
- 拓端tecdat|拓端tecdat|Python多项式Logistic逻辑回归进行多类别分类和交叉验证准确度箱线图可视化
- 教程|Python爬虫丨大众点评数据爬虫教程（1）