用python爬取去哪儿游记攻略为十月假期做准备。。。爬虫之路，永无止境！ 热热闹闹的开学季又来了，小伙伴们又可以在一起玩耍了，不对是在一起学习了，哈哈。

文章图片

再过几周就是国庆假期，想想还是很激动的，我决定给大家做个游记爬虫，大家早做准备。。嘿嘿

文章图片

代码操作展示：
今天目标地址：https://travel.qunar.com/place/
开发环境：
windows10
python3.6
开发工具：
pycharm
库：
tkinter、re、os、lxml、threading、xlwt、xlrd
1.首先先将全国所有的城市名称和id拿到
文章图片

2.右击检查，进行抓包，找到数据所在的包
文章图片

3.发送请求，获取响应，解析响应

# 发送请求，获取响应，解析响应 response = session.get(self.start_url, headers=self.headers).html # 提取所有目的地(城市)的url city_url_list = response.xpath( '//*[@id="js_destination_recommend"]/div[2]/div[1]/div[2]/dl/dd/div/ul/li/a/@href') city_id_list = [''.join(re.findall(r'-cs(.*?)-', i)) for i in city_url_list] # 提取所有的城市名称 city_name_list = response.xpath( '//*[@id="js_destination_recommend"]/div[2]/div[1]/div[2]/dl/dd/div/ul/li/a/text()')

4.随机点一个城市，进入该城市，查看游记攻略，本文选的是上海
文章图片

5.进行抓包，查找需要的信息
文章图片

# 提取游记作者 author_list = html.xpath('//span[@class="user_name"]/a/text()') # 出发时间 date_list = html.xpath('//span[@class="date"]/text()') # 游玩时间 days_list = html.xpath('//span[@class="days"]/text()') # 阅读量 read_list = html.xpath('//span[@class="icon_view"]/span/text()') # 点赞量 like_count_list = html.xpath('//span[@class="icon_love"]/span/text()') # 评论量 icon_list = html.xpath('//span[@class="icon_comment"]/span/text()') # 游记地址 text_url_list = html.xpath('//h3[@class="tit"]/a/@href')

6.进行翻页抓包，第二页为异步加载
文章图片


文章图片

7.在上一张图中点击Headers，获取游记攻略的请求地址
文章图片

这样思路是不是清晰一点，来观察一下请求地址https://travel.qunar.com/place/api/html/books/dist/299878?sortField=0&pageSize=10&page=2
其中299878是上海城市的id page是页数
源码展示：

# !/usr/bin/nev python # -*-coding:utf8-*- import tkinter as tk import re from lxml import etree import tkinter.messagebox as msgbox from requests_html import HTMLSession from threading import Thread import os, xlwt, xlrd from xlutils.copy import copy session = HTMLSession()class TKSpider(object):def __init__(self): # 定义循环条件 self.is_running = True # 定义起始的页码 self.start_page = 1 """定义可视化窗口，并设置窗口和主题大小布局""" self.window = tk.Tk() self.window.title('爬虫数据采集') self.window.geometry('1000x800')"""创建label_user按钮，与说明书""" self.label_user = tk.Label(self.window, text='请选择城市输入序号：', font=('Arial', 12), width=30, height=2) self.label_user.pack() """创建label_user关联输入""" self.entry_user = tk.Entry(self.window, show=None, font=('Arial', 14)) self.entry_user.pack(after=self.label_user)"""创建Text富文本框，用于按钮操作结果的展示""" # 定义富文本框滑动条 scroll = tk.Scrollbar() # 放到窗口的右侧, 填充Y竖直方向 scroll.pack(side=tk.RIGHT, fill=tk.Y) self.text1 = tk.Text(self.window, font=('Arial', 12), width=75, height=20) self.text1.pack() # 两个控件关联 scroll.config(command=self.text1.yview) self.text1.config(yscrollcommand=scroll.set)"""定义按钮1，绑定触发事件方法""" self.button_1 = tk.Button(self.window, text='下载游记', font=('Arial', 12), width=10, height=1, command=self.parse_hit_click_1) self.button_1.pack(before=self.text1)"""定义按钮2，绑定触发事件方法""" self.button_2 = tk.Button(self.window, text='清除', font=('Arial', 12), width=10, height=1, command=self.parse_hit_click_2) self.button_2.pack(anchor="e")"""定义富文本文字的显示""" self.start_url = 'https://travel.qunar.com/place/' self.headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36' } # 发送请求，获取响应，解析响应 response = session.get(self.start_url, headers=self.headers).html # 提取所有目的地(城市)的url city_url_list = response.xpath( '//*[@id="js_destination_recommend"]/div[2]/div[1]/div[2]/dl/dd/div/ul/li/a/@href') city_id_list = [''.join(re.findall(r'-cs(.*?)-', i)) for i in city_url_list] # 提取所有的城市名称 city_name_list = response.xpath( '//*[@id="js_destination_recommend"]/div[2]/div[1]/div[2]/dl/dd/div/ul/li/a/text()') self.dict_data = https://www.it610.com/article/dict(zip(city_id_list, city_name_list)) text_info ='' for city_id, city_name in zip(city_id_list, city_name_list): text_info += city_id + ":" + city_name + '\t\t' self.text1.insert("insert", text_info)def parse_hit_click_1(self): """线程关联：定义触发事件1, 将执行结果显示在文本框中""" Thread(target=self.parse_start_url_job).start()def parse_city_id_name_info(self): """ 富文本内容展示： :return: """ # 发送请求，获取响应，解析响应 response = session.get(self.start_url, headers=self.headers).html # 提取所有目的地(城市)的url city_url_list = response.xpath( '//*[@id="js_destination_recommend"]/div[2]/div[1]/div[2]/dl/dd/div/ul/li/a/@href') city_id_list = [''.join(re.findall(r'-cs(.*?)-', i)) for i in city_url_list] # 提取所有的城市名称 city_name_list = response.xpath( '//*[@id="js_destination_recommend"]/div[2]/div[1]/div[2]/dl/dd/div/ul/li/a/text()') self.dict_data = https://www.it610.com/article/dict(zip(city_id_list, city_name_list)) text_info ='' for city_id, city_name in zip(city_id_list, city_name_list): text_info += city_id + ":" + city_name + '\t\t****' self.text1.insert("insert", text_info)def parse_start_url_job(self): # 从输入窗口获取输入 city_id = self.entry_user.get() self.text1.delete("1.0", "end") # 异常捕捉，是否存在key值 try: city_name = self.dict_data[city_id] self.parse_request_yj(city_id, city_name) except: # 报错提示 msgbox.showerror(title='错误', message='检测到瞎搞，请重新输入！')def parse_request_yj(self, city_id, city_name): """ 拼接游记地址，进行翻页 :param city_id: 城市的id :param city_name: 城市的名称 :return: """ while self.is_running: yj_url = f'https://travel.qunar.com/place/api/html/books/dist/{ city_id}?sortField=0&pageSize=10&page={ self.start_page}' response = session.get(yj_url, headers=self.headers).json()['data'].replace('\\', '') html = etree.HTML(response) # 提取游记的标题： title_list = html.xpath('//h3[@class="tit"]/a/text()') # 死循环的终止条件 if not title_list: print("该城市已经采集到最后一页----------城市切换中---------logging！！！") break else: # 提取游记作者 author_list = html.xpath('//span[@class="user_name"]/a/text()') # 出发时间 date_list = html.xpath('//span[@class="date"]/text()') # 游玩时间 days_list = html.xpath('//span[@class="days"]/text()') # 阅读量 read_list = html.xpath('//span[@class="icon_view"]/span/text()') # 点赞量 like_count_list = html.xpath('//span[@class="icon_love"]/span/text()') # 评论量 icon_list = html.xpath('//span[@class="icon_comment"]/span/text()') # 游记地址 text_url_list = html.xpath('//h3[@class="tit"]/a/@href') """构造保存数据格式字典""" for a, b, c, d, e, f, g, h in zip(title_list, author_list, date_list, days_list, read_list, like_count_list, icon_list, text_url_list): dict_dd = {city_name: [a, b, c, d, e, f, g, h] } self.text1.insert("insert", f"{ a}-----------采集完成！！！" + '\n') self.SaveExcels(dict_dd) self.start_page += 1def SaveExcels(self, data): # 获取表的名称 sheet_name = [i for i in data.keys()][0] # 创建保存excel表格的文件夹 # os.getcwd() 获取当前文件路径 os_mkdir_path = os.getcwd() + '/数据/' # 判断这个路径是否存在，不存在就创建 if not os.path.exists(os_mkdir_path): os.mkdir(os_mkdir_path) # 判断excel表格是否存在工作簿文件名称 os_excel_path = os_mkdir_path + '数据.xls' if not os.path.exists(os_excel_path): # 不存在，创建工作簿(也就是创建excel表格) workbook = xlwt.Workbook(encoding='utf-8') """工作簿中创建新的sheet表"""# 设置表名 worksheet1 = workbook.add_sheet(sheet_name, cell_overwrite_ok=True) """设置sheet表的表头""" sheet1_headers = ('游记标题', '发布游记的作者名称', '出发时间', '游玩时间', '阅读量', '点赞量', '评论量', '游记地址') # 将表头写入工作簿 for header_num in range(0, len(sheet1_headers)): # 设置表格长度 worksheet1.col(header_num).width = 2560 * 3 # 写入表头行,列,内容 worksheet1.write(0, header_num, sheet1_headers[header_num]) # 循环结束，代表表头写入完成，保存工作簿 workbook.save(os_excel_path) """=============================已有工作簿添加新表===============================================""" # 打开工作薄 workbook = xlrd.open_workbook(os_excel_path) # 获取工作薄中所有表的名称 sheets_list = workbook.sheet_names() # 如果表名称：字典的key值不在工作簿的表名列表中 if sheet_name not in sheets_list: # 复制先有工作簿对象 work = copy(workbook) # 通过复制过来的工作簿对象，创建新表-- 保留原有表结构 sh = work.add_sheet(sheet_name) # 给新表设置表头 excel_headers_tuple = ('游记标题', '发布游记的作者名称', '出发时间', '游玩时间', '阅读量', '点赞量', '评论量', '游记地址') for head_num in range(0, len(excel_headers_tuple)): sh.col(head_num).width = 2560 * 3 #行，列，内容，样式 sh.write(0, head_num, excel_headers_tuple[head_num]) work.save(os_excel_path) """=========================================================================================""" # 判断工作簿是否存在 if os.path.exists(os_excel_path): # 打开工作簿 workbook = xlrd.open_workbook(os_excel_path) # 获取工作薄中所有表的个数 sheets = workbook.sheet_names() for i in range(len(sheets)): for name in data.keys(): worksheet = workbook.sheet_by_name(sheets[i]) # 获取工作薄中所有表中的表名与数据名对比 if worksheet.name == name: # 获取表中已存在的行数 rows_old = worksheet.nrows # 将xlrd对象拷贝转化为xlwt对象 new_workbook = copy(workbook) # 获取转化后的工作薄中的第i张表 new_worksheet = new_workbook.get_sheet(i) for num in range(0, len(data[name])): new_worksheet.write(rows_old, num, data[name][num]) new_workbook.save(os_excel_path)def parse_hit_click_2(self): """定义触发事件2，删除文本框中内容""" self.entry_user.delete(0, "end") # self.entry_passwd.delete(0, "end") self.text1.delete("1.0", "end") self.parse_city_id_name_info()def center(self): """创建窗口居中函数方法""" ws = self.window.winfo_screenwidth() hs = self.window.winfo_screenheight() x = int((ws / 2) - (800 / 2)) y = int((hs / 2) - (600 / 2)) self.window.geometry('{}x{}+{}+{}'.format(800, 600, x, y))def run_loop(self): """禁止修改窗体大小规格""" self.window.resizable(False, False) """窗口居中""" self.center() """窗口维持--持久化""" self.window.mainloop()if __name__ == '__main__': t = TKSpider() t.run_loop()

代码仅供学习！！ 代码仅供学习！！ 代码仅供学习！！ 祝大家学习python顺利！ 【python爬虫实例100条|用python爬取去哪儿游记攻略为十月假期做准备。。。爬虫之路，永无止境！】
文章图片

推荐阅读

• 

  膝盖中箭体是什么意思：直到我膝盖中了一箭 表转折
• 

  动车和高铁有什么区别
• 

  格式转换器下载免费版
• 

  公主连结类龙生物 公主连接类龙生物VH一刀自动Auto攻略
• 

  商标代码查询 商标信息怎么查询，标库网查询商标
• 

  win10系统怎么转区 WIN10系统转区的操作教程
• 

  临近结婚,没有答应未婚妻要求,转身跟了同事,幸运还是不幸？
• 

  哪些水果不能上供用 沃柑能上供吗
• 

  这鲢鳙饵料配方真好用 钓鲢鱼饵料
• 

  广西桂林书画家有那些
• 

  hbase日志文件如何分析,如何查看hbase的日志文件
• 

  iPhone13|苹果优先生产iPhone13，iPad交货最长达63天
• 

  鉴定完毕是什么意思
• 

  qq音乐怎么k歌,全民k歌app下载
• 

  朋友搬家乔迁送什么盆栽植物？
• 

  解决办法|用5张失败的照片举例：爱拍照和会拍照的人，究竟差距在哪？
• 

  蝗虫的气门在身体的哪个部位
• 

  4月20日
• 

  怎样才能保持乐观的心情？
• 

  预防白蚁飞进屋的方法 家里有白蚁预兆什么

• python学习之|python学习之 实现QQ自动发送消息
• 逻辑回归的理解与python示例
• python自定义封装带颜色的logging模块
• 【Leetcode/Python】001-Two|【Leetcode/Python】001-Two Sum
• Python基础|Python基础 - 练习1
• Python爬虫|Python爬虫 --- 1.4 正则表达式（re库）
• Python（pathlib模块）
• python青少年编程比赛_第十一届蓝桥杯大赛青少年创意编程组比赛细则
• Python数据分析(一)（Matplotlib使用）
• 爬虫数据处理HTML转义字符