前言 最近天气好像有了点小脾气，总是在万分晴朗得时候耍点小性子~
阴会天，下上一会的雨~提醒我们时刻记得带伞哦，不然会被雨淋或者被太阳公公晒到
那么今天我就来分享一下采集天气数据 并做数据可视化的代码吧~

文章图片


目录（可点击自己想看的地方）

• 前言
• • • • 本篇代码提供者: 青灯教育-巳月老师
• 知识点:
• 开发环境:
• • 如果安装python第三方模块:
• 代码实现:
• 采集天气数据代码
• • 导入模块
  • 1. 发送请求
  • 2. 获取数据
  • 3. 解析数据
• 数据分析代码
• • 导入包
  • 读入数据
  • 数据预览
  • • 分割日期/星期
    • 去除多余字符
    • 计算下雪天气
    • 分割日期时间
  • 各城市初雪的时间
  • 各城市下雪天气分布
  • 做透视表
  • 北上广深2021年10月份天气热力图分布
  • 北京2021年每日最高最低温度变化
  • 北上广深10月份每日最高气温变化
  • 效果展示（部分）
• 尾语

本篇代码提供者: 青灯教育-巳月老师 知识点: 动态数据抓包
requests发送请求
结构化+非结构化数据解析
开发环境: python 3.8 运行代码
pycharm 2021.2 辅助敲代码
requests
如果安装python第三方模块:

1. win + R 输入 cmd 点击确定, 输入安装命令 pip install 模块名 (pip install requests) 回车
2. 在pycharm中点击Terminal(终端) 输入安装命令

代码实现:

1. 发送请求
2. 获取数据
3. 解析数据
4. 保存数据

文章图片

采集天气数据代码 导入模块

import requests# 第三方模块 提前安装发送请求 (Python里面浏览器)爆红是因为你没有安装模块 # 如果安装了 但还是爆红是因为什么呢? 解释器在pycharm里面配置的不对 import parsel import csv # 翻译插件

with open('天气.csv', mode='a', encoding='utf-8', newline='') as f: csv_writer = csv.writer(f) csv_writer.writerow(["日期", "最高温度", "最低温度", "天气", "风向", "城市"]) city_list = [54511, 58362, 59287, 59493] for city in city_list: for year in range(2011, 2022): for month in range(1, 13): url = f'https://tianqi.2345.com/Pc/GetHistory?areaInfo%5BareaId%5D={city}&areaInfo%5BareaType%5D=2&date%5Byear%5D={year}&date%5Bmonth%5D={month}'

1. 发送请求

response = requests.get(url=url) # : 请求成功

2. 获取数据

# json数据传输格式 json_data = https://www.it610.com/article/response.json() # 字典类型数据

3. 解析数据

# 结构化数据解析 html_data = https://www.it610.com/article/json_data['data'] selector = parsel.Selector(html_data) # 正则 css xpath json字典数据解析 tr_list = selector.css('.history-table tr') # tr_list[1:] 从列表的第二个元素开始取 for tr in tr_list[1:]: # fhwaeuifhwiuf td = tr.css('td::text').getall() if td[2] == '°': td[2] = td[1] if city == 54511: td.append("北京") elif city == 58362: td.append("上海") elif city == 59287: td.append("广州") elif city == 59493: td.append("深圳") print(td) # 文件名 写入方式 追加写入编码方式 utf-8数据空行 with open('天气.csv', mode='a', encoding='utf-8', newline='') as f: csv_writer = csv.writer(f) csv_writer.writerow(td)

数据分析代码
文章图片

导入包

import pandas as pd import datetime from pyecharts import options as opts from pyecharts.charts import * from pyecharts.commons.utils import JsCode

读入数据

data = https://www.it610.com/article/pd.read_csv('天气.csv') data

数据预览

data.sample(5)data.info()

分割日期/星期

data[['日期','星期']] = data['日期'].str.split(' ',expand=True,n=1) data

去除多余字符

data[['最高温度','最低温度']] = data[['最高温度','最低温度']].apply(lambda x: x.str.replace('°','')) data.head()

计算下雪天气

data.loc[data['天气'].str.contains('雪'),'下雪吗']='是' data.fillna('否',inplace=True)

分割日期时间

data['日期'] = pd.to_datetime(data['日期']) data[['最高温度','最低温度']] = data[['最高温度','最低温度']].astype('int')data['年份'] = data['日期'].dt.year data['月份'] = data['日期'].dt.month data['日'] = data['日期'].dt.day # 预览 data.sample(5)

各城市初雪的时间

s_data = https://www.it610.com/article/data[data['下雪吗']=='是'] s_data[(s_data['月份']>=9)].groupby('年份').first().reset_index()

各城市下雪天气分布

s_data.groupby(['城市','年份'])['日期'].count().to_frame('下雪天数').reset_index()

做透视表

data_bj = data[(data['年份'] == 2021) & (data['城市'] == '北京')] data_bj = data_bj.groupby(['月份','天气'], as_index=False)['日期'].count()data_pivot =pd.pivot(data_bj, values='日期', index='月份', columns='天气') data_pivot = data_pivot.astype('float') # 按照 索引年月倒序排序 data_pivot.sort_index(ascending=False,inplace=True) # 资料、解答、教程可加Q ：261823976免费领 data_pivot

北上广深2021年10月份天气热力图分布

import matplotlib.pyplot as plt import matplotlib.colors as mcolors import seaborn as sns#设置全局默认字体 为 雅黑 plt.rcParams['font.family'] = ['Microsoft YaHei'] # 设置全局轴标签字典大小 plt.rcParams["axes.labelsize"] = 14 # 设置背景 sns.set_style("darkgrid",{"font.family":['Microsoft YaHei', 'SimHei']}) # 设置画布长宽 和 dpi plt.figure(figsize=(18,8),dpi=100) # 自定义色卡 cmap = mcolors.LinearSegmentedColormap.from_list("n",['#95B359','#D3CF63','#E0991D','#D96161','#A257D0','#7B1216']) # 绘制热力图ax = sns.heatmap(data_pivot, cmap=cmap, vmax=30, annot=True, # 热力图上显示数值 linewidths=0.5, ) # 将x轴刻度放在最上面 ax.xaxis.set_ticks_position('top') plt.title('北京最近10个月天气分布',fontsize=16) #图片标题文本和字体大小 plt.show()data_gz= data[(data['年份'] == 2021) & (data['城市'] == '广州')] data_gz = data_gz.groupby(['月份','天气'], as_index=False)['日期'].count() data_sz= data[(data['年份'] == 2021) & (data['城市'] == '深圳')] data_sz = data_sz.groupby(['月份','天气'], as_index=False)['日期'].count() data_sh= data[(data['年份'] == 2021) & (data['城市'] == '上海')] data_sh = data_sh.groupby(['月份','天气'], as_index=False)['日期'].count()data_pivot_sz =pd.pivot(data_sz, values='日期', index='月份', columns='天气') data_pivot_sz = data_pivot_sz.astype('float') # 按照 索引年月倒序排序 data_pivot_sz.sort_index(ascending=False,inplace=True)#设置全局默认字体 为 雅黑 plt.rcParams['font.family'] = ['Microsoft YaHei'] # 设置全局轴标签字典大小 plt.rcParams["axes.labelsize"] = 14 # 设置背景 sns.set_style("darkgrid",{"font.family":['Microsoft YaHei', 'SimHei']}) # 设置画布长宽 和 dpi plt.figure(figsize=(18,8),dpi=100) # 自定义色卡 cmap = mcolors.LinearSegmentedColormap.from_list("n",['#95B359','#D3CF63','#E0991D','#D96161','#A257D0','#7B1216']) # 绘制热力图ax_sz = sns.heatmap(data_pivot_sz, cmap=cmap, vmax=31, annot=True, # 热力图上显示数值 linewidths=0.5, ) # 将x轴刻度放在最上面 ax_sz.xaxis.set_ticks_position('top') plt.title('深圳最近10个月天气分布',fontsize=16) #图片标题文本和字体大小 plt.show()data_pivot_gz =pd.pivot(data_gz, values='日期', index='月份', columns='天气') data_pivot_gz = data_pivot_gz.astype('float') # 按照 索引年月倒序排序 data_pivot_gz.sort_index(ascending=False,inplace=True)#设置全局默认字体 为 雅黑 plt.rcParams['font.family'] = ['Microsoft YaHei'] # 设置全局轴标签字典大小 plt.rcParams["axes.labelsize"] = 14 # 设置背景 sns.set_style("darkgrid",{"font.family":['Microsoft YaHei', 'SimHei']}) # 设置画布长宽 和 dpi plt.figure(figsize=(18,8),dpi=100) # 自定义色卡 cmap = mcolors.LinearSegmentedColormap.from_list("n",['#95B359','#D3CF63','#E0991D','#D96161','#A257D0','#7B1216']) # 绘制热力图ax_sz = sns.heatmap(data_pivot_gz, cmap=cmap, vmax=31, annot=True, # 热力图上显示数值 linewidths=0.5, ) # 将x轴刻度放在最上面 ax_sz.xaxis.set_ticks_position('top') plt.title('广州最近10个月天气分布',fontsize=16) #图片标题文本和字体大小 plt.show() # 资料、解答、教程可加Q ：261823976免费领 data_pivot_sh =pd.pivot(data_sh, values='日期', index='月份', columns='天气') data_pivot_sh = data_pivot_sh.astype('float') # 按照 索引年月倒序排序 data_pivot_sh.sort_index(ascending=False,inplace=True)#设置全局默认字体 为 雅黑 plt.rcParams['font.family'] = ['Microsoft YaHei'] # 设置全局轴标签字典大小 plt.rcParams["axes.labelsize"] = 14 # 设置背景 sns.set_style("darkgrid",{"font.family":['Microsoft YaHei', 'SimHei']}) # 设置画布长宽 和 dpi plt.figure(figsize=(18,8),dpi=100) # 自定义色卡 cmap = mcolors.LinearSegmentedColormap.from_list("n",['#95B359','#D3CF63','#E0991D','#D96161','#A257D0','#7B1216']) # 绘制热力图ax_sz = sns.heatmap(data_pivot_sh, cmap=cmap, vmax=31, annot=True, # 热力图上显示数值 linewidths=0.5, ) # 将x轴刻度放在最上面 ax_sz.xaxis.set_ticks_position('top') plt.title('上海最近10个月天气分布',fontsize=16) #图片标题文本和字体大小 plt.show()data_bj = data[(data['城市']=='北京') & (data['年份'] == 2021)] data_bj['日期'] = pd.to_datetime(data_bj.日期,format="%Y年%m月%d日") data_bj = data_bj.sort_values(by='日期',ascending=True)

北京2021年每日最高最低温度变化
文章图片

color0 = ['#FF76A2','#24ACE6'] color_js0 = """new echarts.graphic.LinearGradient(0, 1, 0, 0, [{offset: 0, color: '#FFC0CB'}, {offset: 1, color: '#ed1941'}], false)""" color_js1 = """new echarts.graphic.LinearGradient(0, 1, 0, 0, [{offset: 0, color: '#FFFFFF'}, {offset: 1, color: '#009ad6'}], false)"""tl = Timeline() for i in range(0,len(data_bj)): coordy_high = list(data_bj['最高温度'])[i] coordx = list(data_bj['日期'])[i] coordy_low = list(data_bj['最低温度'])[i] x_max = list(data_bj['日期'])[i]+datetime.timedelta(days=10) y_max = int(max(list(data_bj['最高温度'])[0:i+1]))+3 y_min = int(min(list(data_bj['最低温度'])[0:i+1]))-3 title_date = list(data_bj['日期'])[i].strftime('%Y-%m-%d') c = ( Line( init_opts=opts.InitOpts( theme='dark', #设置动画 animation_opts=opts.AnimationOpts(animation_delay_update=800),#(animation_delay=1000, animation_easing="elasticOut"), #设置宽度、高度 width='1500px', height='900px', ) ) .add_xaxis(list(data_bj['日期'])[0:i]) .add_yaxis( series_name="", y_axis=list(data_bj['最高温度'])[0:i], is_smooth=True,is_symbol_show=False, linestyle_opts={ 'normal': { 'width': 3, 'shadowColor': 'rgba(0, 0, 0, 0.5)', 'shadowBlur': 5, 'shadowOffsetY': 10, 'shadowOffsetX': 10, 'curve': 0.5, 'color': JsCode(color_js0) } }, itemstyle_opts={ "normal": { "color": JsCode( """new echarts.graphic.LinearGradient(0, 0, 0, 1, [{ offset: 0, color: '#ed1941' }, { offset: 1, color: '#009ad6' }], false)""" ), "barBorderRadius": [45, 45, 45, 45], "shadowColor": "rgb(0, 160, 221)", } },) .add_yaxis( series_name="", y_axis=list(data_bj['最低温度'])[0:i], is_smooth=True,is_symbol_show=False, #linestyle_opts=opts.LineStyleOpts(color=color0[1],width=3), itemstyle_opts=opts.ItemStyleOpts(color=JsCode(color_js1)), linestyle_opts={ 'normal': { 'width': 3, 'shadowColor': 'rgba(0, 0, 0, 0.5)', 'shadowBlur': 5, 'shadowOffsetY': 10, 'shadowOffsetX': 10, 'curve': 0.5, 'color': JsCode(color_js1) } }, ) .set_global_opts( title_opts=opts.TitleOpts("北京2021年每日最高最低温度变化\n\n{}".format(title_date),pos_left=330,padding=[30,20]), xaxis_opts=opts.AxisOpts(type_="time",max_=x_max),#, interval=10,min_=i-5,split_number=20,axistick_opts=opts.AxisTickOpts(length=2500),axisline_opts=opts.AxisLineOpts(linestyle_opts=opts.LineStyleOpts(color="grey")) yaxis_opts=opts.AxisOpts(min_=y_min,max_=y_max),#坐标轴颜色,axisline_opts=opts.AxisLineOpts(linestyle_opts=opts.LineStyleOpts(color="grey")) ) ) tl.add(c, "{}".format(list(data_bj['日期'])[i])) tl.add_schema( axis_type='time', play_interval=100,# 表示播放的速度 pos_bottom="-29px", is_loop_play=False, # 是否循环播放 width="780px", pos_left='30px', is_auto_play=True,# 是否自动播放。 is_timeline_show=False) tl.render_notebook() # 资料、解答、教程可加Q ：261823976免费领 data_10 = data[(data['年份'] == 2021) & ( data['月份'] == 10)] data_10.head()

北上广深10月份每日最高气温变化

# 背景色 background_color_js = ( "new echarts.graphic.LinearGradient(0, 0, 0, 1, " "[{offset: 0, color: '#c86589'}, {offset: 1, color: '#06a7ff'}], false)" )# 线条样式 linestyle_dic = { 'normal': { 'width': 4, 'shadowColor': '#696969', 'shadowBlur': 10, 'shadowOffsetY': 10, 'shadowOffsetX': 10, } }timeline = Timeline(init_opts=opts.InitOpts(bg_color=JsCode(background_color_js), width='980px',height='600px'))bj, gz, sh, sz= [], [], [], [] all_max = [] x_data = https://www.it610.com/article/data_10[data_10['城市'] == '北京']['日'].tolist() for d_time in range(len(x_data)): bj.append(data_10[(data_10['日'] == x_data[d_time]) & (data_10['城市']=='北京')]["最高温度"].values.tolist()[0]) gz.append(data_10[(data_10['日'] == x_data[d_time]) & (data_10['城市']=='广州')]["最高温度"].values.tolist()[0]) sh.append(data_10[(data_10['日'] == x_data[d_time]) & (data_10['城市']=='上海')]["最高温度"].values.tolist()[0]) sz.append(data_10[(data_10['日'] == x_data[d_time]) & (data_10['城市']=='深圳')]["最高温度"].values.tolist()[0])line = ( Line(init_opts=opts.InitOpts(bg_color=JsCode(background_color_js), width='980px',height='600px')) .add_xaxis( x_data, ).add_yaxis( '北京', bj, symbol_size=5, is_smooth=True, is_hover_animation=True, label_opts=opts.LabelOpts(is_show=False), ).add_yaxis( '广州', gz, symbol_size=5, is_smooth=True, is_hover_animation=True, label_opts=opts.LabelOpts(is_show=False), ) .add_yaxis( '上海', sh, symbol_size=5, is_smooth=True, is_hover_animation=True, label_opts=opts.LabelOpts(is_show=False),) .add_yaxis( '深圳', sz, symbol_size=5, is_smooth=True, is_hover_animation=True, label_opts=opts.LabelOpts(is_show=False),).set_series_opts(linestyle_opts=linestyle_dic) .set_global_opts( title_opts=opts.TitleOpts( title='北上广深10月份最高气温变化趋势', pos_left='center', pos_top='2%', title_textstyle_opts=opts.TextStyleOpts(color='#DC143C', font_size=20)),tooltip_opts=opts.TooltipOpts( trigger="axis", axis_pointer_type="cross", background_color="rgba(245, 245, 245, 0.8)", border_width=1, border_color="#ccc", textstyle_opts=opts.TextStyleOpts(color="#000"), ), xaxis_opts=opts.AxisOpts( #axislabel_opts=opts.LabelOpts(font_size=14, color='red'), #axisline_opts=opts.AxisLineOpts(is_show=True, #linestyle_opts=opts.LineStyleOpts(width=2, color='#DB7093')) is_show = False ),# 资料、解答、教程可加Q ：261823976免费领 yaxis_opts=opts.AxisOpts( name='最高气温', is_scale=True, #min_= int(min([gz[d_time],sh[d_time],sz[d_time],bj[d_time]])) - 10, max_= int(max([gz[d_time],sh[d_time],sz[d_time],bj[d_time]])) + 10, name_textstyle_opts=opts.TextStyleOpts(font_size=16,font_weight='bold',color='#5470c6'), axislabel_opts=opts.LabelOpts(font_size=13,color='#5470c6'), splitline_opts=opts.SplitLineOpts(is_show=True, linestyle_opts=opts.LineStyleOpts(type_='dashed')), axisline_opts=opts.AxisLineOpts(is_show=True, linestyle_opts=opts.LineStyleOpts(width=2, color='#5470c6')) ), legend_opts=opts.LegendOpts(is_show=True, pos_right='1%', pos_top='2%', legend_icon='roundRect',orient = 'vertical'), ))timeline.add(line, '{}'.format(x_data[d_time]))timeline.add_schema( play_interval=1000,# 轮播速度 is_timeline_show=True,# 是否显示 timeline 组件 is_auto_play=True,# 是否自动播放 pos_left="0", pos_right="0" ) timeline.render_notebook()

效果展示（部分）
文章图片


文章图片


文章图片


文章图片


文章图片


文章图片


文章图片

尾语 成功没有快车道，幸福没有高速路。
所有的成功，都来自不倦地努力和奔跑，所有的幸福都来自平凡的奋斗和坚持
——励志语录
本文章就写完啦~感兴趣的小伙伴可以复制代码去试试
【爬虫|python采集天气数据 并做数据可视化 (含完整源代码)】你们的支持是我最大的动力！！记得三连哦~ 欢迎大家阅读往期的文章呀~

推荐阅读

• 

  社保卡发放城乡居民基本养老保险待遇 肇庆2月份起全面使用
• 

  山东麦收是几月份，麦收后种植什么经济作物
• 

  建筑工程技术主要考哪些证好考吗
• 

  海尔洗衣机不能洗涤是什么原因,主要差别在这里
• 

  手机|华为手机越做越大，越来越重；苹果则越来越小，越来越轻薄
• 

  PS制作另类高光黑白照片
• 

  掩于岁月敬而远之是什么意思
• 

  陈皮加枸杞泡水喝有什么作用
• 

  丝绸之路的意义是什么 关于丝绸之路的意义介绍
• 

  教师招聘体检哪些不合格不能通过
• 

  医生|又有患者不讲武德！医生“飞刀”手术后被举报：退还手术费还得道歉
• 

  如何把视频的声音提取成文字？视频转文字方法分享
• 

  做肝血管瘤介入有啥副作用,肝血管瘤介入手术有何并发症
• 

  如何刷机安卓手机,如何进行强制刷机?
• 

  Win10电脑的微软商店不见了怎么办？教你重新安装Microsoft Store详细方法
• 

  范忆琳个人资料 运动员范忆琳个人简介
• 

  爱玩mc官网 爱玩mc如何直播，爱玩mc联机装mod
• 

  Win7旗舰版打开文件提示安全警告怎么取消？
• 

  mongodb文件格式 mongodb写入文件
• 

  银耳泡后软粘是怎么回事

• java|@GetMapping、@PostMapping 和 @RequestMapping详细区别附实战代码（全）
• python学习|python+opencv+百度智能云 人脸识别——视频人脸锁定
• python学习|python+opencv+百度智能云 人脸识别——人数识别+标记
• python学习|python+opencv+百度智能云 人脸识别——人脸相似度对比
• python|10个非常有趣的Python库，可以玩上一整天
• python|Python数据可视化的3大步骤，你知道吗（）
• 大数据|Python的打包神器—Nuitka
• python|Python+AI智能编辑人脸
• python