Python开发（MeetUp API和JSON数据） _JSON

MeetUp是一个社交媒体网站, 允许成员形成虚拟社区, 这些社区在其本地地理区域内组织活动。 MeetUp的概念并不是什么新鲜事物, 但是UI和UX近年来是最具创新性的。简化组织特定于社区, 每天, 每周, 每月或每两个月开会的活动的任务变得更加容易。
MeetUp的API允许用户直接从网站收集数据。像大多数API一样, 许多域所有者都限制了你可以调用的数据量。某些域在维护其API文档方面做得不好。有些人在使文档尽可能易于使用方面做得非常出色。 MeetUp在中间。你可以通过多种方式使用其API。
我使用MeetUp的API是从德克萨斯州北部达拉斯-沃思堡地区的三个不同组收集数据。我用来在MeetUp的域上访问API的语言是Python。根据你的习惯, C ++或Python足以使用网站的API。
如果你还不熟悉Python, 请务必阅读我们的Python数据科学入门课程。
在本教程中, 你将学习如何使用Python调用MeetUp的API。我将展示如何获取组的ID, 以及如何将该ID与API密钥结合使用, 以JSON格式请求组的数据。最后, 我将演示如何将捕获的数据写入JSON文件, 该文件将保存在PC / Mac上。
你如何获取API密钥？
在MeetUp的网站上, 你必须具有有效的帐户才能获取API密钥。网站上的所有用户都将获得一个密钥。对于我们这些没有帐户的人, 第一步是在MeetUp上注册一个帐户。完成后, 你可以在此处获取API密钥。
你可以选择随时重置密钥。请务必对API密钥保密。
入门
首先, 你要导入所有将在简单py脚本中使用的Python库。

import meetup.apiimport jsonimport requestsimport timeimport codecsimport sysimport io

安装API
在继续运行此输入之前, 请确保在你的计算机上安装了metup.api。如果你使用的是基于UNIX的命令提示符, 则只需执行简单的pip安装即可：
pip安装meetup.api
如果使用Jupyter Notebook, 则可以按以下方式安装库：
！pip安装metup.api
这将安装MeetUp的Python API库。
由于Python是一种解释性语言, 因此定义在语法中起着重要的作用。例如, 通过定义客户端, 你现在可以编写任何请求, 并仅使用术语客户端来调用API密钥, 因此无需连续重新键入API密钥。这是使用Python进行编码的重要方面。首先, 将你的API密钥定义为客户端, 如下所示：

client = meetup.api.Client('API Key Here')

定义group_info允许你根据MeetUp网站上的群组名称提取群组的url。

group_info = client.GetGroup({'urlname': 'Group Name Here No Spaces'})

获取组的ID
完成此操作后, 你现在可以调用group_info, 并对其发出多个请求。通过输入行group_info.link, 输出将是该组的完整URL地址。

group_info.link

在下一行中调用group_info.id将获得组的ID号。

group_info.id

你希望该组的ID号能够继续进行下一步。
发出请求
【Python开发（MeetUp API和JSON数据）】现在你知道了组的ID号。你可以通过定义df来拉取请求, 并将你的组ID和API密钥插入网址。这称为request.get

df = requests.get('https://api.meetup.com/2/members?group_id=GROUP_ID& key=API_KEY')

定义df后, 你现在可以调用status_code, 标头, 编码, 并且可以通过调用json直接查看数据。
首先, 你将输入df.status_code, status_code的输出应为：200
对于标题, 请键入df.headers [‘ content-type’ ]标题的输出：application / json; charset = utf-8
要检查编码类型, 请输入df.encoding进行编码：utf-8
至此, 你定义为df的数据存在。要内联查看, 请输入df.json()
将数据写入JSON文件
此时你已经有了数据。接下来, 你将数据写入一个json文件中, 该文件保存到你的PC / MAC中。这是重要的一步。你已经有了数据, 但是没有将其保存在本地硬盘驱动器上。你可以使用以下代码将数据写入文件。

try: to_unicode = unicodeexcept NameError: to_unicode = strwith io.open('df.json', 'w', encoding='utf8') as outfile: str_ = json.dumps(data, indent=4, sort_keys=True, separators=(', ', ': '), ensure_ascii=False) outfile.write(to_unicode(str_))

在运行此程序之前, 请通过运行import io导入io库。
运行此代码后, 它将使用MeetUp的API将” 请求” 拉取中的数据写入保存在硬盘目录中的JSON文件中。专门位于与你使用的.ipynb或.pyfile相同的目录中。
如果你使用的是Jupyter Notebook, 则按照上次修改的顺序在Jupyter Notebook上组织目录时, 应该能够立即找到它。随时将其保存到更方便的位置以备将来使用。
JSON文件有什么用途？ JSON文件包含你使用MeetUp的API提取的数据。你可以通过多种方式使用此数据。如果数据缺少值, 则可以使用Python清除数据。你可以构建数据集并应用多种技术来进行数据分析。或者, 你可以可视化数据并构建仪表板和图形以显示数据集中的相关性。最后, 良好的数据集可用于应用机器学习算法来构建预测模型。这些是你可以使用我们通过MeetUp API编写的JSON文件的一些功能。你唯一的限制是你的想象力。总之, 从网站的API中提取数据是获取数据集的多种方法之一。最终目标是在数据分析, 建模和可视化中充分利用数据集。
总结
总之, 使用MeetUp的API提取数据需要几个步骤。第一步是找到并标识你的API密钥, 下一步是获取所需组的ID。利用此信息, 你可以从任何你喜欢的组中提取数据。提出拉取请求后, 你需要将其写入JSON文件。知道如何将API用作工具是收集数据的有用且经济高效的方式。你正在收集可以在将来的项目中使用的数据。与其他方法(例如数据抓取)相比, 使用网站的API通常是最非侵入性的方法。有了JSON文件后, 仍然需要进行处理。你仍然需要清除数据。作为初学者, 你需要了解术语清洁数??据。清理数据是在组织数据集时使数据集的列和行不丢失的情况。你将查看缺少的数字数据和分类数据(名称, 位置等)。现在, 你有了工具, 可以开始从MeetUp的API中提取数据。
在开始使用从API请求的数据之前, 你必须清除数据。如果你想学习方法, 请务必参加我们的Python清洗数据课程。
使用网站的API时, 请注意使用API??的限制。域所有者自行设置这些规则。练习自我意识并保持认真。