爬取三千条数据需要多久_数字科学家赚多少钱（我爬取近 6 年三千份数据后发现了这些秘密...）
文章图片
数字科学家究竟能赚多少钱？这大概是数据科学领域最有趣、关注度最高的一个问题了。近期，美国一位对这个问题充满好奇的数据科学家 Tony Yiu，针对数据科学家的薪资水平做了一次数据分析。他爬取了 2014 年到 2019 年美国外籍数据科学家的数千份职位和工资数据，想要了解这些拥有 H1B 签证的“美漂”，年薪究竟能达到多少。
数据来源
我从这个网站获得这些薪资数据，这个网站对劳工部(DOL)的劳动条件申请(LCA)数据进行了索引。当一家公司打算雇佣一名需要 H1B 签证担保的员工时，他们需要在提交 H1B 签证申请之前向 DOL 提交 LCA。LCA 中包含了与公司、薪水和职位相关的数据，这些数据都是公开的。
我从上面提到的网站(如果你想自己抓取，可以在我的 GitHub 上找到爬虫代码)搜索以下地区数据科学家的薪资数据(我主要关注美国西海岸，因为我在那里生活和工作)：
旧金山湾区 (旧金山、圣何塞、库比蒂诺、山景城、帕洛阿尔托等)；西雅图 (包括微软雷德蒙)；奥斯汀；洛杉矶 (包括圣莫尼卡)。此外，这次薪资分析只针对数据科学家，所以不包括资深数据科学家或员工数据科学家等更有经验的数据科学职位，也不包括数据分析师。
在经过这些过滤器过滤之后，我得到了 2818 个样本。
需要注意的是，这是与 H1B 相关的薪资数据，所以用于分析的薪资数据不包括美国公民的收入。由于没有看到任何反面证据，我将会假设美国公民数据科学家和持有绿卡的数据科学家的薪资数据也遵循与 H1B 数据相同的趋势。
文章图片
年薪在 12w 美元上下徘徊
看下面这幅图，你会发现这些数据科学家的平均年薪中位数为 12 万美元，而且按照年薪的划分，趋势是相当平稳的。但是有一点请记住，这个中位数只是基本工资，不包括现金奖金、股票和福利。因此，数据科学家的总体薪酬中位数可能比这些要高得多。
文章图片
数据科学家年薪中位数
工作岗位逐年递增，薪资却缓慢下降
在过去的五年时间里，被雇佣的数据科学家的数量显著增加。请注意，这篇文章是在 2019 年 8 月份写的，这一年还没有结束，所以最后一根柱子(棕色)较短。
文章图片
年度被雇佣的数据科学家数量
数据科学家无疑是目前的一个时髦又性感的职业，而且我认为，过去几年被雇佣的数据科学家人数大幅上升，这也反映了另一种趋势——很多公司正试图赶上大数据和人工智能的潮流。这些公司的团队以前叫作决策分析或研究，现在改名叫数据科学。因此，几年前的研究分析师现在摇身变成了数据科学家。
但我不认为这有什么问题。数据科学家的头衔并没有那么神圣——如果你能够以一种饱含见解的方式应用定量数据来帮助企业做出更好的决策，那么在我看来，你就是一名数据科学实践者！
但请注意，并不是所有的数据科学工作都是一样的。数据科学家的头衔被过度使用了，A 公司的数据科学家可能将 80% 的时间花在 SQL 上，而 B 公司的数据科学家则一整天都在用 Python 实现机器学习算法。不管是否合理，这可能是数据科学家的工资差异如此之大的原因之一(其他原因还包括经验、雇佣地点、公司的平均薪资水平，以及员工是否拥有高等学位)。
我们通过柱状图来查看薪资的分布情况。由于不同年份的数据差别不大，我用柱状图来表示五年的数据。两条黑线分别表示 25 百分位 (102,600 美元) 和 75 百分位 (135,475 美元)，红线表示中位数 (120,000 美元)。
文章图片
数据科学家薪资柱状图
这些年来薪资的分布变化并不大，如果你不相信我的话，可以用方框图来比较年度薪资分布：
文章图片
数据科学家年度薪资方框图
供参考，2015 年薪资分布情况为：
25 百分位:100000 美元50 百分位:115000 美元75 百分位:130000 美元2019 年分布情况是：
25 百分位:100000 美元50 百分位:119850 美元75 个百分位:135000 美元薪水确实有所上升，但不是很明显。此外，在撰写本文时，2019 年数据科学家的薪资与 2018 年相比有所下降。
Airbnb 出手最大方，沃尔玛给钱也不少
那么，到哪些公司可以拿到较高的薪资呢？下图从公司维度按照从高到低的顺序对数据科学家薪资中位数进行排列。这张图只包含了样本中涉及的雇佣了 10 个或更多数据科学家的公司——如果有某家公司只雇佣了一名数据科学家，即使他或她挣了 20 万美元，这些信息对于你来说也没有多大意义。
你会发现，AirBnB、Lyft、Facebook 和苹果的薪水高达 13.5 万美元或更高，这个并不足为奇。让你感到惊喜的是，Ancestry.com 居然是数据科学家的主要高薪雇主(我也没想到沃尔玛会接近榜首——我一直以为低价就意味着低工资)。
文章图片
去哪些公司可以拿到较高的薪资
我在下图中给出了数据科学家的主要雇主(那些提交 H1B 申请最多的雇主)。正如我们所料，排在前面的都是些大型的科技公司。但很明显，谷歌被遗漏了。不管是因为什么原因，数据库中有关谷歌数据科学家的信息并不多。也许谷歌使用了不一样的头衔——我以后再去研究这个问题。
文章图片
雇主排行
后续的报告
我希望以上这些数据对读者来说有所帮助。虽然这不是一个全面的分析，因为只基于 H1B 的数据，但我分析出来的结果与我所听到的和所看到的薪资聚合网站(如 Paysa )上的结果都相当吻合。
【爬取三千条数据需要多久_数字科学家赚多少钱（我爬取近 6 年三千份数据后发现了这些秘密...）】在下一篇文章中，我将深入研究数据，绘制其他与数据相关的角色(如数据工程师和数据分析师)的图表。我还将研究公司内部的趋势——例如，Facebook 是否会随着时间的推移为数据科学家提供越来越高的薪水？
推荐阅读
- 每个Java程序员都应该学习10条编码原则
- 项目中常用的19条MySQL优化
- 一人，一车，一条幸福主持路（一男，一女一生相携到白头……）
- 我就是一条咸鱼
- 城市
- 四条锦囊，送给坚持路上的你
- 使用Python自动登录SSO爬取动态页面
- 论如何快速有效通过今日头条新手期转正
- yii2|yii2 模型with关联条件查询过滤结果为空的问题
- SQL每日一练|SQL每日一练（牛客新题库）——第2天（ 条件查询）