python学习|利用python爬虫技术获取每天每场的每位球员NBA数据以及每日范特西评分 python|爬虫|每日范特西|爬虫

想法来源：虎扑体育app中有个游戏叫做“每日范特西”，此游戏给于NBA每位球员一个与他能力（数据）相符的身价，玩家的任务是给定金额120，根据每位球员的身价以及位置组建一个自己的阵容（阵容总价不能大于120），之后根据当天每位球员的数据表现，来得出当天的真实评分。每位玩家的任务就是组建一套120以下的阵容，以达到阵容的真实评分最大值。真实评分公式如下：

文章图片

使用工具：最近接触了python比较多，也算是重拾了1年多前的知识，主要是利用了bs4模版。
实现目标：把NBA每天比赛的球员数据按文件夹放在本地，并计算出他的范特西球员评分。
【python学习|利用python爬虫技术获取每天每场的每位球员NBA数据以及每日范特西评分】步骤：

抓取的NBA数据来源于http://sports.yahoo.com/nba/scoreboard/ 这个网站，网址后面加入日期，就是为当天的比赛场次信息，如（http://sports.yahoo.com/nba/scoreboard/?dateRange=2017-02-27）
利用requests.get函数得到网址的html代码，再利用bs4对代码进行解析。

data = https://www.it610.com/article/requests.get(allurl) bsdata = BeautifulSoup(data.text,'lxml')`

3.之后在浏览器中对原网址按下F12，得到当天的每场的子网页，如图：

python学习|利用python爬虫技术获取每天每场的每位球员NBA数据以及每日范特西评分

文章图片

可知整个比赛场次的板块是在class名为’Mb(0px)’的div标签下，之后在此标签下找到所有a标签，因为超链接和文本都存在a标签中。

game_list = bsdata.find('ul', class_='Mb(0px)').find_all('a')

4.得到game_list后，对每个a标签里的内容进行筛选，因为里面的a标签还可能是回放的链接：

for game in gamelist: tarurl = game['href'] if tarurl.find('/nba') == -1: gamelist.remove(game)

5.筛选之后，得到场次的链接和标题，之后再利用requests和bs4，对每场的链接进行同样的方法，之后再对所要的数据进行分析：

文章图片

为class名为match-stats的div标签下
6.之后我分析出名字是位于a标签下的文本中（因为球员是可以再点进去一个链接为该球员的详细资料），其他数据是位于td标签下。但是a标签包含的是所有出现的球员名字，td标签是包含了出现了所有数据（包含了球队数据），因此为了完全对应，需要对数据进行处理：

player_name = bsdata.find('div', class_='match-stats').find_all('a') player_stat = bsdata.find('div', class_='match-stats').find_all('td') stat_list = ['Min','FG','3pt','FT','Off','Def','Reb','Ast','TO','Stl','Blk','PF','+/-','Pts'] with open(title+".txt",'w') as nbawrite: count = 0 for p in player_name: if(player_stat[count].get_text()==''):#对应的是球队数据，删去 count=count+20 if(count>=len(player_stat)):#数据已经读完了，但是之后还有球员名字，应该忽略退出 break nbawrite.write('Name: '+ p.get_text()+'\n') nba_list=[] for i in range(0,14): nba_list.append(str(player_stat[count].get_text())) nbawrite.write(stat_list[i]+': '+str(player_stat[count].get_text())+'\n') count=count+1 nbawrite.write('评分：') nbawrite.write(str(getfantasy(nba_list))) nbawrite.write('\n\n')

7.得到数据之后就可以加入范特西评分函数，这里就不赘述了。
8.对这些数据建立相对应当天的文件夹，以及对每场再建立一个txt文本。
9.为了可以直接抓到当天的数据,不用手动输入日期,可以利用datetime函数,得到当天时间作为参数传入进去。
效果截图如下：

文章图片

文章图片

完整代码如下：

# -*- coding: utf-8 -*-import requests import datetime from bs4 import BeautifulSoup import osdef getDate(date): baseurl = "http://sports.yahoo.com/nba/scoreboard/?dateRange=" allurl = baseurl+date try: data = https://www.it610.com/article/requests.get(allurl) bsdata = BeautifulSoup(data.text,'lxml') if os.path.exists(os.path.join("D:\\nba",date)) is not True: os.makedirs(os.path.join("D:\\nba", date)) os.chdir(os.path.join("D:\\nba", date)) game_list = bsdata.find('ul', class_='Mb(0px)').find_all('a') return game_list except: print(u'网络错误')def getfantasy(stat_list): if(stat_list[0]=='-'): return 0 else: total = 0.0FG = stat_list[1] number = FG.find('-') FG_succ = FG[:number] total += int(FG_succ)*0.4 FG_miss = int(FG[number+1:]) - int(FG_succ) total += FG_miss*(-1)threept = stat_list[2] number = threept.find('-') three_suc = threept[:number] total += int(three_suc)*0.5total += int(stat_list[4]) total += int(stat_list[5])*0.7 total += int(stat_list[7])*1.5 total += int(stat_list[8])*(-1) total += int(stat_list[9])*(2) total += int(stat_list[10])*1.8 total += int(stat_list[13])*1return round(total,1)def handle_single(gamelist): for game in gamelist: tarurl = game['href'] if tarurl.find('/nba') == -1: gamelist.remove(game) for game in gamelist: title = game.get_text() baseurl = "http://sports.yahoo.com" atturl = game['href'] print(str(atturl)) data = https://www.it610.com/article/requests.get(baseurl+atturl) bsdata = BeautifulSoup(data.text,'lxml') player_name = bsdata.find('div', class_='match-stats').find_all('a') player_stat = bsdata.find('div', class_='match-stats').find_all('td') stat_list = ['Min','FG','3pt','FT','Off','Def','Reb','Ast','TO','Stl','Blk','PF','+/-','Pts'] with open(title+".txt",'w') as nbawrite: count = 0 for p in player_name: if(player_stat[count].get_text()==''):#对应的是球队数据，删去 count=count+20 if(count>=len(player_stat)):#数据已经读完了，但是之后还有球员名字，应该忽略退出 break nbawrite.write('Name: '+ p.get_text()+'\n') nba_list=[] for i in range(0,14): nba_list.append(str(player_stat[count].get_text())) nbawrite.write(stat_list[i]+': '+str(player_stat[count].get_text())+'\n') count=count+1 nbawrite.write('评分：') nbawrite.write(str(getfantasy(nba_list))) nbawrite.write('\n\n')print(u'抓取成功')i = datetime.datetime.now() today = str(i)[:10] print(u'今天是%s,将抓取今天的NBA信息'%(today)) game = getDate(today) handle_single(game)