Python|python爬取华为商城所有的手机参数华为|爬虫|python爬取华为|pyth

需求分析：我们要爬取华为商城手机类别的所有手机参数。但是不要配件的。

文章图片

1、按F12，随便搜索一个关键字，找到对应的接口。
【Python|python爬取华为商城所有的手机参数】
文章图片

找到的接口是：

Request URL: https://openapi.vmall.com/mcp/v1/search/queryPrd Request Method: POST Status Code: 200 OK Remote Address: 121.36.48.86:443 Referrer Policy: strict-origin-when-cross-origin

可以看到是POST请求，所以我们要找到对应的参数和请求头。后面代码里面有。
2、点击下一页，发下请求接口是一样的，不同的是参数的请求页数。
3、打开一个手机的详情页，查看详情页的请求参数。发现上面的请求链接后面的字符串和第一步的接口获取到的产品id是匹配的。

文章图片

4、直接使用python requests 请求上面的链接，发现返回的数据里面有我们想要的数据。
分析返回的参数信息，发现当产品是手机的时候，通过bs4 获取到的参数信息组成的列表元素个数都超过14个。其他的基本是几个或者是个不到，所以粗劣认为当小于10个的时候属于手机。则开始爬取。
5、这样我们就可以通过两步来爬取相关的数据了。
1）先通过第1步的接口获取到产品id。
2）通过产品id 去请求详情页获取匹配信息，然后通过bs4去解析，通过字典去保存数据，写入csv文件里面。
源码：

import csv import os import time importrequests,json from bs4 importBeautifulSoupheaders = { 'Accept': '*/*', 'Accept-Encoding': 'gzip, deflate, br', 'Accept-Language': 'en,zh; q=0.9,zh-CN; q=0.8', 'Connection': 'keep-alive', 'Content-Length': '322', 'Content-Type': 'text/plain', 'Cookie': '_areacode=CN; locale_MS=zh_CN; HWWAFSESID=4e56b27883f4f885559c; HWWAFSESTIME=1631871756004; euid=e5087a3613b328a3828a561c0bfd5abb1e38ca8b7b6c4b33; deviceid=1dd8e0997f05274b7a7832576bacb775; TID=1dd8e0997f05274b7a7832576bacb775; sdevid=f0c5dd2caeb6deb7070c3d15846c41d263d0b576; salePortal=1; recommendflag=0; ipaddress=%E5%B9%BF%E4%B8%9C%2C%E5%B9%BF%E5%B7%9E%2C%E4%BB%8E%E5%8C%96%E5%B8%82%2C3855; ipaddressId=3853%2C3854%2C3855; cps_id=136118; cps_track_id=1631946786661_gunz7r2ohu9; CSRF-TOKEN=57EB9158F63738A7ECECDADDE2E7F2C564C8B72B8019C92B; device_data=https://www.it610.com/article/*2k75MldkXzTmzTTFz1NZZ1OZcgcRetZT92wmpTwmzDlWQJMYNNNZOY1WimNYMM0gYYtiz0wy30mpwi34y4w1lNIkcNIQdZdwdb1YMTNddJYIVcUG5lyC05TW0wmTw2EEtyyTmpXD31kN0IZcZBYxIlMUUZVYQ4zy24G29FccAIOZMpzTzW2GTTjFGTDj2DW2kINMMRaYQUcMZMNZ4UKMNUJJNkxmSH4kWGuhT300jEyySio3nSjy5jNNNZOMNMbbVKNNMbZZTWw9Gm1aZFgJYJIY3ikwyl55mvyIzz5040hYakRNNB0NNYQYZgZbJBYMLJULpDj99TWmsGSlpSTMvjmumTT32Wm2ccIkRQNFFMF1AZAZkEGi9mT3mRJEcZ0BMTTTT3TTzD2jDTS22WD3ZMJZNYUNZNckLZJAYb4UbcMIKN2zjzHT1wWmGOFEGD2jh9zjxn2TvoNMMXMMYNcVKJRdPbNT313Dx2HUUNM1JYNJ5jwv41m59yCwo1wxhgPIcYZFMcYEFMdVIJa1JMMxJbYUXi2TClkzW2hCiw0TEuyH2mzDDzxqY5BUAk55VYIl9ZAZEkwmShlDW4YcEBZMYNDXDCDjT2SSjSSG2DDqlZNYMINNZMYNZIMY9pJMUVJZd4k3TT5ljm9NGDzl2Gy3iS99CTzxjVMMMZZMMTYQJMMVPZOl2DymDi9NFeMEzpl6yluzWYMNZNYY4bUSUMD2mh3u2ryuTlWFVVoxdtIYDzWjXQ==', 'CsrfToken': '', 'Host': 'openapi.vmall.com', 'Origin': 'https://www.vmall.com', 'Referer': 'https://www.vmall.com/', 'sec-ch-ua': '"Google Chrome"; v="93", " Not; A Brand"; v="99", "Chromium"; v="93"', 'sec-ch-ua-mobile': '?0', 'sec-ch-ua-platform': '"Windows"', 'Sec-Fetch-Dest': 'empty', 'Sec-Fetch-Mode': 'cors', 'Sec-Fetch-Site': 'same-site', 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4577.82 Safari/537.36' }payload = { "PersonalizeSearch": 2, "brandType": 0, "country": "CN", "keyword": 36, "lang": "zh-CN", "pageNum": 1, "pageSize": 20, "portal": 1, "searchFlag": 1, "searchId": "1dd8e0997f05274b7a7832576bacb775", "searchSortField": 0, "searchSortType": "desc", "sid": "89cc6077cd6c88a51d9e56fe1157a0bacb195cedd0f45242", "tid": "1dd8e0997f05274b7a7832576bacb775", }# 需要的数据列表，后续会根据数据列表获取对应的数据 mylist = ['品牌','型号','传播名','上市时间','操作系统','CPU型号','CPU核数','CPU主频','GPU','NPU','分辨率','运行内存（RAM）','机身内存（ROM）','电池容量','数据线接口'] # 初始化字典，因为不是每台手机都保证有对应的参数,后面爬取到对应的参数会更改字段对应的值，确保数据一致性 UP = dict() for tkey in mylist: UP[tkey] = '' # 中文数字转阿拉伯,因为手机CPU核数不会太大，所以函数简单点 def change_num(kernel_num): num_dict = {'零': 0, '一': 1, '二': 2, '两': 2, '三': 3, '四': 4, '五': 5, '六': 6, '七': 7, '八': 8, '九': 9,'十': 10} # 获取字典的keys，用来判断和提取对应的阿拉伯数字 key_list = list(num_dict.keys()) num = 0 for i in kernel_num: if i == '核': continue elif i in key_list: num = int(num_dict[i])+num elif i != '核': num = int(i)+num return numdef get_product_id(page_num=1): global PAGENUM APIURL = "https://openapi.vmall.com/mcp/v1/search/queryPrd" payload['pageNum'] = page_num r = requests.post(APIURL,data=https://www.it610.com/article/json.dumps(payload), headers=headers, verify=False) data = json.loads(r.text)['resultList'] PAGENUM = json.loads(r.text)['totalCount']# 产品总量 for pro in data: pid_list.append(pro['productId']) time.sleep(5)# 避免太频繁调用def get_info(product_id): url = 'https://www.vmall.com/product/%s.html'%product_id r = requests.get(url) soup = BeautifulSoup(r.text, 'html.parser') # 相关参数 para_list = soup.find_all('div', class_='product-parameter-list clearfix') if len(para_list) > 10:# 分析过手机的列表大部分都是14，其他的都是配件 for tsoup in para_list: tpara = tsoup.find_all('li') for tinfo in tpara: pname = tinfo.find('label').text para = tinfo.find('span').text if pname in mylist: UP[pname] = change_num(para) if pname == 'CPU核数' else para # CPU 保存阿拉伯文字 print(UP) save_file(UP) else: print(url) time.sleep(5)def save_file(UP): '''保存csv文件''' csv_columns = list(UP.keys()) try: if os.path.exists(csv_file): with open(csv_file, 'a', encoding='utf-8-sig') as file: writer = csv.DictWriter(file, fieldnames=csv_columns, delimiter=',', lineterminator='\n') writer.writerow(UP) else: with open(csv_file, 'w', encoding='utf-8-sig') as csvfile: print("创建csv文件") writer = csv.DictWriter(csvfile, fieldnames=csv_columns, delimiter=',', lineterminator='\n') writer.writeheader() writer.writerow(UP) except IOError as err: print(err)if __name__ == '__main__': csv_file = "data.csv" # 跨域token，这个token好像是会过期的，需要手动页面复制 headers['CsrfToken'] = '4C2CBE8A16F79C393C8709CA32E9A6A81C0CD4C2D17B1C5E' pid_list = [] # 获取总页数 get_product_id() # print(pid_list) total_page = (int(PAGENUM/20)+2) for pagenum in range(2,total_page): get_product_id(pagenum) time.sleep(2) for pid in pid_list: get_info(pid)# print(len(pid_list))