UA伪装：让爬虫对应的请求载体身份标识伪装成一款浏览器
User-Agent: 请求载体的身份标识 辨别是不是爬虫
UA检测：门户网站的服务器会检测对应请求的载体身份标识，如果检测到请求的载体身份标识为某一款浏览器意味着该请求就是一个正常的请求
但是该爬的服务器检测到请求的载体不是基于某一款浏览器，则表示该请求是不正常的，说明该请求为爬虫
文章图片
【requests之网页采集器】
推荐阅读
- 面试|Python大作业——爬虫+可视化+数据分析+数据库（简介篇）
- python|Python爬虫以及数据可视化分析(最新B站番剧排行榜数据)
- Python|Tea Data Analysis System 茶饮数据分析系统
- Java后端|Springboot集成Elasticsearch，爬虫爬取数据，实现简单搜索功能
- python爬虫|高清！手把手教你Python爬取LOL英雄皮肤套图
- 逆向工程|抖音app协议逆向分析
- python|JS逆向之抖音登陆及验证码绕过
- 爬虫案例合集|谷歌地图案例
- 抖音-python|抖音新版signature分析