puppeteer爬取house365租房数据 puppeteer爬取house365租房数据

很简单, 就是用css选择器扒
1. puppeteer安装依赖 1. 新建项目

$ mkdir house365 $ cd house365 $ npm init $ npm install puppeteer --save

2. 安装上的相关问题

网络问题
使用淘宝镜像

$ npm config set registry https://registry.npm.taobao.org $ npm config set disturl https://npm.taobao.org/dist $ npm config set puppeteer_download_host https://npm.taobao.org/mirrors

windows下node-gyp相关问题

$ npm install -g node-gyp $ npm install --global --production windows-build-tools

2. 观察

观察要爬的页面, 最简单的列表型, 我们爬每个的链接

文章图片
【puppeteer爬取house365租房数据】看分页, 第二页开始一一对应

文章图片
image.png
输入一个比较大的数字, 看看总页数

文章图片
image.png
观察内容页, 这些都用选择器选就是了

文章图片
image.png

3.开爬具体代码: https://github.com/klren0312/puppeteer-study/tree/master/house365
4.结果

文章图片
image.png

puppeteer爬取house365租房数据

推荐阅读

中药怎么熬教你正确熬中药四个小步骤

淘宝助理下架了用什么软件客服办公必备软件

安卓手机看本地漫画,咪咕动漫拥有2万多部正版漫画漫画

公司授权代理进驻电商平台，公司如何授权代理

c语言函数语句分类 c语言中函数分类

pdf如何编辑页眉页脚迅捷pdf编辑器修改PDF页眉页脚的图文操作步骤

车载低音炮音乐大全流行时尚歌曲

秦始皇陵墓不挖的真正原因是什么秦始皇陵墓不挖有何原因

怪物猎人世界冰原据点介绍怪物猎人世界冰原据点有什么

2020年5月剖腹产好日子 2020年5月剖腹产好日子是什么

安卓小项目的源代码,google搜索源代码查看服务提供商

redis设置用户密码 redis设置密码后访问

PPT怎么做背景 ppt如何换背景

数据分析处理库pandas,Excel数据分析库

linuxredis4

华为m荣耀V40系列再次曝光，网友：有一种“缝合怪”的感觉！

莲雾多少钱一斤

好听撩人的女网名好听撩人的女网名两个字

自动挡档位图解说明图片自动挡档位图解说明

夜有所思|夜有所思 8.1