puppeteer爬取house365租房数据 puppeteer爬取house365租房数据

很简单, 就是用css选择器扒
1. puppeteer安装依赖 1. 新建项目

$ mkdir house365 $ cd house365 $ npm init $ npm install puppeteer --save

2. 安装上的相关问题

网络问题
使用淘宝镜像

$ npm config set registry https://registry.npm.taobao.org $ npm config set disturl https://npm.taobao.org/dist $ npm config set puppeteer_download_host https://npm.taobao.org/mirrors

windows下node-gyp相关问题

$ npm install -g node-gyp $ npm install --global --production windows-build-tools

2. 观察

观察要爬的页面, 最简单的列表型, 我们爬每个的链接

文章图片
【puppeteer爬取house365租房数据】看分页, 第二页开始一一对应

文章图片
image.png
输入一个比较大的数字, 看看总页数

文章图片
image.png
观察内容页, 这些都用选择器选就是了

文章图片
image.png

3.开爬具体代码: https://github.com/klren0312/puppeteer-study/tree/master/house365
4.结果

文章图片
image.png

puppeteer爬取house365租房数据

推荐阅读

天字组词有什么天字组词有哪些

css字体是微软雅黑，css字体是微软雅黑的吗

家用小型吸尘器多少钱一台

尼康创意平面广告尼康创意广告

芋头蒸熟可以沾白糖吃吗芋头蒸熟可以沾白糖吃吗

mysql自增是什么意思 mysql中的自增时间表

尼康dx怎么拍照尼康dx数码相机使用

松滋gdp最新排名2020 松滋经济怎么样

北宋宋徽宗宋钦宗是什么关系宋徽宗与宋钦宗是什么关系

【153】臭屁是一项技能

以锯代刀割火腿

Win10 1909默认字体怎么修改？Win10 1909默认字体修改教程

婚姻中仍然不忘为自己加油如何和变心的老公沟通

刘家峡有什么特色口味的小吃

早餐店八宝粥制作方法，早餐卖粥怎么煮出大量粥

心态决定状态

OpenGL|OpenGL 渲染流程图解析

伏天晒背一天晒几次为好

爱自己早睡团5.0睡前感恩??

查看mysql占用内存 mysql查询占用线程