puppeteer爬取house365租房数据 puppeteer爬取house365租房数据

很简单, 就是用css选择器扒
1. puppeteer安装依赖 1. 新建项目

$ mkdir house365 $ cd house365 $ npm init $ npm install puppeteer --save

2. 安装上的相关问题

网络问题
使用淘宝镜像

$ npm config set registry https://registry.npm.taobao.org $ npm config set disturl https://npm.taobao.org/dist $ npm config set puppeteer_download_host https://npm.taobao.org/mirrors

windows下node-gyp相关问题

$ npm install -g node-gyp $ npm install --global --production windows-build-tools

2. 观察

观察要爬的页面, 最简单的列表型, 我们爬每个的链接

文章图片
【puppeteer爬取house365租房数据】看分页, 第二页开始一一对应

文章图片
image.png
输入一个比较大的数字, 看看总页数

文章图片
image.png
观察内容页, 这些都用选择器选就是了

文章图片
image.png

3.开爬具体代码: https://github.com/klren0312/puppeteer-study/tree/master/house365
4.结果

文章图片
image.png

puppeteer爬取house365租房数据

推荐阅读

2020最火的伤感文案

湿疹为什么不好怎么办湿疹痒吗

轻断食一周（第一天）

北京返乡人员都会被隔离吗 2021北京要核酸检测才能出京吗最新

天正建筑平板怎么画天正建筑2014绘制平板的详细流程介绍

佳能最新固件版本佳能官网固件升级

黑暗之魂3法兰要塞三个火在哪

股票的涨跌幅怎么计算

中华传统节日中华传统节日有哪些

法国公司注册要求是什么注册欧盟公司选择哪个国家好

usb|有货便宜手慢无！5000档上车联想拯救者

ListView详细介绍与使用

隔夜饭菜放冰箱能吃吗冰箱里隔夜饭可以吃吗

关于制作极品铃声上传时出现问题的解决方法的不同看法

spss聚类分析的目的,聚类分析实验报告的实验目的

打造灿烂的春季绿色婚片

波音737飞机翅膀位置图片能看到外面吗？南航波音737-800座位的问题!39A 会被机翼挡住吗???图片上红色框框里的哪个是39A呀???

电磁波安卓,手机信号放大器能够很好的解决这些问题

挣钱记---记述一笔天外飞仙的80块钱

买房为什么可以退税