scrapy部署 scrapy部署

1、安装使用到的相关库
scrapyd

pip3 install scrapyd

scrapyd-client

pip3 install scrapyd-client

安装完成后可以使用如下命令来检查是否安装成功

【scrapy部署】scrapyd-deploy -h

2、修改scrapy项目目录下的scrapy.cfg配置文件

[deploy]url=http://localhost:6800project=项目名称

3、修改后进行部署
本地部署

scrapyd-deploy -p <项目名称>

也可指定版本号

scrapyd-deploy -p <项目名称> --version <版本号>

运行爬虫

curl http://localhost:6800/schedule.json -d project=myproject -d spider=somespider

关闭爬虫

curl http://localhost:6800/cancel.json -d project=myproject -d job='jobid'

获取部署的爬虫项目列表

curl http://localhost:6800/listprojects.json

获取项目下的爬虫文件列表

curl http://localhost:6800/listspiders.json?project=myproject

获取工程下的爬虫运行状态

curl http://localhost:6800/listjobs.json?project=myproject

删除部署的爬虫项目

curl http://localhost:6800/delproject.json -d project=myproject

远端部署一、配置项目运行环境
1、配置python环境
2、安装pip3

sudo apt install python3-pip

3、安装scrapy

pip3 install scrapy -i https://pypi.douban.com/simple/

4、安装scrapyd

pip3 install scrapyd

5、安装scrapyd-client

pip3 install scrapyd-client

6、添加爬虫运行的三方库

pip3 install requests
pip3 install pymysql
pip3 install pymongodb

7、修改scrapyd的配置文件，允许外网访问
8、对服务器安全组进行配置

进入服务安全组选项添加安全组

添加成功后，点击修改规则，添加如下信息(配置目的:允许访问6800端口)

完成后返回到云主机菜单，找到配置安全组菜单，跟换为刚才添加的安全组

最终完成后，在浏览器中输入ip地址和端口,显示如下图，说明配置成功

最后将项目部署到服务器中
1、修改scrapyd.egg (项目的配置文件)

[deploy]url = http://118.24.255.219:6800project=项目名称

连接数据库连接mysql数据库
找到mysql配置文件并做如下修改：允许远程连接

sudo vi /etc/mysql/mysql.conf.d/mysqld.cnf

将 bind-address= 127.0.0.1 注释掉或则修改为 bind-address= 0.0.0.0

授权root账户允许远程访问：

grant all privileges on . to root@'%' identified by 'password' with grant option;

MongoDB数据库的安装

sudo apt-get install mongodb

启动:

sudo service mongodb start 连接客户端报错参考如下网址：（输入：sudo systemctl enable mongodb） mongo

修改配置文件的路径

sudo vim /etc/mongodb.conf

redis数据库的安装
1、cd ~　（进入指定的目录）
2、下载redis数据库压缩包
3、解压下载的文件: tar -zxvf redis-4.0.10.tar.gz
4、复制,放到/usr/local目录下面( 先创建文件5、夹/usr/local/redis/ )
5、mv ./redis-4.0.11/* /usr/local/redis/
6、cd /usr/local/redis/
7、sudo make
sudo make test
sudo make install
8、sudo cp /usr/local/redis/redis.conf /etc/redis/
9、修改配置文件,允许外网访问 sudo vim redis.cnf
10、将配置文件中的bind修改为: bind=0.0.0.0
11、启动redis服务： sudo redis-server redis.conf
12、链接客户端

redis-cli -h ip -p port

分布式爬虫的项目部署 1、将项目修改为分布式

pip3 install scrapy-redis

2、修改settings.py设置文件

#这里表示启用scrapy-redis里的去重组件，不实用scrapy默认的去重 DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"#使用了scrapy-redis里面的调度器组件，不使用scrapy默认的调度器 SCHEDULER = "scrapy_redis.scheduler.Scheduler"#允许暂停，redis请求的记录不会丢失，不清除Redis队列，可以恢复和暂停 SCHEDULER_PERSIST = True#下面这些是request的队列模式 #一般情况下使用第一种 #scrapy-redis默认的请求队列形式（有自己的优先级顺序） #是按照redis的有序集合排序出队列的 #SCHEDULER_QUEUE_CLASS = "scrapy_redis.queue.SpiderPriorityQueue"# scrapy_redis.pipelines.RedisPipeline 必须启用，才能够将数据存储到redis数据库中 ITEM_PIPELINES = { 'example.pipelines.ExamplePipeline': 300, 'scrapy_redis.pipelines.RedisPipeline': 400, }# 指定要存储的redis的主机的ip，默认存储在127.0.0.1REDIS_HOST = 'redis的主机的ip'# 定要存储的redis的主机的port，默认6379REDIS_PORT = '6379'

3、修改爬虫文件
4、部署爬虫项目
5、启动爬虫文件
6、给爬虫添加起始任务lpush key value(起始url)