scrapy|scrapy 框架中用ssh连接远程服务器 scrapy框架中用ssh连接远程服务

前段时间用scrapy尝试抓取一些数据，~~写的时候真的很酸爽，眼睛要花掉了~~ 但是！我没有存到数据库中，也就是说我只是确认了爬虫的代码没问题（草）
为什么我要用服务器的mysql，本地的不好吗？其实是我没有在本地装MySQL，但是我有服务器，再加上有phpmyadmin这么友好的web-base数据库管理工具，干嘛还折腾本地装软件
挖坑
其实刚开始写的时候，我是把数据库这模块的代码抛开的，链接数据库？不是很简单的事情吗，有啥好写的，首先打开搜索引擎，输入“ 如何用python连接远程mysql ”不就好了嘛！
然后我发现我看不懂，~~肯定是我打开的方式不对~~
填坑
后来经过了一路子的折腾，终于写好了，也连上了！
这里说一点不同的，在纯python上链接远程MySQL的代码，搬到scrapy上，是行不通的，虽然原理差不多，但还是得改
肯定是我搜索的姿势不正确，我找不到相关完整的scrapy链接远程mysql的参考，纯python的参考为居多。当时我另写了一个纯python测试链接，成功之后搬到scrapy的piplines.py上，Error警告啊
好了好了，不说废话了，回归正题
开搞
这里用到两个库，pymysql和sshtunnel

sshtunnel

【scrapy|scrapy 框架中用ssh连接远程服务器】它是让你通过ssh安全通道访问远程服务器的python库

pymysql

pymysql是在python3.5以上版本，用于链接MySQL的一个库，如果你是python3.4就装mysqldb这个库，（因为有很多参考上用的是mysqldb库）所以根据你的版本，不要装错了，不然就吃红条（错误）吧
代码
放置在piplines.py中

import pymysql import sshtunnelclass SpiderPipeline(object):server = sshtunnel.SSHTunnelForwarder( ('**.***.**.**', 22),#写你服务器的ip地址 ssh_username='**',#连接服务器的用户名 ssh_password='**',#连接服务器的密码 remote_bind_address=('**.***.**.**', 3306), #服务器ip local_bind_address=('127.0.0.1', 3306) ) server.start()#连接开启 print('SSH连接成功')def __init__(self): self.connect = pymysql.connect( host='127.0.0.1', port=3306, user='***',# 数据库的用户名 database='***',# 数据库的库名 password='***',# 数据库密码 charset='utf8' ) print('mysql数据库连接成功') self.cursor = self.connect.cursor() print('游标获取成功')def process_item(self, item, spider): #我这里写的是插入数据的sql语句 sql = """INSERT INTO charpter(CharterName,NovelName) VALUES ('%s','%s')""" % (item['charter_name'],item['book_name']) #执行sql self.cursor.execute(sql) #提交数据 self.connect.commit() print('数据插入成功') return itemdef close_spider(self,spider): self.cursor.close()#关闭游标 self.connect.close()#关闭数据库链接 # server.stop()#关闭ssh链接

这里就不多说废话了，看代码里面的注释基本能看懂了
我这种方式是同步存储，存储的速度相对慢一点，异步存储方式我还没去研究，这里给自己挖个坑，研究完异步存储我就另写一篇文哈哈哈
Mysql相关问题
如果发现代码无误的情况下，还是无法链接成功，这个时候就要看看你服务器的MySQL是否允许外来接入
mysql开放3306端口要让MySQL允许链接，就要开放3306端口