MongoDB和Redis的区别是什么MongoDB和Redis都是NoSQL，采用结构型数据存储 。二者在使用场景中，存在一定的区别，这也主要由于二者在内存映射的处理过程，持久化的处理方法不同 。
redis 丰富一些 ， 数据操作方面，redis 更好一些，较少的网络 IO 次数，同时还提供 list，set，hash 等数据结构的存储 。mongodb 支持丰富的数据表达，索引，最类似关系型数据库，支持的查询语言非常丰富 。
MongoDB：MongoDB是一种面向文档的数据库，采用BSON（二进制JSON）格式存储数据 。它支持丰富的查询语言和索引，适用于存储大量结构化或半结构化数据 。
常见的nosql数据库有Redis、Memcache、MongoDb 。
redis可以替代实时数据库,作为工业数据采集的后台数据库吗1、在我们团队的项目中，一开始用的是memcached，后来用redis替代 。相比memcached： redis具有持久化机制 ， 可以定期将内存中的数据持久化到硬盘上 。
2、结论：Redis 不能当数据用 。原因：我们理解的数据库，无论是 SQL、NoSQL、NewSQL，至少要是读写一致的 。
3、redis做数据库不靠谱，不是所有的数据都是立即回写磁盘的 。
4、总结： Redis受限于特定的场景，专注于特定的领域之下，速度相当之快 ， 目前还未找到能替代使用产品 。
python爬虫需要安装哪些库建立一个Scrapy爬虫工程 ， 在已启动的Scrapy中继续输入：执行该命令，系统会在PyCharm的工程文件中自动创建一个工程，命名为pythonDemo 。
Gevent：Gevent是一个基于协程的网络库 ， 可以实现高并发的网络爬取 。它可以与其他爬虫框架结合使用，提高爬取效率 。八爪鱼采集器是一款功能全面、操作简单、适用范围广泛的互联网数据采集器，可以帮助用户快速获取所需的数据 。
urllib（Python3），这是Python自带的库，可以模拟浏览器的请求 ， 获得Response用来解析，其中提供了丰富的请求手段，支持Cookies、Headers等各类参数，众多爬虫库基本上都是基于它构建的 。
urllib-网络库（stdlib）。requests-网络库 。grab-网络库（基于py curl）。py curl-网络库（绑定libcurl）。urllib 3-Python HTTP库 ， 安全连接池、支持文件post 、可用性高 。httplib 2-网络库 。
使用Selenium，模拟浏览器提交类似用户的操作，处理js动态产生的网页 这几个库有它们各自的功能 。配合起来就可以完成爬取各种网页并分析的功能 。具体的用法可以查他们的官网手册（上面有链接） 。
爬虫初学者必备的实用技巧与案例分析——爬天都峰课堂笔记一是直接从企业数据库调取，需要SQL技能去完成数据提取等的数据库管理工作 。二是获取公开数据，政府、企业、统计局等机构有 。三是通过Python编写网页爬虫 。数据预处理 对残缺、重复等异常数据进行清洗 。
技能三：懂设计 说到能制作报表成果，就不得不说说图表的设计 。在运用图表表达数据分析师的观点时，懂不懂设计直接影响到图形的选择、版式的设计、颜色的搭配等，只有掌握设计原则才能让结果一目了然 。
【爬虫用什么数据库好 爬虫用redis还是mongodb】肖老师上课幽默风趣 ， 举出例子唾手可得，讲课生动具体 ， 给我们拓展了课外的很多知识-专利战，高通与华为 ， 比亚迪专利危机等等，让我们受益颇丰 。肖老师还会讲解他在律师生涯中所遇到的精彩案例，将他亲身经历带入课堂 。
