数据多的时候为什么要使用redis而不用mysql?通常来说 ， 当数据多、并发量大的时候，架构中可以引入Redis ， 帮助提升架构的整体性能 ， 减少Mysql（或其他数据库）的压力，但不是使用Redis，就不用MySQL 。
redis可以作为存储的扩展部分 ， 但是不能直接替换掉mysql 。redis对事务的支持还是比较简单的 。但是redis的性能和扩展性比较好，使用起来比较方便 。不会的 。只能是一种互补 。
那么为什么要使用类似redis这样的Nosql数据库呢？1） 当数据量的总大小一个机器放不下时；2） 数据索引一个机器的内存放不下时；3） 访问量（读写混合）一个实例放不下时 。
mysql读写分离只是减少了服务器的并发读写时候的压力 。从而提高高并发或者大量数据读写时候的效率 。redis做缓存 ， 类似于hibernate的三级缓存，hibernate三级缓存是用ehcache实现的 。
如何应对网站反爬虫策略?如何高效地爬大量数据**限制爬取速度**：避免对目标网站造成太大的负担，以免被其注意并封禁 。**模拟人类行为**：对于一些更加复杂的网站，可能需要模拟人类的点击、滑动等行为 。例如 ， 使用Selenium来模拟浏览器操作 。
对内容信息进行抓取，获取所需要的内容 。用户行为检测，有一些是网站通过检测和分析一些用户的行为 ， 比如说是针对cookies，通过检查cookies来判断用户是不是可以利用和保存的有效客户，通常是需要登陆的网站，经常会采用这样的技术 。
应对反爬策略的方法：模拟正常用户 。反爬虫机制还会利用检测用户的行为来判断 ， 例如Cookies来判断是不是有效的用户 。动态页面限制 。
合理设置采集频率：根据网站的反爬策略和自身需求，合理设置采集频率，避免被封IP或影响网站正常运行 。使用代理IP：如果需要采集大量数据，可以考虑使用代理IP，以提高采集速度和稳定性 。
验证码的OCR处理等处理方式即可以解决大部分网站的反爬虫策略 。了解分布式存储 分布式这个东西，听起来很恐怖，但其实就是利用多线程的原理让多个爬虫同时工作，需要你掌握 Scrapy + MongoDB + Redis 这三种工具就可以了 。
政府网站里企业电话反爬采集的方法有保障通信传输安全，加强业务安全策略防控 。保障通信传输安全 。黑灰产在业务通信传输的环节，会尝试篡改、爬取报文数据 。通过对通讯链路的加密 ， 可防止终端安全检测模块的数据被篡改和冒用 。
通过Redis消息队列实现大文件处理通过Redis做一个计数器 每读取一行记录数值，即使服务终止后，先从Redis读取这个数值 再通过cat指定行数开始读数据即可 。通过取模拆Key 分片到不同小Key存储，降低单个节点存储压力，也充分利用了存储资源 。
kafka是个日志处理缓冲组件，在大数据信息处理中使用 。和传统的消息队列相比较简化了队列结构和功能 ， 以流形式处理存储（持久化）消息（主要是日志） 。
进行插入操作的端称为队尾，进行删除操作的端称为队头 。消息队列是在消息的传输过程中保存消息的容器 。
【redistemplate 批量查询 redis批量查询数据】redis是一个使用ANSI C编写的开源、支持网络、基于内存、可选持久性的键值对存储数据库 。是NoSQL（非关系型数据库）的典型代表，也是时下是最流行的键值对存储数据库 。
推荐阅读
- 如何测试DNS服务器的网速快慢？ dns服务器怎么测网速快
- 如何查询服务器上的域名？ 怎么查服务器上的域名
- 如何拨打联通客服电话联系人工客服？ 联通打电话怎么人工服务器
- redis如何rehash 怎么把redis学好
- 如何利用DNS服务器测试网络速度？ dns服务器怎么测网速
- 如何在服务器上查找文件？ 怎么查服务器上的文件
- 如何正确填写联通接入点服务器？ 联通接入点中服务器怎么填