redis2018-07-02
数据库（DB）
RDBMS -- MySQL
nosql -- mongodb
redis 典型nosql数据库
========================================================================
redis安装：
Linux：
redis-stable.tar.gz (源代码包)：
tar -zxvf
make
cd src
make install
sudo apt-get/apt install redis-server(不推荐)
window：
exe:
下一步
zip:
1、解压zip包
2、将主目录配置到path
3、cmd redis-server
4、cmd redis-cli
将redis-server注册为window的服务或者Linux的守护进程
window：
redis-server 配置文件的绝对路径 --service-install
net start redis# 启动redis服务
redis-cli
linux:
修改配置文件：137行 daemonize yes 表示以守护进程运行redis
redis-service 配置文件的绝对路径
redis-cli
redis的配置文件：
redis有五种数据类型：
String：
hash：
list
set
sorted setzset
==String类型的操作==
set key value # 表示将key对应的字符串存储起来
eg：setnamezhangsan
get key # 获取key对应的值
eg：getname
mset key1 v1 key1 v2 key3 v3 # 多个键值对保存
eg：msetage18gendernannicknamexiaozhang
mget key1 key2 key3 # 获取多个key对应的值
eg：msetnameagegendernickname
文章图片
setex key seconds value # 设置一个key，seconds秒后失效
eg：setexaddress10zz
incr key # 将key对应的值加一，注意：只能是数字字符串
eg：incrage
incrby key number # 将key对应的值加number
eg：incrbyage10
decr key # 将key对应的值减一
eg：decrage
decrby key number # 将key对应的值减number
eg：decrbyage5
文章图片
strlen key # 求key对应的长度
eg：strlenname/age/gender/nickname
append key value # 对key的值末尾进行追加
eg：appendnicknamelaozhang
setrange key offset value # 将key对应的值的offset位置开始替换为value
eg：setrangenickname3today
getrange key start end # 获取key对应的值的区间值
eg：getrangenickname0-1
getrangenickname36
setnx key value # 判断是否存在key，如果不存在，则增加
eg：setnxnamezhangsan
setnxnamelisi
文章图片
==key的操作==
keys * # 查询当前数据库下的所有key
exists key # 判断key是否存在
eg：existsname
existsvaluex
type key # 判断key对应的值的类型
eg：typename/age/gender/nickname
del key # 删除key
eg：deladdress
文章图片
expire key seconds # 为一个存在的key设置失效时间
eg：expirenickname50
# set + expire<====> setex
ttl key(Time To Live) # 查看某个key的失效时间 -1 永久有效 -2 失效 正数表示正在失效的时间秒数
eg： ttlname
ttladdress
ttlnickname
persist key # 取消key的失效，让它永久有效
eg：persistnickname
文章图片
select index # 切换数据库
eg：select1
move key index # 将当前数据库的key移动到对应数据库下
eg：movenickname1
dbsize # 返回当前数据库下key的数量
Info # 查询当前数据的信息
flushdb # 清空当前数据库（慎用）
flushall # 清空所有的数据库（慎用）
文章图片
==hash的操作==
hset key field value # 保存一个对象的属性和值
eg：hsetu1namezhangsan
hget key field # 通过对象的属性获取值
eg：hgetu1name
hmset key f1 v1 f2 v2…… # 保存一个对象的多个属性和值
eg：hmsetu1age18gendernannicknamexiaozhang
hmget key f1 f2 # 通过对象的多个属性获取值
eg：hmgetu1nameagegendernickname
hgetall key # 获取对象的所有属性和值
eg：hgetallu1
文章图片
hkeys key # 获取对象的所有属性名称
eg：hkeysu1
hvals key # 获取对象的所有属性的值
eg：hvalsu1
hlen key # 获取对象的属性个数
eg：hlenu1
hexists key field # 查询对象是否存在某个属性
eg：hexistsu1name/address
hdel key field # 删除对象的某个属性
eg：hdelu1nickname
hstrlen key field # 查询对象的属性的值的长度
eg：hstrlenu1age/name.....
文章图片
==list的操作==
redis的list是一个队列和栈 字符串 的实现
lpush key value1 value2…… # 从左侧压入数据到list中
eg：lpushlist1zhangsan
lpushtodayisgood
rpush key value1 value2…… # 从右侧压入数据到list中
eg：rpushlist1lisiwangwuzhaoliu
lrange key start end # 从左侧start位置开始循环展示数据，到end结束
eg：lrangelist10-1
linsert key before|after pivot value： # 在一个元素前/后插入数据
eg：linsertlist1beforezhangsanxiaozhang
linsertlist1afterwangwuxiaowang
文章图片
lpop key # 移除第一个元素
eg：lpoplist1
rpop key # 移除最后一个元素
eg：rpoplist1
llen key # 获取list的元素个数
eg：llenlist1
lindex key index # 获取索引对应的值
eg：lindexlist13
ltrim key start end # 截取list，从start位置开始，到end结束（组成新的列表，代替原来的）
eg：ltrimlist10-1
文章图片
lrem key count value # 删除value元素，count个（有重复或者删一个或0）
eg：lremlist12is
文章图片
==set的操作==
sadd key value1 value2…… # 将v1，v2……添加到set中
eg：saddset1todayisgood
saddset2happynewyearverygood
smembers key # 展示set中所有元素
eg：smembersset1
sismember key value # 判断value在不在key中
eg：sismemberset1very
scard key # 返回set的元素个数
eg：scardset1
sinter key [key]： # 获取多个集合 交集
eg：sinterset1set2
sdiff key [key]： # 获取多个集合的差集
eg：sdiffset1set2
sdiffset2set1
sunion key [key]： # 获取多个集合的并集
eg：sunionset1set2
文章图片
srem key member # 移除元素
eg：sremset1good
spop key [count] # 随机移除元素
eg：spopset1[2]
sdiffstore newkey key1 key2 # 将差集保存成一个新的set
eg：sdiffstoreset3set1set2
srandmember key # 随机获取一个元素
eg：srandmemberset1
文章图片
==zset的操作==
zadd key score value2 [score value2] # 将值添加到zset中
eg：zaddz113liuzhijuan
zrange key start end # 遍历展示数据
eg：zrangez10-1
zcard key# 返回set的元素个数
eg：zcardz1
zcountkeyminmax返回score值在min和max之间的数据个数
eg：zcountz1320
zscorekeyvalue返回集合中元素的score（权重值）
eg：zscorez1juan
文章图片
面试题：
缓存：
缓存的英文是cache，一般是用于RAM存储器，用于存储临时数据，断电后存储的内容会消失。缓存是临时文件交换区，电脑把最常用的文件从存储器里提出来临时放在缓存里，就像把工具和材料搬上工作台一样，这样会比用时现去仓库取更方便。因为缓存往往使用的是RAM（断电即掉的非永久储存），所以在忙完后还是会把文件送到硬盘等存储器里永久存储。电脑里最大的缓存就是内存条了，最快的是CPU上镶的L1和L2缓存，显卡的显存是给GPU用的缓存，硬盘上也有16M或者32M的缓存。千万不能把缓存理解成一个东西，它是一种处理方式的统称。
什么是redis、什么是memcache，两者有什么区别？
>>Memcached
Memcached的优点：
【redis2018-07-02】Memcached可以利用多核优势，单实例吞吐量极高，可以达到几十万QPS（取决于key、value的字节大小以及服务器硬件性能，日常环境中QPS高峰大约在4-6w左右）。适用于最大程度扛量。
支持直接配置为session handle。
Memcached的局限性：
只支持简单的key/value数据结构，不像Redis可以支持丰富的数据类型。
无法进行持久化，数据不能备份，只能用于缓存使用，且重启后数据全部丢失。
无法进行数据同步，不能将MC中的数据迁移到其他MC实例中。
Memcached内存分配采用Slab Allocation机制管理内存，value大小分布差异较大时会造成内存利用率降低，并引发低利用率时依然出现踢出等问题。需要用户注重value设计。
>>Redis
Redis的优点：
支持多种数据结构，如 string（字符串）、 list(双向链表)、dict(hash表)、set(集合）、zset(排序set)、hyperloglog（基数估算）
支持持久化操作，可以进行aof及rdb数据持久化到磁盘，从而进行数据备份或数据恢复等操作，较好的防止数据丢失的手段。
支持通过Replication进行数据复制，通过master-slave机制，可以实时进行数据的同步复制，支持多级复制和增量复制，master-slave机制是Redis进行HA的重要手段。
单线程请求，所有命令串行执行，并发情况下不需要考虑数据一致性问题。
支持pub/sub消息订阅机制，可以用来进行消息订阅与通知。
支持简单的事务需求，但业界使用场景很少，并不成熟。
Redis的局限性：
Redis只能使用单线程，性能受限于CPU性能，故单实例CPU最高才可能达到5-6wQPS每秒（取决于数据结构，数据大小以及服务器硬件性能，日常环境中QPS高峰大约在1-2w左右）。
支持简单的事务需求，但业界使用场景很少，并不成熟，既是优点也是缺点。
Redis在string类型上会消耗较多内存，可以使用dict（hash表）压缩存储以降低内存耗用。
Mc和Redis都是Key-Value类型，不适合在不同数据集之间建立关系，也不适合进行查询搜索。比如redis的keys pattern这种匹配操作，对redis的性能是灾难。
>>mongoDB
mongoDB 是一种文档性的数据库。先解释一下文档的数据库，即可以存放xml、json、bson类型系那个的数据。
这些数据具备自述性（self-describing），呈现分层的树状数据结构。redis可以用hash存放简单关系型数据。
mongoDB 存放json格式数据。
适合场景：事件记录、内容管理或者博客平台，比如评论系统。
1.mongodb持久化原理
mongodb与mysql不同，mysql的每一次更新操作都会直接写入硬盘，但是mongo不会，做为内存型数据库，数据操作会先写入内存，然后再会持久化到硬盘中去，那么mongo是如何持久化的呢
mongodb在启动时，专门初始化一个线程不断循环（除非应用crash掉），用于在一定时间周期内来从defer队列中获取要持久化的数据并写入到磁盘的journal(日志)和mongofile(数据)处，当然因为它不是在用户添加记录时就写到磁盘上，所以按mongodb开发者说，它不会造成性能上的损耗，因为看过代码发现，当进行CUD操作时，记录(Record类型)都被放入到defer队列中以供延时批量（groupcommit）提交写入，但相信其中时间周期参数是个要认真考量的参数，系统为90毫秒，如果该值更低的话，可能会造成频繁磁盘操作，过高又会造成系统宕机时数据丢失过。
2.什么是NoSQL数据库？NoSQL和RDBMS有什么区别？在哪些情况下使用和不使用NoSQL数据库？
NoSQL是非关系型数据库，NoSQL = Not Only SQL。
关系型数据库采用的结构化的数据，NoSQL采用的是键值对的方式存储数据。
在处理非结构化/半结构化的大数据时；在水平方向上进行扩展时；随时应对动态增加的数据项时可以优先考虑使用NoSQL数据库。
在考虑数据库的成熟度；支持；分析和商业智能；管理及专业性等问题时，应优先考虑关系型数据库。
3.MySQL和MongoDB之间最基本的区别是什么？
关系型数据库与非关系型数据库的区别，即数据存储结构的不同。
4.MongoDB的特点是什么？
（1）面向文档（2）高性能（3）高可用（4）易扩展（5）丰富的查询语言
5.MongoDB支持存储过程吗？如果支持的话，怎么用？
MongoDB支持存储过程，它是javascript写的，保存在db.system.js表中。
6.如何理解MongoDB中的GridFS机制，MongoDB为何使用GridFS来存储文件？
GridFS是一种将大型文件存储在MongoDB中的文件规范。使用GridFS可以将大文件分隔成多个小文档存放，这样我们能够有效的保存大文档，而且解决了BSON对象有限制的问题。
7.为什么MongoDB的数据文件很大？
MongoDB采用的预分配空间的方式来防止文件碎片。
8.当更新一个正在被迁移的块（Chunk）上的文档时会发生什么？
更新操作会立即发生在旧的块（Chunk）上，然后更改才会在所有权转移前复制到新的分片上。
9.MongoDB在A:{B,C}上建立索引，查询A:{B,C}和A:{C,B}都会使用索引吗？
不会，只会在A:{B,C}上使用索引。
10.如果一个分片（Shard）停止或很慢的时候，发起一个查询会怎样？
如果一个分片停止了，除非查询设置了“Partial”选项，否则查询会返回一个错误。如果一个分片响应很慢，MongoDB会等待它的响应。
>>Redis、Memcache和MongoDB的区别
从以下几个维度，对redis、memcache、mongoDB 做了对比，
1、性能
都比较高，性能对我们来说应该都不是瓶颈
总体来讲，TPS方面redis和memcache差不多，要大于mongodb
2、操作的便利性
memcache数据结构单一
redis丰富一些，数据操作方面，redis更好一些，较少的网络IO次数
mongodb支持丰富的数据表达，索引，最类似关系型数据库，支持的查询语言非常丰富
3、内存空间的大小和数据量的大小
redis在2.0版本后增加了自己的VM特性，突破物理内存的限制；可以对key value设置过期时间（类似memcache）
memcache可以修改最大可用内存,采用LRU算法
mongoDB适合大数据量的存储，依赖操作系统VM做内存管理，吃内存也比较厉害，服务不要和别的服务在一起
4、可用性（单点问题）
对于单点问题，
redis，依赖客户端来实现分布式读写；主从复制时，每次从节点重新连接主节点都要依赖整个快照,无增量复制，因性能和效率问题，
所以单点问题比较复杂；不支持自动sharding,需要依赖程序设定一致hash 机制。
一种替代方案是，不用redis本身的复制机制，采用自己做主动复制（多份存储），或者改成增量复制的方式（需要自己实现），一致性问题和性能的权衡
Memcache本身没有数据冗余机制，也没必要；对于故障预防，采用依赖成熟的hash或者环状的算法，解决单点故障引起的抖动问题。
mongoDB支持master-slave,replicaset（内部采用paxos选举算法，自动故障恢复）,auto sharding机制，对客户端屏蔽了故障转移和切分机制。
5、可靠性（持久化）
对于数据持久化和数据恢复，
redis支持（快照、AOF）：依赖快照进行持久化，aof增强了可靠性的同时，对性能有所影响
memcache不支持，通常用在做缓存,提升性能；
MongoDB从1.8版本开始采用binlog方式支持持久化的可靠性
6、数据一致性（事务支持）
Memcache 在并发场景下，用cas保证一致性
redis事务支持比较弱，只能保证事务中的每个操作连续执行
mongoDB不支持事务
7、数据分析
mongoDB内置了数据分析的功能(mapreduce),其他不支持
8、应用场景
redis：数据量较小的更性能操作和运算上
memcache：用于在动态系统中减少数据库负载，提升性能;
做缓存，提高性能（适合读多写少，对于数据量比较大，可以采用sharding）
MongoDB:主要解决海量数据的访问效率问题
redis有哪些持久化方案？
redis支持（快照、AOF）：依赖快照进行持久化，aof增强了可靠性的同时，对性能有所影响
什么是缓存击穿、什么缓存穿透
缓存雪崩
缓存雪崩是指在我们设置缓存时采用了相同的过期时间，导致缓存在某一时刻同时失效，请求全部转发到DB，DB瞬时压力过重雪崩。
解决方案
缓存失效时的雪崩效应对底层系统的冲击非常可怕。大多数系统设计者考虑用加锁或者队列的方式保证缓存的单线 程（进程）写，从而避免失效时大量的并发请求落到底层存储系统上。这里分享一个简单方案就时讲缓存失效时间分散开，比如我们可以在原有的失效时间基础上增加一个随机值，比如1-5分钟随机，这样每一个缓存的过期时间的重复率就会降低，就很难引发集体失效的事件。
缓存穿透
缓存穿透是指查询一个一定不存在的数据，由于缓存是不命中时被动写的，并且出于容错考虑，如果从存储层查不到数据则不写入缓存，这将导致这个不存在的数据每次请求都要到存储层去查询，失去了缓存的意义。在流量大时，可能DB就挂掉了，要是有人利用不存在的key频繁攻击我们的应用，这就是漏洞。
解决方案
有很多种方法可以有效地解决缓存穿透问题，最常见的则是采用布隆过滤器，将所有可能存在的数据哈希到一个足够大的bitmap中，一个一定不存在的数据会被 这个bitmap拦截掉，从而避免了对底层存储系统的查询压力。另外也有一个更为简单粗暴的方法（我们采用的就是这种），如果一个查询返回的数据为空（不管是数 据不存在，还是系统故障），我们仍然把这个空结果进行缓存，但它的过期时间会很短，最长不超过五分钟。
缓存击穿
对于一些设置了过期时间的key，如果这些key可能会在某些时间点被超高并发地访问，是一种非常“热点”的数据。这个时候，需要考虑一个问题：缓存被“击穿”的问题，这个和缓存雪崩的区别在于这里针对某一key缓存，前者则是很多key。
缓存在某个时间点过期的时候，恰好在这个时间点对这个Key有大量的并发请求过来，这些请求发现缓存过期一般都会从后端DB加载数据并回设到缓存，这个时候大并发的请求可能会瞬间把后端DB压垮。
解决方案
使用互斥锁(mutex key)
业界比较常用的做法，是使用mutex。简单地来说，就是在缓存失效的时候（判断拿出来的值为空），不是立即去load db，而是先使用缓存工具的某些带成功操作返回值的操作（比如Redis的SETNX或者Memcache的ADD）去set一个mutex key，当操作返回成功时，再进行load db的操作并回设缓存；否则，就重试整个get缓存的方法。
SETNX，是「SET if Not eXists」的缩写，也就是只有不存在的时候才设置，可以利用它来实现锁的效果。在redis2.6.1之前版本未实现setnx的过期时间，
推荐阅读
- Docker应用:容器间通信与Mariadb数据库主从复制
- 数据库设计与优化
- 数据库总结语句
- MySql数据库备份与恢复
- 数据库|SQL行转列方式优化查询性能实践
- MySQL数据库的基本操作
- springboot整合数据库连接池-->druid
- Android|Android sqlite3数据库入门系列
- Python3|Python3 MySQL 数据库连接
- 达梦数据库|DM8表空间备份恢复