日前有测试需求将MongoDB改成内存数据库。我们知道MongoDB有一个In-Memory存储引擎,但是社区版不能用。所以我们自己想办法将MongoDB改造成内存数据库,经过探索,有三种方式。
研究版本:mongo-3.4
方式一:使用tmpfs作为文件系统
方式二:使用ramfs作为文件系统 这两种方式的思路都差不多,使用一个内存模拟文件系统,由于替换了磁盘文件系统,数据就保留在内存中。
方式三:修改源码设置in_memory参数 其实wiredtiger本身就支持将数据保留在内存中不刷盘,MongoDB的内存引擎估计也是利用wt的这一特性。wiredtiger.in文件中,wiredtiger_open()函数会传入配置信息config,函数前面的注释详细解释了有哪些配置项,其中就列出了in_memory配置,如下图说明。
文章图片
【【MongoDB】如何将MongoDB改造成内存数据库】如果修改源码传入in_memory=true编译还是会报错,提示incompatible argument in-memor。
文章图片
报上述错误是因为开源版本对这个参数进行了检查,如果设置了就会传回错误码,修改方式很简单,令它不返回错误码就行了。
文章图片
就这样我们将MongoDB改成了内存数据库。
由上至下的文件位置分别在:
src/third_party/wiredtiger/src/include/wiredtiger.in
src/mongo/db/storage/wiredtiger/wiredtiger_kv_engine.cpp
src/third_party/wiredtiger/src/conn/conn_ckpt.c
最近重新使用这个内存数据库,发现报出新的错误,提示in_memory与log不能同时设置,这个log的设置默认为true,如果指定nojournal,那么会置为false。不过先检查后重置,所以报错。
文章图片
文章图片
解决方法是在检查之前就加入log=(enabled=false)
文章图片
然后启动./mongod –dbpath {path} –nojournal
很奇怪之前不知是怎么启动成功的。
推荐阅读
- 故障分析 | MongoDB 5.0 报错 Illegal instruction 解决
- MongoDB find getmore操作慢问题排查
- mongodb 6、mongodb内存使用优化
- MongoDB内存使用原理
- mongodb 内存
- mongodb|mongodb分页排序获取数据 导致超出32M限制
- Mongodb中FAQ整理
- Mongodb 内存问题
- mongodb 内存泄露的bug, v2.0.3中还依然存在