锐客网

  1. 首页 > 睿知 > it技术 > >

mongodb数据量大挂了 mongodb一次性插入太多数据变慢

睿知mongodb

MongoDB插入速度突然变得极慢,什么原因“如果将设备插在0端口可能会提高性能”这句话是提示你将移动硬盘插在USB0的接口上会提高你硬盘的性能，也就是说你的移动硬盘支持0的接口，而你现在用的电脑可能是0的接口 。
索引：MongoDB 支持多种类型的索引，但是如果不正确使用索引，可能会导致性能问题 。例如 ， 如果使用过多的索引，可能会导致写入操作变慢 。
你查看一下，如果数据文件大于系统内存，查询速度会下降几个数量级，因为mongodb是内存数据库 。我以前测试过，1000万数据的时候没有索引情况下查询可能会几秒钟甚至更久 。
这个原因很多，可以从查询优化和硬件优化入手 ， 比如建立索引，合理的数据结构，增加机器内存，使用SSD硬盘等都可以提高查询效率 。
仅仅只是插入数据应该不会变慢 ， 这是mongodb的优势 ， 用空间换时间，插入数据不需要加载或者遍历之前已经存在的数据，而是直接存储到指定位置 。
如果机器的cpu是12核的可以起6-8个mongod，根据测试发现再多个mongod对于速度的影响不升反降 。据我分析之前是因为单进程操作，是因为单个cpu达到瓶颈 。改成多进程后，达到磁盘i/o瓶颈后速度就没法提升了 。
mongodb更新比较频繁,性能下降的厉害怎么办范式化与反范式化 在项目设计阶段，明确集合的用途是对性能调优非常重要的一步 。
对于速度比较慢的查询来说，它是最重要的性能分析工具之一 。通过查看一个查询的explain（）输出信息 ， 可以知道查询使用了哪个索引，以及是如何使用的 。
在短时间内完成 MongoDB 差异数据对比，可以采用以下方法： 使用专业的数据对比工具：市场上有一些专业的中间件工具 ， 如 NineData，提供了一种高效且易于使用的 MongoDB 数据对比功能 。
建立好合适索引，尽量使用更多的精确查询搭配模糊查询一起，不需要返回的字段要屏蔽，增大机器内存 ， 使用固态硬盘，海量数据使用集群部署 。
MongoDB通过在选举成功，到新Primary即位之前，新增了一个 catchup（追赶）操作来解决 。即在节点获取投票胜利之后 ， 会先检查其它节点是否有比自己更新的oplog，如果没有就直接即位 ， 如果有就先把数据同步过来再即位 。
如何正确的使用MongoDB并优化其性能1、在MongoDB中我们将与主键没有直接关系的图书单独提取到另一个集合，用存储主键的方式进行关联查询 。当我们要查询文章和评论时需要先查询到所需的文章，再从文章中获取评论id，最后用获得的完整的文章及其评论 。
2、MongoDB的主从同步机制是确保数据一致性和可靠性的重要机制 。其同步的基础是oplog，类似MySQL的binlog，但是也有一些差异 ， oplog虽然叫log但并不是一个文件，而是一个集合（Collection） 。
3、“n”则表明了实际返回的文档数量 。“nscanned“描述了MongoDB在执行这个查询时搜索了多少文档 。”cursor“本查询返回值为”BasicCursor“则说明该查询未使用索引，所以才会搜索了所有的文档 。
4、因此，对于需要高性能的应用，如实时分析、在线游戏等，MongoDB也是一个不错的选择 。水平扩展能力：MongoDB的分片功能不仅可以用来存储大量数据，还可以提高数据库的读写性能 。
mongodb与hbaseMongodb bson文档型数据库，整个数据都存在磁盘中，hbase是列式数据库，集群部署时每个familycolumn保存在单独的hdfs文件中 。
以下是几种常见的非关系型数据库：MongoDB、HBase、Redis、CouchDB、Neo4j等 。MongoDB：MongoDB是一种面向文档的数据库 ， 采用BSON（二进制JSON）格式存储数据 。
小数据的要求对于MongoDB和Hbase都没有影响，因为MongoDB和Hbase都是一种数据库，主要就是用于存储零碎的小数据 。
国产数据库排行榜是Kingbase ， OceanBase ， TiDB，HBase，MongoDB 。Kingbase Kingbase是一款基于PostgreSQL的开源数据库，是北京人大金仓信息技术股份有限公司自主研制开发的具有自主知识产权的通用关系型数据库管理系统 。
列存储代表软件HBase，它的优点是对数据能快速查询，数据存储的扩展性强 。而缺点是数据库的功能有局限性 。（3）文档数据库存储代表软件MongoDB，它的优点是对数据结构要求不特别的严格 。
MongoDB如何优化查询性能?1、通过查看一个查询的explain（）输出信息，可以知道查询使用了哪个索引，以及是如何使用的 。对于任意查询，都可以在最后添加一个explain（）调用（与调用sort（）或者limit（）一样，不过explain（）必须放在最后） 。
2、在MongoDB中我们将与主键没有直接关系的图书单独提取到另一个集合 ， 用存储主键的方式进行关联查询 。当我们要查询文章和评论时需要先查询到所需的文章，再从文章中获取评论id ， 最后用获得的完整的文章及其评论 。
3、排除方式七：查看mongodb数据文件，看是否已经很大？经查看，总大小才64M，这比32位文件上限的2G来讲，可以基本忽略；排除方式八：连接字符串 。
4、优化 MongoDB 集群负载均衡：在实际生产环境中 ， 数据访问热度和节点性能差异可能导致某些节点超载 。
5、开发人员不用太关系这个）；最后要说道一下Mongodb的查询 ， 如果你的关系型数据库中之前有很多的多表连接查询（3张以上），则请不要尝试移植 。
【mongodb数据量大挂了 mongodb一次性插入太多数据变慢】6、在此背景下，更加灵活、性能更加强大的新型数据库在一些领域获得了试验田丰收，并且可以看到 ， 随着客户数据需求的繁杂程度的日益增加，传统数据库也在自我革新，以迎头赶上数据浪潮的大变革 。

    推荐阅读


    上一篇：如何正确设置路由器服务器？ 路由器服务器怎么填

    下一篇：如何升级路由器服务器？ 路由器服务器怎么升级