mongodb使用总结

2023-11-10 来源：哗拓教育

1.适用于json嵌套文档和数组的复杂查询业务

2.数据量上亿以后建议业务层也做水平拆分，完全依赖mongodb自己的集群机制可能有性能问题(baidu op的总结)

3.目测写入查询性能不如mysql(即使写入w=0也不如mysql)

4.耗内存严重,ssd效果不明显

5.查询索引很重要(所有db都是这样)

6.在线加字段和索引容易(mysql5.6已经支持在线ddl或者借助一些工具)

7.无事务，无行锁，无join

项目背景

商品nosql平台，数据量2000万(一台机器搞定，因为资源申请不下来所以就没做集群了，而且做的时候还不是核心业务)，目测复杂查询400ms左右可以响应

mongodb使用总结

标签：建议 0ms nbsp bsp 总结重要索引 join 数据

小编还为您整理了以下内容，可能对您也有帮助：

mongodb数据库怎么使用

MongoDB是由10gen团队开发的基于分布式存储的开源数据库系统，使用C++编写。MongoDB作为一个文档型数据库，其中数据以键值对的方式来存储。

下面我们来看下MogoDB的基本使用。

1、连接MongoDB数据库

使用如下命令来连接MongoDB数据库

mongo

图1 连接MongoDB数据库

2、查看目前所使用的数据库。

在MongoDB中，想查看使用的是哪个数据库，可以使用如下命令来查看。

图2 查看所使用的数据库

3、查看有哪些数据库。

在MongoDB中存在着许多个数据库，对于有哪些数据库，可以使用如下命令来查看。

show db

图3 查看MongoDB中所有的数据库

4、创建数据库。

现阶段所存在的数据库如果不能满足要求，可以使用如下命令来创建新的数据库。

use database_name

其中database_name则代表所要创建的数据库名字，下面将演示创建一个名为offcn的数据库。

use offcn

图4 创建offcn数据库

5、删除数据库

当数据库没有作用时，可以将数据库删除从而释放所占用的空间资源。使用如下命令来进行对数据库进行删除，在删除前应该先选中所要删除的数据库。

use offcn

db.dropDatabase()

图5 删除数据库

mongodb数据库怎么使用

MongoDB是由10gen团队开发的基于分布式存储的开源数据库系统，使用C++编写。MongoDB作为一个文档型数据库，其中数据以键值对的方式来存储。

下面我们来看下MogoDB的基本使用。

1、连接MongoDB数据库

使用如下命令来连接MongoDB数据库

mongo

图1 连接MongoDB数据库

2、查看目前所使用的数据库。

在MongoDB中，想查看使用的是哪个数据库，可以使用如下命令来查看。

图2 查看所使用的数据库

3、查看有哪些数据库。

在MongoDB中存在着许多个数据库，对于有哪些数据库，可以使用如下命令来查看。

show db

图3 查看MongoDB中所有的数据库

4、创建数据库。

现阶段所存在的数据库如果不能满足要求，可以使用如下命令来创建新的数据库。

use database_name

其中database_name则代表所要创建的数据库名字，下面将演示创建一个名为offcn的数据库。

use offcn

图4 创建offcn数据库

5、删除数据库

use offcn

db.dropDatabase()

图5 删除数据库

mongodb使用场景是什么?

使用场景：

（1）网站数据：MongoDB适合实时的插入，更新与查询，并具备网站实时数据存储所需的复制及高度伸缩性。

（2）缓存：由于性能很高，MongoDB也适合作为信息基础设施的缓存层。在系统重启之后，由MongoDB搭建的持久化缓存层可以避免下层的数据源过载。

（3）大尺寸，低价值的数据。

（4）高伸缩性的场景：MongoDB适合由数十或数百台服务器组成的数据库。

（5）用于对象及JSON数据的存储：MongoDB的BSON数据格式适合文档化格式的存储及查询。

mongodb设计特点：

（1）面向集合存储，容易存储对象类型的数据。在MongoDB 中数据被分组存储在集合中，集合类似RDBMS 中的表，一个集合中可以存储无限多的文档。

（2）模式自由，采用无模式结构存储。在MongoDB 中集合中存储的数据是无模式的文档，采用无模式存储数据是集合区别于RDBMS 中的表的一个重要特征。

（3）支持完全索引，可以在任意属性上建立索引，包含内部对象。MongoDB的索引和RDBMS 的索引基本一样，可以在指定属性、内部对象上创建索引以提高查询的速度。除此之外，MongoDB 还提供创建基于地理空间的索引的能力。

（4）支持查询。MongoDB 支持丰富的查询操作，MongoDB 几乎支持SQL中的大部分查询。

（5）强大的聚合工具。MongoDB 除了提供丰富的查询功能外，还提供强大的聚合工具，如count、group 等，支持使用MapRece 完成复杂的聚合任务。

mongodb使用场景是什么?

使用场景：

（1）网站数据：MongoDB适合实时的插入，更新与查询，并具备网站实时数据存储所需的复制及高度伸缩性。

（2）缓存：由于性能很高，MongoDB也适合作为信息基础设施的缓存层。在系统重启之后，由MongoDB搭建的持久化缓存层可以避免下层的数据源过载。

（3）大尺寸，低价值的数据。

（4）高伸缩性的场景：MongoDB适合由数十或数百台服务器组成的数据库。

（5）用于对象及JSON数据的存储：MongoDB的BSON数据格式适合文档化格式的存储及查询。

mongodb设计特点：

（1）面向集合存储，容易存储对象类型的数据。在MongoDB 中数据被分组存储在集合中，集合类似RDBMS 中的表，一个集合中可以存储无限多的文档。

（2）模式自由，采用无模式结构存储。在MongoDB 中集合中存储的数据是无模式的文档，采用无模式存储数据是集合区别于RDBMS 中的表的一个重要特征。

（4）支持查询。MongoDB 支持丰富的查询操作，MongoDB 几乎支持SQL中的大部分查询。

（5）强大的聚合工具。MongoDB 除了提供丰富的查询功能外，还提供强大的聚合工具，如count、group 等，支持使用MapRece 完成复杂的聚合任务。

如何正确的使用MongoDB并优化其性能

数据库性能对软件整体性能的影响是不言而喻的，那么，当我们使用MongoDB时改如何提高数据库性能呢？

　　1.范式化与反范式化

　　在项目设计阶段，明确集合的用途是对性能调优非常重要的一步。

　　从性能优化的角度来看，集合的设计我们需要考虑的是集合中数据的常用操作，例如我们需要设计一个日志（log）集合，日志的查看频率不高，但写入频率却很高，那么我们就可以得到这个集合中常用的操作是更新（增删改）。如果我们要保存的是城市列表呢？显而易见，这个集合是一个查看频率很高，但写入频率很低的集合，那么常用的操作就是查询。

　　对于频繁更新和频繁查询的集合，我们最需要关注的重点是他们的范式化程度，在上篇范式化与反范式化的介绍中我们了解到，范式化与反范式化的合理运用对于性能的提高至关重要。然而这种设计的使用非常灵活，假设现在我们需要存储一篇图书及其作者，在MongoDB中的关联就可以体现为以下几种形式：

　　1.完全分离（范式化设计）

　　示例1：

　　View Code
{
"_id" : ObjectId("5124b5d86041c7dca81917"),
"title" : "如何使用MongoDB",
"author" : [
ObjectId("144b5d83041c7dca84416"),
ObjectId("144b5d83041c7dca84418"),
ObjectId("144b5d83041c7dca84420"),
]
}

　　我们将作者(comment) 的id数组作为一个字段添加到了图书中去。这样的设计方式是在非关系型数据库中常用的，也就是我们所说的范式化设计。在MongoDB中我们将与主键没有直接关系的图书单独提取到另一个集合，用存储主键的方式进行关联查询。当我们要查询文章和评论时需要先查询到所需的文章，再从文章中获取评论id，最后用获得的完整的文章及其评论。在这种情况下查询性能显然是不理想的。但当某位作者的信息需要修改时，范式化的维护优势就凸显出来了，我们无需考虑此作者关联的图书，直接进行修改此作者的字段即可。
　　2.完全内嵌（反范式化设计）

　　示例2：

　　View Code

{
"_id" : ObjectId("5124b5d86041c7dca81917"),
"title" : "如何使用MongoDB",
"author" : [
{
　　　　 "name" : "丁磊"
　　　　 "age" : 40,
　　　　"nationality" : "china",
},
{
　　　　 "name" : "马云"
　　　　 "age" : 49,
　　　　 "nationality" : "china",
},
{
　　　　 "name" : "张召忠"
　　　　 "age" : 59,
　　　　 "nationality" : "china",
},
]
}

　　在这个示例中我们将作者的字段完全嵌入到了图书中去，在查询的时候直接查询图书即可获得所对应作者的全部信息，但因一个作者可能有多本著作，当修改某位作者的信息时时，我们需要遍历所有图书以找到该作者，将其修改。
　　3.部分内嵌（折中方案）

　　示例3：

　　View Code

{
"_id" : ObjectId("5124b5d86041c7dca81917"),
"title" : "如何使用MongoDB",
"author" : [
{
　　　　"_id" : ObjectId("144b5d83041c7dca84416"),
　　　　 "name" : "丁磊"
},
{
　　　　 "_id" : ObjectId("144b5d83041c7dca84418"),
　　　　 "name" : "马云"
},
{
　　　　 "_id" : ObjectId("144b5d83041c7dca84420"),
　　　　 "name" : "张召忠"
},
]
}

　　这次我们将作者字段中的最常用的一部分提取出来。当我们只需要获得图书和作者名时，无需再次进入作者集合进行查询，仅在图书集合查询即可获得。
　　这种方式是一种相对折中的方式，既保证了查询效率，也保证的更新效率。但这样的方式显然要比前两种较难以掌握，难点在于需要与实际业务进行结合来寻找合适的提取字段。如同示例3所述，名字显然不是一个经常修改的字段，这样的字段如果提取出来是没问题的，但如果提取出来的字段是一个经常修改的字段（比如age）的话，我们依旧在更新这个字段时需要大范围的寻找并依此进行更新。

　　在上面三个示例中，第一个示例的更新效率是最高的，但查询效率是最低的，而第二个示例的查询效率最高，但更新效率最低。所以在实际的工作中我们需要根据自己实际的需要来设计表中的字段，以获得最高的效率。

　　

如何正确的使用MongoDB并优化其性能

MongoDB入门实操《一》

什么是MongoDB

MongoDB 是一个基于分布式文件存储的数据库。由 C++ 语言编写。旨在为 WEB 应用提供可扩展的高性能数据存储解决方案。

MongoDB 是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。

如何搭建MongoDB服务

step1： docker pull mongo

step2： docker run -d --name mongotest -p 27017:27017 mongo --auth （推荐）

或者： docker run -d --name mongotest -p 27017:27017 mongo

备注：--auth 表示需要密码才可以访问容器服务

无--auth 可以直接访问

step3：进入容器 docker exec -it mongotest bash 或者通过dashboard 进入（推荐）

Mongo的常规使用

在容器里面操作使用Mongo数据库：

总结：今天的文章主要介绍了什么是Mongo DB, Mongo DB服务的构建及Mongo的一些基础操作命令，如创建用户，用户授权，创建数据，显示数据，创建集合，显示集合，集合数据查询，集合删除等（并对比着mysql命令进行了解释），希望对新手有帮助。

MongoDB学习笔记用MongoDB的文档结构描述数据关系

MongoDB的集合（collection）可以看做关系型数据库的表，文档对象（document）可以看做关系型数据库的一条记录。但两者并不完全对等。表的结构是固定的，MongoDB集合并没有这个约束；另外，存入集合的文档对象甚至可以嵌入子文档，或者“子集合”。他们最终都可以用类似于BJSON的格式描述。我们今天就来分析MongoDB这一特性带来的独特数据管理方式。我们还是以samus驱动为例来分析，samus驱动支持两种方式访问数据库，基本方式和linq方式，基本方式在上篇以介绍过，linq方式我不想单独讲解应用实例，这篇我会用两种方式来对比介绍。

一、包含子文档的集合操作

有这么一个应用场景，某网站提供会员登录的功能，用户需要注册账号才能享受会员服务，但是注册者可能会因为用户资料表单输入项过大而放弃填写，因此用户信息分为主要资料和详细资料两项，初次注册只需要填写主要资料就行了。我们打算把详细信息设计为子文档存储。

1) linq方式实现

1. 新建数据描述类，描述用户信息

复制代码代码如下:

/// summary

/// 用户主要资料

/// /summary

public class UserInfo

{

public string UserId { get; set; }

public string UserName { get; set; }

public string PassWord { get; set; }

public Detail Detail { get; set; }

}

/// summary

/// 用户详细资料

/// /summary

public class Detail

{

public string Address { get; set; }

public int Age { get; set; }

public string Email { get; set; }

}

2. 我们要新建一个用户业务操作类“UserBLL”。这个时候要让驱动知道UserInfo类描述了“用户资料”的字段信息，在GetMongo()方法实现了配置步骤，UserBLL完整代码如下：

复制代码代码如下:

public class UserBLL

{

public string connectionString = "mongodb://localhost";

public string databaseName = "myDatabase";

private Mongo mongo;

private MongoDatabase mongoDatabase;

//注意这里泛型类型为“UserInfo”

private MongoCollectionUserInfo mongoCollection;

public UserBLL()

{

mongo = GetMongo();

mongoDatabase = mongo.GetDatabase(databaseName) as MongoDatabase;

mongoCollection = mongoDatabase.GetCollectionUserInfo() as MongoCollectionUserInfo;

mongo.Connect();

}

~UserBLL()

{

mongo.Disconnect();

}

/// summary

/// 配置Mongo,将类UserInfo映射到集合

/// /summary

private Mongo GetMongo()

{

var config = new MongoConfigurationBuilder();

config.Mapping(mapping =

{

mapping.DefaultProfile(profile =

{

profile.SubClassesAre(t = t.IsSubclassOf(typeof(UserInfo)));

});

mapping.MapUserInfo();

});

config.ConnectionString(connectionString);

return new Mongo(config.BuildConfiguration());

}

3. 接着，在“UserBLL”类中定义一个方法“InsertSomeData()”来插入一些数据：

复制代码代码如下:

/// summary

/// 插入一些数据

/// /summary

public void InsertSomeData()

{

UserInfo userInfo1 = new UserInfo()

{

UserId = "1001",

UserName = "张三",

PassWord = "123456"

};

mongoCollection.Save(userInfo1);

UserInfo userInfo2 = new UserInfo()

{

UserId = "1002",

UserName = "李四",

PassWord = "123456",

Detail = new Detail()

{

Address = "湖北",

Age = 20,

Email = "lisi@163.com"

}

};

mongoCollection.Save(userInfo2);

UserInfo userInfo3 = new UserInfo()

{

UserId = "1003",

UserName = "王五",

PassWord = "123456",

Detail = new Detail()

{

Address = "广东",

Age = 20,

Email = "wangwu@163.com"

}

};

mongoCollection.Save(userInfo3);

UserInfo userInfo4 = new UserInfo()

{

UserId = "1004",

UserName = "赵六",

PassWord = "123456",

Detail = new Detail()

{

Address = "湖北"

}

};

mongoCollection.Save(userInfo4);

}

4. 定义一个查找数据的方法“Select”，它将查找用户详细信息中，地址在湖北的全部用户：

复制代码代码如下:

/// summary

/// 查询详细资料地址为湖北的用户信息

/// /summary

public ListUserInfo Select()

{

return mongoCollection.Linq().Where(x = x.Detail.Address == "湖北").ToList();

}

5. 还定义一个删除数据的方法，将删除集合全部数据：

复制代码代码如下:

/// summary

/// 删除全部用户信息

/// /summary

public void DeleteAll()

{

mongoCollection.Remove(x = true);

}

6. 在Main方法中添加如下代码：

复制代码代码如下:

static void Main(string[] args)

{

UserBLL userBll = new UserBLL();

userBll.InsertSomeData();

var users = userBll.Select();

foreach (var user in users)

{

Console.WriteLine(user.UserName + "是湖北人");

};

userBll.DeleteAll();

}

7. 最后执行程序，打印如下信息：

李四是湖北人

赵六是湖北人

1) 普通实现

普通方式实现不想多讲，直接贴代码，看看与linq方式有什么区别：

复制代码代码如下:

class Program

{

static void Main(string[] args)

{

UserBLL userBll = new UserBLL();

userBll.InsertSomeData();

var users = userBll.Select();

foreach (var user in users)

{

Console.WriteLine(user["UserName"].ToString() + "是湖北人");

};

userBll.DeleteAll();

Console.ReadLine();

}

public class UserBLL

{

public string connectionString = "mongodb://localhost";

public string databaseName = "myDatabase";

public string collectionName = "UserInfo";

private Mongo mongo;

private MongoDatabase mongoDatabase;

private MongoCollectionDocument mongoCollection;

public UserBLL()

{

mongo = new Mongo(connectionString);

mongoDatabase = mongo.GetDatabase(databaseName) as MongoDatabase;

mongoCollection = mongoDatabase.GetCollectionDocument(collectionName) as MongoCollectionDocument;

mongo.Connect();

}

~UserBLL()

{

mongo.Disconnect();

}

/// summary

/// 插入一些数据

/// /summary

public void InsertSomeData()

{

Document userInfo1 = new Document();

userInfo1["UserId"] = "1001";

userInfo1["UserName"] = "张三";

userInfo1["PassWord"] = "123456";

mongoCollection.Save(userInfo1);

Document userInfo2 = new Document();

userInfo2["UserId"] = "1002";

userInfo2["UserName"] = "李四";

userInfo2["PassWord"] = "123456";

//子文档

var userInfo2Detail = new Document();

userInfo2Detail["Address"] = "湖北";

userInfo2Detail["Age"] = 20;

userInfo2Detail["Email"] = "lisi@163.com";

userInfo2["Detail"] = userInfo2Detail;

mongoCollection.Save(userInfo2);

Document userInfo3 = new Document();

userInfo3["UserId"] = "1003";

userInfo3["UserName"] = "王五";

userInfo3["PassWord"] = "123456";

var userInfo3Detail = new Document();

userInfo3Detail["Address"] = "广东";

userInfo3Detail["Age"] = 20;

userInfo3Detail["Email"] = "wangwu@163.com";

userInfo3["Detail"] = userInfo3Detail;

mongoCollection.Save(userInfo3);

Document userInfo4 = new Document();

userInfo4["UserId"] = "1004";

userInfo4["UserName"] = "赵六";

userInfo4["PassWord"] = "123456";

var userInfo4Detail = new Document();

userInfo4Detail["Address"] = "湖北";

userInfo4["Detail"] = userInfo4Detail;

mongoCollection.Save(userInfo4);

}

/// summary

/// 查询详细资料地址为湖北的用户信息

/// /summary

public IEnumerableDocument Select()

{

return mongoCollection.Find(new Document { { "Detail.Address", "湖北" } }).Documents;

}

/// summary

/// 删除全部用户信息

/// /summary

public void DeleteAll()

{

mongoCollection.Remove(new Document { });

}

最后，我们通过这段代码输出全部用户资料信息的BJSON格式：

复制代码代码如下:

/// summary

/// 打印数据BJSON

/// /summary

public void PrintBJSON()

{

string BJSON = string.Empty;

foreach (var documet in mongoCollection.FindAll().Documents)

{

BJSON += documet.ToString();

}

Console.WriteLine(BJSON);

}

结果如下：

复制代码代码如下:

{ "UserId": "1001", "UserName": "张三", "PassWord": "123456", "_id": "4d80ec1ab8a4731338000001" }

{ "UserId": "1002", "UserName": "李四", "PassWord": "123456", "Detail": { "Address": "湖北", "Age": 20, "Email": "lisi@163.com" }, "_id": "4d80ec1ab8a4731338000002" }

{ "UserId": "1003", "UserName": "王五", "PassWord": "123456", "Detail": { "Address": "广东", "Age": 20, "Email": "wangwu@163.com" }, "_id": "4d80ec1ab8a4731338000003" }

{ "UserId": "1004", "UserName": "赵六", "PassWord": "123456", "Detail": { "Address": "湖北" }, "_id": "4d80ec1ab8a4731338000004" }

二、包含“子集合”的集合操作

同样举个例子：有一个学校人事管理系统要统计班级和学生的信息，现在定义了一个“班级集合”，这个集合里面的学生字段是一个“学生集合”，包含了本班全部学生。

1) linq方式实现

基础配置我就不多说了，数据类定义如下：

复制代码代码如下:

/// summary

/// 班级信息

/// /summary

public class ClassInfo

{

public string ClassName { get; set; }

public ListStudent Students { get; set; }

}

/// summary

/// 学生信息

/// /summary

public class Student

{

public string Name { get; set; }

public int Age { get; set; }

}

查询叫“张三”的学生在哪个班级，以及他的详细信息：

(这里其实是ToList后在内存中查的,linq方式直接查询好像驱动不支持。)

复制代码代码如下:

public ListClassInfo Select()

{

return mongoCollection.Linq().ToList().Where(x = x.Students.Exists(s = s.Name == "张三")).ToList();

}

1) 普通实现

查询叫“张三”的学生在哪个班级，以及他的详细信息：

复制代码代码如下:

public ListDocument Select()

{

var mongocollection = mongoDatabase.GetCollection("ClassInfo");

return mongocollection.Find(new Document { { "Students.Name", "张三" } }).Documents.ToList();

}

打印数据的BJSON：

复制代码代码如下:

{ "_id": "4d814bae5c5f000000005f63", "ClassName": "1001", "Students": [ { "Name": "张三", "Age": 10 }, { "Name": "李四", "Age": 0 } ] }

{ "_id": "4d814bae5c5f000000005f64", "ClassName": "1002", "Students": [ ] }

{ "_id": "4d814bae5c5f000000005f65", "ClassName": "1003", "Students": [ { "Name": "王五", "Age": 11 }, { "Name": "赵六", "Age": 9 } ] }

三、小结

通过本节例子我们发现，MongoDB有它独特的文档结构可以描述数据对象之间的一些关系特征。它虽然没有关系型数据库多表符合查询那样强大的表间查询方式，但也可以通过文档结构描述更灵活的关系特性，可以这么说，关系型数据库能做的，MongoDB基本上也可以做到。甚至有些关系数据库不容易做到的，MongoDB也可以轻松做到，比如，描述数据类的继承关系等。

作者：李盼（Lipan）

出处：[Lipan] （http://www.cnblogs.com/lipan/）

MongoDB学习笔记用MongoDB的文档结构描述数据关系

一、包含子文档的集合操作

1) linq方式实现

1. 新建数据描述类，描述用户信息

复制代码代码如下:

/// summary

/// 用户主要资料

/// /summary

public class UserInfo

{

public string UserId { get; set; }

public string UserName { get; set; }

public string PassWord { get; set; }

public Detail Detail { get; set; }

}

/// summary

/// 用户详细资料

/// /summary

public class Detail

{

public string Address { get; set; }

public int Age { get; set; }

public string Email { get; set; }

}

复制代码代码如下:

public class UserBLL

{

public string connectionString = "mongodb://localhost";

public string databaseName = "myDatabase";

private Mongo mongo;

private MongoDatabase mongoDatabase;

//注意这里泛型类型为“UserInfo”

private MongoCollectionUserInfo mongoCollection;

public UserBLL()

{

mongo = GetMongo();

mongoDatabase = mongo.GetDatabase(databaseName) as MongoDatabase;

mongoCollection = mongoDatabase.GetCollectionUserInfo() as MongoCollectionUserInfo;

mongo.Connect();

}

~UserBLL()

{

mongo.Disconnect();

}

/// summary

/// 配置Mongo,将类UserInfo映射到集合

/// /summary

private Mongo GetMongo()

{

var config = new MongoConfigurationBuilder();

config.Mapping(mapping =

{

mapping.DefaultProfile(profile =

{

profile.SubClassesAre(t = t.IsSubclassOf(typeof(UserInfo)));

});

mapping.MapUserInfo();

});

config.ConnectionString(connectionString);

return new Mongo(config.BuildConfiguration());

}

3. 接着，在“UserBLL”类中定义一个方法“InsertSomeData()”来插入一些数据：

复制代码代码如下:

/// summary

/// 插入一些数据

/// /summary

public void InsertSomeData()

{

UserInfo userInfo1 = new UserInfo()

{

UserId = "1001",

UserName = "张三",

PassWord = "123456"

};

mongoCollection.Save(userInfo1);

UserInfo userInfo2 = new UserInfo()

{

UserId = "1002",

UserName = "李四",

PassWord = "123456",

Detail = new Detail()

{

Address = "湖北",

Age = 20,

Email = "lisi@163.com"

}

};

mongoCollection.Save(userInfo2);

UserInfo userInfo3 = new UserInfo()

{

UserId = "1003",

UserName = "王五",

PassWord = "123456",

Detail = new Detail()

{

Address = "广东",

Age = 20,

Email = "wangwu@163.com"

}

};

mongoCollection.Save(userInfo3);

UserInfo userInfo4 = new UserInfo()

{

UserId = "1004",

UserName = "赵六",

PassWord = "123456",

Detail = new Detail()

{

Address = "湖北"

}

};

mongoCollection.Save(userInfo4);

}

4. 定义一个查找数据的方法“Select”，它将查找用户详细信息中，地址在湖北的全部用户：

复制代码代码如下:

/// summary

/// 查询详细资料地址为湖北的用户信息

/// /summary

public ListUserInfo Select()

{

return mongoCollection.Linq().Where(x = x.Detail.Address == "湖北").ToList();

}

5. 还定义一个删除数据的方法，将删除集合全部数据：

复制代码代码如下:

/// summary

/// 删除全部用户信息

/// /summary

public void DeleteAll()

{

mongoCollection.Remove(x = true);

}

6. 在Main方法中添加如下代码：

复制代码代码如下:

static void Main(string[] args)

{

UserBLL userBll = new UserBLL();

userBll.InsertSomeData();

var users = userBll.Select();

foreach (var user in users)

{

Console.WriteLine(user.UserName + "是湖北人");

};

userBll.DeleteAll();

}

7. 最后执行程序，打印如下信息：

李四是湖北人

赵六是湖北人

1) 普通实现

普通方式实现不想多讲，直接贴代码，看看与linq方式有什么区别：

复制代码代码如下:

class Program

{

static void Main(string[] args)

{

UserBLL userBll = new UserBLL();

userBll.InsertSomeData();

var users = userBll.Select();

foreach (var user in users)

{

Console.WriteLine(user["UserName"].ToString() + "是湖北人");

};

userBll.DeleteAll();

Console.ReadLine();

}

public class UserBLL

{

public string connectionString = "mongodb://localhost";

public string databaseName = "myDatabase";

public string collectionName = "UserInfo";

private Mongo mongo;

private MongoDatabase mongoDatabase;

private MongoCollectionDocument mongoCollection;

public UserBLL()

{

mongo = new Mongo(connectionString);

mongoDatabase = mongo.GetDatabase(databaseName) as MongoDatabase;

mongoCollection = mongoDatabase.GetCollectionDocument(collectionName) as MongoCollectionDocument;

mongo.Connect();

}

~UserBLL()

{

mongo.Disconnect();

}

/// summary

/// 插入一些数据

/// /summary

public void InsertSomeData()

{

Document userInfo1 = new Document();

userInfo1["UserId"] = "1001";

userInfo1["UserName"] = "张三";

userInfo1["PassWord"] = "123456";

mongoCollection.Save(userInfo1);

Document userInfo2 = new Document();

userInfo2["UserId"] = "1002";

userInfo2["UserName"] = "李四";

userInfo2["PassWord"] = "123456";

//子文档

var userInfo2Detail = new Document();

userInfo2Detail["Address"] = "湖北";

userInfo2Detail["Age"] = 20;

userInfo2Detail["Email"] = "lisi@163.com";

userInfo2["Detail"] = userInfo2Detail;

mongoCollection.Save(userInfo2);

Document userInfo3 = new Document();

userInfo3["UserId"] = "1003";

userInfo3["UserName"] = "王五";

userInfo3["PassWord"] = "123456";

var userInfo3Detail = new Document();

userInfo3Detail["Address"] = "广东";

userInfo3Detail["Age"] = 20;

userInfo3Detail["Email"] = "wangwu@163.com";

userInfo3["Detail"] = userInfo3Detail;

mongoCollection.Save(userInfo3);

Document userInfo4 = new Document();

userInfo4["UserId"] = "1004";

userInfo4["UserName"] = "赵六";

userInfo4["PassWord"] = "123456";

var userInfo4Detail = new Document();

userInfo4Detail["Address"] = "湖北";

userInfo4["Detail"] = userInfo4Detail;

mongoCollection.Save(userInfo4);

}

/// summary

/// 查询详细资料地址为湖北的用户信息

/// /summary

public IEnumerableDocument Select()

{

return mongoCollection.Find(new Document { { "Detail.Address", "湖北" } }).Documents;

}

/// summary

/// 删除全部用户信息

/// /summary

public void DeleteAll()

{

mongoCollection.Remove(new Document { });

}

最后，我们通过这段代码输出全部用户资料信息的BJSON格式：

复制代码代码如下:

/// summary

/// 打印数据BJSON

/// /summary

public void PrintBJSON()

{

string BJSON = string.Empty;

foreach (var documet in mongoCollection.FindAll().Documents)

{

BJSON += documet.ToString();

}

Console.WriteLine(BJSON);

}

结果如下：

复制代码代码如下:

{ "UserId": "1001", "UserName": "张三", "PassWord": "123456", "_id": "4d80ec1ab8a4731338000001" }

{ "UserId": "1002", "UserName": "李四", "PassWord": "123456", "Detail": { "Address": "湖北", "Age": 20, "Email": "lisi@163.com" }, "_id": "4d80ec1ab8a4731338000002" }

{ "UserId": "1003", "UserName": "王五", "PassWord": "123456", "Detail": { "Address": "广东", "Age": 20, "Email": "wangwu@163.com" }, "_id": "4d80ec1ab8a4731338000003" }

{ "UserId": "1004", "UserName": "赵六", "PassWord": "123456", "Detail": { "Address": "湖北" }, "_id": "4d80ec1ab8a4731338000004" }

二、包含“子集合”的集合操作

1) linq方式实现

基础配置我就不多说了，数据类定义如下：

复制代码代码如下:

/// summary

/// 班级信息

/// /summary

public class ClassInfo

{

public string ClassName { get; set; }

public ListStudent Students { get; set; }

}

/// summary

/// 学生信息

/// /summary

public class Student

{

public string Name { get; set; }

public int Age { get; set; }

}

查询叫“张三”的学生在哪个班级，以及他的详细信息：

(这里其实是ToList后在内存中查的,linq方式直接查询好像驱动不支持。)

复制代码代码如下:

public ListClassInfo Select()

{

return mongoCollection.Linq().ToList().Where(x = x.Students.Exists(s = s.Name == "张三")).ToList();

}

1) 普通实现

查询叫“张三”的学生在哪个班级，以及他的详细信息：

复制代码代码如下:

public ListDocument Select()

{

var mongocollection = mongoDatabase.GetCollection("ClassInfo");

return mongocollection.Find(new Document { { "Students.Name", "张三" } }).Documents.ToList();

}

打印数据的BJSON：

复制代码代码如下:

{ "_id": "4d814bae5c5f000000005f63", "ClassName": "1001", "Students": [ { "Name": "张三", "Age": 10 }, { "Name": "李四", "Age": 0 } ] }

{ "_id": "4d814bae5c5f000000005f64", "ClassName": "1002", "Students": [ ] }

{ "_id": "4d814bae5c5f000000005f65", "ClassName": "1003", "Students": [ { "Name": "王五", "Age": 11 }, { "Name": "赵六", "Age": 9 } ] }

三、小结

作者：李盼（Lipan）

出处：[Lipan] （http://www.cnblogs.com/lipan/）

mongoDB主要使用在什么场景?

MongoDB的应用已经渗透到各个领域，比如游戏、物流、电商、内容管理、社交、物联网、视频直播等，以下是几个实际的应用案例：

  ● 游戏场景：使用MongoDB存储游戏用户信息，用户的装备、积分等直接以内嵌文档的形式存储，方便查询、更新。

  ● 物流场景：使用MongoDB存储订单信息，订单状态在运送过程中会不断更新，以MongoDB内嵌数组的形式来存储，一次查询就能将订单所有的变更读取出来。

  ● 社交场景：使用MongoDB存储用户信息，以及用户发表的朋友圈信息，通过地理位置索引实现附近的人、地点等功能。

  ● 物联网场景：使用MongoDB存储所有接入的智能设备信息，以及设备汇报的日志信息，并对这些信息进行*度的分析。

  ● 视频直播：使用MongoDB存储用户信息、礼物信息等。

mongoDB主要使用在什么场景?

MongoDB是什么,怎么用?看完你就知道了

MongoDB是一款为web应用程序和互联网基础设施设计的数据库管理系统。没错MongoDB就是数据库，是NoSQL类型的数据库。

（1）MongoDB提出的是文档、集合的概念，使用BSON（类JSON）作为其数据模型结构，其结构是面向对象的而不是二维表，存储一个用户在MongoDB中是这样子的。

使用这样的数据模型，使得MongoDB能在生产环境中提供高读写的能力，吞吐量较于mysql等SQL数据库大大增强。

（2）易伸缩，自动故障转移。易伸缩指的是提供了分片能力，能对数据集进行分片，数据的存储压力分摊给多台服务器。自动故障转移是副本集的概念，MongoDB能检测主节点是否存活，当失活时能自动提升从节点为主节点，达到故障转移。

（3）数据模型因为是面向对象的，所以可以表示丰富的、有层级的数据结构，比如博客系统中能把“评论”直接怼到“文章“的文档中，而不必像myqsl一样创建三张表来描述这样的关系。

（1）文档数据类型

SQL类型的数据库是正规化的，可以通过主键或者外键的约束保证数据的完整性与唯一性，所以SQL类型的数据库常用于对数据完整性较高的系统。MongoDB在这一方面是不如SQL类型的数据库，且MongoDB没有固定的Schema，正因为MongoDB少了一些这样的约束条件，可以让数据的存储数据结构更灵活，存储速度更加快。

（2）即时查询能力

MongoDB保留了关系型数据库即时查询的能力，保留了索引（底层是基于B tree）的能力。这一点汲取了关系型数据库的优点，相比于同类型的NoSQL redis 并没有上述的能力。

（3）复制能力

MongoDB自身提供了副本集能将数据分布在多台机器上实现冗余，目的是可以提供自动故障转移、扩展读能力。

（4）速度与持久性

MongoDB的驱动实现一个写入语义 fire and forget ，即通过驱动调用写入时，可以立即得到返回得到成功的结果（即使是报错），这样让写入的速度更加快，当然会有一定的不安全性，完全依赖网络。

MongoDB提供了Journaling日志的概念，实际上像mysql的bin-log日志，当需要插入的时候会先往日志里面写入记录，再完成实际的数据操作，这样如果出现停电，进程突然中断的情况，可以保障数据不会错误，可以通过修复功能读取Journaling日志进行修复。

（5）数据扩展

MongoDB使用分片技术对数据进行扩展，MongoDB能自动分片、自动转移分片里面的数据块，让每一个服务器里面存储的数据都是一样大小。

MongoDB核心服务器主要是通过mongod程序启动的，而且在启动时不需对MongoDB使用的内存进行配置，因为其设计哲学是内存管理最好是交给操作系统，缺少内存配置是MongoDB的设计亮点，另外，还可通过mongos路由服务器使用分片功能。

MongoDB的主要客户端是可以交互的js shell 通过mongo启动，使用js shell能使用js直接与MongoDB进行交流，像使用sql语句查询mysql数据一样使用js语法查询MongoDB的数据，另外还提供了各种语言的驱动包，方便各种语言的接入。

mongomp和mongorestore,备份和恢复数据库的标准工具。输出BSON格式，迁移数据库。

mongoexport和mongoimport，用来导入导出JSON、CSV和TSV数据，数据需要支持多格式时有用。mongoimport还能用与大数据集的初始导入，但是在导入前顺便还要注意一下，为了能充分利用好mongoDB通常需要对数据模型做一些调整。

mongosniff,网络嗅探工具，用来观察发送到数据库的操作。基本就是把网络上传输的BSON转换为易于人们阅读的shell语句。

因此，可以总结得到，MongoDB结合键值存储和关系数据库的最好特性。因为简单，所以数据极快，而且相对容易伸缩还提供复杂查询机制的数据库。MongoDB需要跑在64位的服务器上面，且最好单独部署，因为是数据库，所以也需要对其进行热备、冷备处理。

因为本篇文章不是API手册，所有这里对shell的使用也是基础的介绍什么功能可以用什么语句，主要是为了展示使用MongoDB shell的方便性，如果需要知道具体的MongoDB shell语法可以查阅官方文档。

创建数据库并不是必须的操作，数据库与集合只有在第一次插入文档时才会被创建，与对数据的动态处理方式是一致的。简化并加速开发过程，而且有利于动态分配命名空间。如果担心数据库或集合被意外创建，可以开启严格模式。

以上的命令只是简单实例，假设如果你之前没有学习过任何数据库语法，同时开始学sql查询语法和MongoDB 查询语法，你会发现哪一个更简单呢？如果你使用的是java驱动去操作MongoDB，你会发现任何的查询都像Hibernate提供出来的查询方式一样，只要构建好一个查询条件对象，便能轻松查询（接下来会给出示例），博主之前熟悉ES6，所以入手MongoDB js shell完成没问题，也正因为这样简洁，完善的查询机制，深深的爱上了MongoDB。

使用java驱动链接MongoDB是一件非常简单的事情，简单的引用，简单的做增删改查。在使用完java驱动后我才发现spring 对MongoDB 的封装还不如官方自身提供出来的东西好用，下面简单的展示一下使用。

这里只举例了简单的链接与简单的MongoDB操作，可见其操作的容易性。使用驱动时是基于TCP套接字与MongoDB进行通信的，如果查询结果较多，恰好无法全部放进第一服务器中，将会向服务器发送一个getmore指令获取下一批查询结果。

插入数据到服务器时间，不会等待服务器的响应，驱动会假设写入是成功的，实际是使用客户端生成对象id，但是该行为可以通过配置配置，可以通过安全模式开启，安全模式可以校验服务器端插入的错误。

要清楚了解MongoDB的基本数据单元。在关系型数据库中有带列和行的数据表。而MongoDB数据的基本单元是BSON文档，在键值中有指向不定类型值的键，MongoDB拥有即时查询，但不支持联结操作，简单的键值存储只能根据单个键来获取值，不支持事务，但支持多种原子更新操作。

如读写比是怎样的，需要何种查询，数据是如何更新的，会不会存在什么并发问题，数据结构化的程度是要求高还是低。系统本身的需求决定mysql还是MongoDB。

在关于schema 的设计中要注意一些原则，比如：

数据库是集合的逻辑与物理分组，MongoDB没有提供创建数据库的语法，只有在插入集合时，数据库才开始建立。创建数据库后会在磁盘分配一组数据文件，所有集合、索引和数据库的其他元数据都保存在这些文件中，查阅数据库使用磁盘状态可通过。

集合是结构上或概念上相似得文档的容器，集合的名称可以包含数字、字母或 . 符号，但必须以字母或数字开头，完全。

限定集合名不能超过128个字符，实际上 . 符号在集合中很有用，能提供某种虚拟命名空间，这是一种组织上的原则，和其他集合是一视同仁的。在集合中可以使用。

其次是键值，在MongoDB里面所有的字符串都是UTF-8类型。数字类型包括double、int、long。日期类型都是UTC格式，所以在MongoDB里面看到的时间会比北京时间慢8小时。整个文档大小会*在16m以内，因为这样可以防止创建难看的数据类型，且小文档可以提升性能，批量插入文档理想数字范围是10~200，大小不能超过16MB。

（1）索引能显著减少获取文档的所需工作量，具体的对比可以通过 .explain()方法进行对比

（2）解析查询时MongoDB通过最优计划选择一个索引进行查询，当没有最适合索引时，会先不同的使用各个索引进行查询，最终选出一个最优索引做查询

（3）如果有一个a-b的复合索引，那么仅针对a的索引是冗余的

（4）复合索引里的键的顺序是很重要的

（1）单键索引

（2）复合索引

（3）唯一性索引

（4）稀疏索引

如索引的字段会出现null的值，或是大量文档都不包含被索引的键。

如果数据集很大时，构建索引将会花费很长的时间，且会影响程序性能，可通过

当使用 mongorestore 时会重新构建索引。当曾经执行过大规模的删除时，可使用

对索引进行压缩，重建。

（1）查阅慢查询日志

（2）分析慢查询

注意新版本的MongoDB 的explain方法是需要参数的，不然只显示普通的信息。

本节同样主要简单呈现MongoDB副本集搭建的简易性，与副本集的强壮性，监控容易性

提供主从复制能力，热备能力，故障转移能力

实际上MongoDB对副本集的操作跟mysql主从操作是差不多的，先看一下mysql的主从数据流动过程

而MongoDB主要依赖的日志文件是oplog

写操作先被记录下来，添加到主节点的oplog里。与此同时，所有从结点复制oplog。首先，查看自己oplog里最后一条的时间戳；其次，查询主节点oplog里所有大于此时间戳的条目;最后，把那些条目添加到自己的oplog里并应用到自己的库里。从节点使用长轮询立即应用来自主结点oplog的新条目。

当遇到以下情况，从节点会停止复制

local数据库保存了所有副本集元素据和oplog日志

可以使用以下命令查看复制情况

每个副本集成员每秒钟ping一次其他所有成员，可以通过rs.status()看到节点上次的心跳检测时间戳和健康状况。

这个点没必要过多描述，但是有一个特殊场景，如果从节点和仲裁节点都被杀了，只剩下主节点，他会把自己降级成为从节点。

如果主节点的数据还没有写到从库，那么数据不能算提交，当该主节点变成从节点时，便会触发回滚，那些没写到从库的数据将会被删除，可以通过rollback子目录中的BSON文件恢复回滚的内容。

（1）使用单节点链接

只能链接到主节点，如果链接到从节点的话，会被拒绝写入操作，但是如果没有使用安全模式，因为mongo的fire and forget 特性，会把拒绝写入的异常给吃掉。

（2）使用副本集方式链接

能根据写入的情况自动进行故障转移，但是当副本集进行新的选举时，还是会出现故障，如果不使用安全模式，依旧会出现写不进去，但现实成功的情况。

分片是数据库切分的一个概念实现，这里也是简单总结为什么要使用分片以及分片的原理，操作。

当数据量过大，索引和工作数据集占用的内存就会越来越多，所以需要通过分片负载来解决这个问题

（1）分片组件

（2）分片的核心操作

分片一个集合：分片是根据一个属性的范围进行划分的，MongoDB使用所谓的分片键让每个文档在这些范围里找到自己的位置

块：是位于一个分片中的一段连续的分片键范围，可以理解为若干个块组成分片，分片组成MongoDB的全部数据

（3）拆分与迁移

块的拆分：初始化时只有一个块，达到最大块尺寸64MB或100000个文档就会触发块的拆分。把原来的范围一分为二，这样就有了两个块，每个块都有相同数量的文档。

迁移：当分片中的数据大小不一时会产生迁移的动作，比如分片A的数据比较多，会将分片A里面的一些块转移到分片B里面去。分片集群通过在分片中移动块来实现均衡，是由名为均衡器的软件进程管理的，任务是确保数据在各个分片中保持均匀分布，当集群中拥有块最多的分片与拥有块最少分片的块差大于8时，均衡器就会发起一次均衡处理。

启动两个副本集、三个配置服务器、一个mongos进程

配置分片

（1）分片查询类型

（2）索引

分片集合只允许在_id字段和分片键上添加唯一性索引，其他地方不行，因为这需要在分片间进行通信，实施起来很复杂。

当创建分片时，会根据分片键创建一个索引。

（1）分片键是不可修改的、分片键的选择非常重要

（2）低效的分片键

（3）理想的分片键

（1）部署拓扑

根据不同的数据中心划分

这里写图片描述

（2）最低要求

（3）配置的注意事项

需要估计集群大小，可使用以下命令对现有集合进行分片处理

（4）备份分片集群

备份分片时需要停止均衡器

（1）部署架构

使用64位机器、32位机器会制约mongodb的内存，使其最大值为1.5GB

（2）cpu

mongodb 只有当索引和工作集都可放入内存时，才会遇到CPU瓶颈，CPU在mongodb使用中的作用是用来检索数据，如果看到CPU使用饱和的情况，可以通过查询慢查询日志，排查是不是查询的问题导致的，如果是可以通过添加索引来解决问题

mongodb写入数据时会使用到CPU，但是mongodb写入时间一次只用到一个核，如果有频繁的写入行为，可以通过分片来解决这个问题

（3）内存

大内存是mongodb的保障，如果工作集大小超过内存，将会导致性能下降，因为这将会增加数据加载入内存的动作

（4）硬盘

mongodb默认每60s会与磁盘强制同步一次，称为后台刷新，会产生I/O操作。在重启时mongodb会将磁盘里面的数据加载至内存，高速磁盘将会减少同步的时间

（5）文件系统

使用ext4 和 xfs 文件系统

禁用最后访问时间

（6）文件描述符

linux 默认文件描述符是1024，需要大额度的提升这个额度

（7）时钟

mongodb各个节点服务器之间使用ntp服务器

（1）绑定IP

启动时使用 - -bind_ip 命令

（2）身份验证

启动时使用 - -auth 命令

（3）副本集身份认证

使用keyFile，注意keyFile文件的权限必须是600，不然会启动不起来

（1）拓扑结构

搭建副本集至少需要两个节点，其中仲裁结点不需要有自己的服务器

（2）Journaling日志

写数据时会先写入日志，而此时的数据也不是直接写入硬盘，而是写入内存

但是Journaling日志会消耗内存，所以可以在主库上面关闭，在从库上面启动

可以单独为Journaling日志使用一块固态硬盘

在插入时，可以通过驱动确保Journaling插入后再反馈，但是会非常影响性能。

logpath 选项指定日志存储地址

-vvvvv 选项（v越多，输出越详细）

db.runCommand({logrotare:1}) 开启滚动日志

（1）serverStatus

这里写图片描述

（2）top

（3）db.currentOp()

动态展示mongodb活动数据

占用当前mongodb监听端口往上1000号的端口

（1）mongomp

把数据库内容导出成BSON文件，而mongorestore能读取并还原这些文件

（2）mongorestore

把导出的BSON文件还原到数据库

（3）备份原始数据文件

可以这么做，但是，操作之前需要进行锁库处理 db.runCommand({fsync:1,lock:true})

db.$cmd.sys.unlock.findOne() 请求解锁操作，但是数据库不会立刻解锁，需要使用db.currentOp()验证。

（1）修复

mongd --repair 修复所有数据库

db.runCommand({repairDatabase:1}) 修复单个数据库

修复就是根据Jourling文件读取和重写所有数据文件并重建各个索引

（2）压紧

压紧，会重写数据文件，并重建集合的全部索引，需要停机或者在从库上面运行,如果需要在主库上面运行，需要添加force参数保证加写锁。

（1）监控磁盘状态

（2）为提升性能检查索引和查询

总的来说，扫描尽可能少的文档。

保证没有冗余的索引，冗余的索引会占用磁盘空间、消耗更多的内存，在每次写入时还需做更多工作

（3）添加内存

dataSize 数据大小和 indexSize 索引大小，如果两者的和大于内存，那么将会影响性能。

storageSize超过dataSize 数据大小两倍以上，就会因磁盘碎片而影响性能，需要压缩。

MongoDB是什么,怎么用?看完你就知道了

MongoDB是一款为web应用程序和互联网基础设施设计的数据库管理系统。没错MongoDB就是数据库，是NoSQL类型的数据库。

使用这样的数据模型，使得MongoDB能在生产环境中提供高读写的能力，吞吐量较于mysql等SQL数据库大大增强。

（1）文档数据类型

（2）即时查询能力

（3）复制能力

MongoDB自身提供了副本集能将数据分布在多台机器上实现冗余，目的是可以提供自动故障转移、扩展读能力。

（4）速度与持久性

（5）数据扩展

MongoDB使用分片技术对数据进行扩展，MongoDB能自动分片、自动转移分片里面的数据块，让每一个服务器里面存储的数据都是一样大小。

mongomp和mongorestore,备份和恢复数据库的标准工具。输出BSON格式，迁移数据库。

mongosniff,网络嗅探工具，用来观察发送到数据库的操作。基本就是把网络上传输的BSON转换为易于人们阅读的shell语句。

在关于schema 的设计中要注意一些原则，比如：

集合是结构上或概念上相似得文档的容器，集合的名称可以包含数字、字母或 . 符号，但必须以字母或数字开头，完全。

（1）索引能显著减少获取文档的所需工作量，具体的对比可以通过 .explain()方法进行对比

（2）解析查询时MongoDB通过最优计划选择一个索引进行查询，当没有最适合索引时，会先不同的使用各个索引进行查询，最终选出一个最优索引做查询

（3）如果有一个a-b的复合索引，那么仅针对a的索引是冗余的

（4）复合索引里的键的顺序是很重要的

（1）单键索引

（2）复合索引

（3）唯一性索引

（4）稀疏索引

如索引的字段会出现null的值，或是大量文档都不包含被索引的键。

如果数据集很大时，构建索引将会花费很长的时间，且会影响程序性能，可通过

当使用 mongorestore 时会重新构建索引。当曾经执行过大规模的删除时，可使用

对索引进行压缩，重建。

（1）查阅慢查询日志

（2）分析慢查询

注意新版本的MongoDB 的explain方法是需要参数的，不然只显示普通的信息。

本节同样主要简单呈现MongoDB副本集搭建的简易性，与副本集的强壮性，监控容易性

提供主从复制能力，热备能力，故障转移能力

实际上MongoDB对副本集的操作跟mysql主从操作是差不多的，先看一下mysql的主从数据流动过程

而MongoDB主要依赖的日志文件是oplog

当遇到以下情况，从节点会停止复制

local数据库保存了所有副本集元素据和oplog日志

可以使用以下命令查看复制情况

每个副本集成员每秒钟ping一次其他所有成员，可以通过rs.status()看到节点上次的心跳检测时间戳和健康状况。

这个点没必要过多描述，但是有一个特殊场景，如果从节点和仲裁节点都被杀了，只剩下主节点，他会把自己降级成为从节点。

（1）使用单节点链接

（2）使用副本集方式链接

分片是数据库切分的一个概念实现，这里也是简单总结为什么要使用分片以及分片的原理，操作。

当数据量过大，索引和工作数据集占用的内存就会越来越多，所以需要通过分片负载来解决这个问题

（1）分片组件

（2）分片的核心操作

分片一个集合：分片是根据一个属性的范围进行划分的，MongoDB使用所谓的分片键让每个文档在这些范围里找到自己的位置

块：是位于一个分片中的一段连续的分片键范围，可以理解为若干个块组成分片，分片组成MongoDB的全部数据

（3）拆分与迁移

启动两个副本集、三个配置服务器、一个mongos进程

配置分片

（1）分片查询类型

（2）索引

分片集合只允许在_id字段和分片键上添加唯一性索引，其他地方不行，因为这需要在分片间进行通信，实施起来很复杂。

当创建分片时，会根据分片键创建一个索引。

（1）分片键是不可修改的、分片键的选择非常重要

（2）低效的分片键

（3）理想的分片键

（1）部署拓扑

根据不同的数据中心划分

这里写图片描述

（2）最低要求

（3）配置的注意事项

需要估计集群大小，可使用以下命令对现有集合进行分片处理

（4）备份分片集群

备份分片时需要停止均衡器

（1）部署架构

使用64位机器、32位机器会制约mongodb的内存，使其最大值为1.5GB

（2）cpu

mongodb写入数据时会使用到CPU，但是mongodb写入时间一次只用到一个核，如果有频繁的写入行为，可以通过分片来解决这个问题

（3）内存

大内存是mongodb的保障，如果工作集大小超过内存，将会导致性能下降，因为这将会增加数据加载入内存的动作

（4）硬盘

mongodb默认每60s会与磁盘强制同步一次，称为后台刷新，会产生I/O操作。在重启时mongodb会将磁盘里面的数据加载至内存，高速磁盘将会减少同步的时间

（5）文件系统

使用ext4 和 xfs 文件系统

禁用最后访问时间

（6）文件描述符

linux 默认文件描述符是1024，需要大额度的提升这个额度

（7）时钟

mongodb各个节点服务器之间使用ntp服务器

（1）绑定IP

启动时使用 - -bind_ip 命令

（2）身份验证

启动时使用 - -auth 命令

（3）副本集身份认证

使用keyFile，注意keyFile文件的权限必须是600，不然会启动不起来

（1）拓扑结构

搭建副本集至少需要两个节点，其中仲裁结点不需要有自己的服务器

（2）Journaling日志

写数据时会先写入日志，而此时的数据也不是直接写入硬盘，而是写入内存

但是Journaling日志会消耗内存，所以可以在主库上面关闭，在从库上面启动

可以单独为Journaling日志使用一块固态硬盘

在插入时，可以通过驱动确保Journaling插入后再反馈，但是会非常影响性能。

logpath 选项指定日志存储地址

-vvvvv 选项（v越多，输出越详细）

db.runCommand({logrotare:1}) 开启滚动日志

（1）serverStatus

这里写图片描述

（2）top

（3）db.currentOp()

动态展示mongodb活动数据

占用当前mongodb监听端口往上1000号的端口

（1）mongomp

把数据库内容导出成BSON文件，而mongorestore能读取并还原这些文件

（2）mongorestore

把导出的BSON文件还原到数据库

（3）备份原始数据文件

可以这么做，但是，操作之前需要进行锁库处理 db.runCommand({fsync:1,lock:true})

db.$cmd.sys.unlock.findOne() 请求解锁操作，但是数据库不会立刻解锁，需要使用db.currentOp()验证。

（1）修复

mongd --repair 修复所有数据库

db.runCommand({repairDatabase:1}) 修复单个数据库

修复就是根据Jourling文件读取和重写所有数据文件并重建各个索引

（2）压紧

压紧，会重写数据文件，并重建集合的全部索引，需要停机或者在从库上面运行,如果需要在主库上面运行，需要添加force参数保证加写锁。

（1）监控磁盘状态

（2）为提升性能检查索引和查询

总的来说，扫描尽可能少的文档。

保证没有冗余的索引，冗余的索引会占用磁盘空间、消耗更多的内存，在每次写入时还需做更多工作

（3）添加内存

dataSize 数据大小和 indexSize 索引大小，如果两者的和大于内存，那么将会影响性能。

storageSize超过dataSize 数据大小两倍以上，就会因磁盘碎片而影响性能，需要压缩。

MongoDB 内存使用情况分析

MongoDB是一个基于分布式文件存储的数据库。由C++语言编写。旨在为WEB应用提供可扩展的高性能数据存储解决方案。

MongoDB 是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。他支持的数据结构非常松散，是类似json的bson 格式，因此可以存储比较复杂的数据类型。Mongo最大的特点是他支持的查询语言非常强大，其语法有点类似于面向对象的查询语言，几乎可以实现类似关系数据库单表查询的绝大部分功能，而且还支持对数据建立索引。

先 ps 一下看看。

复制代码代码如下:

$ ps aux|grep mongod

mongo 26994 9.0 20.0 797264324 13243052 ? Sl May16 117:03 /path/to/mongodb/bin/mongod

总共 760G 多的虚拟内存，但是物理内存就只有 12.6G 。这个机器可是有 64G 内存的哦，这看起来 MongoDB 完全没用多少内存嘛。

再看看 free 的结果。

复制代码代码如下:

$ free -m

total used free shared buffers cached

Mem: 64544 64279 265 0 134 60413

-/+ buffers/cache: 3731 60813

Swap: 31999 0 31999

内存倒是占得差不多了，基本都是 cached ，也就是文件系统缓存。MongoDB 是通过 mmap 方式让操作系统来处理持久化和缓存的。每个数据文件都直接映射到某个虚拟内存地址。访问的时候如果这一页不在内存中，系统就会尝试把这一页加载进来。这些内存都是算进 cache 里的。在 mongodb 的官方文档里有这样一个说法，top 或 ps 里的 RSIZE 段显示的是机器的全部内存大小，因为 mongodb 会尽可能占用全部内存。但是事实上，这些缓存并没有算在里面。因此在 top 或 ps 中是看不出 MongoDB 的实际内存使用情况的。而 free 虽然可以看到系统的内存使用情况，但是没法确定这些内存里究竟有多少真的是 MongoDB 使用的。

还好有人做了 vmtouch 这个工具。可以检查文件在缓存中的情况，另外也可以把文件直接加载进缓存或者踢出去。只需要对 MongoDB 的所有数据文件检查一下缓存加载情况，就可以知道 MongoDB 到底缓存了多少数据了。

复制代码代码如下:

$ vmtouch -m4G /path/to/mongodb/data/

Files: 256

Directories: 3

Resident Pages: 15465901/100219772 58G/382G 15.4%

Elapsed: 4.072 seconds

这里 -m4G 是 vmtouch 检查的文件大小。MongoDB 的数据文件比较大，通常会超过默认的 500M。这样看来，缓存用了 58G，这还差不多。Resident Pages 左侧的数字是页的数量，页的数量乘以文件系统页大小才是内存使用量。页的大小可以通过

复制代码代码如下:

getconf PAGESIZE

查看，通常是 4096，也就是 4KB。

MongoDB 在 NUMA 的机器上运行，并且内存被固定到一个 node 的时候，会有一个警告

复制代码代码如下:

WARNING: You are running on a NUMA machine.

We suggest launching mongod like this to avoid performance problems:

numactl –interleave=all mongod [other options]

也许是认为，这种情况下只能用上一个节点的内存。但 MongoDB 的缓存是由操作系统管理的。NUMA 似乎对此并没有影响。而内存不太小的时候 MongoDB 本身很难用掉一个节点的内存。这种情况下，是否开启 numactl –interleave=all 作用已经不大了。能做的也许只能是加内存，sharding，或者换 ssd 了。

mongoDB应用篇-mongo聚合查询

如果我们在日常操作中，将部分数据存储在了MongoDB中，但是有需求要求我们将存储进去的文档数据，按照一定的条件进行查询过滤，得到想要的结果便于二次利用，那么我们就可以尝试使用MongoDB的聚合框架。

前面我们在学习文档查询的过程中，也介绍过一些查询的操作符，其中就有一部分是简单的查询聚合函数，例如 count 、 distinct 、 group 等，如果是简单的数据分析过滤，完全可以使用这些自带的聚合函数以及查询的操作符来完成文档的过滤查询操作

如果我们遇到了一些数据需要跨多个文本或者统计等操作，这个时候可能文档自身也较为复杂，查询操作符已经无法满足的时候，这个时候就需要使用MongoDB的聚合查询框架了。

使用聚合框架可以对集合中的文档进行变换和组合查询，基本上我们使用的时候，都是使用多个构件创建一个管道，用于对一连串的文档进行处理。这里的构件包括筛选(filter) 、投射(projecting) 、分组(grouping) 、排序(sorting) 、 (limiting) 以及跳过(skipping)

MongoDB中需要使用聚合操作，一般使用 aggregate 函数来完成多个聚合之间的连接，aggregate() 方法的基本语法格式如下 :

现在假设我们有个集合articles，里面存储了文章的集合，大致如下:

但这时我们需要查询出来每一个作者写的文章数量，需要使用aggregate()计算，大致如下：

输出的结果为:

通过这个简单的案例我们就能输出想要的数据和属性名，大概分析一下刚刚的聚合查询语句， by_user字段进行分组，代表每个用户一条数据，而num_tutorial则是定义了数值类型计算的结果字段，$sum则是计算总和，相当于每个用户出现一次，都会+1，最终计算出来的总和通过num_tutorial字段进行输出

注：如果管道没有给出预期的结果，就需要进行调试操作，调试的时候，可以尝试先给一个管道操作符的条件，如果这个时候查询出来的结果是我们想要的，那么我们需要再去指定第二个管道操作符，依次操作，最后就会定位到出了问题的操作符

前面我们提到聚合查询会使用管道操作符，而每一个操作符就会接受一连串的文档，对这些文档进行一些类型转换，最后将转换以后的文档结果传递给下一个管道操作符来执行后续的操作，如果当前是最后一个管道操作符，那么则会显示给用户最后的文档数据。不同的管道操作符是可以按照顺序组合在一起使用，并且可以被重复执行多次，例如我们可以先使用$match然后再去、 match操作。

match管道操作符可以使用$gt、$lt、$in等操作符，进行过滤，不过需要注意的是不能在$match管道操作符中使用空间地理操作符。

在实际使用的过程中，尽可能的将 match操作符以后，再去投射或者执行分组操作的话，是可以利用索引的。

相比较一般的查询操作而言，使用管道操作，尤其是其中的投射操作更加强大。我们可以在查询文档结束以后利用 $project 操作符从文档中进行字段的提取，甚至于我们可以重命名字段，将部分字段映射成我们想要展示出去的字段，也可以对一部分字段进行一些有意义的处理。需要注意的是， $project 操作符可以传入两个参数，第一个是需要处理的属性名称，第二个则是0或者1，如果传入1，则代表当前的属性是需要显示出来的，如果是0或者不写，默认都是代表这个字段不需要显示出来

当然第二个参数也可以是一个表达式或者查询条件，满足当前表达式的数据也可以进行显示，接下来我们先准备一点数据:

接下来，我们来查询，条件是item字段为abc，quantity要大于5，并且我们只要item和price字段的结果，其他都排除掉:

可以看到结果为:

如果我们想要在原基础上改变某个字段的名称，例如将item改为item_code,可以利用$来完成，如下:

可以看到我们指定的名称item_code，而这个别名对应的字段item使用$作为前缀标记，代表将item字段映射为item_code,可以看到结果:

我们在投影的时候，除了可以将某个字段映射成其他字段以外，还可以针对某个字段进行一些简单的运算，最常见的就是四则运算，即

加法（ subtract ）、乘法（ divide ）、求模（ $mod ），

除此之外，还支持对字段进行关系运算 (大小比较（ " eq" ）、大于（ " gte" ）、小于（ " lte" ）、不等于（ " ifNull" ） )、

逻辑运算（与（ " or" ）、非（ " concat" ）、截取（ " toLower" ） )等

我们基于上面的需求，假设每一个价格是按照元为单位，现在要求输出W为单位，那么我们就需要对price进行除法运算,如下:

除此之外，我们也可以将计算完毕的price改名为priceW，即:

可以看到输出的结果为:

这时有一个需求，要求我们返回数据的同时还要yyyy-MM-dd格式的时间字符串，这个时候我们就需要对date字段进行时间函数和字符串混合处理了,如下:

这里需要注意的一点是， year:" substr函数将date字段的结果截取成字符串即可实现拼接

group的_id上，代表按照当前字段进行分组，例如，我们这里根据item进行分组:

在我们针对某个字段进行分组以后，我们可以针对每个分组进行一些操作符的使用，常见的例如: $sum 、 $avg 、 $min 、 $max 、 $first 、 $last 。

$avg 操作符用来返回每一个分组内的平均值

现在我们基于前面item的分组，我们想要算出来每个组内的平均价格是多少，如下:

$min 和 $max 操作符用于返回分组内最大的值和最小的值

除了平均值以外，我们现在将最贵的和最便宜的价格也要列出来，这个时候就可以使用这两个操作符了，如下:

$first 、 $last 则是可以获取当前分组中第一个或者最后一个的某个字段的结果，如下:

除此之外，我们还可以在分组的时候使用数组操作符，例如 $addToSet 可以判断，当前数组如果不包含某个条件，就添加到当前数组中， $push 则不管元素是否存在，都直接添加到数组中

注意：大部分管道操作符都是流式处理的，只要有新的文档进入，就可以对新的文档进行处理，但是 $group 代表必须收到全部文档以后才可以进行分组操作，才会将结果传递给后续的管道操作符，这就意味着，如果当前mongo是存在分片的，会先在每个分片上执行完毕以后，再把结果传递mongos进行统一的分组，剩下的管道操作符也不会在每个分片，而是mongos上执行了

如果我们现在遇到一些文档比较复杂，比如存在内嵌文档的存在，某个属性里面嵌套了一个数组，但是我们需要对内嵌的数组文档进行分析过滤等查询处理，这个时候就可以使用 $unwind 操作符将每一个文档中的嵌套数组文件拆分为一个个的文档便于进行后续的处理,例如我们需要将之前的set集合中关于请求的url以及ip的信息拆分出来，原始的格式如下:

我们可以使用命令进行拆分，如下:

结果为:

可以看到数据则是按照每一条信息的方式展示出来了，方便后续的计算以及输出，但是需要注意的一点是，这种方式，如果该文档中没有拆分的字段，或者是空数组，默认会直接排除，如果我们需要空数组等也输出计算出来，则可以指定 preserveNullAndEmptyArrays 参数，设置为true，则代表空数组或者不存在的文档也要拆分输出出来，即:

我们可以在管道查询的过程中，按照某个属性值或者多个属性的结果进行顺序排序，排序的方式与普通查询操作符中的sort操作符表现一致，与其他管道操作符一样，可以在任何阶段使用，但是，需要注意的一点是，建议在管道操作符第一阶段进行排序，因为此时的排序是可以触发索引的，如果在后续阶段进行排序，会消耗大量内存，并且耗时会很久，尤其是在有 $group 的情况下，如果放在 $group 操作符后面，会发现等到的时间很久，不仅仅是无法触发索引的问题，还和 $group 操作符是等待所有数据完毕才会触发的特性有关，因此需要格外注意。

结果如下，按照我们想要的结果进行了排序:

limit，只返回前两条数据，如下:

结果如下:

除了 skip，与之前的查询操作符作用也是一样的，用于在已经查询完毕的结果集中跳过前N条数据以后进行返回，我们将$skip加在刚刚的查询后面，如下:

这个时候可以看到返回的结果为空，什么结果都没有了，这是因为前一步管道已经了仅仅返回2条，而接着我们又跳过了前两条文档，因此返回的结果为空，我们将顺序调换一下，看看:

可以看到结果如下，与刚才的结果无异:

管道查询操作符有很多，除了上面学习的常用的部分，还有几十个，需要了解全部的可以参考官网:

https://docs.mongodb.com/manual/reference/command/aggregate/

除此之外，我们在学习的过程中了解到，部分查询操作符是可以触发索引的，例如 $project 、 $group 或者 $unwind 操作符，因此我们也建议如果可以的话，尽量先使用这类管道操作符进行数据过滤，可以有效减少数据集大小和数量，而且管道如果不是直接从原先的集合中使用数据，那就无

法在筛选和排序中使用索引，例如我们先进行管道操作，再去将过滤好的数据进行 $sort 排序，会导致无法使用索引，效率大幅度下降，因此如果我们需要涉及到 $sort 操作的时候，如果可以尽可能在最开始就处理，这个时候可以使用索引，效率较高，然后再去进行管道查询筛选与分组等其他操作，可以有效的提高查询的效率。另外需要注意的一点是，在 MongoDB中会对每一个管道查询做，例如某一步管道查询操作导致内存占用超过20%，这个时候就会报错，无法继续使用管道，因为mongoDB本身每次最大是16Mb的数据量，为了尽可能避免或者减少这种问题，建议可以考虑尽可能的使用 $match 操作符过滤无用数据，减少数据总大小。同时也因为管道查询是多步执行，例如 $group 则是等待所有数据完毕才会执行，因此可能会导致整体执行时间较久，也因为这样，才不建议在较高的实时查询需求上使用管道和查询，而是在设计的时候尽可能直接使用查询操作符进行数据查询，触发更多的索引，更快的销量查询出来想要的结果。

显示全文

全部栏目

mongodb使用总结