MongoDB 进阶-关联查询

时间：2022-03-13 23:57

【苏州需要工作的加我QQ,内推介绍费平分】

1.数据库命令

a.命令的工作原理

drop命令，在shell中删除一个集合，执行db.refactor.drop().其实这个函数实际运行的是drop命令，

可以用runCommand来达到一样的效果：

db.runCommand({"drop":"refactor"})

{ "nIndexesWas" : 1, "msg" : "indexes dropped for collection", "ns" : "test.refactor", "ok" : 1 } 命令的响应是一个文档,包含了命令是否执行成功,还可能有些其他的命令输出的信息.命令的响应文档

都有一个"ok"键.ok键的值为1表示执行成功,为0表示执行失败,当为0时,会有一个"errmsg"键,

它的值表示命令失败的原因.

MongoDB中的命令其实是作为一种特殊类型的查询实现的,这些查询针对$cmd集合来执行.runCommand

仅仅是接受命令文档,执行等价查询,因此drop调用实际上是这样的:

db.$cmd.findOne({"drop":"refactor"})

当MongoDB服务器得到查询$cmd集合的请求时,会启动一套特殊的逻辑来处理,而不是交给普通的查询代码来执行.

几乎所有MongoDB驱动程序都提供一个类似runCommand的帮助方法来执行命令,如果有必要,也可以使用一个

简单查询的方式来运行命令.

访问有些命令需要有管理员权限,必须在admin数据库里面运行.

b)要获得所有命令的最新列表,可以在shell中运行db.listCommands(),

也可以使用http://localhost:28017/_commands

2.固定集合

MongoDB不仅支持普通集合,还支持固定集合,固定集合要事先创建,而且大小固定.

固定集合像一个环形队列,如果空间不足,最早的文档就会被删除,为新的文档提供空间.

固定集合在新文档插入的时候自动淘汰最早的文档.

固定集合不能删除文档(自动淘汰文档除外),更新(尺寸增大)将导致文档移动.

固定集合中的文档以插入的顺序存储,不用维护一个已删除的文档释放空间列表.

固定集合默认情况下没有索引,即便是"_id"上也没有索引.

a.固定集合的属性和用法

对固定集合插入的速度很快,做插入操作时,无需额外分配空间,服务器也不必查找空闲列表来放置文档,

直接将文档插入集合的末尾就行了,如果有必要就将旧的覆盖.默认情况下插入也无需更新索引.

对固定集合按照插入顺序输出的查询速度很快,以为文档本身就是按照插入顺序存储的,按照这个

顺序查询就是遍历一下,返回结果的顺序就是文档在磁盘上的顺序.默认情况下,对固定集合进行查找都

会以插入的顺序返回结果.

固定集合能在新数据插入时,自动淘汰最早的数据.插入快速,按照插入顺序查询也很快,自动淘汰,这几个

属性组合起来使得固定集合特别适合像日志这种应用场景.事实上,MongoDB中设计固定集合的目的

就是用来存储内部的复制日志oplog.固定集合还有一个用法是缓存少量的文档,一般来说,固定集合

使用与任何想要自动淘汰过期属性的场景.

b.创建固定集合

固定集合必须要在使用前显示的创建.

如:

db.createCollection("refactorCapped",{"capped":true,size:100000,max:100})

上面的命令创建了一个固定集合refactorCapped,大小是100000字节,最大的文档数100.

当指定文档数量的上限时,必须同时指定大小.淘汰机制只有在容量还没有满时才会依据文档数量来工作.

要是容量满了,淘汰机制则会依据容量来工作.

可以将普通集合转化成固定集合,如将blog集合转换成大小为10000字节的固定集合

db.runCommand({convertToCapped:"blog",size:10000})

c.自然排序

固定集合的排序方式叫做自然排序.自然排序就是文档在磁盘上的顺序.

因为固定集合的文档总是按照插入的顺序存储的,自然顺序就是这样的.默认情况下,

查询固定集合后就是按照插入的顺序返回文档.也可以使用自然排序按照反向插入的顺序查询

如

db.blog.find().sort({"$natural":-1})

3.GridFS

GridFS是一种在MongoDB中存储大二进制文件的机制,使用GridFS存文件的原因:

GridFS可以直接利用已经建立的复制或分片机制,对文件存储来说故障恢复和扩展都很容易

GridFS可以避免用于存储用户上传内容的文件系统出现的某些问题,如GridFS在同一个目录下放置大量的文件是没有问题的.

GridFS不产生磁盘碎片,因为MongoDB分配数据文件空间时以2GB为一块.

a.使用GridFS

最简单使用GridFS的方法是利用mongofiles.mongofiles可以用来在GridFS中上传,下载,列示,查找和删除文件.

可以用 mongofiles --help获得帮助

如:

gxlsystem.com,布布扣

b)内部原理

GridFS是一个建立在普通MongoDB文档基础上的轻量级文件存储规范.MongoDB服务器实际上对GridFS请求和普通的

请求一样,所有相关工作都由客户端驱动或者工具来完成.

GridFS的基本思想是可以将大文件分成很多块,每块作为一个单独的文档存储,这样就能存储大文件了.由于MongoDB

支持在文档中存储二进制数据,可以最大限度减小块的存储开销.另外,除了存储文件本身的快,还有一个单独的文档用来

存储分块的信息和文件的元数据.

GridFS的块有个单独的集合,默认情况下,块将使用fs.chunks集合,如果需要可以覆盖.这个块集合里面文档的结构很简单

{

　　"_id":ObjectId("...."),

　　"n":0,

　　"data":BindData("..."),

　　"files_id":ObjectId("....")

}

和别的MongoDB文档一样,块也有自己唯一的"_id".files_id键是包含这个块元数据的文件文档的"_id".

n表示块编号,也就是这个块在源文件中的顺序编号,data包含组成文件块的二进制数据.

文件的元数据放在另一个集合中,默认是fs.files.这里面的每个文档代表GridFS中的一个文件,与文件相关的

自定义元数据也可以存在其中.除了用户自定义的键,GridFS规范定义了一些键

_id

文件唯一的id,在块中作为files_id键的值存储

length

文件内容总的字节数

chunksize

每块的大小,以字节为单位,默认是256k,必要时可以调整.

uploadDate

文件存入GridFS的时间戳

md5

文件内容的md5检验和,由服务端用filemd5命令生成的,用于计算上传块的md5检验和

也意味着用户可以检验md5键这个值,确保文件正确上传了.

db.fs.files.find()

4.服务器端脚本

在服务器端可以通过db.eval函数来执行javascript脚本,也可以把javascript脚本保存在数据库中,然后

在别的数据库命令中调用.

a. db.eval

利用db.eval函数可以在MongoDB服务器端执行javascript脚本.这个函数先将给定的javascript字符串传递给

MongoDB服务器,在服务器上执行,然后返回结果.

db.eval可以用来模拟多文档事务:db.eval锁住数据库,然后执行javascript,再解锁.虽然没有内置的回滚机制,

但这能确保一系列操作按照指定的数序发生.

发送代码有两种方式,封装一个函数或者不封装,如:

db.eval("return ‘refactor‘;") db.eval("function(){return ‘refactor‘;}")

只有传递参数的时候,才必须要封装成一个函数.参数通过db.eval的第二个参数传递,要写成一个数组的形式.

如:

db.eval("function(name){return ‘hello,‘+name;}",[‘refactor‘])

若db.eval的表达式要是复杂的话,调试的办法是将调试信息写进数据库的日志中

如:

db.eval("print(‘hello refactor‘)")

这样在日志里就能找到hello refactor

b.存储javascript

每个MongoDB的数据库中都有个特殊的集合:system.js,用来存放javascript变量.这些变量可以在任何MongoDB的

javascript上下文中调用,包括"$where"子句,db.eval调用,MapReduce作业.用insert可以将变量存在system.js中

如:

db.system.js.insert({"_id":"x","value":1}) db.system.js.insert({"_id":"y","value":2}) db.system.js.insert({"_id":"z","value":3})

上例在全局作用域中定义了x,y,z,对其求和: db.eval("return x+y+z;")

system.js可以存放javascript代码,这样就可以很方便的自定义一些脚本,如用javascript写一个日志函数,将其存放在

system.js中:

db.system.js.insert( 　　{ 　　　　"_id":"log", 　　　　"value":function(msg,level) 　　　　　　　　{ 　　　　　　　　　　var levels=["DEBUG","WARN","ERROR","PATAL"]; 　　　　　　　　　　level=level?level:0; 　　　　　　　　　　var now= new Date(); 　　　　　　　　　　print( now +" "+ levels[level]+msg); 　　　　　　　　} 　　} )

调用:

db.eval("log(‘refactor bolg test‘,1)")

使用存储的javascript缺点是代码会与常规的源代码控制脱离,会弄乱客户端发送来的javascript.

最适合使用存储javascript的情况就是程序中有个地方都要用到一个javascript函数,这样要是更新的话,

只需更新这个函数而不必没出都修改.要是javascript代码很长又要繁琐使用的话,也可以使用存储javascript,

这样村一次会节省不少王扩传输时间.

c.安全性

执行javascript代码就要考虑MongoDB的安全性.

如:

>func="function(){print(‘hello,"+username+"!‘);}"

如果username是用户自定义的,可以使用这样的字符串"‘);db.dropDatabase();print(‘",

代码就变成了这样:

>func="function(){print(‘hello,‘);db.dropDatabase();print(‘!‘);}"

为了避免这种情况,要限定作用域.

绝大多数驱动程序都为传递给数据库的代码提供了一种特殊类型,这是因为代码实际上可以看成是一个字符串和一个

作用域的组合.作用域是一个保存着变量名和值映射关系的文档.当javascript函数执行的时候,这种映射就

构成了函数的局部作用域.

5.数据库引用

DBRef就像url,唯一确定一个到文档的引用.它自动加载文档的方式就像网站中url通过链接自动加载web页面一样.

a.DBRef是什么

DBRef是一个内嵌文档,DBRef有些必选键,如:

{"$ref":collectionName,"$id":id_value}

DBRef指向一个集合,还有一个id_value用来在集合里面根据"_id"确定唯一的文档.这两条信息可以使DBRef能

唯一标识MongoDB数据库内的任何一个文档.如想引用另一个数据库的文档,DBRef中有可选键"$db"

{"$ref":collectionName,"$id":id_value,"$db":database}//注意键的顺序不能改变.

b.实例

两个集合 users(用户),notes(笔记),

用户可以创建笔记,笔记可以引用用户或者别的笔记.

db.users.insert({"_id":"refactor","displayName":"dis_refactor"}) db.users.insert({"_id":"refactor2","displayName":"dis_refactor2"})

db.notes.insert({"_id":2,"author":"refactor","text":"refactor in mongodb"}) db.notes.insert( { 　　"_id":22, 　　"author":"refactor22", 　　"text":"...DBRef likes url", 　　"references": 　　[ 　　　　{"$ref":"users","$id":"refactor"}, 　　　　{"$ref":"notes","$id":2} 　　] } )

var note=db.notes.findOne({"_id":22}); note.references.forEach( 　　function(ref){ 　　　　printjson(db[ref.$ref].findOne({"_id":ref.$id})); 　　});

gxlsystem.com,布布扣