系统下载、安装、激活,就到系统天地来!

所在位置: 首页 — 系统文章 — 软件教程

MapReduce在MongoDB上的使用以及数据类型分析

作者:系统天地 日期:2022-05-03

本文主要是介绍MapReduce在MongoDB上的使用,它与sql的分组、聚集类似,也是先map分组,再用reduce统计,最后还可选性地使用finalize调整最终结果。好了,来介绍下我所使用版本是MongoDB2.4.5,然后我还使用了MongoVUE(一款非常不错的图形化mongodb管理工具)帮助我协同操作。

1、原始数据,待使用的Collection中有三条doc:

而且它们的数据格式为:

可能很多人并不注意mongodb中存的数据格式吧,但是对于我来说,这个很敏感,我并不喜欢在后台使用object来保存这些本来明确的类型。这里我多提一点,如果是使用控制台插入的数据,你插入的数字,很可能存成了Double,而想存成整型,则必须要用NumberInt()、NumberLong()来,示例:

运行后在控制台上是看不出来数据类型的,但是利用MongoVUE,我可以看到:

数据库直接存成了double。而使用:

可以让它存成int32,使用NumberLong()可以存成Int64。 

2、进行MapReduce,实现查找不同名字的人各有多少个的统计。首先是map函数,再调用reduce函数

1 function Map() {
2     emit(
3         this.name,
4         {count: 1}
5     ); 
6 }

emit(key,value)是一个分组的函数,表示以指定key对原doc进行分组,value是从doc中取出的数据或者自己录入的数据,它将会被添加到一个集合(暂称C集合)中。MapReduce会对各个doc都进行一次Map函数调用,但你可以决定是否使用emit函数对此doc进行分组,不分组的doc就相当于弃置了。不过我推荐不要在Map函数中添加过滤操作,如if (xxx==yyy)  emit(...,...);,而应该在进行MapReduce前就进行Query过滤掉信息(后面会讲)。在Map函数中可以进行的过滤操作一般也是分类操作,比如成绩高于60的以某种方法emit,低于60的以某种方法emit,而不应该说是高于60的进行emit,否则什么都不做。

1 function Reduce(key, values) {
2     var reduced = {count:0, name:""}; // 初始化返回值
3     values.forEach(function(val) {
4         reduced.count += val.count; 
5     });
6     return reduced;    
7 }

接下来是Reduce函数,这个便是根据上面的emit分组数据进行统计了,函数的参数分别是key(它是上面的emit中的key)和values(它就是上面提到的C集合)。MapReduce会对各个分组的key都进行一次Reduce函数调用。函数第一行是对需要的统计结果数据进行初始化,然后就是自己的统计方法了,最后需要返回这个结果。

好了,看下在DB控制台下怎么调用这个MapReduce:

 1 db.runCommand({ mapreduce: "lekko", 
 2  map : function Map() {
 3     emit(
 4         this.name,
 5         {count: 1}
 6     ); 
 7 },
 8  reduce : function Reduce(key, values) {
 9     var reduced = {count:0, name:""}; // 初始化返回值
10     values.forEach(function(val) {
11         reduced.count += val.count; 
12     });
13     return reduced;    
14 },
15  out : { inline : 1 }
16 });

结果很快出来了:

,由于我前面又在控制台下添加了两条doc,所以现在lekko名称的人有4个了。值得注意的是,这里在MapReduce之后的结果都将成为double型!

3、一些附加操作

单纯的MapReduce原理很简单,关键是会灵活使用就好。现在我例出几个我自己的使用心得:

(1)把Query也放到MapReduce中

在前面的runCommand中添加参数。例如我要查询所有男生的,就添加..., query : { "isman" : true }, ...。

(2)对结果进行数据类型转化

利用Finalize函数(该函数是在Reduce函数后调用,它将对所有key的Reduce结果进行最后的操作),例如我在后台调用了api后想得到的是int型数据,而不是double的,那么就可以添加Finalize函数:

1 ...,
2 finalize : function Finalize(key, reduced) {
3     reduced.count = NumberInt(reduced.count);
4     return reduced;
5 },
6 ...

这样,输出的reduced将会是int32,在后台你就直接用一个强制转化就行了,而不需要先从object转为double,再转为int(用ToString后再用Prase也不如强制转化)。

(3)时间类型

因为mongodb是有Date类型的,但是由于存入的时间格式和查询时间的格式可能不一致(特别是在你的mongodb部署在远程,而开发又是多人协作),会导致根据时间条件,却查不出数据的问题。我的建议,直接存时间的long形态(过去秒数),那么这种差异性问题就不复存在。