mongo性能测试

                    Mongodb介绍

Mongodb介绍

一 主要特点

MongoDB的提供了一个面向文档存储，操作起来比较简单和容易。

你可以在MongoDB记录中设置任何属性的索引 (如：FirstName="Sameer",Address="8 Gandhi Road")来实现更快的排序。

你可以通过本地或者网络创建数据镜像，这使得MongoDB有更强的扩展性。

如果负载的增加（需要更多的存储空间和更强的处理能力） ，它可以分布在计算机网络中的其他节点上这就是所谓的分片。

Mongo支持丰富的查询表达式。查询指令使用JSON形式的标记，可轻易查询文档中内嵌的对象及数组。

MongoDb 使用update()命令可以实现替换完成的文档（数据）或者一些指定的数据字段 。

Mongodb中的Map/reduce主要是用来对数据进行批量处理和聚合操作。

Map和Reduce。Map函数调用emit(key,value)遍历集合中所有的记录，将key与value传给Reduce函数进行处理。

Map函数和Reduce函数是使用Javascript编写的，并可以通过db.runCommand或mapreduce命令来执行MapReduce操作。

GridFS是MongoDB中的一个内置功能，可以用于存放大量小文件。

MongoDB允许在服务端执行脚本，可以用Javascript编写某个函数，直接在服务端执行，也可以把函数的定义存储在服务端，下次直接调用即可。

MongoDB支持各种编程语言:RUBY，PYTHON，JAVA，C++，PHP，C#等多种语言。

MongoDB安装简单。

二MongoDB 下载

你可以在mongodb官网下载该安装包，地址为：https://www.mongodb.com/download-center#community。MonggoDB支持以下平台:

OS X 32-bit

OS X 64-bit

Linux 32-bit

Linux 64-bit

Windows 32-bit

Windows 64-bit

Solaris i86pc

Solaris 64

三MongoDB 应用案例

下面列举一些公司MongoDB的实际应用：

Craiglist上使用MongoDB的存档数十亿条记录。

FourSquare，基于位置的社交网站，在Amazon EC2的服务器上使用MongoDB分享数据。

Shutterfly，以互联网为基础的社会和个人出版服务，使用MongoDB的各种持久性数据存储的要求。

bit.ly, 一个基于Web的网址缩短服务，使用MongoDB的存储自己的数据。

spike.com，一个MTV网络的联营公司， spike.com使用MongoDB的。

Intuit公司，一个为小企业和个人的软件和服务提供商，为小型企业使用MongoDB的跟踪用户的数据。

sourceforge.net，资源网站查找，创建和发布开源软件免费，使用MongoDB的后端存储。

etsy.com ，一个购买和出售手工制作物品网站，使用MongoDB。

纽约时报，领先的在线新闻门户网站之一，使用MongoDB。

CERN，著名的粒子物理研究所，欧洲核子研究中心大型强子对撞机的数据使用MongoDB

四MongoDB 三个线程写峰值（3个线程 1个线程100*100000）

单线程单节点写的时候峰值在8万左右

五MongoDB 测试用例

     for (int i = 0; i < 1; i++) {

      List<Document> documents = new ArrayList<Document>();

      for (int j = 0; j < 100000; j++) {

      Document document = new Document();

      document.append("name", "hell word"+i+"-"+j);

      document.append("title", "test"+i+"-"+j); 

      document.append("url", "http://cvtsp.com"+"-"+j);

      documents.add(document);

      count++;

      //System.out.println(count+"--数据");

}

      System.out.println(dateFormat.format(new Date())+"--开始时间");

      long a = new Date().getTime();

      //把文档放到集合里面去

      database.insertMany(documents);

      long b =new Date().getTime();

      System.out.println((b-a)); 

}

服务器IP 10.10.10.121

序号 数据量(万) 写入 读取

单线程10次平均(ms)(16GB/4GB) 10线程平均(ms) 单线程10次平均

(ms) 10线程平均(ms)

1 1 210 129 不加索引解析得到结果

获取数据都在1秒左右

输出结果1837，12576，110799

2 10 2000 1294

3 100 21670 12919

六MongoDB 冷热数据测试结果

Cenos6.6内存4GB 写入数据达到4GB左右的时候 mongo会把冷数据 写到磁盘中，内存始终会保持4GB左右的热数据（ps 5个线程没一个线程插入3kw数据当达到内存的饱和点，mongodb会把冷数据转存到硬盘）