MONGODB大数据运维管理

数据库管理

    备份MONGODB服务器

    执行mongodump    //默认使用本地连接127及端口连接本地数据库

    数据库恢复到备份之前的状态:

    mongorestore --drop

    ##--drop选项告诉mongorestore工具,在恢复集合之前先丢弃现有的数据,如果不使用该选项,被恢复的数据将被追加到每个集合的尾部,导致数据的重复   

    备份单个数据库

    mongodump -d  database_name  -c  post ##备份指定库下集合

    --help

    恢复单个数据库

    mongorestore -d blog --drop

    恢复单个集合

    mongorestore -d blog -c posts --drop

备份大数据库

    数据库备份系统有一个必杀技,就是时间点快照,它的速度非常快,快照完成的速度越快,数据库服务器需要被冻结的时间就越短

    在MONGODB中创建隐藏辅助服务器是非常简单的,并且可以使用MONGODB的复制机制来保证他与主服务器一直

    1使用日志文件系统创建快照

    2使用隐藏的辅助服务器备份数据

    MONGODB上执行fysnc和lock，可以保证磁盘上数据库的镜像处于一致状态，并保证在完成快照之前他们仍然保持一致状态

    use admin

    db.fsyncLock()    //进入fsync和lock状态

    查看当前锁的状态

    use admin 

    db.currentOp()

    释放锁

    db.fsyncUnlock()     //锁释放之前可能有短暂的延迟

    数据导入mongoDB使用mongoimport

    mongoimport 工具可加载3种文件格式的数据

    1、CSV：此种文件格式，每行代表一个文档，字段之间由逗号分隔

    2、TSV：该文件类似CSV，它使用TAB作为分隔符

    3、JSON：该文件格式每行都办好一块JSON，代表一个文档，与其他格式不同，JSON可以支持可变模式的文档

    mongoimport --help

MONGODB支持简单的基于角色的身份验证系统，通过系统可以控制用户对数据库的访问以及他们被授予的访问级别

    添加admin

    use admin

    db.createUser({

    user:"admin",

    pwd:"root123",

    roles:[{

    role:"readWrite",

    db:"admin"},

    {role:"userAdminAnyDatabase",db:"admin"}

    ]

    })

    db.auth("admin","root123")

    db.getllsers() //用户权限相关信息

    db.serverStatus()

验证和修复数据

    修复服务器

    使用repair命令是一个代价高昂的操作，会消耗很长世间，并且要求使用两倍于MONGODB数据文件大小，因为所有的数据都被克隆岛新的文件并重建，本质上是对所有数据文件的重建

    mongod --dbpath /data/db  --repair

    在大型数据修复过程中，可以指定一个大的空间的驱动器，用于保存修复过程中创建的临时文件

    mongod -f /etc/mongodb.conf --repair --repairpath /tmp/bigdata/

    通过validata选项可以验证数据库中集合的内容是否存在问题

    use dblog

    db.posts.ensureIndex({Author:1})

    db.posts.validate()

    修复集合的索引

    db.posts.reIndex()   //在线修复会柱塞对系统的访问

    修复集合的数据文件

    use blog

    db.repairDatabase()  //不适合在线运行，因为它会重建数据文件时会组赛对数据的所有请求，修复过程中所有读写请求都被阻塞

MONGODB的优化

    启用和禁用MONGODB分析器

    use blog

    db.setProfilingLevel(1)  //0关闭

    db.setProfilingLevel(1，500)   //启动毫秒级别

    db.setProfilingLevel(2)   //所有查询启动分析器

    查找慢查询

    db.system.profile.find()

    增加分析器集合的大小

    1、关闭分析器

    use blog

    db.setProfilingLevel(0)

    2、删除system.profile集合

    db.system.profile.drop()

    3、创建新的集合分析器

    db.createCollection("system.profile",{capped:true,size:50*1024*1024})

    4、重新启用分析器

    db.setProfilingLevel(2)

    使用explain()分析特定的查询

    use blog 

    db.posts.find().explain(true)