elk学习笔记-es-文档及索引操作

常见术语

文档 Document

• 用户存储在es中的数据文档，相当于mysql数据表中的一行数据

索引 index

• 由具有相同字段的文档列表组成，相当于mysql数据库中的表，table

节点 Node

• 一个elasticsearch 的运行实例，是集群的构成单元。

集群 Cluster

• 由一个或多个节点组成，对外提供服务

Document

Json Object，有字段（field）组成，常见数据类型如下：

• 字符串：text，keyword
• 数值型：long，integer，short，byte，double，float，scaled_float
• 布尔：Boolean
• 日期：date
• 二进制：binary
• 范围类型：integer_range，float_range，long_range，double_range，date_range

每个文档都有一个唯一的ID标识

• 自行指定
• es 自动生成

元数据(MetaData),用于标注文档相关信息

• _index：文档所在索引名
• _type：文档所在的类型名
• _id：文档唯一id
• _uid：组合id，由_type和_id组成（6.x _type不再起作用，同_id一样）
• _source：文档的原始Json数据，可以从这里获取每个字段的内容
• _all：整合所有字段内容到该字段，默认禁用

正排索引

• 文档ID到文档内容，单词的关联关系

倒排索引

• 单词到文档ID的关联关系
  

  倒排索引-查询流程

• 通过倒排索引获得"搜索引擎"对应的文档Id有1和3
• 通过正排索引查询1和3的完整内容
• 返回用户最终结果

倒排索引-单词词典

单词词典（Term Dictionary）是倒排索引的重要组成

• 记录所有文档的单词，一般都比较大
• 记录单词倒排列表的关联信息

倒排索引-倒排列表

倒排列表( Posting List )记录了单词对应的文档集合,由倒排索引项( Posting )组成

倒排索引项( Posting )主要包含如下信息:

• 文档Id ,用于获取原始信息
• 单词频率( TF, Term Frequency) , 记录该单词在该文档中的出现次数,用于后续相关性算分
• 位置( Position) ,记录单词在文档中的分词位置(多个) , 用于做词语搜索
• 偏移（Offset），记录单词在文档的开始和结束位置，用于做高亮显示

Index

索引中存储具有相同结构的文档（Document）

• 每个索引都有自己的mapping 定义，用于定义字段名和类型

一个集群可以有多个索引，比如：

• nginx 日志存储的时候可以按照日期每天生成一个索引来存储
  nginx-log-2019-01-01
  nginx-log-2019-01-02
  nginx-log-2019-01-03

创建索引与写入数据

Rest API ()

Elasticsearch 集群对外提供RESTful API

• REST（REpresentational State Transfer）表现层状态转移（对资源进行操作状态会发生变化）
• URL指定资源，如Index，Document
• Http Method 指定资源操作类型，如GET，POST，PUT，DELETE

两种交互方式

• Curl 命令行
  
• Kibana DevTools

索引 API

es有专门的Index API，用于创建，更新，删除索引配置等

• 创建索引API

PUT /test_index

• 查看现有索引

  GET_cat/indices

  

  文档 Document API

es有专门的 Document API

• 创建文档
• 查询文档
• 更新文档
• 删除文档

创建文档：

指定文档ID创建文档：

PUT /test_index/doc/1
{
  "username":"kibana",
  "version":6.1
}

不指定ID创建文档：

POST /test1_index/doc
{
  "username":"kibana",
  "version":6.1
}

查询文档

• 指定要查询文档的ID

  GET /test_index/doc/1  

  

• 搜索所有文档：_search

  GET /test_index/doc/_search  //不指定条件查找

  GET /test_index/doc/_search
  {
  "query": {
  "term":{
    "_id":"1" //指定条件，查找ID为1的文档
  }
  }
  }

  

批量创建文档API

es允许一次操作多个文档（增删改查，create创建文档，如果文档已经存在就会报错。index创建文档，如果存在就会覆盖。）

• endpoint 为 _bulk，如下：

  POST _bulk
  {"index":{"_index":"test_index","_type":"doc","_id":"3"}}
  {"username":"zabbix","version":4}
  {"delete":{"_index":"test_index","_type":"doc","_id":"1"}}
  {"update":{"_id":"4","_index":"test_index","_type":"doc"}}
  {"doc":{"es":"5.0"}}

  输出：

  {
  "took": 979, //查询耗时，单位ms
  "errors": false,    //返回结果，正确或错误
  "items": [   //每个操作返回的结果
  {
    "index": {
      "_index": "test_index",
      "_type": "doc",
      "_id": "3",
      "_version": 1,
      "result": "created",    //创建
      "_shards": {
        "total": 2,
        "successful": 2,
        "failed": 0
      },
      "_seq_no": 0,
      "_primary_term": 1,
      "status": 201
    }
  },
  {
    "delete": {
      "_index": "test_index",
      "_type": "doc",
      "_id": "1",
      "_version": 2,
      "result": "deleted",    //删除
      "_shards": {
        "total": 2,
        "successful": 2,
        "failed": 0
      },
      "_seq_no": 1,
      "_primary_term": 1,
      "status": 200
    }
  },
  {
    "update": {
      "_index": "test_index",
      "_type": "doc",
      "_id": "4",
      "_version": 2,
      "result": "updated",    //更改
      "_shards": {
        "total": 2,
        "successful": 2,
        "failed": 0
      },
      "_seq_no": 3,
      "_primary_term": 1,
      "status": 200
    }
  }
  ]
  }

  批量查询文档

• endpoint 为_mget，如下：(并且可以在一个_mget下获取不同索引的文档)

GET /_mget    //查找在test_index索引，id为4和1的文档.
{
  "docs":[    //指明要查询的文档id
    {
      "_index":"test_index",
      "_type":"doc",
      "_id":"4"
    },
    {
      "_index":"test_index",
      "_type":"doc",
      "_id":"2"
    }
  ]
}
返回
{
  "docs": [
    {
      "_index": "test_index",
      "_type": "doc",
      "_id": "4",
      "_version": 2,
      "found": true,
      "_source": {
        "username": "es",
        "version": 6.1,
        "es": "5.0"
      }
    },
    {
      "_index": "test_index",
      "_type": "doc",
      "_id": "2",
      "_version": 1,
      "found": true,
      "_source": {
        "username": "zabbix",
        "version": 4.2
      }
    }
  ]
}

欢迎加入