博客

【Elasticsearch】Elasticsearch快速入门，掌握这些刚刚好！(官网入门案例)

  • Post author:
  • Post category:其他


文章目录

本文的主要功能是带领从0到1入门Elasticsearch的基础使用，重点是Elasticsearch中的”数据搜索”，即

_search



1. 简介

Elasticsearch是一个近乎实时的搜索平台。它提供了一个分布式的全文搜索引擎，提供了REST API接口与用户交互。Elasticsearch是用Java语言开发的，基于Apache协议的开源项目，是目前最受欢迎的企业搜索引擎。Elasticsearch广泛运用于云计算中，能够达到实时搜索，具有稳定，可靠，快速的特点。

如何与Elasticsearch交流，Elasticsearch提供了一个非常全面和强大的REST API，您可以使用它

  • Check your cluster, node, and index health, status, and statistics
  • Administer your cluster, node, and index data and metadata
  • Perform CRUD (Create, Read, Update, and Delete) and search operations against your indexes
  • Execute advanced search operations such as paging, sorting, filtering, scripting, aggregations, and many others



2. 相关概念

官网说明了以下概念。

  • Near Realtime（近实时）：Elasticsearch是一个近乎实时的搜索平台，这意味着从索引文档到可搜索文档之间只有一个轻微的延迟(通常是一秒钟)。
  • Cluster（集群）：群集是一个或多个节点的集合，它们一起保存整个数据，并提供跨所有节点的联合索引和搜索功能。每个群集都有自己的唯一群集名称，节点通过名称加入群集。
  • Node（节点）：节点是指属于集群的单个Elasticsearch实例，存储数据并参与集群的索引和搜索功能。

  • Index（索引）

    ：Index相当于**“某类数据”**。索引是一些具有相似特征的文档集合。

  • Document（文档）

    ：Document相当于Index中的**“某条数据”**。文档是可被索引的基本信息单位，以JSON形式表示
  • Shards（分片）：分片概念类似Kafka中的分区。分片机制赋予了索引水平扩容的能力，提高性能和吞吐量。
  • Replicas（副本）：副本在某些节点失效的情况下提供高可用性。



3. 安装

注：

  • 尽管作者前面写过Docker安装Elasticsearch、Kibana的文章，但是后期分析Docker方式体验很差，这里并不适用Docker安装，没有给我们带来方便，

    所以这里不推荐Docker安装方式而是使用安装包方式

    。

  • Elasticsearch和Kibana的

    版本要求保持一致

    。

Elasticsearch是近乎实时的搜索平台，提供了REST API接口与用户交互，所以后面的案例本可以只安装Elasticsearch就够了。但是为了方便起见，我们选择多安装一个Elasticsearch的可视化平台Kibana来操作后面的案例。以Elasticsearch6.6.2为例：

  • Elasticsearch下载安装 
curl -L -O https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.6.2.tar.gz
tar -xvf elasticsearch-6.6.2.tar.gz
cd elasticsearch-6.6.2
./bin/elasticsearch
  • 浏览器访问http://localhost:9200检查Elasticsearch是否安装成功

  • Kibana下载安装 
curl -O https://artifacts.elastic.co/downloads/kibana/kibana-6.6.2-darwin-x86_64.tar.gz
tar -xzf kibana-6.6.2-darwin-x86_64.tar.gz
cd kibana-6.6.2-darwin-x86_64/
./bin/kibana
  • 浏览器访问http://localhost:5601检查Kibana是否安装成功

能正常点击左侧菜单就没有问题，zipkin是我测试zipkin时的索引，可忽略

  • 使用Kibana的可视化平台操作界面，后续案例的操作都在这里进行



4. 集群状态查看

  • 查看集群健康状态； 
GET /_cat/health?v
  • 查看节点状态； 
GET /_cat/nodes?v
  • 查看所有索引信息； 
GET /_cat/indices?v



5. 索引操作

  • 创建索引并查看； 
PUT /customer
GET /_cat/indices?v
  • 删除索引并查看； 
DELETE /customer
GET /_cat/indices?v



6. 文档操作

  • 在索引中添加文档； 
PUT /customer/_doc/1
{
  "name": "John Doe"
}
  • 查看索引中的文档； 
GET /customer/_doc/1
  • 替换索引中的文档 
PUT /customer/_doc/1?pretty
{
  "name": "John Doe"
}
  • 修改索引中的文档： 
POST /customer/_doc/1/_update?pretty
{
  "doc": { "name": "Jane Doe" }
}

POST /customer/_doc/1/_update?pretty
{
  "doc": { "name": "Jane Doe", "age": 20 }
}

POST /customer/_doc/1/_update?pretty
{
  "script" : "ctx._source.age += 5"
}

修改跟替换是不同的

  • 删除索引中的文档； 
DELETE /customer/doc/1
  • 对索引中的文档执行批量操作 
POST /customer/doc/_bulk
{"index":{"_id":"1"}}
{"name": "John Doe" }
{"index":{"_id":"2"}}
{"name": "Jane Doe" }



7. 数据搜索

查询表达式(Query DSL)是一种非常灵活又富有表现力的查询语言，Elasticsearch使用它可以以简单的JSON接口来实现丰富的搜索功能，下面的搜索操作都将使用它。

数据搜索才是Elasticsearch的重点内容。



数据准备

  • 首先我们需要导入一定量的数据用于搜索，使用的是银行账户表的例子，数据结构schema如下： 
{
    "account_number": 0,
    "balance": 16623,
    "firstname": "Bradshaw",
    "lastname": "Mckenzie",
    "age": 29,
    "gender": "F",
    "address": "244 Columbus Place",
    "employer": "Euron",
    "email": "bradshawmckenzie@euron.com",
    "city": "Hobucken",
    "state": "CO"
}
  • 下载官方准备好的数据数据，数据地址：https://github.com/elastic/elasticsearch/blob/6.6/docs/src/test/resources/accounts.json。备用地址：https://gitee.com/firefish985/article-list/blob/master/%E5%A4%A7%E6%95%B0%E6%8D%AE/Elasticsearch/accounts.json

  • 导入数据到Elasticsearch

可以在当前目录用命令导入 

curl -H "Content-Type: application/json" -XPOST "localhost:9200/bank/_doc/_bulk?pretty&refresh" --data-binary "@accounts.json"

也可以在Kibana的Dev Tools中批量导入。

  • 导入完成后查看索引信息，可以发现

    bank

    索引中已经创建了1000条文档 
GET /_cat/indices?v



搜索入门(match_all)

  • 最简单的搜索，使用

    match_all

    来表示，例如搜索全部； 
GET /bank/_search
{
  "query": { "match_all": {} }
}
  • 分页搜索，

    from

    表示偏移量，从0开始，

    size

    表示每页显示的数量； 
GET /bank/_search
{
  "query": { "match_all": {} },
  "from": 0,
  "size": 10
}

  • 搜索排序，使用

    sort

    表示，例如按

    balance

    字段降序排列； 
GET /bank/_search
{
  "query": { "match_all": {} },
  "sort": { "balance": { "order": "desc" } }
}
  • 搜索并返回指定字段内容，使用

    _source

    表示，例如只返回

    account_number

    和

    balance

    两个字段内容： 
GET /bank/_search
{
  "query": { "match_all": {} },
  "_source": ["account_number", "balance"]
}



条件搜索(match)

  • 条件搜索，使用

    match

    表示匹配条件，例如搜索出

    account_number

    为

    20

    的文档： 
GET /bank/_search
{
  "query": { "match": { "account_number": 20 } }
}
  • 文本类型字段的条件搜索，例如搜索

    address

    字段中包含

    mill

    的文档，对比上一条搜索可以发现，对于数值类型

    match

    操作使用的是精确匹配，对于文本类型使用的是模糊匹配； 
GET /bank/_search
{
  "query": { "match": { "address": "mill" } },
  "_source": ["address", "account_number"]
}
  • 短语匹配搜索，使用

    match_phrase

    表示，例如搜索

    address

    字段中包含

    mill lane

    的文档 
GET /bank/_search
{
  "query": { "match_phrase": { "address": "mill lane" } }
}



组合搜索(bool)

  • 组合搜索，使用

    bool

    来进行组合，

    must

    表示同时满足，例如搜索

    address

    字段中同时包含

    mill

    和

    lane

    的文档； 
GET /bank/_search
{
  "query": {
    "bool": {
      "must": [
        { "match": { "address": "mill" } },
        { "match": { "address": "lane" } }
      ]
    }
  }
}
  • 组合搜索，

    should

    表示满足其中任意一个，搜索

    address

    字段中包含

    mill

    或者

    lane

    的文档； 
GET /bank/_search
{
  "query": {
    "bool": {
      "should": [
        { "match": { "address": "mill" } },
        { "match": { "address": "lane" } }
      ]
    }
  }
}
  • 组合搜索，

    must_not

    表示同时不满足，例如搜索

    address

    字段中不包含

    mill

    且不包含

    lane

    的文档； 
GET /bank/_search
{
  "query": {
    "bool": {
      "must_not": [
        { "match": { "address": "mill" } },
        { "match": { "address": "lane" } }
      ]
    }
  }
}
  • 组合搜索，组合

    must

    和

    must_not

    ，例如搜索

    age

    字段等于

    40

    且

    state

    字段不包含

    ID

    的文档； 
GET /bank/_search
{
  "query": {
    "bool": {
      "must": [
        { "match": { "age": "40" } }
      ],
      "must_not": [
        { "match": { "state": "ID" } }
      ]
    }
  }
}



过滤搜索(filter)

  • 搜索过滤，使用

    filter

    来表示，例如过滤出

    balance

    字段在

    20000~30000

    的文档； 
GET /bank/_search
{
  "query": {
    "bool": {
      "must": { "match_all": {} },
      "filter": {
        "range": {
          "balance": {
            "gte": 20000,
            "lte": 30000
          }
        }
      }
    }
  }
}



搜索聚合(aggs)

  • 对搜索结果进行聚合，使用

    aggs

    来表示，类似于MySql中的

    group by

    ，例如对

    state

    字段进行聚合，统计出相同

    state

    的文档数量； 
GET /bank/_search
{
  "size": 0,
  "aggs": {
    "group_by_state": {
      "terms": {
        "field": "state.keyword"
      }
    }
  }
}

类似于SQL语句中的 

SELECT state, COUNT(*) FROM bank GROUP BY state ORDER BY COUNT(*) DESC LIMIT 10;


"size": 0

只要聚合结果

  • 嵌套聚合，例如对

    state

    字段进行聚合，统计出相同

    state

    的文档数量，再统计出

    balance

    的平均值； 
GET /bank/_search
{
  "size": 0,
  "aggs": {
    "group_by_state": {
      "terms": {
        "field": "state.keyword"
      },
      "aggs": {
        "average_balance": {
          "avg": {
            "field": "balance"
          }
        }
      }
    }
  }
}
  • 对聚合搜索的结果进行排序，例如按

    balance

    的平均值降序排列； 
GET /bank/_search
{
  "size": 0,
  "aggs": {
    "group_by_state": {
      "terms": {
        "field": "state.keyword",
        "order": {
          "average_balance": "desc"
        }
      },
      "aggs": {
        "average_balance": {
          "avg": {
            "field": "balance"
          }
        }
      }
    }
  }
}
  • 按字段值的范围进行分段聚合，例如分段范围为

    age

    字段的

    [20,30]


    [30,40]


    [40,50]

    ，之后按

    gender

    统计文档个数和

    balance

    的平均值； 
GET /bank/_search
{
  "size": 0,
  "aggs": {
    "group_by_age": {
      "range": {
        "field": "age",
        "ranges": [
          {
            "from": 20,
            "to": 30
          },
          {
            "from": 30,
            "to": 40
          },
          {
            "from": 40,
            "to": 50
          }
        ]
      },
      "aggs": {
        "group_by_gender": {
          "terms": {
            "field": "gender.keyword"
          },
          "aggs": {
            "average_balance": {
              "avg": {
                "field": "balance"
              }
            }
          }
        }
      }
    }
  }
}



8. 参考资料

官网入门案例：https://www.elastic.co/guide/en/elasticsearch/reference/6.6/getting-started.html


版权声明：本文为yuchangyuan5237原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。