您好，欢迎来到刀刀网。
科技 教育 生活 旅游 时尚 美容 美食 健康 体育 游戏 汽车 家电
搜索
您的当前位置：首页elasticsearch入门（二）

elasticsearch入门（二）

来源：刀刀网

一、elasticsearch的使用

        ES作为一个索引及搜索服务，对外提供丰富的 REST 接口，快速入门部分的实例使用 head插件来测试，目的是对ES的使用方法和流程有个初步的认识。

1.1 创建索引库

ES的索引库是一个逻辑概念，它包括了分词列表及文档列表，同一个索引库中存储了相同类型的文档，它就相当于Mysql中的表，或者相当于Mongodb中的集合。
关于索引这个词：
  • 索引（名词）：ES是基于Lucene构建的一个搜索服务，它要从索引库搜索符合条件索引数据。
  • 索引（动词）：索引库刚创建起来是空的，将数据添加到索引库的过程称为索引。
下边介绍两种创建索引库的方法，它们的工作原理是相同的，都是客户端向 ES 服务发送命令。

1.1.1 创建索引：

PUT  http://localhost:9201/ 索引库名称： 
{
    "settings": {
        "index": {
            "number_of_shards": 1,
            "number_of_replicas": 0
        }
    }
}
  • number_of_shards：设置分片的数量，在集群中通常设置多个分片，表示一个索引库将拆分成多片分别存储不同的结点，提高了ES的处理能力和高可用性，入门程序使用单机环境，这里设置为1。
  • number_of_replicas：设置副本的数量，设置副本是为了提高ES的高可靠性，单机环境设置为0。

1.1.2 删除索引

DELETE 

1.1.3 修改索引

PUT 

{
    "index": {
        "number_of_replicas": 1
    }
}

1.2 创建映射

1.2.1 概念说明

        在索引中每个文档都包括了一个或多个field，创建映射就是向索引库中创建field的过程，映射类比数据库中的表结构，下边是document和field与关系数据库的概念的类比：

映射（Mapper）----------------表结构
文档（Document）----------------Row记录
字段（Field）-------------------Columns 列

注意：6.0之前的版本有type（类型）概念，type相当于关系数据库的表，ES官方将在ES9.0版本中彻底删除type。上边讲的创建索引库相当于关系数据库中的数据库还是表？

 1.2.2 创建映射

我们要把课程信息存储到ES中，这里我们创建课程信息的映射，先来一个简单的映射，如下：

发送：post http://localhost:9200/索引库名称/类型名称/_mapping
创建类型为xc_course的映射，共包括三个字段：name、description、studymondel

由于ES6.0版本还没有将type彻底删除，所以暂时把type起一个没有特殊意义的名字。

post 请求：http://localhost:9200/xc_course/doc/_mapping
表示：在xc_course索引库下的doc类型下创建映射。doc是类型名，可以自定义，在ES6.0中要弱化类型的概念，给它起一个没有具体业务意义的名称。

{
    "properties": {
        "name": {
            "type": "text"
        },
        "description": {
            "type": "text"
        },
        "studymodel": {
            "type": "keyword"
         }
    }
}

1.3 创建文档

ES中的文档相当于MySQL数据库表中的记录。

发送：put 或Post http://localhost:9200/xc_course/doc/id值
（如果不指定id值ES会自动生成ID）


http://localhost:9200/xc_course/doc/4028e58161bcf7f40161bcf8b77c0000

{
"name":"Bootstrap开发框架",
"description":"Bootstrap是由Twitter推出的一个前台页面开发框架，在行业之中使用较为广泛。此开发框架包
含了大量的CSS、JS程序代码，可以帮助开发者（尤其是不擅长页面开发的程序人员）轻松的实现一个不受浏览器的
精美界面效果。",
"studymodel":"201001"
}

1.4 搜索文档

1.4.1 根据id查询文档

发送：get http://localhost:9200/xc_course/doc/4028e58161bcf7f40161bcf8b77c0000

1.4.2 查询所有记录

发送 get http://localhost:9200/xc_course/doc/_search

1.4.3 查询名称中包括spring 关键字的的记录

发送：get http://localhost:9200/xc_course/doc/_search?q=name:bootstrap

1.4.4 查询学习模式为201001的记录

发送 get http://localhost:9200/xc_course/doc/_search?q=studymodel:201001

1.5 查询结果分析

{
	"took": 1,
	"timed_out": false,
	"_shards": {
		"total": 1,
		"successful": 1,
		"skipped": 0,
		"failed": 0
	},
	"hits": {
		"total": 1,
		"max_score": 0.2876821,
		"hits": [{
			"_index": "xc_course",
			"_type": "doc",
			"_id": "4028e58161bcf7f40161bcf8b77c0000",
			"_score": 0.2876821,
			"_source": {
				"name": "Bootstrap开发框架",
				"description": "Bootstrap是由Twitter推出的一个前台页面开发框架，在行业之中使用较为广泛。 此开发框架包含了大量的CSS、 JS程序代码， 可以帮助开发者（ 尤其是不擅长页面开发的程序人员） 轻松的实现一个不受浏览器的精美界面效果。 ",
				"studymodel": "201001"
			}
		}]
	}
}
  • took：本次操作花费的时间，单位为毫秒。
  • timed_out：请求是否超时
  • _shards：说明本次操作共搜索了哪些分片
  • hits：搜索命中的记录
  • hits.total ： 符合条件的文档总数 hits.hits ：匹配度较高的前N个文档
  • hits.max_score：文档匹配得分，这里为最高分
  • _score：每个文档都有一个匹配度得分，按照降序排列。
  • _source：显示了文档的原始内容

二、IK分词器

2.1测试分词器

        在添加文档时会进行分词，索引中存放的就是一个一个的词（term），当你去搜索时就是拿关键字去匹配词，最终找到词关联的文档。

测试当前索引库使用的分词器：

post 发送：localhost:9200/_analyze

{"text":"测试分词器，后边是测试内容：spring cloud实战"}

结果如下：

{
    "tokens": [
        {
            "token": "测",
            "start_offset": 0,
            "end_offset": 1,
            "type": "<IDEOGRAPHIC>",
            "position": 0
        },
        {
            "token": "试",
            "start_offset": 1,
            "end_offset": 2,
            "type": "<IDEOGRAPHIC>",
            "position": 1
        },
        {
            "token": "分",
            "start_offset": 2,
            "end_offset": 3,
            "type": "<IDEOGRAPHIC>",
            "position": 2
        },
        {
            "token": "词",
            "start_offset": 3,
            "end_offset": 4,
            "type": "<IDEOGRAPHIC>",
            "position": 3
        },
        {
            "token": "器",
            "start_offset": 4,
            "end_offset": 5,
            "type": "<IDEOGRAPHIC>",
            "position": 4
        },
        {
            "token": "后",
            "start_offset": 6,
            "end_offset": 7,
            "type": "<IDEOGRAPHIC>",
            "position": 5
        },
        {
            "token": "边",
            "start_offset": 7,
            "end_offset": 8,
            "type": "<IDEOGRAPHIC>",
            "position": 6
        },
        {
            "token": "是",
            "start_offset": 8,
            "end_offset": 9,
            "type": "<IDEOGRAPHIC>",
            "position": 7
        },
        {
            "token": "测",
            "start_offset": 9,
            "end_offset": 10,
            "type": "<IDEOGRAPHIC>",
            "position": 8
        },
        {
            "token": "试",
            "start_offset": 10,
            "end_offset": 11,
            "type": "<IDEOGRAPHIC>",
            "position": 9
        },
        {
            "token": "内",
            "start_offset": 11,
            "end_offset": 12,
            "type": "<IDEOGRAPHIC>",
            "position": 10
        },
        {
            "token": "容",
            "start_offset": 12,
            "end_offset": 13,
            "type": "<IDEOGRAPHIC>",
            "position": 11
        },
        {
            "token": "spring",
            "start_offset": 14,
            "end_offset": 20,
            "type": "<ALPHANUM>",
            "position": 12
        },
        {
            "token": "cloud",
            "start_offset": 21,
            "end_offset": 26,
            "type": "<ALPHANUM>",
            "position": 13
        },
        {
            "token": "实",
            "start_offset": 26,
            "end_offset": 27,
            "type": "<IDEOGRAPHIC>",
            "position": 14
        },
        {
            "token": "战",
            "start_offset": 27,
            "end_offset": 28,
            "type": "<IDEOGRAPHIC>",
            "position": 15
        }
    ]
}

        会发现分词的效果将 “测试” 这个词拆分成两个单字“测”和“试”，这是因为当前索引库使用的分词器对中文就是单字分词。

2.2 安装IK分词器

{"text":"测试分词器，后边是测试内容：spring cloud实战","analyzer":"ik_max_word" }

结果如下：

{
    "tokens": [
        {
            "token": "测试",
            "start_offset": 0,
            "end_offset": 2,
            "type": "CN_WORD",
            "position": 0
        },
        {
            "token": "分词器",
            "start_offset": 2,
            "end_offset": 5,
            "type": "CN_WORD",
            "position": 1
        },
        {
            "token": "分词",
            "start_offset": 2,
            "end_offset": 4,
            "type": "CN_WORD",
            "position": 2
        },
        {
            "token": "器",
            "start_offset": 4,
            "end_offset": 5,
            "type": "CN_CHAR",
            "position": 3
        },
        {
            "token": "后边",
            "start_offset": 6,
            "end_offset": 8,
            "type": "CN_WORD",
            "position": 4
        },
        {
            "token": "是",
            "start_offset": 8,
            "end_offset": 9,
            "type": "CN_CHAR",
            "position": 5
        },
        {
            "token": "测试",
            "start_offset": 9,
            "end_offset": 11,
            "type": "CN_WORD",
            "position": 6
        },
        {
            "token": "内容",
            "start_offset": 11,
            "end_offset": 13,
            "type": "CN_WORD",
            "position": 7
        },
        {
            "token": "spring",
            "start_offset": 14,
            "end_offset": 20,
            "type": "ENGLISH",
            "position": 8
        },
        {
            "token": "cloud",
            "start_offset": 21,
            "end_offset": 26,
            "type": "ENGLISH",
            "position": 9
        },
        {
            "token": "实战",
            "start_offset": 26,
            "end_offset": 28,
            "type": "CN_WORD",
            "position": 10
        }
    ]
}

 2.3 两种分词模式

ik分词器有两种分词模式：ik_max_word和ik_smart模式。

  1. ik_max_word：
    会将文本做最细粒度的拆分，比如会将“中华人民共和国人民大会堂”拆分为“中华人民共和国、中华人民、中华、华人、人民共和国、人民、共和国、大会堂、大会、会堂等词语。
  2. ik_smart
    会做最粗粒度的拆分，比如会将“中华人民共和国人民大会堂”拆分为中华人民共和国、人民大会堂。
     

测试两种分词模式：
发送：post localhost:9200/_analyze

{"text":"中华人民共和国人民大会堂","analyzer":"ik_smart" }

2.4 自定义词库

如果要让分词器支持一些专有词语，可以自定义词库。
iK分词器自带一个main.dic的文件，此文件为词库文件。

 发送：post localhost:9200/_analyze

{"text":"测试分词器，后边是测试内容：spring cloud实战","analyzer":"ik_max_word" }

三、映射

        上边章节安装了ik分词器，如果在索引和搜索时去使用ik分词器呢？如何指定其它类型的field，比如日期类型、数值类型等。

本章节学习各种映射类型及映射维护方法。

3.1 映射维护方法

3.1.1 查询所有索引的映射：

GET： http://localhost:9200/_mapping

3.1.2 创建映射（前面已有例子）

post 请求：http://localhost:9200/xc_course/doc/_mapping

一个例子：

{
	"properties": {
		"name": {
			"type": "text"
		},
		"description": {
			"type": "text"
		},
		"studymodel": {
			"type": "keyword"
		}
	}
}

3.1.3 更新映射

映射创建成功可以添加新字段，已有字段不允许更新。

3.1.4 删除映射

通过删除索引来删除映射

3.2 常用映射类型

3.2.1 text文本字段

下图是ES6.2核心的字段类型如下：

字符串包括text和keyword两种类型：

1.text
1）analyzer
通过analyzer属性指定分词器。

下边指定name的字段类型为text，使用ik分词器的ik_max_word分词模式：

"name": {
    "type": "text",
    "analyzer":"ik_max_word"
}

上边指定了analyzer是指在索引和搜索都使用ik_max_word，如果单独想定义搜索时使用的分词器则可以通过search_analyzer属性。

对于ik分词器建议是索引时使用ik_max_word将搜索内容进行细粒度分词，搜索时使用ik_smart提高搜索精确性：

"name": {
    "type": "text",
    "analyzer":"ik_max_word",
    "search_analyzer":"ik_smart"
}

删除索引，重新创建映射，将pic的index设置为false，尝试根据pic去搜索，结果搜索不到数据

"pic": {
    "type": "text",
    "index":false
}

3）store

是否在source之外存储，每个文档索引后会在 ES中保存一份原始文档，存在"_source"中，一般情况下不需要设置store为true，因为在_source中已经有一份原始文档了。

3.2.1.1 测试

删除xc_course/doc下的映射
创建新映射：Post http://localhost:9200/xc_course/doc/_mapping

{
	"properties": {
		"name": {
			"type": "text",
			"analyzer": "ik_max_word",
			"search_analyzer": "ik_smart"
		},
		"description": {
			"type": "text",
			"analyzer": "ik_max_word",
			"search_analyzer": "ik_smart"
		},
		"pic": {
			"type": "text",
			"index": false
		},
		"studymodel": {
			"type": "text"
		}
	}
}

插入文档：
http://localhost:9200/xc_course/doc/4028e58161bcf7f40161bcf8b77c0000

{
	"name": "Bootstrap开发框架",
	"description": "Bootstrap是由Twitter推出的一个前台页面开发框架，在行业之中使用较为广泛。此开发框架包含了大量的CSS、 JS程序代码， 可以帮助开发者（ 尤其是不擅长页面开发的程序人员） 轻松的实现一个不受浏览器的精美界面效果。 ",
	"pic": "group1/M00/00/01/wKhlQFqO4MmAOP53AAAcwDwm6SU490.jpg",
	"studymodel": "201002"
}

查询测试：
Get http://localhost:9200/xc_course/_search?q=name:开发
Get http://localhost:9200/xc_course/_search?q=description:开发
Get http://localhost:9200/xc_course/_search?
q=pic:group1/M00/00/01/wKhlQFqO4MmAOP53AAAcwDwm6SU490.jpg
Get http://localhost:9200/xc_course/_search?q=studymodel:201002
通过测试发现：name和description都支持全文检索，pic不可作为查询条件。

3.2.2 keyword关键字字段

        上边介绍的text文本字段在映射时要设置分词器，keyword字段为关键字字段，通常搜索keyword是按照整体搜索，所以创建keyword字段的索引时是不进行分词的，比如：邮政编码、手机号码、身份证等。keyword字段通常用于过虑、排序、聚合等。

3.2.2.1 测试

更改映射：

{
	"properties": {
		"studymodel": {
			"type": "keyword"
		},
		"name": {
			"type": "keyword"
		}
	}
}

 插入文档：

{
	"name": "java编程基础",
	"description": "java语言是世界第一编程语言，在软件开发领域使用人数最多。",
	"pic": "group1/M00/00/01/wKhlQFqO4MmAOP53AAAcwDwm6SU490.jpg",
	"studymodel": "201001"
}

根据name查询文档
搜索：http://localhost:9200/xc_course/_search?q=name:java
name是keyword类型，所以查询方式是精确查询。

3.2.3 date日期类型

日期类型不用设置分词器。
通常日期类型的字段用于排序。

1)format
通过format设置日期格式
例子：
下边的设置允许date字段存储年月日时分秒、年月日及毫秒三种格式：

{
	"properties": {
		"timestamp": {
			"type": "date",
			"format": "yyyy‐MM‐dd HH:mm:ss||yyyy‐MM‐dd"
		}
	}
}

插入文档：
Post :http://localhost:9200/xc_course/doc/3

{
	"name ": "spring开发基础 ",
	"description": "spring 在java领域非常流行，java程序员都在用。",
	"studymodel": "201001",
	"pic": "group1/M00/00/01/wKhlQFqO4MmAOP53AAAcwDwm6SU490.jpg",
	"timestamp": "2018‐07‐04 18:28:58"
}

 3.2.4 数值类型

下边是ES支持的数值类型：

1.尽量选择范围小的类型，提高搜索效率

2.对于浮点数尽量用比例因子，比如一个价格字段，单位为元，我们将比例因子设置为100这在ES中会按 分 存储，映射如下：

"price": {
    "type": "scaled_float",
    "scaling_factor": 100
},

由于比例因子为100，如果我们输入的价格是23.45则ES中会将23.45乘以100存储在ES中。
如果输入的价格是23.456，ES会将23.456乘以100再取一个接近原始值的数，得出2346。
使用比例因子的好处是整型比浮点型更易压缩，节省磁盘空间。
如果比例因子不适合，则从下表选择范围小的去用：

更新已有映射，并插入文档：
http://localhost:9200/xc_course/doc/3

{
	"name ": "spring开发基础 ",
	"description": "spring 在java领域非常流行，java程序员都在用。",
	"studymodel": "201001",
	"pic": "group1/M00/00/01/wKhlQFqO4MmAOP53AAAcwDwm6SU490.jpg",
	"timestamp": "2018‐07‐04 18:28:58",
	"price": 38.6
}

 3.2.5 综合例子

创建如下映射：

post：http://localhost:9200/xc_course/doc/_mapping

{
	"properties": {
		"description": {
			"type": "text",
			"analyzer": "ik_max_word",
			"search_analyzer": "ik_smart"
		},
		"name": {
			"type": "text",
			"analyzer": "ik_max_word",
			"search_analyzer": "ik_smart"
		},
		"pic": {
			"type": "text",
			"index": false
		},
		"price": {
			"type": "float"
		},
		"studymodel": {
			"type": "keyword"
		},
		"timestamp": {
			"type": "date",
			"format": "yyyy‐MM‐dd HH:mm:ss||yyyy‐MM‐dd||epoch_millis"
		}
	}
}

插入文档：
Post: http://localhost:9200/xc_course/doc/1

{
	"name": "Bootstrap开发",
	"description": "Bootstrap是由Twitter推出的一个前台页面开发框架， 是一个非常流行的开发框架， 此框架集成了多种页面效果。 此开发框架包含了大量的CSS、 JS程序代码， 可以帮助开发者（ 尤其是不擅长页面开发的程序人员） 轻松的实现一个不受浏览器的精美界面效果。 ",
    "studymodel ": "201002 ", 
    "price ":38.6, 
    "timestamp ":"
	2018 - 04 - 25 19: 11: 35 ",
	"pic": "group1/M00/00/00/wKhlQFs6RCeAY0pHAA Jx5ZjNDEM428.jpg"
}

由于篇幅原因，接下来的内容请看： 

因篇幅问题不能全部显示，请点此查看更多更全内容

查看全文

Copyright © 2019- gamedaodao.com 版权所有 湘ICP备2022005869号-6

违法及侵权请联系：TEL:199 18 7713 E-MAIL:2724546146@qq.com

本站由北京市万商天勤律师事务所王兴未律师提供法律服务