分布式搜索引擎.pptx

分布式搜索引擎,elasticsearch基础,初识elasticsearch索引库操作文档操作RestAPI,初识elasticsearch,了解ES倒排索引es的一些概念安装es、kibana,01,初识elasticsearch,什么是elasticsearch,elasticsearch是一款非常强大的开源搜索引擎，可以帮助我们从海量数据中快速找到需要的内容。,初识elasticsearch,什么是elasticsearch,elasticsearch结合kibana、Logstash、Beats，也就是elastic stack（ELK）。被广泛应用在日志数据分析、实时监控等领域。,数据可视化,存储、计算、搜索数据,数据抓取,初识elasticsearch,什么是elasticsearch,elasticsearch是elastic stack的核心，负责存储、搜索、分析数据。,Lucene,初识elasticsearch,elasticsearch的发展,Lucene是一个Java语言的搜索引擎类库，是Apache公司的顶级项目，由DougCutting于1999年研发。官网地址：https:/lucene.apache.org/。Lucene的优势：易扩展高性能（基于倒排索引）Lucene的缺点：只限于Java语言开发学习曲线陡峭不支持水平扩展,Doug,Cutting,初识elasticsearch,elasticsearch的发展,2004年Shay Banon基于Lucene开发了Compass2010年Shay Banon 重写了Compass，取名为Elasticsearch。官网地址:https:/www.elastic.co/cn/，目前最新的版本是：7.12.1相比与lucene，elasticsearch具备下列优势：支持分布式，可水平扩展提供Restful接口，可被任何语言调用,Shay,Banon,初识elasticsearch,为什么学习elasticsearch？,搜索引擎技术排名：Elasticsearch：开源的分布式搜索引擎Splunk：商业项目Solr：Apache的开源搜索引擎,January 2016Easticsearch:77.212,什么是elasticsearch？一个开源的分布式搜索引擎，可以用来实现搜索、日志统计、分析、系统监控等功能什么是elastic stack（ELK）？是以elasticsearch为核心的技术栈，包括beats、Logstash、kibana、elasticsearch什么是Lucene？是Apache的开源搜索引擎类库，提供了搜索引擎的核心API,初识elasticsearch,初识elasticsearch,正向索引和倒排索引,传统数据库（如MySQL）采用正向索引，例如给下表（tb_goods）中的id创建索引：,正向索引,逐条数据扫描判断是否包含手机,丢弃,存入结果集,搜索手机select*from tb_goods where title like%手机%,否,是,初识elasticsearch,正向索引和倒排索引,elasticsearch采用倒排索引：文档（document）：每条数据就是一个文档词条（term）：文档按照语义分成的词语,正向索引,倒排索引,1,小米,手机,1,华为,手机,2,2,华为,小米,充电器,3,3,3,小米,手环,4,4,存入结果集,得到每个词条所在文档id：华为：2,3手机：1,2,搜索华为手机,分词,去词条列表查询文档id,得到：华为、手机两个词条,根据文档id查询文档,得到id为1,2,3的文档,什么是文档和词条？每一条数据就是一个文档对文档中的内容分词，得到的词语就是词条什么是正向索引？基于文档id创建索引。查询词条时必须先找到文档，而后判断是否包含词条什么是倒排索引？对文档内容分词，对词条创建索引，并记录词条所在文档的信息。查询时先根据词条查询到文档id，而后获取到文档,初识elasticsearch-正向索引和倒排索引,初识elasticsearch,文档,elasticsearch是面向文档存储的，可以是数据库中的一条商品数据，一个订单信息。文档数据会被序列化为json格式后存储在elasticsearch中。,id:1,title:小米手机,price:3499id:2,title:华为手机,price:4999id:3,title:华为小米充电器,price:49id:4,title:小米手环,price:299,初识elasticsearch,索引（Index）,索引（index）：相同类型的文档的集合,id:2,title:华为手机,price:4999,id:101,name:张三,age:21,id:11,userId:102,goodsId:2,totalFee:328,id:1,title:小米手机,price:3499,id:102,name:李四,age:24,id:10,userId:101,goodsId:1,totalFee:294,id:3,title:三星手机,price:3999,id:103,name:麻子,age:18,订单索引,用户索引,商品索引,初识elasticsearch,索引（Index）,索引（index）：相同类型的文档的集合,id:2,title:华为手机,price:4999,id:101,name:张三,age:21,id:11,userId:102,goodsId:2,totalFee:328,id:1,title:小米手机,price:3499,id:102,name:李四,age:24,id:10,userId:101,goodsId:1,totalFee:294,id:3,title:三星手机,price:3999,id:103,name:麻子,age:18,映射（mapping）：索引中文档的字段约束信息，类似表的结构约束,初识elasticsearch,概念对比,初识elasticsearch,架构,写操作,CRUD,MySQL,数据同步,搜索,Mysql：擅长事务类型操作，可以确保数据的安全和一致性Elasticsearch：擅长海量数据的搜索、分析、计算,文档：一条数据就是一个文档，es中是Json格式字段：Json文档中的字段索引：同类型文档的集合映射：索引中文档的约束，比如字段名称、类型elasticsearch与数据库的关系：数据库负责事务类型操作elasticsearch负责海量数据的搜索、分析、计算,初识elasticsearch-基本概念,初识elasticsearch,安装elasticsearch、kibana,参考课前资料中的文档：,初识elasticsearch,分词器,es在创建倒排索引时需要对文档分词；在搜索时，需要对用户输入内容分词。但默认的分词规则对中文处理并不友好。我们在kibana的DevTools中测试：语法说明：POST：请求方式/_analyze：请求路径，这里省略了http:/192.168.150.101:9200，有kibana帮我们补充请求参数，json风格：analyzer：分词器类型，这里是默认的standard分词器text：要分词的内容,POST/_analyzeanalyzer:standard,“text”:“黑马程序员学习java非常棒！,初识elasticsearch,分词器,处理中文分词，一般会使用IK分词器。https:/,初识elasticsearch,ik分词器-拓展词库,要拓展ik分词器的词库，只需要修改一个ik分词器目录中的config目录中的IkAnalyzer.cfg.xml文件：然后在名为ext.dic的文件中，添加想要拓展的词语即可：,IKAnalyzer扩展配置ext.dic,传智播客奥力给,初识elasticsearch,ik分词器-停用词库,要禁用某些敏感词条，只需要修改一个ik分词器目录中的config目录中的IkAnalyzer.cfg.xml文件：然后在名为stopword.dic的文件中，添加想要拓展的词语即可：,IKAnalyzer扩展配置ext.dicstopword.dic,习大大,分词器的作用是什么？创建倒排索引时对文档分词用户搜索时，对输入的内容分词IK分词器有几种模式？ik_smart：智能切分，粗粒度ik_max_word：最细切分，细粒度IK分词器如何拓展词条？如何停用词条？利用config目录的IkAnalyzer.cfg.xml文件添加拓展词典和停用词典在词典中添加拓展词条或者停用词条,初识elasticsearch-分词器,索引库操作,mapping映射属性索引库的CRUD,02,索引库操作,mapping属性,mapping是对索引库中文档的约束，常见的mapping属性包括：type：字段数据类型，常见的简单类型有：字符串：text（可分词的文本）、keyword（精确值，例如：品牌、国家、ip地址）数值：long、integer、short、byte、double、float布尔：boolean日期：date对象：objectindex：是否创建索引，默认为trueanalyzer：使用哪种分词器properties：该字段的子字段,age:21,weight:52.1,isMarried:false,info:黑马程序员Java讲师,email:,score:99.1,99.5,98.9,name:firstName:云,lastName:赵,mapping常见属性有哪些？type：数据类型index：是否索引analyzer：分词器properties：子字段type常见的有哪些？字符串：text、keyword数字：long、integer、short、byte、double、float布尔：boolean日期：date对象：object,索引库操作-mapping属性,索引库操作,创建索引库,ES中通过Restful请求操作索引库、文档。请求内容用DSL语句来表示。创建索引库和mapping的DSL语法如下：,PUT/heimamappings:properties:info:type:text,analyzer:ik_smart,email:type:keyword,index:falsae,name:properties:firstName:type:keyword,/.略,PUT/索引库名称mappings:properties:字段名:type:text,analyzer:ik_smart,字段名2:type:keyword,index:false,字段名3:properties:子字段:type:keyword,/.略,示例,索引库操作,查看、删除索引库,查看索引库语法：示例：删除索引库的语法：示例：,GET/索引库名,DELETE/索引库名,GET/heima,DELETE/heima,索引库操作,修改索引库,索引库和mapping一旦创建无法修改，但是可以添加新的字段，语法如下：示例：,PUT/索引库名/_mappingproperties:新字段名:type:integer,PUT/heima/_mappingproperties:age:type:integer,索引库操作有哪些？创建索引库：PUT/索引库名查询索引库：GET/索引库名删除索引库：DELETE/索引库名添加字段：PUT/索引库名/_mapping,索引库操作,文档操作,新增文档查询文档删除文档修改文档,03,文档操作,添加文档,新增文档的DSL语法如下：,POST/索引库名/_doc/文档id字段1:值1,字段2:值2,字段3:子属性1:值3,子属性2:值4,/.,示例,POST/heima/_doc/1info:黑马程序员Java讲师,email:,name:firstName:云,lastName:赵,文档操作,查看、删除文档,查看文档语法：示例：删除索引库的语法：示例：,GET/索引库名/_doc/文档id,DELETE/索引库名/_doc/文档id,GET/heima/_doc/1,DELETE/heima/_doc/1,文档操作,修改文档,方式一：全量修改，会删除旧文档，添加新文档方式二：增量修改，修改指定字段值,PUT/索引库名/_doc/文档id字段1:值1,字段2:值2,/.略,PUT/heima/_doc/1info:黑马程序员高级Java讲师,email:,name:firstName:云,lastName:赵,