前言
众所周知,Elasticsearch是一款基于Lucene库的开源的实时搜索和分析引擎,它不仅可以大规模的索引文档且允许外界能够搜索到这些文档,而且能够非常快速的对这些文档进行分析操作。尤其是在大数据领域里面的存储和搜索与分析的协作操作,而且Elasticsearch可以被Hadoop集成,虽然Elasticsearch是基于Lucene构建的,但是它的应用领域非常的宽泛,其他方向暂且不提,本文就来分享一下Elasticsearch的工作原理,以及通过Elasticsearch来搭建搜索引擎的大概流程。
(相关资料图)
什么是Elasticsearch?
Elasticsearch也简称为ES,其实就是一个实时搜索和分析引擎,它可以近乎实时的数据存储、检索与分析数据。ES是一个基于开源的可高扩展的分布式全文搜索引擎,它自身可扩展性非常好,可以扩展到能够处理PB级别的数据。ES是基于Lucene作为核心来实现所有搜索和索引的功能的,之所以这样做就是为了通过简单的RESTful API来隐藏Lucene的复杂性,进而让全文搜索成为一个简单的操作。
Lucene
在介绍Elasticsearch的工作原理之前,再来了解一下Lucene。Lucene也是一个开源的项目,它是由Doug Cutting开发基于Apache软件基金会4 jakarta项目组的一个子项目。Lucene是一个全文检索引擎工具包,它只是一个全文检索引擎的架构,主要提供完整的查询和搜索引擎,以及部分的文本分析引擎,但它不是一个完整的全文检索引擎。近几年非常的受欢迎,尤其是在Java信息检索程序库里的体现。Lucene与Elasticsearch的关系可以理解为:ElasticSearch是基于Lucene 做了进一步的封装和加强。
Elasticsearch的工作
上文介绍过Elasticsearch的核心是基于Lucene库,Lucene是一个基于Java 引擎用于优化文档存储的全文检索引擎工具包,它可以高效地实时搜索和分析与搜索项相匹配的文本项。选择使用Elasticsearch,不仅因为它提供的一个更为低层的Lucene引擎和简洁的REST API,而且非常好的可扩展性,以及支持插件和其他技术的集成。在使用Elasticsearch之前,需要搞懂它三个核心内容:索引、分片、类型。
1、索引(index)
在Elasticsearch中,一个索引表示一个拥有相似特征的文档集合。例如,可以由一个用户数据的索引构成,也可以由一个产品类目的索引,甚至还可以由一个订单信息的索引。一个索引是由一个名字来区分做标识(命名规则:必须都是小写英文字母),且需要对这个索引里面的文档进行搜索、索引、更新等操作的时候,都是根据该名字来进行操作的。
注意:在一个集群中,使用者可以创建任意的多个索引。
2、分片(shard)
分片,其实就是一个索引可以存储超过单个节点硬件限制的大量数据。例如,在一个拥有100亿文档的索引占了10TB的磁盘空间,而且任何一个节点可能没有这么大的磁盘空间来存储或单个节点处理搜索请求而响应太慢,通过使用Elasticsearch将索引划分为多片,这些片就叫做分片。当创建一个索引的时候,使用者可以指定想要的分片数量,每个分片本身就是一个功能完整并且独立的索引,而且该索引可以被放到集群中的任意节点上面。
3、类型(type)
类型其实就是在一个索引中,使用者可以定义的一种或者多种类型,一个类型是索引的一个逻辑分区或者分类,它的语义完全由使用者决定,一般会给具有一组相同字段的文档定义为一个类型。比如,运营一个技术博客社区,且将所有博客数据存储在一个索引里面,在这个索引中,可以为博客用户数据定义一个类型,再为博客数据定义另外一个类型,而且也可以为文章评论数据定义第三个类型,这些操作都是可以正常操作的。
示例
这里通过一个简单的例子来做Elasticsearch的使用介绍,上面介绍过Elasticsearch提供了一个非常简洁的REST API,使用者可以把文档写进Elasticsearch里面,它会自动构建索引,然后可以使用查询语句把这些文档返回。Elasticsearch其实也提供了SQL查询功能,但是局限性比较大,所以复杂的查询聚合必须要回到DSL中,但是DSL语法比较复杂,如下所示:
GET /_search{"query": {"bool": {"must" [{"match": { "title": "Search"}},{"match": { "content": "Elasticsearch"}},]}}}
再来做一个复杂一点的查询结果演示,具体如下所示:
GET /_search{"_shard": {"success": 4,"total":5,"failed":1},"query": {"bool": {"must" : [{"match": { "title": "Search"}},{"match": { "content": "Elasticsearch"}},],"filter" : [{"team": { "status": "publish"}},{"range": { "publish_time": {"gt" : "2023-02-14"}}},]}}}
上面的查询结果示例还是较为简单的,在实际开发中还有更复杂的查询,尤其是数据嵌套多层,这里就不在做结果演示了。因为还有好多本文没有介绍到,或者使用者还没有使用到的搜索技术,可以去Elasticsearch的官方文档中查找即可,这里就不再一一赘述。
Tips
1、其实,Elastic官方有很多优质的博文,但是大部分开发者因为它们是英文的原因而忽略了,其实不能这样做,因为Elastic官方的这些文章有很多关键的实现过程以及原理,图文并茂,虽然是英文但是认真去读会发现写的很棒,所以作为使用者一定要克服英文的障碍去认真阅读这些文章。
2、还有就是,腾讯云提供的Elasticsearch Service云产品非常的不错,它是基于开源引擎打造的云端全托管 ELK 服务,集成 X-Pack 特性、独有高性能自研内核、QQ 分词、集群巡检、一键升级等优势能力,引入极致性价比的腾讯自研星星海服务器,可以帮助用户轻松管理和运维集群,高效构建日志分析、运维监控、信息检索、数据分析等业务。所以腾讯云的Elasticsearch Service很值得去体验、学习和使用。
3、Elasticsearch其实也是基于其他产品来研发的,借鉴了很多比较好的设计思想,也集成了很多算法设计,虽然官方的文档在技术原理方面讨论的不太深,基本都是点到为止,但是使用者要想深入了解和学习,必须通过其他途径去深入。
拓展:Hadoop集成
最后再来了解一下Hadoop集成的好处,Hadoop集成最大的好处就是Elasticsearch通过构建Elasticsearch-Hadoop让数据存储以及查询变得很简单,主要就是通过映射Hadoop分离的输入数据,Spark的分区到ES的分片上解决分布式数据模型的问题,因为可以减少数据拷贝操作,大大提高性能,而且数据能够在同一台机器上,那是因为Elasticsearch-Hadoop让与Hadoop和Spark进行数据交互操作,这样防止了不必要的数据通过网络进行传输操作。
附录
Elasticsearch官网:https://www.elastic.co/cn/downloads/elasticsearch
最后
通过本文关于使用Elasticsearch来搭建搜索引擎的简单介绍,想必读者会有所收获,Elasticsearch 自从诞生以来,它应用的地方越来越广泛,特别是在大数据领域,功能也越来越强大,而且Elasticsearch成名很早,技术栈功能特点也很多,现在也很完善,基本上各种学习资料都有,但是要想系统学习就要多去实践操作,因为只停留在理论上只能是纸上谈兵,所以要借助理论知识培养系统思想,结合实际实践来提高实践能力,双管齐下才能真正掌握Elasticsearch的使用。由于现在越来越多的实际场景应用了Elasticsearch ,而且呈现剧增的趋势,Elasticsearch会越来越受欢迎,让我们一起期待Elasticsearch带来的新技术变革!
关键词: Elasticsearch Service ElasticsearchService Lucene/Solr Hadoop
-
今日最新!【ES三周年】通过Elasticsearch来搭建搜索引擎
Elasticsearch也简称为ES,其实就是一个实时搜索和分析引擎,它可以近乎实时的数据存储、检索与分析数据。ES是一个基于开源的可高扩展的分布式
-
环球视点!被和谐了啥意思_被和谐是什么意思
1、被和谐了的意思就是比较血腥比较暴露的都以别的形式代替了麻烦采纳。2、谢谢!。本文就为大家分享到这里,希望小伙伴们会
-
小米怎么煮粥_米脂油小米怎么煮粥
1、小米粥是一种以小米为主要原料制成的粥。它有淡淡的味道和清晰的香味。制作简单易行,具有健胃消食的特点。煮粥的时候一定要
-
天天头条:夫妻一方隐瞒债务必须双方承担么
对于夫妻一方隐瞒另一方的借款债务,如果债权人能够证明该笔债务用于夫妻共同生活了;或者用于一方从事生产经营活动,经营收入用于家庭生活或
-
当前快看:威帝股份董秘回复:你所说的问题,我们会反馈公司管理层!
威帝股份(603023)02月20日在投资者关系平台上答复了投资者关心的问题。
-
简讯:科目四快速记忆技巧_科目四快速记忆技巧图片
1、四个难的科目,不仅因为选择题,还因为错了五个以上。但是科目四的基础是科目一,考点内容都是一样的。科目一打下,科目四就
-
2月20日多元金融板块涨幅达2%_世界时快讯
2月20日13点47分,多元金融板块指数报560 006点,涨幅达2%,成交24 99亿元,换手率0 86%。板块个股中,涨幅最大的前5个股为:九鼎投资报16 42
-
焦点速讯:宣讲党的二十大精神
为深入学习宣传贯彻党的二十大精神,2月17日,海区凤凰岭街道邀请市
-
马云:简历 个人资料 新闻_马云个人资料 全球视点
1、身高体重未公开。2、刘雨欣,中国女演员,1988年03月13日出生于中国湖南衡阳市,毕业于中央戏剧学院。3、2009
-
全球百事通!参加全国大学生数学建模竞赛_参加全国大学生数学建模竞赛要怎么准备
1、现在很多理工科大学生经常能听到“数学建模竞赛”之类的信息。那么,什么是数学建模竞赛,如何参加数学建模竞赛以及相关注意
-
日本动画《刀剑神域》里面有一些关于数字生命探讨,我觉得挺有意思的|全球热门
【本文来自《郑戈:被放弃的数字生命计划,有研究的必要吗?》评论区,标题为小编添加】说到数字生命这概念,其实比较有意思的是
-
男气功100级武器选择_男气功100级武器选择攻略
1、点击打开小酱油,进入男气功点击发送,点击打开装备推荐,查看男气功100级武器选择推荐。2、点开小酱油3、单击发送。4
-
别犯晕!周一新股“金海通”,首日还有44%涨停吗?|全球独家
现在是2月19日周日晚上,下周将有11只新股开始申购,那周一开始申购的“金海通”这只主板新股,是核准制还是注册制呢?这关系到首日到底是44%
-
观热点:【央广网评】网聚奋跃而上的中国信心和澎湃动力
众人拾柴火焰高,同舟奋楫力更强。日前,“团结奋进新征程奋楫扬帆再出发”2023年网上重大主题宣传和重大议题设置正式启动,意在通过联合各方
-
【每日科普】男子半夜耳朵剧痛,自己却掏不出异物!原来是它在作怪!|环球观焦点
耳朵不舒服怎么办?很多人第一想到的是掏一掏!近日家住江苏常州的陈先生(化名)半夜睡得正香之时突然耳朵里出现一阵轻微撞击感睡意朦胧的他
-
沈阳今年将启动建设20处公共停车场!快看你家门口有没!
沈阳今年将启动建设20处公共停车场!快看你家门口有没!,停车位,天鹅湾,沈阳市,地下停车场,公共停车场
-
香港大学宣布禁用ChatGPT具体详细内容是什么|天天热点评
香港大学宣布禁用ChatGPT今天的热度非常高,现在也是在热搜榜上了,那么具体的香港大学宣布禁用ChatGPT是什么情况
-
全球焦点!孕妇能吃香瓜嘛?_孕妇吃香瓜可以吗
1、病情分析:孕妇可以吃哈密瓜。2、因为哈密瓜有解暑生津、止咳化痰的功效,而且口感好。3、此外,哈密瓜还有利尿作用,适合
-
实时:大显身手!字母哥晒出今日助教照片并配文:1-0
大显身手!字母哥晒出今日助教照片并配文:1-0,韦德,雄鹿队,名人赛,字母哥,阿德托昆博
-
彭博社:美国公司777考虑收购埃弗顿,拥有塞维、热那亚等球队-环球时讯
彭博社:美国公司777考虑收购埃弗顿,拥有塞维、热那亚等球队,英超,埃弗顿,彭博社,热那亚队,塞维利亚队,柏林赫塔队