个人技术分享

Springboot项目ES报异常query_shard_exception

而参数brandId是List类型，允许传入多个值，因此使用termQuery是错误的，它只能传入一个值，很明显是这里调错方法了,多个值的集合、数组，应该使用termsQuery方法，把方法调整过来就不报错了。从caused_by找出导致异常的根本原因，For input string:\"|""。因为查询参数中传入了数组，再查看项目中构建DSL语句，终于找到异常爆发的原因了，

数据库面试题-ElasticSearch

TF-IDF（Term Frequency - lnverse Document Frequency）是一种用于评估词语在文档集中的重要性的统计方法。它通过计算词频（TF）和逆文档频率（IDF）的乘积来工作。词频指一个词在文档中出现的次数，而逆文档频率是用来衡量一个词是否常见或是稀有的度量，计算方法是文档集中文档总数除以包含该词的文档数的对数。TF-IDF值越高，表示词在文档中越重要。

微服务SpringCloud ES分布式全文搜索引擎简介 下载安装及简单操作入门

分布式全文搜索引擎我们天天在用ES搜索的时候要与多个信息进行匹配查找然后返回给用户首先ES会将数据库中的信息先进行一个拆分这个叫做分词是按照词语关键词拆的然后就能进行搜索的时候匹配对应的id每一个关键字对应若干id每一个id对应数据然后搜索的时候展示简化版数据点击简化版数据反映全部信息属于的是全文搜索在数据库中有索引在ES中也有索引但是根据关键字查ID 再由ID查数据这个在全文搜索里叫倒排索引倒排索引是怎么出现的呢是根据创建文档 出现一个一个的库。

ElasticSearch的桶聚合

在前面几篇博客中介绍的聚合指标是指符合条件的文档字段的聚合，有时还需要根据某些维度进行聚合。例如在搜索酒店时，按照城市、是否满房、标签和创建时间等维度统计酒店的平均价格。这些字段统称为“桶”，在同一维度内有一个或者多个桶。例如城市桶，有“北京”、“天津”等，是否满房桶，有“满房”和“非满房”。

腾讯云大数据ES Serverless

Elasticsearch：日志和搜索场景首选解决方案。技术特点：分布式、全文搜索和数据分析引擎，可以对海量数据进行地ES的技术栈一共包含四个组件：其中最核心的是Elasticsearch，可用于数据的存储与检索。在数据采集层面，我们可以使用Beats组件，采集之后通过Logstash进行加工，然后存储到Elasticsearch中，最后我们可以在Kibana中进行数据的可视化与分析。除了开源属性外，ES也支持商业特性X-Pack,包含安全、机器学习等能力。

ElasticSearch全文搜索引擎

​ Lucene是apache下的一个开源的全文检索引擎工具包(一堆jar包)。它为软件开发人员提供一个简单易用的工具包（类库），以方便的在小型目标系统中实现全文检索的功能。Lucene适用于中小型项目 ，ES适用于中大型项目（它底层是基于lucene实现的）​ 虽然全文搜索领域，Lucene可以被认为是迄今为止最先进、性能最好的、功能最全的搜索引擎库。但是，Lucene只是一个库。

ES的高可用

因为主分片（primary shard） 和副本分片（replica shard） 不能分布在同一个节点，这样即使当一个节点失败导致分片数据丢失，还可以从另一个节点上的分片来恢复数据。1）建议节点专用，每个节点使用专用的角色。1）2个高配置的节点：分配data,master等主要角色，不能配置voting_only角色；2）1个低配置节点：分配voting_only角色（只用于选主时进行投票，不接受业务请求）不要只配置其中的1个节点，而应该使用类似负载均衡将请求分发到两个节点上。

ElasticSearch全文搜索引擎

​ Lucene是apache下的一个开源的全文检索引擎工具包(一堆jar包)。它为软件开发人员提供一个简单易用的工具包（类库），以方便的在小型目标系统中实现全文检索的功能。Lucene适用于中小型项目 ，ES适用于中大型项目（它底层是基于lucene实现的）​ 虽然全文搜索领域，Lucene可以被认为是迄今为止最先进、性能最好的、功能最全的搜索引擎库。但是，Lucene只是一个库。