百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术教程 > 正文

Elasticsearch节点角色配置详解(Node)

suiw9 2025-03-19 16:36 4 浏览 0 评论

本篇文章将介绍如下内容:

  • 节点角色简介
  • 配置节点角色
  • 使用命令查看节点角色
  • 改变一个节点的角色
  • 数据存储目录配置


本文基于Elasticsearch 7.10版本!


任何时刻启动一个Elasticsearch实例,我们就是在启动一个节点,多个节点的集合被称为集群。如果你运行着一个Elasticsearch节点,那就意味着你拥有一个只有一个节点的集群。

默认情况下,集群中的每个节点都支持HTTP(外部访问)和Transport(节点间)通信,Transport专门用于节点间通信,HTTP被用作REST客户端访问。

在集群中,每个节点都保存了其他节点的路由信息,因此每个节点都可以将搜索和索引请求转发到正确的节点上,进行数据的读写。

默认情况下,所有节点都拥有以下角色,主候选节点、数据节点、摄取节点、机器学习节点,所有的数据节点也是转换节点。

随着集群数据量的增长,如果你拥有大量的机器学习任务或者连续的数据转换任务,需要把主候选节点同数据节点、机器学习节点、转换节点分离开来,以免相互影响,造成集群不可用。


1、节点的角色介绍

可以通过node.roles属性,定义一个节点的角色,如果不配置,节点默认拥有以下所有的角色。

  • master
  • data
  • data_content
  • data_hot
  • data_warm
  • data_cold
  • ingest
  • ml
  • remote_cluster_client

如果配置了node.roles,节点就只拥有配置的角色。

(1)Master-eligible node:候选主节点,具有管理角色的节点,该节点有资格被选为可以管理集群的主节点

(2)Data node:数据节点,存储数据,并且可以执行CRUD、搜索、聚合等请求。

(3)Ingest node:摄取节点,可以对文档进行转换和丰富,如果对集群来讲摄取操作负载较重,应该将摄取节点同master、data节点分开。

(4)Remote-eligible node:远程资格节点,如果有多个集群,可以使用此节点进行跨集群的数据访问。

(5)Machine learning node:机器学习节点,机器学习功能至少需要一个节点,

(6)Transform node:转换节点,如果想使用转换功能,使用此功能集群至少需要一个节点。

(7)Coordinating node:所有节点都是协调节点,不可以禁用,负责处理搜索和索引请求。对于搜索来讲,协调节点分成两个步骤去执行命令,第一步将请求分发给合适的节点查询数据,第二步对所有节点返回的数据进行汇总,并响应结果。


2、配置节点角色

(1)Master-eligible node:候选主节点,master节点的职责是创建索引、删除索引、监控集群中的所有节点、决定分片应当分配到哪一个节点上,拥有一个稳定的主节点对集群非常重要。候选主节点可以通过节点选举过程被选举为主节点。主节点最好是专用的,不和其他角色共用,以免其他的操作对master节点负载造成影响,导致集群不可用。下面的配置可以设置一个专用的主节点

node.roles: [ master ]

(2)Voting-only master-eligible node:只投票候选主节点。此节点虽然是候选主节点,但是不发起选举,别的节点发起选举时,它负责投票。可以使用下面的参数配置一个只投票的候选主节点

node.roles: [ data, master, voting_only ]

高可用的集群至少需要三个候选master节点,其中至少两个拥有选举功能,这样的集群即使有一个节点不可用也可以正常选举出master节点。投票节点不被选为maser节点,对服务器的配置要求不高;但是maser节点和投票节点需要定时的同步集群信息,所有对网络通信延迟要求很高。

(3)Data node:数据节点,存储了集群中所有分片的文档数据,处理CRUD、搜索和聚合操作。数据节点是IO、内存、CPU密集型节点,当节点负载过高时,需要及时扩展数据节点。下面是专用数据节点的配置

node.roles: [ data ]

可以对数据节点再做细分,分为data_content,data_hot, data_warm, or data_cold,四种角色,一个节点可以拥有多个此种角色,下面详细介绍这四种节点。

(4)data_content :内容数据节点,用于创建用户存储的内容,支持CRUD、搜索和聚合操作,配置如下

node.roles: [ data_content ]

(12)data_hot :热数据节点,存储热点数据,需要服务器拥有很高的读写性能,一般需要配置SSD硬件资源。使用下面的命令,配置一个热数据节点

node.roles: [ data_hot ]

(5)data_warm :温和数据节点,存储的数据不经常被更新,但是还是会经常查询,查询频率小于热点数据,可以使用较差的磁盘。

node.roles: [ data_warm ]

(6)data_cold :冷数据节点,存储只读数据,访问频率较低,

node.roles: [ data_cold ]

(7)ingest:摄取节点,可以对文档进行转换和丰富,如果对集群来讲摄取操作负载较重,应该将摄取节点同master、data节点分开。

node.roles: [ ingest ]

(8)协调节点:使用专用的协调节点,可以使规模较大的集群从中受益,但是协调节点的数量过多,会增加集群的负担,在集群数据量不大的情况下,可以使用数据节点来充当协调节点。当所有角色都不配置,该节点为专用协调节点。

node.roles: [ ]

(9)remote_cluster_client :默认情况下,任何节点都可以作为垮集群访问节点,使用此节点不仅可以垮集群检索,还可以跨集群同步数据。

node.roles: [ remote_cluster_client ]

(10)机器学习节点:执行机器学习任务和处理机器学习API请求

node.roles: [ ml ] xpack.ml.enabled: true

(11)转换节点:对索引数据进行转换,从源索引拷贝数据,然后转换数据,比如做一些过滤等操作,然后持久化数据至另一个索引。

node.roles: [ transform ]


3、使用下面的命令查看节点角色

(1)查看所有节点信息

curl -X GET "localhost:9200/_cat/nodes?v"
  • c (cold node)
  • d (data node)
  • h (hot node)
  • i (ingest node)
  • l (machine learning node)
  • m (master-eligible node)
  • r (remote cluster client node)
  • s (content node)
  • t (transform node)
  • w (warm node)

master项为*,表示是主节点,-的话表示候选主节点

(2)使用命令指定节点角色,然后重启节点

./bin/elasticsearch -Enode.roles=data,master,ingest

(3)再次使用命令验证下节点角色

curl -X GET "localhost:9200/_cat/nodes?v"


4、改变节点角色

(1)每个数据节点都维护着以下的数据:

  • 分配到当前节点的分片数据
  • 分配到当前节点的索引元数据
  • 集群范围内的元数据,比如settings 和索引模板数据

(2)每个master节点维护着以下的数据:

  • 集群中所有节点的索引信息
  • 集群范围内的元数据,比如settings 和索引模板数据


在启动的时候,每个节点会检查自己的数据文件。如果发现数据文件和自己角色不匹配,节点拒绝启动。更准确地说,非数据节点,发现自己的节点上有分片数据,则拒绝启动;即不是数据节点也不是主节点,如果发现索引的元数据配置也会决绝启动。

可以通过修改节点角色,然后重启节点,来改变节点的角色,但是在重启之前要做一些预处理:

  • 如果想重新使用数据节点,并且删除其数据角色,则需要使用分片分配过滤,把节点上的分片数据安全迁移至集群中的其他节点上,然后再修改节点角色,重启节点。
  • 如果你想将一个节点重新定义成一个即不具有数据角色,也不具有主角色的节点。最简单的方式就是启动一个具有空数据路径的全新节点。当然了,最安全的,还是要使用分片分配过滤,把节点上的分片全部迁移至其他节点上。

如果,按照上面的步骤无法完成角色变更,可以使用elasticsearch-node repurpose工具,删除多余的数据,然后重试。


5、数据存储目录配置

默认情况下的数据是存储在$ES_HOME/data目录下,但是也可以通过下面的配置修改其存储目录。

path.data: /var/elasticsearch/data


如果文章对您有帮助,欢迎关注、点赞、留言,我会持续更新Elasticsearch技术相关文章,和大家一起学习进步!

相关推荐

5款Syslog集中系统日志常用工具对比推荐

一、为何要集中管理Syslog?Syslog由Linux/Unix系统及其他网络设备生成,广泛分布于整个网络。因其包含关键信息,可用于识别网络中的恶意活动,所以必须对其进行持续监控。将Sys...

跨平台、多数据库支持的开源数据库管理工具——DBeaver

简介今天给大家推荐一个开源的数据库管理工具——DBeaver。它支持多种数据库系统,包括Mysql、Oracle、PostgreSQL、SLQLite、SQLServer等。DBeaver的界面友好...

强烈推荐!数据库管理工具:Navicat Premium 16.3.2 (64位)

NavicatPremium,一款集数据迁移、数据库管理、SQL/查询编辑、智能设计、高效协作于一体的全能数据库开发工具。无论你是MySQL、MariaDB、MongoDB、SQLServer、O...

3 年 Java 程序员还玩不转 MongoDB,网友:失望

一、什么场景使用MongoDB?...

拯救MongoDB管理员的GUI工具大赏:从菜鸟到极客的生存指南

作为一名在NoSQL丛林中披荆斩棘的数据猎人,没有比GUI工具更称手的瑞士军刀了。本文将带你围观五款主流MongoDB管理神器的特性与暗坑,附赠精准到扎心的吐槽指南一、MongoDBCompass:...

mongodb/redis/neo4j 如何自己打造一个 web 数据库可视化客户端?

前言最近在做neo4j相关的同步处理,因为产线的可视化工具短暂不可用,发现写起来各种脚本非常麻烦。...

solidworks使用心得,纯干货!建议大家收藏

SolidWorks常见问题...

统一规约-关乎数字化的真正实现(规范统一性)

尽管数字化转型的浪潮如此深入人心,但是,对于OPCUA和TSN的了解却又甚少,这难免让人质疑其可实现性,因为,如果缺乏统一的语义互操作规范,以及更为具有广泛适用的网络与通信,则数字化实际上几乎难以具...

Elasticsearch节点角色配置详解(Node)

本篇文章将介绍如下内容:节点角色简介...

产前母婴用品分享 篇一:我的母婴购物清单及单品推荐

作者:DaisyH8746在张大妈上已经混迹很久了,有事没事看看“什么值得买”已渐渐成了一种生活习惯,然而却从来没有想过自己要写篇文章发布上来,直到由于我产前功课做得“太过认真”(认真到都有点过了,...

比任何人都光彩照人的假期!水润、紧致的肌肤护理程序

图片来源:谜尚愉快的假期临近了。身心振奋的休假季节。但是不能因为这种心情而失去珍贵的东西,那就是皮肤健康。炙热的阳光和强烈的紫外线是使我们皮肤老化的主犯。因此,如果怀着快乐的心情对皮肤置之不理,就会使...

Arm发布Armv9边缘AI计算平台,支持运行超10亿参数端侧AI模型

中关村在线2月27日消息,Arm正式发布Armv9边缘人工智能(AI)计算平台。据悉,该平台以全新的ArmCortex-A320CPU和领先的边缘AI加速器ArmEthos-U85NPU为核心...

柔性——面向大规模定制生产的数字化实现的基本特征

大规模定制生产模式的核心是柔性,尤其是体现在其对定制的要求方面。既然是定制,并且是大规模的定制,对于制造系统的柔性以及借助于数字化手段实现的柔性,就提出了更高的要求。面向大规模定制生产的数字化业务管控...

创建PLC内部标准——企业前进的道路

作者:FrankBurger...

标准化编程之 ----------- 西门子LPMLV30测试总结

PackML乃是由OMAC开发且被ISA所采用的自动化标准TR88.00.02,能够更为便捷地传输与检索一致的机器数据。PackML的主要宗旨在于于整个工厂车间倡导通用的“外观和感觉”,...

取消回复欢迎 发表评论: