Elasticsearch节点角色配置详解(Node)
suiw9 2025-03-19 16:36 4 浏览 0 评论
本篇文章将介绍如下内容:
- 节点角色简介
- 配置节点角色
- 使用命令查看节点角色
- 改变一个节点的角色
- 数据存储目录配置
本文基于Elasticsearch 7.10版本!
任何时刻启动一个Elasticsearch实例,我们就是在启动一个节点,多个节点的集合被称为集群。如果你运行着一个Elasticsearch节点,那就意味着你拥有一个只有一个节点的集群。
默认情况下,集群中的每个节点都支持HTTP(外部访问)和Transport(节点间)通信,Transport专门用于节点间通信,HTTP被用作REST客户端访问。
在集群中,每个节点都保存了其他节点的路由信息,因此每个节点都可以将搜索和索引请求转发到正确的节点上,进行数据的读写。
默认情况下,所有节点都拥有以下角色,主候选节点、数据节点、摄取节点、机器学习节点,所有的数据节点也是转换节点。
随着集群数据量的增长,如果你拥有大量的机器学习任务或者连续的数据转换任务,需要把主候选节点同数据节点、机器学习节点、转换节点分离开来,以免相互影响,造成集群不可用。
1、节点的角色介绍
可以通过node.roles属性,定义一个节点的角色,如果不配置,节点默认拥有以下所有的角色。
- master
- data
- data_content
- data_hot
- data_warm
- data_cold
- ingest
- ml
- remote_cluster_client
如果配置了node.roles,节点就只拥有配置的角色。
(1)Master-eligible node:候选主节点,具有管理角色的节点,该节点有资格被选为可以管理集群的主节点
(2)Data node:数据节点,存储数据,并且可以执行CRUD、搜索、聚合等请求。
(3)Ingest node:摄取节点,可以对文档进行转换和丰富,如果对集群来讲摄取操作负载较重,应该将摄取节点同master、data节点分开。
(4)Remote-eligible node:远程资格节点,如果有多个集群,可以使用此节点进行跨集群的数据访问。
(5)Machine learning node:机器学习节点,机器学习功能至少需要一个节点,
(6)Transform node:转换节点,如果想使用转换功能,使用此功能集群至少需要一个节点。
(7)Coordinating node:所有节点都是协调节点,不可以禁用,负责处理搜索和索引请求。对于搜索来讲,协调节点分成两个步骤去执行命令,第一步将请求分发给合适的节点查询数据,第二步对所有节点返回的数据进行汇总,并响应结果。
2、配置节点角色
(1)Master-eligible node:候选主节点,master节点的职责是创建索引、删除索引、监控集群中的所有节点、决定分片应当分配到哪一个节点上,拥有一个稳定的主节点对集群非常重要。候选主节点可以通过节点选举过程被选举为主节点。主节点最好是专用的,不和其他角色共用,以免其他的操作对master节点负载造成影响,导致集群不可用。下面的配置可以设置一个专用的主节点
node.roles: [ master ]
(2)Voting-only master-eligible node:只投票候选主节点。此节点虽然是候选主节点,但是不发起选举,别的节点发起选举时,它负责投票。可以使用下面的参数配置一个只投票的候选主节点
node.roles: [ data, master, voting_only ]
高可用的集群至少需要三个候选master节点,其中至少两个拥有选举功能,这样的集群即使有一个节点不可用也可以正常选举出master节点。投票节点不被选为maser节点,对服务器的配置要求不高;但是maser节点和投票节点需要定时的同步集群信息,所有对网络通信延迟要求很高。
(3)Data node:数据节点,存储了集群中所有分片的文档数据,处理CRUD、搜索和聚合操作。数据节点是IO、内存、CPU密集型节点,当节点负载过高时,需要及时扩展数据节点。下面是专用数据节点的配置
node.roles: [ data ]
可以对数据节点再做细分,分为data_content,data_hot, data_warm, or data_cold,四种角色,一个节点可以拥有多个此种角色,下面详细介绍这四种节点。
(4)data_content :内容数据节点,用于创建用户存储的内容,支持CRUD、搜索和聚合操作,配置如下
node.roles: [ data_content ]
(12)data_hot :热数据节点,存储热点数据,需要服务器拥有很高的读写性能,一般需要配置SSD硬件资源。使用下面的命令,配置一个热数据节点
node.roles: [ data_hot ]
(5)data_warm :温和数据节点,存储的数据不经常被更新,但是还是会经常查询,查询频率小于热点数据,可以使用较差的磁盘。
node.roles: [ data_warm ]
(6)data_cold :冷数据节点,存储只读数据,访问频率较低,
node.roles: [ data_cold ]
(7)ingest:摄取节点,可以对文档进行转换和丰富,如果对集群来讲摄取操作负载较重,应该将摄取节点同master、data节点分开。
node.roles: [ ingest ]
(8)协调节点:使用专用的协调节点,可以使规模较大的集群从中受益,但是协调节点的数量过多,会增加集群的负担,在集群数据量不大的情况下,可以使用数据节点来充当协调节点。当所有角色都不配置,该节点为专用协调节点。
node.roles: [ ]
(9)remote_cluster_client :默认情况下,任何节点都可以作为垮集群访问节点,使用此节点不仅可以垮集群检索,还可以跨集群同步数据。
node.roles: [ remote_cluster_client ]
(10)机器学习节点:执行机器学习任务和处理机器学习API请求
node.roles: [ ml ] xpack.ml.enabled: true
(11)转换节点:对索引数据进行转换,从源索引拷贝数据,然后转换数据,比如做一些过滤等操作,然后持久化数据至另一个索引。
node.roles: [ transform ]
3、使用下面的命令查看节点角色
(1)查看所有节点信息
curl -X GET "localhost:9200/_cat/nodes?v"
- c (cold node)
- d (data node)
- h (hot node)
- i (ingest node)
- l (machine learning node)
- m (master-eligible node)
- r (remote cluster client node)
- s (content node)
- t (transform node)
- w (warm node)
master项为*,表示是主节点,-的话表示候选主节点
(2)使用命令指定节点角色,然后重启节点
./bin/elasticsearch -Enode.roles=data,master,ingest
(3)再次使用命令验证下节点角色
curl -X GET "localhost:9200/_cat/nodes?v"
4、改变节点角色
(1)每个数据节点都维护着以下的数据:
- 分配到当前节点的分片数据
- 分配到当前节点的索引元数据
- 集群范围内的元数据,比如settings 和索引模板数据
(2)每个master节点维护着以下的数据:
- 集群中所有节点的索引信息
- 集群范围内的元数据,比如settings 和索引模板数据
在启动的时候,每个节点会检查自己的数据文件。如果发现数据文件和自己角色不匹配,节点拒绝启动。更准确地说,非数据节点,发现自己的节点上有分片数据,则拒绝启动;即不是数据节点也不是主节点,如果发现索引的元数据配置也会决绝启动。
可以通过修改节点角色,然后重启节点,来改变节点的角色,但是在重启之前要做一些预处理:
- 如果想重新使用数据节点,并且删除其数据角色,则需要使用分片分配过滤,把节点上的分片数据安全迁移至集群中的其他节点上,然后再修改节点角色,重启节点。
- 如果你想将一个节点重新定义成一个即不具有数据角色,也不具有主角色的节点。最简单的方式就是启动一个具有空数据路径的全新节点。当然了,最安全的,还是要使用分片分配过滤,把节点上的分片全部迁移至其他节点上。
如果,按照上面的步骤无法完成角色变更,可以使用elasticsearch-node repurpose工具,删除多余的数据,然后重试。
5、数据存储目录配置
默认情况下的数据是存储在$ES_HOME/data目录下,但是也可以通过下面的配置修改其存储目录。
path.data: /var/elasticsearch/data
如果文章对您有帮助,欢迎关注、点赞、留言,我会持续更新Elasticsearch技术相关文章,和大家一起学习进步!
相关推荐
- 5款Syslog集中系统日志常用工具对比推荐
-
一、为何要集中管理Syslog?Syslog由Linux/Unix系统及其他网络设备生成,广泛分布于整个网络。因其包含关键信息,可用于识别网络中的恶意活动,所以必须对其进行持续监控。将Sys...
- 跨平台、多数据库支持的开源数据库管理工具——DBeaver
-
简介今天给大家推荐一个开源的数据库管理工具——DBeaver。它支持多种数据库系统,包括Mysql、Oracle、PostgreSQL、SLQLite、SQLServer等。DBeaver的界面友好...
- 强烈推荐!数据库管理工具:Navicat Premium 16.3.2 (64位)
-
NavicatPremium,一款集数据迁移、数据库管理、SQL/查询编辑、智能设计、高效协作于一体的全能数据库开发工具。无论你是MySQL、MariaDB、MongoDB、SQLServer、O...
- 3 年 Java 程序员还玩不转 MongoDB,网友:失望
-
一、什么场景使用MongoDB?...
- 拯救MongoDB管理员的GUI工具大赏:从菜鸟到极客的生存指南
-
作为一名在NoSQL丛林中披荆斩棘的数据猎人,没有比GUI工具更称手的瑞士军刀了。本文将带你围观五款主流MongoDB管理神器的特性与暗坑,附赠精准到扎心的吐槽指南一、MongoDBCompass:...
- mongodb/redis/neo4j 如何自己打造一个 web 数据库可视化客户端?
-
前言最近在做neo4j相关的同步处理,因为产线的可视化工具短暂不可用,发现写起来各种脚本非常麻烦。...
- solidworks使用心得,纯干货!建议大家收藏
-
SolidWorks常见问题...
- 统一规约-关乎数字化的真正实现(规范统一性)
-
尽管数字化转型的浪潮如此深入人心,但是,对于OPCUA和TSN的了解却又甚少,这难免让人质疑其可实现性,因为,如果缺乏统一的语义互操作规范,以及更为具有广泛适用的网络与通信,则数字化实际上几乎难以具...
- Elasticsearch节点角色配置详解(Node)
-
本篇文章将介绍如下内容:节点角色简介...
- 产前母婴用品分享 篇一:我的母婴购物清单及单品推荐
-
作者:DaisyH8746在张大妈上已经混迹很久了,有事没事看看“什么值得买”已渐渐成了一种生活习惯,然而却从来没有想过自己要写篇文章发布上来,直到由于我产前功课做得“太过认真”(认真到都有点过了,...
- 比任何人都光彩照人的假期!水润、紧致的肌肤护理程序
-
图片来源:谜尚愉快的假期临近了。身心振奋的休假季节。但是不能因为这种心情而失去珍贵的东西,那就是皮肤健康。炙热的阳光和强烈的紫外线是使我们皮肤老化的主犯。因此,如果怀着快乐的心情对皮肤置之不理,就会使...
- Arm发布Armv9边缘AI计算平台,支持运行超10亿参数端侧AI模型
-
中关村在线2月27日消息,Arm正式发布Armv9边缘人工智能(AI)计算平台。据悉,该平台以全新的ArmCortex-A320CPU和领先的边缘AI加速器ArmEthos-U85NPU为核心...
- 柔性——面向大规模定制生产的数字化实现的基本特征
-
大规模定制生产模式的核心是柔性,尤其是体现在其对定制的要求方面。既然是定制,并且是大规模的定制,对于制造系统的柔性以及借助于数字化手段实现的柔性,就提出了更高的要求。面向大规模定制生产的数字化业务管控...
- 创建PLC内部标准——企业前进的道路
-
作者:FrankBurger...
- 标准化编程之 ----------- 西门子LPMLV30测试总结
-
PackML乃是由OMAC开发且被ISA所采用的自动化标准TR88.00.02,能够更为便捷地传输与检索一致的机器数据。PackML的主要宗旨在于于整个工厂车间倡导通用的“外观和感觉”,...
你 发表评论:
欢迎- 一周热门
-
-
Linux:Ubuntu22.04上安装python3.11,简单易上手
-
宝马阿布达比分公司推出独特M4升级套件,整套升级约在20万
-
MATLAB中图片保存的五种方法(一)(matlab中保存图片命令)
-
别再傻傻搞不清楚Workstation Player和Workstation Pro的区别了
-
Linux上使用tinyproxy快速搭建HTTP/HTTPS代理器
-
如何提取、修改、强刷A卡bios a卡刷bios工具
-
Element Plus 的 Dialog 组件实现点击遮罩层不关闭对话框
-
日本组合“岚”将于2020年12月31日停止团体活动
-
SpringCloud OpenFeign 使用 okhttp 发送 HTTP 请求与 HTTP/2 探索
-
tinymce 号称富文本编辑器世界第一,大家同意么?
-
- 最近发表
-
- 5款Syslog集中系统日志常用工具对比推荐
- 跨平台、多数据库支持的开源数据库管理工具——DBeaver
- 强烈推荐!数据库管理工具:Navicat Premium 16.3.2 (64位)
- 3 年 Java 程序员还玩不转 MongoDB,网友:失望
- 拯救MongoDB管理员的GUI工具大赏:从菜鸟到极客的生存指南
- mongodb/redis/neo4j 如何自己打造一个 web 数据库可视化客户端?
- solidworks使用心得,纯干货!建议大家收藏
- 统一规约-关乎数字化的真正实现(规范统一性)
- Elasticsearch节点角色配置详解(Node)
- 产前母婴用品分享 篇一:我的母婴购物清单及单品推荐
- 标签列表
-
- dialog.js (57)
- importnew (44)
- windows93网页版 (44)
- yii2框架的优缺点 (45)
- tinyeditor (45)
- qt5.5 (60)
- windowsserver2016镜像下载 (52)
- okhttputils (51)
- android-gif-drawable (53)
- 时间轴插件 (56)
- docker systemd (65)
- slider.js (47)
- android webview缓存 (46)
- pagination.js (59)
- loadjs (62)
- openssl1.0.2 (48)
- velocity模板引擎 (48)
- pcre library (47)
- zabbix微信报警脚本 (63)
- jnetpcap (49)
- pdfrenderer (43)
- fastutil (48)
- uinavigationcontroller (53)
- bitbucket.org (44)
- python websocket-client (47)