Mcrouter 介绍 -- 来自 Facebook 的 memcached 协议路由器
suiw9 2024-12-17 16:12 22 浏览 0 评论
支持标准开源的memcached ASCII编码协议:支持memcahed协议的所有客户端无需做任何修改即可被mcrouter支持.只需要将mcrouter连接客户端和memcached盒子便能让其正常工作.
连接池:mcrouter能让客户端共享连接池,以减少连接个数
多种散列方法:mcrouter提供了一个行之有效的consistent hashing算法(furc_hash),算法允许给多个memcached实例分配哈希值。Hostname hashing再根据分配的哈希值为客户端选择一个独一无二的副本.在特定的应用中很有很多其他的有用的散列方法.
前缀路由:mcrouter可以根据key前缀把客户端分配到不同的memcahed池.比如,你可以把以”foo"为前缀的所有key分配到一个“foo"池,把以"bar"为前缀的所有key分配到另外一个"bar"池,其他的key都分配到"wildcard" 池.这是一种简单的均衡负载的方法.参照下图:
memcached池备份:在多个主机上保存一份相同数据的备份.做写错做时向所有的主机写入同一份数据,但是做读操作时只从客户端对应的缓存区读取一份数据.这样就可以处理由于主机数据的限制造成分片池不能处理的读出率的问题;而且还能增强数据的可用性(比如:由于故障自动转移,即使一份备份坏掉也不会影响其正常操作).
演示路径跟踪:在测试新缓存设备时,能够路由从客户端到缓存设备的所有可能路径是非常有用的. Mcrouter支持灵活的跟踪配置,通过重新哈希值范围跟踪测试不同大小的memcached池,或只跟踪哈希值范围的一部分,或在运行时动态修改跟踪环境.
热加载:mcrouter监控它所有的配置文件.一旦检测到任何配置文件被修改,mcrouter的一个后台线程将自动的重新加载,分析这些文件.在这个操作完成之后,mcrouter会根据新配置来处理新请求.这个过程对客户端而言是透明的.
灵活的路由方式: "路由句柄"是由小路由模块组合而成,这些路由模块公用一个接口(路由一个请求,返回一个回复),也可以自由组合.单个路由句柄更容易理解、创建和测试. 利用路由句柄创建复杂的逻辑.比如:名为"all-sync"路由句柄是由多个子句柄组成的, 它发送一个请求给所有的子句柄,只有在所有的子句柄发回回复时,"all-sync"才发回其中的一个回复. 还有其他的类似的例子:"all-async"(发送请求到所有的子句柄,但不会等待子句柄的回复), "all-majority"(舆论调查),"failover"(顺序的发送请求到每个子句柄直到收到一个无错误的回复). 通过"cold cached warmup"句柄能快速扩充一个memcached池(把旧的memcached服务器作为"暖缓存").
Destination心跳检测和自动故障转移: Mcrouter能够检测每个destination的心跳.一旦mcrouter将一个destination标记为无响应,它将直接将所有的请求转移到另一个可用的destination. 同时,后台形成将向无响应destination发送心跳请求,只要destination的心跳恢复正常,mcrouter将会重新启用这个destination."软错误"(比如:数据超时)允许连续发生多次,但是一旦发生"硬错误"(比如:拒绝连接)mcrouter立即将该destination标记为无响应. 不用说,这个过程对客户端完全是透明的.
自动填充新增缓存:mcrouter通过指定的"warm"缓存区主动填充新增的缓存区域的方式来消除新增缓存区造成的性能影响.
广播操作:通过在请求关键字里面增加一个特殊的前缀,能够很容易把请求备份到多个memcached池或者集群里面.
可靠的删除操作:在一个有求必应的缓冲区里,保证所有的删除操作都送到目的地是非常重要的.mcrouter将所有的删除操作都记录到硬盘上以防止由于网络中断或者原因导致destination不可访问.当连接修复之后,mcrouter将启动一个单独的进程异步的重新执行这些删除操作.这个过程对客户端是透明的,并且客户端接受到的操作结果通常是成功的.
支持多集群:mcrouter能通过的简单的配置管理大的多集群.单个配置通过命令行参数分发到所有的集群,mcrouter根据命令行参数的位置解释配置.
丰富的stats和debug命令:mcrouter通过"stats"命令导出很多的内部计数器(或者以JSON格式导出到文件系统).mcrouter提供自我调试命令,这种命令能够反应在运行时一个特定的请求被分配到哪一个主机.
保障服务质量:mcrouter允许以主机,池或者集群为单位设置任何请求(比如:get/set/delete)的速率的阀值,当请求个数超过阀值,剩下的请求将会被拒绝. 同事也支持限制请求的速度以减缓请求的发送速度.
分割数据块:当传入的数据超过memcached slab的大小,mcrouter能根据slab的大小自动分割或重组数据块.
多级缓存:mcrouter支持本地/远程缓存设置.请求数据时先从本地缓存区查找,如果在本地缓存区查找失败再从远程缓存区查找,如果在远程缓存区找到该数据,mcrouter会自动的将数据缓存到本地缓存区.
支持IPv6:在Facebook,mcrouter支持IPv6. 同样,在Faceboo局域网以外的地方,mcrouter也支持IPv6.
支持SSL:mcrouter就支持双向SSL(输入或者输出),只要客户端或者目标主机其中的一方支持SSL即可。串联多个mcrouter, 在两两mcrouter之间的连接支持SSL也是可能的.
多线程架构:mcrouter通过一个内核一个线程的方式充分利用多核系统的优势.
相关推荐
- 看完这一篇数据仓库干货,终于搞懂什么是hive了
-
一、Hive定义Hive最早来源于FaceBook,因为FaceBook网站每天产生海量的结构化日志数据,为了对这些数据进行管理,并且因为机器学习的需求,产生了Hive这们技术,并继续发展成为一个成...
- 真正让你明白Hive参数调优系列1:控制map个数与性能调优参数
-
本系列几章系统地介绍了开发中Hive常见的用户配置属性(有时称为参数,变量或选项),并说明了哪些版本引入了哪些属性,常见有哪些属性的使用,哪些属性可以进行Hive调优,以及如何使用的问题。以及日常Hi...
- HIVE SQL基础语法(hive sql是什么)
-
引言与关系型数据库的SQL略有不同,但支持了绝大多数的语句如DDL、DML以及常见的聚合函数、连接查询、条件查询。HIVE不适合用于联机事务处理,也不提供实时查询功能。它最适合应用在基于大量不可变数据...
- [干货]Hive与Spark sql整合并测试效率
-
在目前的大数据架构中hive是用来做离线数据分析的,而在Spark1.4版本中spark加入了sparksql,我们知道spark的优势是速度快,那么到底sparksql会比hive...
- Hive 常用的函数(hive 数学函数)
-
一、Hive函数概述及分类标准概述Hive内建了不少函数,用于满足用户不同使用需求,提高SQL编写效率:...
- 数仓/数开面试题真题总结(二)(数仓面试时应该讲些什么)
-
二.Hive...
- Tomcat处理HTTP请求流程解析(tomcat 处理请求过程)
-
1、一个简单的HTTP服务器在Web应用中,浏览器请求一个URL,服务器就把生成的HTML网页发送给浏览器,而浏览器和服务器之间的传输协议是HTTP,那么接下来我们看下如何用Java来实现一个简单...
- Python 高级编程之网络编程 Socket(六)
-
一、概述Python网络编程是指使用Python语言编写的网络应用程序。这种编程涉及到网络通信、套接字编程、协议解析等多种方面的知识。...
- [904]ScalersTalk成长会Python小组第20周学习笔记
-
Scalers点评:在2015年,ScalersTalk成长会Python小组完成了《Python核心编程》第1轮的学习。到2016年,我们开始第二轮的学习,并且将重点放在章节的习题上。Python小...
- 「web开发」几款http请求测试工具
-
curl命令CURL(CommandLineUniformResourceLocator),是一个利用URL语法,在命令行终端下使用的网络请求工具,支持HTTP、HTTPS、FTP等协议...
- Mac 基于HTTP方式访问下载共享文件,配置共享服务器
-
方法一:使用Python的SimpleHTTPServer进行局域网文件共享Mac自带Python,所以不需要安装其他软件,一条命令即可...
- 使用curl进行http高并发访问(php curl 大量并发获得结果)
-
本文主要介绍curl异步接口的使用方式,以及获取高性能的一些思路和实践。同时假设读者已经熟悉并且使用过同步接口。1.curl接口基本介绍curl一共有三种接口:EasyInterface...
- Django 中的 HttpResponse理解和用法-基础篇1
-
思路是方向,代码是时间,知识需积累,经验需摸索。希望对大家有用,有错误还望指出。...
你 发表评论:
欢迎- 一周热门
-
-
Linux:Ubuntu22.04上安装python3.11,简单易上手
-
宝马阿布达比分公司推出独特M4升级套件,整套升级约在20万
-
MATLAB中图片保存的五种方法(一)(matlab中保存图片命令)
-
别再傻傻搞不清楚Workstation Player和Workstation Pro的区别了
-
如何提取、修改、强刷A卡bios a卡刷bios工具
-
Linux上使用tinyproxy快速搭建HTTP/HTTPS代理器
-
Element Plus 的 Dialog 组件实现点击遮罩层不关闭对话框
-
日本组合“岚”将于2020年12月31日停止团体活动
-
SpringCloud OpenFeign 使用 okhttp 发送 HTTP 请求与 HTTP/2 探索
-
MacOS + AList + 访达,让各种云盘挂载到本地(建议收藏)
-
- 最近发表
- 标签列表
-
- dialog.js (57)
- importnew (44)
- windows93网页版 (44)
- yii2框架的优缺点 (45)
- tinyeditor (45)
- qt5.5 (60)
- windowsserver2016镜像下载 (52)
- okhttputils (51)
- android-gif-drawable (53)
- 时间轴插件 (56)
- docker systemd (65)
- slider.js (47)
- android webview缓存 (46)
- pagination.js (59)
- loadjs (62)
- openssl1.0.2 (48)
- velocity模板引擎 (48)
- pcre library (47)
- zabbix微信报警脚本 (63)
- jnetpcap (49)
- pdfrenderer (43)
- fastutil (48)
- uinavigationcontroller (53)
- bitbucket.org (44)
- python websocket-client (47)