【OkHttp源码分析】解决OkHttp并发瓶颈的问题
suiw9 2024-10-29 16:41 47 浏览 0 评论
OkHttp作为常用的网络通讯组件,其中大部分的功能点需要我们深入了解,本系列的文章将以源码角度解析组件背后的运行原理,避免踩坑。
本篇幅通过源码角度解释一些使用不当导致的”血案“。
Okhttp使用连接池复用连接,在HTTP1.1的版本复用的连接尤为重要,它避免了每次创建TCP连接的开销。
如果你不熟悉Okhttp的连接池,在大量请求的情况下,它会拖慢你的性能,严重时会导致一段时间机器无端口个可用。
一、先看现象,线上请求并发量上来后,大量的端口TIME_WAIT。请求创建连接无法申请到端口,等待操作系统释放端口(net.ipv4.tcp_fin_timeout 默认60s)。
捕获到大量异常:Cannot assign requested address
排查过程:
- 通过 netstat | grep 'WAIT' |wc -l 观察占用端口状态,发现占用的端口大于2个。
- 查看系统端口回收时间 /sbin/sysctl -a | grep 'fin'
- 通过调整 操作系统回收端口时间net.ipv4.tcp_fin_timeout=30,问题明显改善。
二、怀疑okhttp每次请求都是短链接,所以我们review一下代码
第一我们的请求带有keep-alive头
request.newBuilder().addHeader("Connection", "keep-alive")
第二Okhttp默认会加上Keep-Alive,使用长链接,这段代码在【BridgeInterceptor.kt】
class BridgeInterceptor(private val cookieJar: CookieJar) : Interceptor {
override fun intercept(chain: Interceptor.Chain): Response {
// 省略部分代码
if (userRequest.header("Connection") == null) {
requestBuilder.header("Connection", "Keep-Alive")
}
// 省略部分代码
}
}
三、通过tcpdump+WireShark观察线上流量,dump出来的请求也证实了之前的代码没问题
// 请求头header:
POST url HTTP/1.1
Content-Type: application/json;charset=UTF-8
Content-Length: 269
Host: 127.0.0.1:30002
Connection: Keep-Alive
Accept-Encoding: gzip
// 响应头 header:
HTTP/1.1 200 OK
Content-Length: 109
Content-Type: application/json;charset=UTF-8
Date: Tue, 09 Nov 2021 07:59:43 GMT
另外通过dump观察到一个连接只处理了几个HTTP请求,客户端主动FIN关闭了链接
从这里开始我们觉得OkHttp的连接池应该有问题。
四、原因解析
首先我们需要了解他的连接池
复用连接的细节
何时复用连接
- 连接池中存在空闲的连接(calls引用=0,http1.1最多允许一个calls)
- 连接的是健康的
- 复用的连接和当前的请求的host、port等请求信息相同
连接池的参数
- 常驻的存活连接数量(maxIdleConnections),默认5个
- 连接存活的时间(keepAliveDuration,timeUnit),默认5分钟
何时触发释放连接
- 新的连接创建时
- 一个请求完成的时候
- 复用RealCall的引用连接不健康时
这种故障的问题在线上多服务的场景尤为明细,通过okhttp实现请求,服务的调用是负载均衡的,通常需要请求多个服务,这个也是问题触发的根据原因。以下通过示意图解释为什么会发生该问题。
A连接与F连接不符合连接复用的条件(host不相同),所以被A连接被回收销毁。
如果这时候再创建一个G连接,B连接会被销毁掉,所以这个就是问题所在,我们不能直接使用默认的连接池参数
public ConnectionPool() {
this(5, 5, TimeUnit.MINUTES);
}
public ConnectionPool(int maxIdleConnections, long keepAliveDuration, TimeUnit timeUnit) {
其中maxIdleConnections参数的大小应该为:
maxIdleConnections = 请求服务的Host个数 * 请求的服务个数
例如我的应用需要请求3个服务,3个服务存在6个实例(例子host以ip为例)那数量应该为18个;
结尾
至此,我们找到了具体原因,OkHttp众多构造参数都为我们提供了默认值,一个很小的参数都会导致我们的服务性能下降。
后面我们将深入分析OkHttp 4.10.0版本连接的创建、复用以及销毁,感兴趣的同学欢迎继续关注!
-END-
相关推荐
- 5款Syslog集中系统日志常用工具对比推荐
-
一、为何要集中管理Syslog?Syslog由Linux/Unix系统及其他网络设备生成,广泛分布于整个网络。因其包含关键信息,可用于识别网络中的恶意活动,所以必须对其进行持续监控。将Sys...
- 跨平台、多数据库支持的开源数据库管理工具——DBeaver
-
简介今天给大家推荐一个开源的数据库管理工具——DBeaver。它支持多种数据库系统,包括Mysql、Oracle、PostgreSQL、SLQLite、SQLServer等。DBeaver的界面友好...
- 强烈推荐!数据库管理工具:Navicat Premium 16.3.2 (64位)
-
NavicatPremium,一款集数据迁移、数据库管理、SQL/查询编辑、智能设计、高效协作于一体的全能数据库开发工具。无论你是MySQL、MariaDB、MongoDB、SQLServer、O...
- 3 年 Java 程序员还玩不转 MongoDB,网友:失望
-
一、什么场景使用MongoDB?...
- 拯救MongoDB管理员的GUI工具大赏:从菜鸟到极客的生存指南
-
作为一名在NoSQL丛林中披荆斩棘的数据猎人,没有比GUI工具更称手的瑞士军刀了。本文将带你围观五款主流MongoDB管理神器的特性与暗坑,附赠精准到扎心的吐槽指南一、MongoDBCompass:...
- mongodb/redis/neo4j 如何自己打造一个 web 数据库可视化客户端?
-
前言最近在做neo4j相关的同步处理,因为产线的可视化工具短暂不可用,发现写起来各种脚本非常麻烦。...
- solidworks使用心得,纯干货!建议大家收藏
-
SolidWorks常见问题...
- 统一规约-关乎数字化的真正实现(规范统一性)
-
尽管数字化转型的浪潮如此深入人心,但是,对于OPCUA和TSN的了解却又甚少,这难免让人质疑其可实现性,因为,如果缺乏统一的语义互操作规范,以及更为具有广泛适用的网络与通信,则数字化实际上几乎难以具...
- Elasticsearch节点角色配置详解(Node)
-
本篇文章将介绍如下内容:节点角色简介...
- 产前母婴用品分享 篇一:我的母婴购物清单及单品推荐
-
作者:DaisyH8746在张大妈上已经混迹很久了,有事没事看看“什么值得买”已渐渐成了一种生活习惯,然而却从来没有想过自己要写篇文章发布上来,直到由于我产前功课做得“太过认真”(认真到都有点过了,...
- 比任何人都光彩照人的假期!水润、紧致的肌肤护理程序
-
图片来源:谜尚愉快的假期临近了。身心振奋的休假季节。但是不能因为这种心情而失去珍贵的东西,那就是皮肤健康。炙热的阳光和强烈的紫外线是使我们皮肤老化的主犯。因此,如果怀着快乐的心情对皮肤置之不理,就会使...
- Arm发布Armv9边缘AI计算平台,支持运行超10亿参数端侧AI模型
-
中关村在线2月27日消息,Arm正式发布Armv9边缘人工智能(AI)计算平台。据悉,该平台以全新的ArmCortex-A320CPU和领先的边缘AI加速器ArmEthos-U85NPU为核心...
- 柔性——面向大规模定制生产的数字化实现的基本特征
-
大规模定制生产模式的核心是柔性,尤其是体现在其对定制的要求方面。既然是定制,并且是大规模的定制,对于制造系统的柔性以及借助于数字化手段实现的柔性,就提出了更高的要求。面向大规模定制生产的数字化业务管控...
- 创建PLC内部标准——企业前进的道路
-
作者:FrankBurger...
- 标准化编程之 ----------- 西门子LPMLV30测试总结
-
PackML乃是由OMAC开发且被ISA所采用的自动化标准TR88.00.02,能够更为便捷地传输与检索一致的机器数据。PackML的主要宗旨在于于整个工厂车间倡导通用的“外观和感觉”,...
你 发表评论:
欢迎- 一周热门
-
-
Linux:Ubuntu22.04上安装python3.11,简单易上手
-
宝马阿布达比分公司推出独特M4升级套件,整套升级约在20万
-
MATLAB中图片保存的五种方法(一)(matlab中保存图片命令)
-
别再傻傻搞不清楚Workstation Player和Workstation Pro的区别了
-
Linux上使用tinyproxy快速搭建HTTP/HTTPS代理器
-
如何提取、修改、强刷A卡bios a卡刷bios工具
-
Element Plus 的 Dialog 组件实现点击遮罩层不关闭对话框
-
日本组合“岚”将于2020年12月31日停止团体活动
-
SpringCloud OpenFeign 使用 okhttp 发送 HTTP 请求与 HTTP/2 探索
-
tinymce 号称富文本编辑器世界第一,大家同意么?
-
- 最近发表
-
- 5款Syslog集中系统日志常用工具对比推荐
- 跨平台、多数据库支持的开源数据库管理工具——DBeaver
- 强烈推荐!数据库管理工具:Navicat Premium 16.3.2 (64位)
- 3 年 Java 程序员还玩不转 MongoDB,网友:失望
- 拯救MongoDB管理员的GUI工具大赏:从菜鸟到极客的生存指南
- mongodb/redis/neo4j 如何自己打造一个 web 数据库可视化客户端?
- solidworks使用心得,纯干货!建议大家收藏
- 统一规约-关乎数字化的真正实现(规范统一性)
- Elasticsearch节点角色配置详解(Node)
- 产前母婴用品分享 篇一:我的母婴购物清单及单品推荐
- 标签列表
-
- dialog.js (57)
- importnew (44)
- windows93网页版 (44)
- yii2框架的优缺点 (45)
- tinyeditor (45)
- qt5.5 (60)
- windowsserver2016镜像下载 (52)
- okhttputils (51)
- android-gif-drawable (53)
- 时间轴插件 (56)
- docker systemd (65)
- slider.js (47)
- android webview缓存 (46)
- pagination.js (59)
- loadjs (62)
- openssl1.0.2 (48)
- velocity模板引擎 (48)
- pcre library (47)
- zabbix微信报警脚本 (63)
- jnetpcap (49)
- pdfrenderer (43)
- fastutil (48)
- uinavigationcontroller (53)
- bitbucket.org (44)
- python websocket-client (47)