IBM的ModelMesh走向开源 使开发者能够大规模部署AI模型

Android社区 收藏文章

1554122456_machine_learn_story.jpg

这在计算上是一个非常昂贵的过程,因为你不可能在每次要提供请求时都启动一个专用容器。这对在Kubernetes集群中部署大量模型的开发者来说是一个挑战,因为存在一些限制,如允许的最大荚数和IP地址以及计算资源分配。

IBM通过其专有的ModelMesh模型服务管理层为Watson产品(如Watson Assistant、Watson Natural Language Understanding和Watson Discovery)解决了这个难题。由于这些模型已经在生产环境中运行了几年,ModelMesh已经针对各种场景进行了全面测试。现在,IBM正在将这一管理层与控制器组件以及为模型服务的运行时间一起贡献给开放源码社区。

ModelMesh使开发者能够在Kubernetes之上以"极端规模"部署AI模型。它具有缓存管理的功能,也是一个平衡推理请求的路由器,模型被智能地放置在pod中,对临时中断提供弹性。ModelMesh的部署可以轻松升级,无需任何外部协调机制。它自动确保一个路由新请求到它之前已经完全更新和加载。

在用一些统计数据解释ModelMesh的可扩展性时,IBM表示:

一个部署在单个工人节点8vCPU x 64G集群上的ModelMesh实例能够打包20K个简单字符串模型。在密度测试的基础上,我们还对ModelMesh的服务进行了负载测试,通过发送成千上万的并发推理请求来模拟一个高流量的假日季节场景,所有加载的模型都以个位数毫秒的延迟进行响应。实验表明,单个工人节点支持20k个模型,每秒最多可进行1000次查询,并以个位数毫秒的延迟响应推理任务。

IBM将ModelMesh贡献给了KServe GitHub组织,该组织早在2019年就由IBM、Google、彭博社、英伟达和Seldon联合开发。

您可以在下面提到的各种GitHub存储库中查看ModelMesh的运用与实现:

模型服务控制器

用于协调模型放置和路由的 ModelMesh 容器 运行时适配器

ModelMesh运行时适配器 - 在每个模型服务 pod 中运行的容器,充当 ModelMesh 和第三方模型服务器容器之间的中介,它还包含了负责从存储中检索模型的"拉动器"逻辑。

triton-inference-server - NVIDIA的Triton推理服务器

seldon-mlserver - Python MLServer,是KFServing的一部分

相关标签
 相关文章
王慧文病休53天,旗下OneFlow团队重新创业 7月以前  |  1次阅读
智己CEO现场怒怼!不满LS6和小鹏G6当对手 7月以前  |  1次阅读
董明珠回应落榜世界500强:总比爆雷的世界500强好 7月以前  |  1次阅读
阿里云上线 AI 视频生成工具 Live Portait:可一键让照片开口说话 7月以前  |  78次阅读
妙鸭相机将并入神力视界,阿里大文娱CTO郑勇:不是“搬家”是“回家” 7月以前  |  85次阅读
特斯拉上海超级工厂约40秒下线一台车,零部件本土化率超95% 7月以前  |  69次阅读
宁德时代发布神行超充电池,可实现充电10分钟行驶800里 7月以前  |  71次阅读
中科院博士被骗到缅甸已一年!女友:他负债几万,家里条件一般,以为去当翻译 7月以前  |  85次阅读
小鹏汽车否认收购玛莎拉蒂传闻:系谣言 7月以前  |  63次阅读
联想二季度净利润猛降66%,股价应声跳水 7月以前  |  80次阅读
业内人士:视觉中国对不同侵权主体采用差异化策略,老客由销售沟通新客发律师函 7月以前  |  70次阅读
恒大集团在美国申请破产保护 7月以前  |  56次阅读
劳斯莱斯首款纯电轿跑将在北美亮相 7月以前  |  89次阅读
realme印度前CEO确认加盟荣耀,即将推出手机新品 7月以前  |  88次阅读
OpenAI正在测试内容审核系统,一天可以完成六个月的工作 7月以前  |  80次阅读
谷歌百人“复仇者联盟”出击,将发对标GPT-4的大模型,26位研发主管名单流出 7月以前  |  77次阅读
OpenAI收购数字产品公司Global Illumination,为创立以来首笔公开收购 7月以前  |  80次阅读
海口规定:电动汽车充电服务费不得超过0.65元每度 7月以前  |  80次阅读
波音任命柳青为波音中国总裁 7月以前  |  88次阅读
业内人士谈图片复杂代理链:图片代理商越多摄影师分成越少 7月以前  |  67次阅读

扫一扫

在手机上阅读