发布时间:2024-06-29 06:50:34 | 作者: 92993环球直播网
发布面向AIGC的一站式边际智能解决计划。该计划下降了AIGC运用的落地门槛,可协助用户以低本钱、高效率的方法完成AI运用立异。
图说:边际智能渠道资深架构师陈云辉代表发布面向AIGC的一站式边际智能解决计划(李雁争摄)
网宿科技边际智能渠道资深架构师陈云辉说,当时,尽管国内根底大模型百家争鸣,为用户更好的供给了丰厚的挑选。可是真实运用时,企业用户要比照开源模型和云服务商的推理本钱与功能评价,考虑体系的安全性、灵敏词过滤等,这一些要素都限制了大模型落地。
作为抢先的企业,网宿科技近年来对AIGC展开了继续探究,逐步形成了包括Serverless GPU、AI网关、模型微调与推理服务的一站式边际智能解决计划。
据介绍,网宿Serverless GPU为用户更好的供给高度可扩展、按需运用的GPU算力资源服务,一般适用于多种核算密集型使命,如AI模型推理、音视频加快出产、图形加快等。根据网宿丰厚的GPU算力资源,结合Serverless K8S和GPU加快的优势,用户无需办理GPU服务器和K8S,只需上传容器镜像即可方便快捷运转AI运用。
“Serverless GPU除了具有免运维的特性外,因为GPU资源是放在边际侧,离用户更近,更靠近事务边际,具有低时延优势。而且,经过按需分配和GPU虚拟化技能,提高了GPU资源的利用率,能够大大下降用户的GPU运用本钱。”陈云辉表明。
陈云辉判别,未来,大模型会演变成根底设施,就像现在的操作体系、大数据渠道相同,尽管用户感知不明显,但为各种运用供给根底性和通用性的支撑。与此同时,开源才能也会渐渐的强。