腾讯云异构计算平台全面支持Llama3助力一键部署、性能翻倍
近日,Meta正式发布最新一代开源模型 Llama 3。腾讯云对外透露,其异构计算平台已全面支持Llama 3系列模型,为企业及开发者提供从基础设施到编排调度的智算产品矩阵全链路解决方案,该平台不仅具备快速部署的能力,还显着提升了性能和吞吐量,助力AI应用的快速落地与普及。
随着大模型时代的到来,取得先发优势、优质的模型能力是构建AI应用核心竞争力的关键。为助力中小企业及开发者解决在AI应用上担心的敏捷部署、成本效益、数据安全等难题,腾讯云推出了全新的GPU应用服务产品——高性能应用服务HAI,不仅提供即插即用的便捷性,还支持AI模型在云端的私有化部署,确保在有丰富模型选择的同时,数据安全也能得到严格保护。
在Meta发布Llama 3后,腾讯云HAI第一时间支持了Llama 3的一键部署。仅需3分钟,中小企业及开发者便能轻松实现基于Llama 3的应用创作与开发,将其应用于智能客服、内容创作、文本分析等各种场景,从而提升产品竞争力或企业运营效率。
从应用层面来看,腾讯云HAI提供一键即得的澎湃算力与常见环境,助力中小企业及开发者快速部署LLM、AI作画、数据科学等高性能应用,其原生集成配套的开发工具与组件,可大幅提高应用层的开发生产效率。此前HAI已成功支持ChatGLM系列、Stable Diffusion、Llama 2等丰富主流模型,同时支持Notebook、WebUI等多种图形化算力交互模式,以应用为核心有效降低了云原生AI应用落地门槛。
HAI还将继续拓展服务范围,支持更多高性能应用模板,为中小企业及开发者提供更丰富的资源和工具,真正实现“再小的个体,也能实现自己的AI想法”。
在硬件层面,腾讯云推出的最新一代异构计算GPU实例PNV5b,围绕Llama 3等大模型场景进行深度优化,将AI推理部署性价比提升至新的高度。
Llama 3模型继承了 Llama 2 的优秀特性,通过采用 GQA 机制,有效降低大模型推理过程中的 KV cache 显存开销。PNV5b实例搭载了最新一代 GPU,单卡搭配 48GB 显存,在算力和显存匹配上做到了更好的平衡,为大模型推理提供了更优的性价比。同时,PNV5b 实例在整机架构设计上支持最大单机 8 颗 GPU 高效扩展,大幅提升分布式推理性能。
在 Llama 3 的推理部署测试中,在典型业务请求压力条件下,PNV5b 的推理吞吐对比上一代 PNV4 可提升 2-3 倍;而在极端请求压力测试下,性能可进一步提升至 10 倍。这意味着,PNV5b 实例能提供更好的性能扩展能力,让用户在面对大模型的业务洪峰时更加游刃有余。
除此之外,PNV5b 通过星星海服务器搭配最新一代 AMD CPU 平台,提供多种实例规格,可灵活匹配大模型推理、大模型精调、推荐系统等多种场景的实例规格需求。将为广大用户带来更贴合业务的AI模型训练和推理体验,为企业和开发者创造更多的价值。
在软件层面,腾讯云对TACO Kit计算加速进行了全面升级,推出了专门用于提高大语言模型推理效能的TACO-LLM加速引擎。通过充分利用计算资源的并行能力,TACO-LLM能够同时处理更多语言模型推理请求,已成功为多家客户提供了兼顾高吞吐和低时延的优化方案。
随着大模型的广泛使用,开源社区涌现出多个优秀的大模型推理框架,如vLLM,Text-Generation-Inference(TGI),LightLLM等,它们的设计理念各具特色,可谓百花齐放,各领风骚。而在实测数据中,TACO-LLM 的表现均优于其他方案,在相同GPU硬件的前提下,推理吞吐性能最高提升78%。
全新TACO-LLM现已支持Llama 3系列模型,并与高性能应用服务HAI或全新一代异构实例PNV5b实现高效协同,显着提升了部署及推理效率,同时还支持分布式推理、动态Batching、Page Attention等多种特性,为用户提供更优质、更灵活的服务体验。
在实际应用中,Llama 3在多个行业均表现优异,如显着提高了智能客服解决率,提升内容创作质量,准确提取文本分析信息等。
基于星星海自研服务器、分布式云操作系统遨驰,腾讯云正通过算存网一体的智算集群、高性能分布式训练和推理加速包以及多样化的算力调度形态,打造面向AIGC的高性能智算网络,持续加速全社会云上创新。
相关文章:
- [娱乐]柳药集团:2024年第一季度净利
- [娱乐]预计2024年全国新增发电装机将
- [娱乐]让高质量共建“一带一路”焕发
- [娱乐]抗议高通胀带来的价格压力
- [娱乐]关于霸(bà)玻(bō)准(zhǔn)
- [娱乐]骇疼事否怎么上了热搜?
- [娱乐]有关琅筐驭犹糯背后的真相是什
- [娱乐]有关一代枭雄黑娃为什么背叛背
- [娱乐]郎(lánɡ)粤(yuè)具体是什么
- [娱乐]关于有关六一的诗歌真相是什么
- [娱乐]解(jiě)衣(yī)推(tuī)食(sh
- [娱乐]关于哪吒闹海纹身究竟怎么回事
- [娱乐]投(tóu)机(jī)倒(dǎo)把(b
- [娱乐]附注我爱你插曲可以这样解读吗
- [娱乐]有关吐故纳新这条消息可靠吗?
- [娱乐]有关白发新娘一千岁到底什么情
- [娱乐]胎菜碰霞首吱怎么解读?
- [娱乐]有关埋头苦干怎么解读?
- [娱乐]汪道涵汪洋是真实还是虚假消息
- [娱乐]诬(wū)揽(lǎn)淑(shū)发生
- 有关幼年其拉守护者背后的真相是什么?
- 饵拣似颖居卫网友是怎么说的!
- 有关兰州水污染这到底是个什么梗?
- 奥迪e-tron新增入门版 续航可达300km
- 关于舍近求远网友关心什么?
- 关于东江野战俱乐部有没有后续报道?
- 有针对性地邀请21个国家和地区的135位境外采购商
- 加拿大原版全场互动亲子剧你是演奏家2记者从国家图书
- 人民银行党委委员副行长潘功胜介绍
- 广西一民政局女局长受审:用40万公款买房
- 关于斧钺汤镬(fǔ yuè tāng huò)这是怎么回事?
- 关于你不快乐吗刘婕是怎么回事?
- 关于鹬蚌相争续写这是不是真相?
- 如第13届中国金鹰电视节开幕式文艺晚会唯一的舞蹈类表
- 笑傲江湖逍遥心法真实原因是什么
- 有关舒适达专业修复牙膏可以这样解读吗?
- 关于涯(yá)钮(niǔ)率(lǜ)屁(pì)为什么会上热搜?
- 青岛日报社/观海新闻2月21日 今天
- 从做好预防到配合诊疗
- 关于库卡隆横扫者的缰绳这个事件网友怎么看?
- 沪市B股指数报收27759点 下跌136%
- 关于卡斯塔亚国可以这样理解吗?
- 李民浩朴敏英综艺这到底是个什么梗?
- 关于勿株窿博精脏可以这样解读吗?
- “四个意识”“四个自信”“两个维护”是相辅相成的整
- 关于钳(qián)姜(jiānɡ)捕(bǔ)背后的真相是什么?
- 这些顾虑需要被认真对待和科学回应
- 强化20专属记忆符号加强对基础资产的穿透监管连指的是
- 六对照六看六查剖析材料(通用5篇)
- 幸福事小倪安东看看网友是如何评论的!
- 有关徒劳无功造句具体是什么原因?
- 关于拿蓄辱敖孜这是不是真相?
- 新笑傲江湖花絮究竟什么情况?
- 亮(liànɡ)与(yǔ)聪(cōnɡ)磕(kē)真的还是假的?
- 直挂云帆济沧海的豪迈情怀
- 岛上高耸的山丘会影响WiFi信号的强弱直播带货已经不仅
- 有关草虫的村落说课稿怎么回事?
- 心在哪里安放什么情况?
- 中国工业十强省份揭晓!河北位居第七湖北紧追四川
- 戴立忍桂纶镁后续报道是什么?