大模型加速奔跑,深度應(yīng)用全面開啟。5月20日,京東云城市大會(huì)在上海順利舉行,京東云發(fā)布JoyScale AI算力平臺(tái)、JoyBuild大模型開發(fā)計(jì)算平臺(tái)、JoyAgent智能體2.0等九大產(chǎn)品,三大垂直行業(yè)一體機(jī),助力企業(yè)全面重構(gòu)AI基礎(chǔ)設(shè)施,生成企業(yè)專屬數(shù)字員工,加速邁向深度應(yīng)用。
京東集團(tuán)技術(shù)委員會(huì)主席、京東云事業(yè)部總裁曹鵬表示,“隨著深度應(yīng)用加速來(lái)臨,數(shù)字員工的上崗率將成為衡量一個(gè)企業(yè)先進(jìn)性的標(biāo)準(zhǔn)。有多少工作是AI完成的,決定了企業(yè)未來(lái)能跑多快。新一代Agent成為深度應(yīng)用的代表,京東云JoyAgent2.0正在幫助企業(yè)生成專業(yè)數(shù)字員工。同時(shí),大規(guī)模應(yīng)用爆發(fā),也將推動(dòng)AI基礎(chǔ)設(shè)施邁向標(biāo)準(zhǔn)化,AI Infra1.0已經(jīng)具備?!?/p>
京東云認(rèn)為,全面走向深度應(yīng)用,企業(yè)當(dāng)下需要做好三件事:
分鐘級(jí)部署+零門檻接入 大模型一體機(jī)助力企業(yè)快速嘗鮮大模型
一體機(jī)作為最快速部署大模型的方式之一,是嘗鮮企業(yè)級(jí)AI的最佳路徑。過(guò)去三個(gè)月,“開箱即用”的京東云大模型一體機(jī)跑出“新速度”,從江浙滬到湘贛魯,多省市全面鋪開,醫(yī)療、汽車、教育、制造、泛互多行業(yè)深度滲透,全國(guó)規(guī)?;涞赝黄?00臺(tái)。京東云大模型一體機(jī)軟硬協(xié)同,支持千人規(guī)模企業(yè)并發(fā)需求,實(shí)現(xiàn)推理速度提升50%,滿血版、標(biāo)準(zhǔn)版、輕量版為不同規(guī)模企業(yè)提供靈活選擇,助力企業(yè)快速構(gòu)建企業(yè)級(jí)AI服務(wù)能力,極大降低專業(yè)技術(shù)門檻。
今天,京東云正式發(fā)布三大垂直行業(yè)一體機(jī)。
· 醫(yī)療一體機(jī):醫(yī)療領(lǐng)域?qū)⑷诤暇┽t(yī)千詢大模型,實(shí)現(xiàn)智能問(wèn)診、病歷分析、輔助診療等功能;
· 工業(yè)一體機(jī):工業(yè)場(chǎng)景將集成京東工業(yè)供應(yīng)鏈大模型,預(yù)置供應(yīng)鏈管理、智能排產(chǎn)等模塊;
· 金融一體機(jī):金融行業(yè)將在保障數(shù)據(jù)安全合規(guī)基礎(chǔ)上,針對(duì)券商、銀行等機(jī)構(gòu)需求進(jìn)行優(yōu)化適配。
深度應(yīng)用全面開啟,智能體重塑AI生產(chǎn)力
雖然“超級(jí)應(yīng)用”還有距離,但聚焦企業(yè)端的“深度應(yīng)用”已奔涌而至,正在加速滲透到需要投入大量人力進(jìn)行重復(fù)勞動(dòng)的場(chǎng)景。隨著大模型及智能體技術(shù)的持續(xù)升級(jí),行業(yè)正加速邁向深度應(yīng)用階段。
京東正是大模型深度應(yīng)用的超級(jí)孵化器。數(shù)據(jù)顯示,近三個(gè)月京東大模型服務(wù)調(diào)用量爆發(fā)式增長(zhǎng),環(huán)比提升200%;超1.4萬(wàn)個(gè)智能體在京東內(nèi)部運(yùn)行,解決超18%的工作內(nèi)容,外賣員招聘、財(cái)務(wù)管理等大面積使用;各類大模型應(yīng)用已深入到京東零售、物流、醫(yī)療等細(xì)分業(yè)務(wù)場(chǎng)景,為超50萬(wàn)商家、超38萬(wàn)快遞小哥、超5萬(wàn)副主任以上級(jí)別醫(yī)生、超2萬(wàn)采銷運(yùn)營(yíng)、超1萬(wàn)研發(fā)提高工作效率和提升服務(wù)體驗(yàn)。
智能體,是深度應(yīng)用方面最具代表性的方向。成長(zhǎng)于京東自身業(yè)務(wù)系統(tǒng)的JoyAgent 智能體 2.0全新升級(jí), 基于混合代理模型(Mixture-of-Agents,MoA),融合大小型模型的優(yōu)勢(shì),通過(guò)規(guī)劃推理構(gòu)建動(dòng)態(tài)DAG執(zhí)行引擎,大幅提升任務(wù)執(zhí)行效率;集成了覆蓋搜索、數(shù)據(jù)分析、代碼開發(fā)等領(lǐng)域的豐富工具鏈,支持文本、圖像、視頻等多模態(tài)輸入輸出,為企業(yè)提供全面智能支持;還通過(guò)自研多智能體協(xié)同引擎,多個(gè)智能體可在對(duì)話規(guī)劃、推理上協(xié)同工作,通過(guò)自我對(duì)話優(yōu)化策略。
在 GAIA Benchmark 的 Level 1-3 測(cè)試中,JoyAgent 表現(xiàn)卓越,尤其在復(fù)雜任務(wù)處理上優(yōu)勢(shì)明顯,超越眾多競(jìng)爭(zhēng)對(duì)手。實(shí)現(xiàn)從過(guò)去被動(dòng)響應(yīng)需求,進(jìn)化為能主動(dòng)聚焦問(wèn)題、精準(zhǔn)運(yùn)算、深度分析、和智能決策、精準(zhǔn)執(zhí)行。
相較于通用智能體,JoyAgent在企業(yè)場(chǎng)景展示出更多優(yōu)勢(shì)。
· 在研發(fā)場(chǎng)景,JoyCode智能編碼助手持續(xù)進(jìn)化,實(shí)現(xiàn)開發(fā)即部署,代碼采納率超過(guò)40%,開發(fā)周期縮短30%,京東上萬(wàn)名研發(fā)人員都在使用;
· 在直播場(chǎng)景,京東數(shù)字人已經(jīng)在9000+商家開播,高保真低成本的人體建模技術(shù)、多模態(tài)自然化行為生成等數(shù)字人技術(shù)棧更新,高商業(yè)可用數(shù)字人正式上線服務(wù),618向京東商家免費(fèi)開放,助力直播轉(zhuǎn)化;
· 在政務(wù)服務(wù)場(chǎng)景,基于JoyAgent構(gòu)建的智能政務(wù)研報(bào)服務(wù),可根據(jù)歷史報(bào)告自動(dòng)識(shí)別模板,進(jìn)行指標(biāo)試算、驗(yàn)證,自動(dòng)生成新報(bào)告,識(shí)別準(zhǔn)確率超98%,已深度應(yīng)用在北京亦莊、上海普陀等政務(wù)平臺(tái)上。
技術(shù)棧迎來(lái)全面重構(gòu) AI基礎(chǔ)設(shè)施走向標(biāo)準(zhǔn)化
隨著大模型應(yīng)用的深入,以CPU為中心的架構(gòu)在支持AI原生應(yīng)用上面臨挑戰(zhàn),需要以GPU為中心重塑基礎(chǔ)設(shè)施;此外,面對(duì)激增的推理需求,計(jì)算資源持續(xù)增加,企業(yè)需要思考資源投入產(chǎn)出的問(wèn)題,都指向需要一套AI Native的基礎(chǔ)設(shè)施。
在大模型開發(fā)應(yīng)用方面,JoyBuild支持多類模型的調(diào)優(yōu)開發(fā),內(nèi)置20余種開源模型和豐富的數(shù)據(jù)集,提供100余種算法和工具鏈。圍繞開源模型蒸餾需求的不斷增加,可以幫助客戶根據(jù)自身業(yè)務(wù)特征,用自有數(shù)據(jù)進(jìn)行大模型的蒸餾,快速開發(fā)專屬大模型。
京東大模型開發(fā)計(jì)算技術(shù)相關(guān)論文被《Nature》收錄,為國(guó)內(nèi)首次系統(tǒng)性解決開放環(huán)境下大模型開發(fā)效率難題,這套技術(shù)也支撐了JoyBuild應(yīng)用。此外,JoyBuild推理引擎基于大規(guī)模專家并行推理集群技術(shù),提升高并發(fā)下并行度,實(shí)現(xiàn)單Token推理成本降低80%。
在計(jì)算方面,京東云發(fā)布全新的JoyScale AI算力平臺(tái)——以GPU為核心,高效異構(gòu)計(jì)算,強(qiáng)大推理性能。具備兩大核心優(yōu)勢(shì):
· 極致的算力性能。面向大模型訓(xùn)推需求,JoyScale支持單集群萬(wàn)卡調(diào)度、全局超10萬(wàn)卡調(diào)度能力,支持跨智算中心橫向擴(kuò)展,通過(guò)軟硬件協(xié)同優(yōu)化,將大模型算力利用率MFU從45%提升至75%。
· 靈活的異構(gòu)算力管理。JoyScale全面適配十余家國(guó)產(chǎn)算力,支持異構(gòu)算力統(tǒng)一納管、精細(xì)化運(yùn)維,通過(guò)集群算力池化調(diào)度,提升集群利用率70%。
在存儲(chǔ)方面,云海AI存儲(chǔ)基于京東全自研的引擎,對(duì)AI訓(xùn)練語(yǔ)料的隨機(jī)訪問(wèn)達(dá)到1000萬(wàn)級(jí),單集群支持TB級(jí)超大帶寬,能有效支持千億級(jí)參數(shù)AI大模型的訓(xùn)練。云海針對(duì)性地提供了原生 KV Cache 特性,支持主流推理框架,以存代算的模式顯著提升了推理性能,長(zhǎng)文推理成本下降 40%,長(zhǎng)文/多輪對(duì)話響應(yīng)延遲降低 60%。
大模型浪潮洶涌澎湃,京東云將持續(xù)深耕技術(shù),以更開放、更協(xié)同的生態(tài)理念為引領(lǐng),不斷拓展和深化大模型技術(shù)的邊界與應(yīng)用。同時(shí),憑借在京東內(nèi)部場(chǎng)景千錘百煉的深度應(yīng)用經(jīng)驗(yàn),打造出的極致性能、極致性價(jià)比的技術(shù)與產(chǎn)品,助力更多企業(yè)重塑AI生產(chǎn)力。