- 100天的突破:階躍星辰大模型“全家桶”首次亮相,萬億參數(shù)性能逼近GPT-4
- 2024年07月06日來源:南方企業(yè)新聞網(wǎng)
提要:姜大昕在今年3月對鈦媒體AGI表示:“我將模型和產(chǎn)品的關(guān)系比喻為靈魂和皮囊。大家一定聽過一句話:好看的皮囊千篇一律,有趣的靈魂萬里挑一。我們希望通過有趣的靈魂來展示產(chǎn)品的不同。
如果給你100天的時間,你能學(xué)會什么?根據(jù)AI效率工具“躍問”的說法,你可以利用這段時間學(xué)習(xí)一門新的語言,如法語、西班牙語或日語;或者掌握一門編程語言,如Python;你還可以學(xué)會演奏吉他、鋼琴或小提琴等樂器;甚至可以學(xué)習(xí)繪畫、攝影、視頻制作或烹飪等技能。而“躍問”背后的創(chuàng)造者——階躍星辰,給出的答案是:從萬億參數(shù)規(guī)模和多模態(tài)技術(shù),到實際應(yīng)用的大模型“全家桶”系列。

在7月4日舉行的2024世界人工智能大會暨人工智能全球治理高級別會議(WAIC 2024)上,首次參展的階躍星辰發(fā)布了萬億級參數(shù)MoE(混合專家)大語言模型Step-2正式版、Step-1.5V多模態(tài)大模型以及Step-1X圖像生成大模型。不僅展示了模型技術(shù)能力,還在WAIC 2024期間首次展示了與上影合作的AI互動體驗,全面展示了AI大模型的應(yīng)用落地效果。
階躍星辰創(chuàng)始人兼CEO姜大昕認為,多模態(tài)理解和生成的統(tǒng)一是通往AGI(通用人工智能)的必經(jīng)之路。模型的參數(shù)量決定了其能力上限,根據(jù)Scaling Law理論,全面進入萬億參數(shù)級別是通往AGI的核心之一。通用大模型的能力也決定了垂直領(lǐng)域大模型的上限。
隨著新一輪AI技術(shù)革新浪潮席卷全球,越來越多的人認識到AI在推動社會和經(jīng)濟發(fā)展方面的巨大潛力。作為國內(nèi)領(lǐng)先的AGI公司,階躍星辰正利用大模型技術(shù)和應(yīng)用,推動中國在全球AI領(lǐng)域的持續(xù)領(lǐng)先。
從首次亮相到現(xiàn)在僅100天,階躍星辰就“暴力”地推出了萬億大模型——Step-2正式版。具體來說,階躍星辰的Step-2萬億參數(shù)語言大模型正式版采用了MoE混合專家模型架構(gòu),在數(shù)理邏輯、編程、中文知識、英文知識和指令遵循等方面,用戶體驗全面逼近GPT-4。
階躍星辰透露,其團隊在設(shè)計Step-2 MoE架構(gòu)時選擇了自主研發(fā)的創(chuàng)新算法架構(gòu),并決定從頭開始訓(xùn)練MoE模型。雖然訓(xùn)練難度較高,但能夠獲得更高的模型上限。通過部分專家共享參數(shù)、異構(gòu)化專家設(shè)計等創(chuàng)新的MoE架構(gòu)設(shè)計,Step-2中的每個“專家模型”都得到了充分的訓(xùn)練,不僅總參數(shù)量達到了萬億級別,而且每次訓(xùn)練或推理所激活的參數(shù)量也超過了市面上大部分普通Dense模型。
姜大昕告訴鈦媒體App:“千億參數(shù)的GPT-3.5模型是一個重要的分水嶺。要達到GPT-4的萬億規(guī)模參數(shù),各個維度的要求都上了一個臺階。訓(xùn)練萬億模型需要強大的算力集群、高效穩(wěn)定的訓(xùn)練、高質(zhì)量的數(shù)據(jù),以及駕馭新穎的MoE架構(gòu)。任何一個短板都可能導(dǎo)致Scaling Law難以攀登?!?/p>
因此,萬億參數(shù)的大模型需要大量的數(shù)據(jù)和算力進行訓(xùn)練。在Step-2的訓(xùn)練過程中,階躍星辰系統(tǒng)團隊突破了6D并行、極致顯存管理和完全自動化運維等關(guān)鍵技術(shù)。
此外,階躍星辰還發(fā)布了全新的Step-1.5V多模態(tài)大模型,在多模理解和生成統(tǒng)一的技術(shù)路線上取得了快速突破。相比之前的Step-1V,新的1.5V在感知能力、推理能力和視頻理解能力等方面都有了大幅升級。而Step-1X圖像生成大模型支持全鏈路自研的DiT模型架構(gòu),包括600M、2B、8B(80億)三種不同的參數(shù)量版本,為客戶提供了差異化和性價比的選擇。

例如,這張具有中國元素的“上海東方明珠電視塔”圖像就是由Step-1X生成的。
值得一提的是,基于階躍星辰Step系列通用大模型的技術(shù)創(chuàng)新和廣泛的落地應(yīng)用實力,階躍星辰的Step系列通用大模型榮獲了WAIC 2024 SAIL之星。
在應(yīng)用落地層面,階躍星辰也在持續(xù)擴大商業(yè)化。如果說ChatGPT引爆的2023年是世界發(fā)現(xiàn)生成式AI的一年,那么2024年已經(jīng)成為企業(yè)真正使用AI大模型和生成式AI技術(shù)并從中獲得商業(yè)價值的一年。
作為新的生產(chǎn)工具,AI正在融入社會生產(chǎn)的各個方面。在制造、醫(yī)療、教育、交通、農(nóng)業(yè)等多個領(lǐng)域,人工智能已經(jīng)得到了廣泛的應(yīng)用,推動了傳統(tǒng)行業(yè)的轉(zhuǎn)型升級和社會經(jīng)濟結(jié)構(gòu)的變革。
數(shù)據(jù)顯示,中國已經(jīng)建成的2500多個數(shù)字化車間和智能工廠中,經(jīng)過AI改造的工廠研發(fā)周期縮短了約20.7%,生產(chǎn)效率提升了約34.8%,大大提升了制造效率。根據(jù)世界經(jīng)濟論壇《2023年未來就業(yè)報告》的估計,到2025年,自動化技術(shù)和AI將在全球范圍內(nèi)影響近40%的工作崗位。
今年3月,階躍星辰團隊公布了兩款面向消費端的自研大模型產(chǎn)品——效率工具躍問和AI開放世界平臺冒泡鴨,目前都已經(jīng)全面開放使用。其中,鈦媒體AGI使用躍問提問“鈦媒體是一家怎樣的公司”或“上海有哪些標(biāo)志性建筑”等問題,都可以得到邏輯清晰的回答。它不僅可以提供信息查詢、語言學(xué)習(xí)、創(chuàng)意寫作、圖文解讀等多樣化服務(wù),還能夠結(jié)合聯(lián)網(wǎng)搜索、代碼分析增強(POT)等能力,高效地理解和回應(yīng)用戶的查詢,提供連貫且相關(guān)的對話,幫助用戶在工作、學(xué)習(xí)、生活等各種場景下解決問題。而冒泡鴨則提供了探索故事、創(chuàng)作角色,沉浸在屬于自己的開放世界中的產(chǎn)品。

此外,在今年的WAIC期間,正值《大鬧天宮》制作完成60周年,階躍星辰與上影聯(lián)合推出了一款A(yù)I互動體驗,將最先進的AIGC和大模型技術(shù)與《大鬧天宮》的情境深度融合,用當(dāng)代全新的視角領(lǐng)略中國傳統(tǒng)文化的魅力,回顧經(jīng)典動畫作品的藝術(shù)成就,同時也為廣大創(chuàng)作者打開了無限的想象空間。
姜大昕在今年3月對鈦媒體AGI表示:“我將模型和產(chǎn)品的關(guān)系比喻為靈魂和皮囊。大家一定聽過一句話:好看的皮囊千篇一律,有趣的靈魂萬里挑一。我們希望通過有趣的靈魂來展示產(chǎn)品的不同?!?/p>
同時,階躍星辰還在內(nèi)容創(chuàng)作、金融財經(jīng)等領(lǐng)域與合作伙伴達成了深度合作,共同探索面向C端用戶的創(chuàng)新應(yīng)用。此外,階躍星辰還推出了開放平臺“繁星計劃”,面向行業(yè)優(yōu)秀企業(yè)和開發(fā)團隊開放API,共同加速AI在行業(yè)場景的應(yīng)用落地與繁榮。
當(dāng)前,中國擁有萬億級的AI產(chǎn)業(yè)規(guī)模和13億人的參與,并且中國政府全面鼓勵A(yù)I+產(chǎn)業(yè)發(fā)展,這將促使中國在To C端的AI應(yīng)用比To B端有更大規(guī)模的效應(yīng)。而階躍星辰順勢而為,利用從頭自研的萬億大模型技術(shù)實力,推動了中國AI產(chǎn)業(yè)的蓬勃發(fā)展。
無論是大模型技術(shù)、研發(fā)、人才,還是大模型落地應(yīng)用、規(guī)模化回報,從3月首次亮相到現(xiàn)在,Step系列模型矩陣在萬億參數(shù)和多模能力上取得了全面進展。圍繞階躍大模型,逐漸形成了豐富的產(chǎn)業(yè)應(yīng)用生態(tài)圈,重點行業(yè)領(lǐng)先落地。
因此,階躍星辰已經(jīng)成為“中國大模型創(chuàng)業(yè)公司第一梯隊”。姜大昕曾向鈦媒體AGI等坦言,ChatGPT是一個劃時代的技術(shù)變革,大模型創(chuàng)業(yè)之路非常長。他說:“我一定要自己下場,以最快速、最靈活、最全面的方式投身到變革中去。”