Liquid AI推出STAR模型架構(gòu)，效率超越傳統(tǒng)Transformer

　　在當(dāng)前大型語言模型(LLM)開發(fā)的競爭中，各大人工智能公司面臨著越來越多的挑戰(zhàn)，因此，越來越多的目光開始轉(zhuǎn)向 “Transformer” 以外的替代架構(gòu)。Transformer 架構(gòu)自2017年由谷歌研究人員提出以來，已成為當(dāng)今生成式人工智能的基礎(chǔ)。為了應(yīng)對這一挑戰(zhàn)，由麻省理工學(xué)院孵化的初創(chuàng)公司 Liquid AI 推出了一種名為 STAR(Synthesis of Tailored Architectures)的創(chuàng)新框架。

　　STAR 框架利用進(jìn)化算法和數(shù)值編碼系統(tǒng)，旨在自動(dòng)化生成和優(yōu)化人工智能模型架構(gòu)。Liquid AI 的研究團(tuán)隊(duì)指出，STAR 的設(shè)計(jì)方法不同于傳統(tǒng)架構(gòu)設(shè)計(jì)，它采用了分層編碼技術(shù)，稱為 “STAR 基因組”，從而探索潛在架構(gòu)的廣泛設(shè)計(jì)空間。通過基因組的組合與變異，STAR 能夠合成和優(yōu)化符合特定性能和硬件需求的架構(gòu)。

　　在針對自回歸語言建模的測試中，STAR 顯示出優(yōu)于傳統(tǒng)優(yōu)化 Transformer++ 和混合模型的能力。在優(yōu)化質(zhì)量和緩存大小方面，STAR 進(jìn)化的架構(gòu)相較于混合模型的緩存大小減少了高達(dá)37%，而相較于傳統(tǒng) Transformer 則達(dá)到了90% 的減少。這種高效性并未犧牲模型的預(yù)測性能，反而在某些情況下超越了競爭對手。

　　研究還表明，STAR 的架構(gòu)可擴(kuò)展性強(qiáng)，一個(gè)從1.25億參數(shù)擴(kuò)展到10億參數(shù)的 STAR 進(jìn)化模型在標(biāo)準(zhǔn)基準(zhǔn)測試中表現(xiàn)與現(xiàn)有的 Transformer++ 和混合模型相當(dāng)或更好，同時(shí)顯著降低了推理緩存需求。

　　Liquid AI 表示，STAR 的設(shè)計(jì)理念融入了動(dòng)態(tài)系統(tǒng)、信號(hào)處理和數(shù)值線性代數(shù)的原理，構(gòu)建了一個(gè)靈活的計(jì)算單元搜索空間。STAR 的一大特色在于其模塊化設(shè)計(jì)，使得它能夠在多個(gè)層次上編碼和優(yōu)化架構(gòu)，為研究人員提供了洞察有效架構(gòu)組件組合的機(jī)會(huì)。

　　Liquid AI 認(rèn)為 STAR 的高效架構(gòu)合成能力將應(yīng)用于各種領(lǐng)域，尤其是在需要平衡質(zhì)量與計(jì)算效率的場景。雖然 Liquid AI 尚未公布具體的商業(yè)部署或定價(jià)計(jì)劃，但其研究成果標(biāo)志著自動(dòng)化架構(gòu)設(shè)計(jì)領(lǐng)域的一次重大進(jìn)步。隨著 AI 領(lǐng)域的不斷演進(jìn)，像 STAR 這樣的框架可能會(huì)在塑造下一代智能系統(tǒng)中發(fā)揮重要作用。