- 首頁
- 民文
- English
- 舉報(bào)專區(qū)
- 登錄
AI觀察 | Groq芯片爆火給我國AI芯片產(chǎn)業(yè)發(fā)展帶來的3個(gè)啟示
近日,硅谷初創(chuàng)企業(yè)Groq推出一款全新的AI芯片,聲稱實(shí)現(xiàn)了“地表最強(qiáng)推理”——在Groq上運(yùn)行大模型的推理速度較英偉達(dá)GPU提高10倍甚至更高。該消息一出,迅速攻占了各大科技媒體板塊頭條。這樣的推理速度無疑是AI芯片領(lǐng)域的一次技術(shù)飛躍,也為國產(chǎn)AI芯片企業(yè)如何突圍發(fā)展帶來一些新啟示。
啟示一:可專注特定場(chǎng)景建立“比較優(yōu)勢(shì)”
Groq芯片是一種LPU(語言處理單元),其優(yōu)越的推理性能,再一次展示了專用AI芯片在特定場(chǎng)景中的應(yīng)用價(jià)值。因此,參考Groq芯片在某個(gè)應(yīng)用場(chǎng)景做到替代或者超過英偉達(dá),將有可能是國產(chǎn)AI芯片現(xiàn)階段一條行之有效的發(fā)展路徑。
比如這款推理芯片主打一個(gè)“快”。常規(guī)生成式AI主要使用英偉達(dá)A100、H100芯片來進(jìn)行訓(xùn)練與推理工作,大模型推理過程中等待是相對(duì)比較正常的事情,字符一個(gè)個(gè)蹦出,半天才能回答完畢。但在Groq的演示平臺(tái)上,模型收到提示詞后,幾乎能夠立即生成答案。這些答案不僅相對(duì)質(zhì)量較高,還附有引用,長(zhǎng)度更是達(dá)到數(shù)百個(gè)單詞。更令人驚訝的是,它超過3/4的時(shí)間是用于搜索信息,而生成答案的時(shí)間卻短到只有幾分之一秒。
雖然暫時(shí)有著種種缺點(diǎn),但是Groq芯片的優(yōu)勢(shì)點(diǎn)太為突出,足以在某些場(chǎng)景下完全替代英偉達(dá),甚至能做得更為優(yōu)秀,自然而然吸引了大量關(guān)注及認(rèn)可。可以想象,在Groq芯片的成本控制優(yōu)化至合適區(qū)間后,將會(huì)有大量實(shí)際應(yīng)用場(chǎng)景前來適配和使用。
啟示二:需重視應(yīng)用場(chǎng)景中的“性能匹配”
Groq芯片憑借推理速度脫穎而出,充分說明了其性能與應(yīng)用場(chǎng)景之間的強(qiáng)相關(guān)性,這也再次提醒我們應(yīng)用場(chǎng)景的重要性。國產(chǎn)AI芯片產(chǎn)業(yè)應(yīng)當(dāng)重視在實(shí)際應(yīng)用場(chǎng)景中的性能匹配度,并在這一基礎(chǔ)上開展芯片的優(yōu)化和創(chuàng)新。
語言推理賽道上,誰是冠軍也尚未一錘定音。目前來看,Groq芯片綜合素質(zhì)仍有相當(dāng)?shù)牟蛔恪1热鏕roq芯片每張卡的內(nèi)存是230MB,在運(yùn)行Llama-2 70B模型時(shí),需要305張Groq卡才足夠,而用H100則只需要8張卡。從目前的價(jià)格來看,這意味著在同等吞吐量下,Groq的硬件成本是H100的40倍,能耗成本是10倍。另外,Groq芯片目前只能適配少數(shù)幾個(gè)大模型的推理工作,并且需要大量調(diào)試,廣泛應(yīng)用性還相對(duì)較差。其中的差距,也是中國企業(yè)的創(chuàng)新機(jī)會(huì)。
最終,一種AI芯片產(chǎn)品能否勝出,和多種因素密切相關(guān),包括芯片本身的技術(shù)路線、產(chǎn)品推出的時(shí)間點(diǎn),以及大模型的成熟度,等等。對(duì)于大模型來說,目前有觀點(diǎn)認(rèn)為大模型已經(jīng)開始趨向穩(wěn)定了,在這個(gè)基礎(chǔ)上開發(fā)芯片是有機(jī)會(huì)的;也有觀點(diǎn)認(rèn)為大模型變化還很快,過兩年大模型一改,所有的投入又得重新開始。這些爭(zhēng)論還有待時(shí)間檢驗(yàn)。
啟示三:借助第三方評(píng)測(cè)體系“精準(zhǔn)定位”
當(dāng)前,美國政府對(duì)我國芯片出口管制的層層加碼對(duì)國產(chǎn)AI芯片行業(yè)既是挑戰(zhàn)又是機(jī)遇。從產(chǎn)業(yè)發(fā)展的整體視角來看,亟需構(gòu)建一個(gè)中立、客觀并具有權(quán)威性的評(píng)測(cè)體系,為各種芯片提供一個(gè)公平競(jìng)技的舞臺(tái)和場(chǎng)景匹配的渠道。
在2023年世界人工智能大會(huì)上,人民日?qǐng)?bào)社傳播內(nèi)容認(rèn)知全國重點(diǎn)實(shí)驗(yàn)室(人民網(wǎng))與中國電子技術(shù)標(biāo)準(zhǔn)化研究院共同發(fā)起的“智越計(jì)劃”提出,要共同推動(dòng)建立包含人工智能芯片性能評(píng)測(cè)、場(chǎng)景評(píng)測(cè)與綜合評(píng)測(cè)的整體評(píng)估評(píng)測(cè)標(biāo)準(zhǔn)體系。其中的場(chǎng)景評(píng)測(cè)就是測(cè)試不同人工智能應(yīng)用場(chǎng)景中各款芯片的實(shí)際使用效果。
“智越計(jì)劃”將最終形成針對(duì)特定應(yīng)用場(chǎng)景的綜合報(bào)告和產(chǎn)品推薦目錄,從而助力優(yōu)化市場(chǎng)供需匹配,為政府、企業(yè)和研究機(jī)構(gòu)建設(shè)智算中心提供芯片選型的重要參考和決策依據(jù)。
隨著AI技術(shù)的飛速進(jìn)步,市場(chǎng)對(duì)芯片產(chǎn)品的性能、穩(wěn)定性和適用性有了更高要求。一個(gè)科學(xué)完善的評(píng)測(cè)體系將有效地指引企業(yè)研發(fā)方向,推動(dòng)生態(tài)的繁榮發(fā)展和行業(yè)的整體進(jìn)步。
分享讓更多人看到
熱門排行
- 1跟著總書記看中國 | 網(wǎng)絡(luò)強(qiáng)國
- 2數(shù)讀中國 | 2023年機(jī)械工業(yè)經(jīng)濟(jì)運(yùn)…
- 3堅(jiān)持穩(wěn)中求進(jìn)、以進(jìn)促穩(wěn)、先立后破(推動(dòng)…
- 4數(shù)讀中國|十年京津冀協(xié)同發(fā)展收獲重要成果
- 5假期消費(fèi)熱潮涌動(dòng) 經(jīng)濟(jì)持續(xù)向好彰顯生機(jī)…
- 6京津冀協(xié)同發(fā)展十年:優(yōu)勢(shì)互補(bǔ)形成實(shí)踐價(jià)…
- 7大模型助力天氣預(yù)報(bào)入選!2023年度“…
- 8國家統(tǒng)計(jì)局發(fā)布2023年國民經(jīng)濟(jì)和社會(huì)…
- 9Sora火了,通用人工智能要來了?
- 10注意把握和處理好當(dāng)前經(jīng)濟(jì)工作的四個(gè)關(guān)系…
提供新聞線索