據(jù)了解，此次Meta推出的Llama 3模型共有8B和70B兩個版本，大版本的Llama 3將有超過4000億參數(shù)，相比上一代有顯著提升。Meta的CEO馬克·扎克伯格表示，“根據(jù)我們目前看到的基準(zhǔn)測試結(jié)果，Llama 3無疑是市場上目前免費提供的同類產(chǎn)品中最智能、性能最出色的大模型。”

官方介紹，Llama 3在兩個定制的24K GPU集群上基于超過15T的數(shù)據(jù)新型了訓(xùn)練，這比Llama 2使用的數(shù)據(jù)集大7倍，代碼也多出4倍，支持的8K上下文長度也是Llama 2容量的兩倍。 

Llama 3與競爭對手的對比

Meta還在Llama 3的開發(fā)中采用了多種創(chuàng)新技術(shù)，包括數(shù)據(jù)并行化、模型并行化和管道并行化，極大提高了訓(xùn)練效率。同時，Meta也高度重視模型的安全性，推出了包括Llama Guard 2、Code Shield和CyberSec Eval 2在內(nèi)的新版信任和安全工具，確保模型不會輸出有害內(nèi)容。

Meta還計劃在未來幾個月陸續(xù)推出更多功能豐富的Llama 3模型，包括支持多語種的版本，Llama 3將會被深度整合到Meta主要平臺的搜索功能中，包括Facebook、Instagram、WhatsApp和Messenger等，升級后的Meta AI還將能夠直接對鏈接內(nèi)容進(jìn)行簡單總結(jié)。

此外，Meta選擇以開源的方式發(fā)布Llama 3，意味著全球開發(fā)者都可以免費使用并改進(jìn)這一模型。不過作為對比的是，百度創(chuàng)始人李彥宏也在近期表示，開源模型將會越來越落后，“大家以前用開源覺得開源便宜，其實在大模型場景下，開源是最貴的。所以開源模型會越來越落后?！?/p>