編程客棧（）5月30日 消息:當(dāng)下，開源語(yǔ)言模型如雨后春筍般的冒出，其中有部分號(hào)稱性能比Meta、谷歌等大科技公司開發(fā)的產(chǎn)品更優(yōu)秀。

(資料圖片)

最近，一款名為FalconLM 開源語(yǔ)言模型就號(hào)稱提供了比 Meta 的 LLaMA 更好的性能，也可以用于商業(yè)。但如果收入超過100萬美元，則商業(yè)用途需要繳納特許權(quán)使用費(fèi)。

據(jù)了解，F(xiàn)alc編程onLM 是由阿拉伯聯(lián)合酋長(zhǎng)國(guó)阿布扎比的技術(shù)創(chuàng)新研究所 （TII） 開發(fā)。該組織聲稱 FalconLM 是迄今為止最強(qiáng)大的開源語(yǔ)言模型。相比之下，F(xiàn)alconLM 最大的變體擁有400億個(gè)參數(shù)，這明顯小于Meta 的具有650億個(gè)參數(shù)的 LLaMA編程客棧。

在總結(jié)各種基準(zhǔn)測(cè)試結(jié)果的Hugging Face OpenLLM 排行榜上，兩個(gè)最大的 FalconLM 模型（其中一個(gè)已經(jīng)用指令進(jìn)行了改進(jìn)）目前以顯著優(yōu)勢(shì)占據(jù)前兩名。

FalconLM 比 GPT-3訓(xùn)練成本更低效果更好

根據(jù)開發(fā)團(tuán)隊(duì)的說法，F(xiàn)alconLM 競(jìng)爭(zhēng)優(yōu)勢(shì)的一個(gè)重要方面是訓(xùn)練數(shù)據(jù)的選擇。語(yǔ)言模型在訓(xùn)練期間對(duì)數(shù)據(jù)質(zhì)量很敏感。

研究團(tuán)隊(duì)開編程客棧發(fā)了一種從公共爬網(wǎng)數(shù)據(jù)集中提取高質(zhì)量數(shù)據(jù)并刪除重復(fù)數(shù)據(jù)的流程。在徹底清除重復(fù)數(shù)據(jù)GHYZh后，仍保留了5萬億條文本（token）——足以訓(xùn)練強(qiáng)大的語(yǔ)言模型。

FalconLM 接受了萬億token的訓(xùn)練。TII 還提到了針對(duì)性能和效率優(yōu)化的架構(gòu)，但沒有提供詳細(xì)信息。

據(jù)該團(tuán)隊(duì)稱，優(yōu)化的架構(gòu)與高質(zhì)量的數(shù)據(jù)集相結(jié)合，使得 FalconLM 在訓(xùn)練期間僅需要GPT-3的75% 的計(jì)算量，但明顯優(yōu)于舊的 OpenAI 模型。據(jù)說推理成本是 GPT-3的五分之一。

TII 的 FalconLM 用例包括文本生成、解決復(fù)雜問題、將模型用作個(gè)人聊天機(jī)器人，或用于客戶服務(wù)或翻譯等商業(yè)領(lǐng)域。

在商業(yè)應(yīng)用中，TII 希望商業(yè)使用場(chǎng)景下，使用該語(yǔ)言模型獲得100萬美元收入后，將收取收入GHYZh的10% 作為版稅，而對(duì)于個(gè)人使用和研究，F(xiàn)alconLM 是免費(fèi)的。

FalconLM 模型的所有版本均可從 Huggingface 免費(fèi)下載，網(wǎng)址:https://huggingface.co/tiiuae。

除了這些模型，該團(tuán)隊(duì)還在Apache2.0許可下以開源形式發(fā)布了包含6000億個(gè)文本token的“Refinedweb”數(shù)據(jù)集的一部分。據(jù)說該數(shù)據(jù)集已準(zhǔn)備好進(jìn)行多模式擴(kuò)展，因?yàn)槭纠呀?jīng)包含圖像的鏈接和替代文本。網(wǎng)址:https://huggingface.co/datasets/tiiuae/falcon-refinedweb

關(guān)鍵詞