近日，超對(duì)稱(chēng)與UCloud優(yōu)刻得合作，將公司推出的3個(gè)大模型開(kāi)源到UCloud官網(wǎng)，以“大模型+大算力“的方式，共同推進(jìn)AICG創(chuàng)新應(yīng)用。

2022年5月超對(duì)稱(chēng)技術(shù)公司發(fā)布大語(yǔ)言模型Big Bang Transformer【乾元】的第一版BBT-1，10億參數(shù)預(yù)訓(xùn)練語(yǔ)言模型，在中文金融語(yǔ)料上訓(xùn)練而成，發(fā)布之后即獲得經(jīng)濟(jì)金融領(lǐng)域客戶熱烈反饋，作為大模型底座已經(jīng)為多家中國(guó)和海外機(jī)構(gòu)提供服務(wù)。

近期，超對(duì)稱(chēng)公司再推出BBT-2，這是一個(gè)基于120億參數(shù)的通用大語(yǔ)言模型，并在BBT-2的基礎(chǔ)上，訓(xùn)練出代碼、金融、文生圖等專(zhuān)業(yè)模型。

超對(duì)稱(chēng)技術(shù)公司將發(fā)布基于BBT-2的系列模型：

· BBT-2-12B-Text：120億參數(shù)的中文通用語(yǔ)言模型

· BBT-2.5-13B-Text: 130億參數(shù)的中文+英文雙語(yǔ)基礎(chǔ)模型

· BBT-2-12B-TC-001-SFT  經(jīng)過(guò)指令微調(diào)的代碼模型，可以進(jìn)行對(duì)話

· BBT-2-12B-TF-001 在120億模型上訓(xùn)練的金融模型，解決金融領(lǐng)域任務(wù)

· BBT-2-12B-Fig：文生圖模型

· BBT-2-12B-Science 科學(xué)論文模型

通過(guò)與UCloud在算力和開(kāi)源方面的合作，超對(duì)稱(chēng)還將3個(gè)大模型開(kāi)源到官網(wǎng)、Github和UCloud，后續(xù)用戶可直接在UCloud官方平臺(tái)通過(guò)GPU云主機(jī)的行業(yè)鏡像或算力平臺(tái)直接開(kāi)箱使用這些模型：

BBT-1-0.2B

2億參數(shù)金融模型，包括三個(gè)不同預(yù)訓(xùn)練方式進(jìn)行訓(xùn)練的模型, 訓(xùn)了600億Tokens：

（1）BBT-1-0.2B-001：2億參數(shù)，金融模型，T5 Decoder+Encoder架構(gòu) 

（2）BBT-1-0.2B-002: 2億參數(shù)，金融模型，T5+GPT 

（3）BBT-1-0.2B-003: 2億參數(shù)，金融模型，T5+UL2

BBT-1-1B

10億參數(shù)金融模型，T5 Encoder+Decoder架構(gòu)，使用金融中文語(yǔ)料庫(kù)1000億tokens進(jìn)行預(yù)訓(xùn)練，包含社交媒體，財(cái)經(jīng)新聞，券商研報(bào)，公司公告財(cái)報(bào)等數(shù)據(jù).

BBT-2-12B-Text

120億參數(shù)基礎(chǔ)模型，GPT Decoder-Only 架構(gòu)，未經(jīng)指令微調(diào)，完成2000億token預(yù)訓(xùn)練，模型性能還有較大提升空間，開(kāi)發(fā)者可在通用模型上繼續(xù)訓(xùn)練或進(jìn)行下游任務(wù)微調(diào)。

BBT-2.5-13B-Text

130億參數(shù)基礎(chǔ)模型，GPT Decoder-Only 架構(gòu)，未經(jīng)指令微調(diào)，完成2000億中文+英文tokens預(yù)訓(xùn)

UCloud官網(wǎng)開(kāi)源模型使用流程

以下是超對(duì)稱(chēng)技術(shù)公司基于BBT-2的系列模型介紹：

1.  BBT-2-12B-Text 通用模型

BigBang Transformer[乾元]是基于GPT Decoder-only架構(gòu)的大規(guī)模預(yù)訓(xùn)練模型。繼2022年開(kāi)源BBT-1-0.2B模型之后，正式開(kāi)源最新系列的BBT模型：BBT-1-1B，BBT-2-12B-Text，BBT-2.5-13B-Text。預(yù)訓(xùn)練語(yǔ)料庫(kù)覆蓋14個(gè)高質(zhì)量數(shù)據(jù)源，覆蓋書(shū)籍、百科、論文、小說(shuō)、新聞、政策文件、中文博客、社交媒體等多個(gè)數(shù)據(jù)源種類(lèi)。BBT-2-12B-Text基于中文700億tokens進(jìn)行預(yù)訓(xùn)練，經(jīng)過(guò)指令微調(diào)的BBT-2基礎(chǔ)模型可以回答百科類(lèi)和日常生活的問(wèn)題。BBT-2.5-13B-Text基于中文+英文 2000億tokens進(jìn)行預(yù)訓(xùn)練,暫時(shí)不開(kāi)放基礎(chǔ)模型的問(wèn)答對(duì)話接口。

模型開(kāi)源后所有開(kāi)發(fā)者可以：

可以直接調(diào)用大模型進(jìn)行對(duì)話

在我們訓(xùn)練的基礎(chǔ)上使用自由語(yǔ)料庫(kù)繼續(xù)訓(xùn)練

對(duì)大模型進(jìn)行微調(diào)訓(xùn)練以滿足各種下游任務(wù)

2. BBT-2-12B-Text+Code 代碼模型

BBT-TC，是超對(duì)稱(chēng)技術(shù)公司近期發(fā)布的 BBT-2 大模型系列中的代碼模型，在 百億基座模型BBT-2-12B-Text接續(xù)訓(xùn)練代碼數(shù)據(jù)集，通過(guò)有監(jiān)督指令微調(diào)（Supervised Fine-Tuning）解鎖模型的推理能力。該模型在專(zhuān)業(yè)評(píng)測(cè)中分?jǐn)?shù)超過(guò)其他中國(guó)公司開(kāi)發(fā)的同類(lèi)模型，僅次于GPT-3.5。

開(kāi)發(fā)者可以在超對(duì)稱(chēng)公司官網(wǎng)https://www.ssymmetry.com測(cè)試BBT模型的代碼問(wèn)答（僅應(yīng)用于代碼生成場(chǎng)景，無(wú)法回答與代碼無(wú)關(guān)的問(wèn)題）

詳情可見(jiàn)文章《超對(duì)稱(chēng)技術(shù)公司的代碼大模型CodeBBT在專(zhuān)業(yè)評(píng)測(cè)中位居前列，僅次于GPT-3.5》

3. BBT-2-12B-TF-001 金融模型

超對(duì)稱(chēng)公司于2021年便開(kāi)始針對(duì)金融投資領(lǐng)域的應(yīng)用，著手設(shè)計(jì)和訓(xùn)練了一個(gè)大規(guī)模參數(shù)預(yù)訓(xùn)練語(yǔ)言模型Big Bang Transformer乾元(BBT)，目前發(fā)布了Base 版本2.2億參數(shù)和Large 版本10億參數(shù)以及最新的BBT2，120億參數(shù)通用模型。

BBT模型的目標(biāo)是為金融投資建立統(tǒng)一的人工智能算法框架，基于transformer構(gòu)建能融合訓(xùn)練金融投資涉及的不同模態(tài)數(shù)據(jù)的架構(gòu)。在統(tǒng)一架構(gòu)的基礎(chǔ)上訓(xùn)練大規(guī)模參數(shù)預(yù)訓(xùn)練模型，隨著模型參數(shù)和訓(xùn)練數(shù)據(jù)集繼續(xù)增大，超對(duì)稱(chēng)團(tuán)隊(duì)有希望開(kāi)發(fā)出在金融領(lǐng)域接近人類(lèi)智能水平的模型。作為金融領(lǐng)域的基石模型，BBT模型為所有金融投資，經(jīng)濟(jì)分析，商業(yè)咨詢等場(chǎng)景的深度學(xué)習(xí)下游任務(wù)提供微調(diào)服務(wù)。

金融投資領(lǐng)域有大量從業(yè)機(jī)構(gòu)和人員，大廠有財(cái)力雇傭算法工程師，小團(tuán)隊(duì)卻用不起基本的文本抽取算法。BBT模型作為金融領(lǐng)域的算法基礎(chǔ)設(shè)施，讓所有從業(yè)者配備同級(jí)別的武器，讓全行業(yè)站在同一起跑線去競(jìng)爭(zhēng)更優(yōu)的投資策略，從而推動(dòng)金融和經(jīng)濟(jì)市場(chǎng)更高效的信息和要素流動(dòng)。

為了更好地推進(jìn)中文金融自然語(yǔ)言處理的發(fā)展，超對(duì)稱(chēng)搜集和爬取了幾乎所有公開(kāi)可以獲得的中文金融語(yǔ)料數(shù)據(jù):

1）過(guò)去20年所有主流媒體平臺(tái)發(fā)布的財(cái)經(jīng)政治經(jīng)濟(jì)新聞

2）所有上市公司公告和財(cái)報(bào)

3）上千萬(wàn)份研究院和咨詢機(jī)構(gòu)的研究報(bào)告

4）百萬(wàn)本金融經(jīng)濟(jì)政治等社會(huì)科學(xué)類(lèi)書(shū)籍

5）金融社交媒體平臺(tái)用戶發(fā)帖

經(jīng)測(cè)試，BBT-TF在公告摘要任務(wù)場(chǎng)景超越ChatGPT：使用ChatGPT和BBT-TF對(duì)同一份公告，相同輸入，生成摘要并對(duì)比效果，發(fā)現(xiàn)BBT-TF更滿足實(shí)際運(yùn)用場(chǎng)景。BBT-TF還可進(jìn)行四舍五入的計(jì)算。在金融行業(yè)對(duì)數(shù)字高精度要求下，BBT-TF可對(duì)單位進(jìn)行準(zhǔn)確的換算。

超對(duì)稱(chēng)已開(kāi)發(fā)了11種已落地應(yīng)用的下游任務(wù)，面向?qū)I(yè)金融開(kāi)發(fā)者API，已獲得中國(guó)及海外金融機(jī)構(gòu)付費(fèi)。

4. BBT-2-12B-Image文生圖模型

基于BBT2大語(yǔ)言模型，超對(duì)稱(chēng)和中國(guó)專(zhuān)業(yè)圖庫(kù)公司聯(lián)合開(kāi)發(fā)文生圖AIGC模型BBT-Fig，目前該模型向紡織行業(yè)，印刷，廣告，游戲等行業(yè)客戶提供文生圖應(yīng)用，經(jīng)過(guò)專(zhuān)業(yè)評(píng)測(cè)，BBT-Fig在紡織行上的應(yīng)用效果比Stable Diffusion和文心一格，明顯更優(yōu)。

BBT-Fig能夠生成非常逼真的圖像，并且具有可控的樣式和風(fēng)格。在紡織行業(yè)中，BBT-Fig可以通過(guò)對(duì)不同紡織材料的圖像進(jìn)行學(xué)習(xí)，生成具有紋理（可無(wú)縫拼接）、色彩（色彩亮度不會(huì)受訓(xùn)練樣本明暗影響，為標(biāo)準(zhǔn)化設(shè)計(jì)用樣式）和設(shè)計(jì)元素（可隨意組合元素）的紡織品圖案，提高紡織品設(shè)計(jì)的效率和創(chuàng)新性。該技術(shù)還可用于家裝等等需要圖案設(shè)計(jì)的行業(yè)。

· 用于生成人造大理石花紋

5. BBT-2-12B-Science 科學(xué)論文模型

馬斯克認(rèn)為AGI的終極測(cè)試是模型能發(fā)現(xiàn)新的物理定律。GPT-4在醫(yī)生資格考試、律師資格考試、AP考試、GRE上獲得不錯(cuò)的分?jǐn)?shù)，但目前還沒(méi)有證明其能有效地發(fā)現(xiàn)或輔助人類(lèi)知識(shí)庫(kù)尚未存在的知識(shí)。

對(duì)于中國(guó)的大模型研發(fā)團(tuán)隊(duì)，直接瞄準(zhǔn)大語(yǔ)言模型用于科學(xué)發(fā)現(xiàn)是超越GPT-4的一個(gè)可能路徑。在科學(xué)研究上，研究人員可以使用語(yǔ)言模型來(lái)自動(dòng)提取和分析論文中的主題、實(shí)驗(yàn)方法、結(jié)果和結(jié)論，從而發(fā)現(xiàn)新的科學(xué)發(fā)現(xiàn)和研究方向。

BBT-Science大模型是基于BBT大模型在幾千萬(wàn)篇科研論文上訓(xùn)練構(gòu)建的輔助科學(xué)發(fā)現(xiàn)的大模型，應(yīng)用于物理、化學(xué)、生物、數(shù)學(xué)等不同學(xué)科的科研知識(shí)問(wèn)題，可以提供三方面的能力：

1. 快速精準(zhǔn)的知識(shí)檢索。這項(xiàng)能力和大模型在其他領(lǐng)域的對(duì)話能力相近。

2. 針對(duì)所研究領(lǐng)域的前沿問(wèn)題提供新的ideas。這種新ideas產(chǎn)生于大模型在該領(lǐng)域的海量數(shù)據(jù)檢索和重新組合，發(fā)現(xiàn)前人未發(fā)現(xiàn)的可能性。

3. 利用多學(xué)科知識(shí)訓(xùn)練出的能力提供跨學(xué)科的建議和洞見(jiàn)。這項(xiàng)能力潛力最大。

為了對(duì)科學(xué)大模型進(jìn)行評(píng)測(cè)，超對(duì)稱(chēng)技術(shù)公司與復(fù)旦、上海交大、浙大、南航、中山大學(xué)、北師大等多所大學(xué)合作，正在號(hào)召全球一線的科研人員共同構(gòu)建一個(gè)最大的科研問(wèn)題評(píng)測(cè)數(shù)據(jù)集Research QA。該數(shù)據(jù)集覆蓋數(shù)學(xué)、物理、化學(xué)、生物、地理地質(zhì)、計(jì)算機(jī)、電子工程等主流科研領(lǐng)域。該數(shù)據(jù)集直接采集科研領(lǐng)域里前沿的研究課題作為問(wèn)題，重點(diǎn)考察大模型回答的創(chuàng)新性?？茖W(xué)大模型將成為全球科研能力的底層引擎，帶來(lái)科研生產(chǎn)力的加速。