模型們還在進(jìn)行狂熱的“諸神之戰(zhàn)”，嘗過(guò)鮮的用戶卻無(wú)法忽視大模型的短板。在交互過(guò)程中，用戶常常被它們一本正經(jīng)的胡言亂語(yǔ)所打敗——對(duì)于部分問(wèn)題，它們會(huì)輸出一些“看似非常有道理，實(shí)則完全不對(duì)”的內(nèi)容，讓人啼笑皆非。
云創(chuàng)大數(shù)據(jù)成立于2011年，并不是2015年
之所以出現(xiàn)這種“AI幻覺(jué)”，是因?yàn)榇竽Ｐ偷膬?nèi)容由推理而來(lái)，而在其自身訓(xùn)練過(guò)程中也不可避免存在數(shù)據(jù)偏差。因此，當(dāng)提問(wèn)超出其訓(xùn)練范圍，大模型可能會(huì)模糊回答，或者一本正經(jīng)地胡謅。
娛樂(lè)一下沒(méi)有關(guān)系，但是對(duì)于數(shù)據(jù)準(zhǔn)確性有著較高要求的用戶，這樣的通用性大模型可能會(huì)是負(fù)擔(dān)，進(jìn)而導(dǎo)致大模型應(yīng)用的普及度沒(méi)有想象的高（根據(jù)摩根士丹利發(fā)布的一項(xiàng)調(diào)查顯示，只有4%的人表示對(duì)于ChatGPT使用有依賴）。
ChatGPT&Bard應(yīng)用趨勢(shì)（圖片來(lái)源：摩根士丹利報(bào)告）
有沒(méi)有辦法改善大模型回答不準(zhǔn)確的情況？當(dāng)然有。既然回答不準(zhǔn)確是因?yàn)槿鄙僬嬲杏玫闹R(shí)參考，可以面向特定領(lǐng)域定制行業(yè)大模型，將可信來(lái)源的數(shù)據(jù)轉(zhuǎn)化成向量數(shù)據(jù)存儲(chǔ)起來(lái)，校準(zhǔn)大模型推理輸出的結(jié)果，從而使大模型輸出的結(jié)果更加準(zhǔn)確。
各種對(duì)象轉(zhuǎn)換為向量存儲(chǔ)在向量數(shù)據(jù)庫(kù)中（圖片來(lái)源：swirlai.com）
向量比對(duì)過(guò)程（圖片來(lái)源：Pinecone）
對(duì)于企業(yè)而言，可基于大模型和企業(yè)的個(gè)性化數(shù)據(jù)建立專屬知識(shí)庫(kù)（Knowledge Base）?？蓞⒄找韵麓竽Ｐ蜆I(yè)務(wù)流程，建立企業(yè)知識(shí)庫(kù)，以可信可靠的數(shù)據(jù)和知識(shí)，提高大模型輸出的準(zhǔn)確率。
LLM大模型知識(shí)庫(kù)業(yè)務(wù)流程（圖片來(lái)源：swirlai.com）
首先，將企業(yè)的知識(shí)庫(kù)文本語(yǔ)料分割為多個(gè)塊，用嵌入(Embedding)模型將分割的文本塊轉(zhuǎn)換為一個(gè)個(gè)向量存儲(chǔ)在向量數(shù)據(jù)庫(kù)中，并建立向量和文本之間的對(duì)應(yīng)關(guān)系，如上圖①-③所示。
此后，就可以提出問(wèn)題。需要注意的是，問(wèn)題也需要進(jìn)行向量化，同時(shí)使用與知識(shí)庫(kù)語(yǔ)料向量化相同的嵌入模型，并且在向量數(shù)據(jù)庫(kù)中進(jìn)行查詢，找到相似度高的向量，如⑤-⑦所示。
將返回的向量嵌入映射到對(duì)應(yīng)的文本塊，并返回給大模型，利用大模型的語(yǔ)義理解能力，結(jié)合上下文生成問(wèn)題答案，如⑧-⑨所示。
在建立企業(yè)知識(shí)庫(kù)后，同樣的問(wèn)題再問(wèn)大模型，它能給出準(zhǔn)確的回答（建立知識(shí)庫(kù)的過(guò)程類似于下圖提供參考信息的過(guò)程）。
建立知識(shí)庫(kù)的過(guò)程類似于上圖提供參考信息的過(guò)程
實(shí)現(xiàn)私有化部署后，大模型“胡言亂語(yǔ)”的習(xí)慣開(kāi)始逐漸被糾正，而且向量數(shù)據(jù)庫(kù)做的越大，它掌握的知識(shí)越多、越準(zhǔn)確、越全面，就越有可能帶來(lái)爆炸式的大模型應(yīng)用。
不過(guò)，如果只是依靠向量數(shù)據(jù)庫(kù)進(jìn)行私有化部署，容量有限且速度比較慢，無(wú)法完全滿足企業(yè)通過(guò)大模型提質(zhì)增效的潛在需求。
現(xiàn)在，cVector向量計(jì)算一體機(jī)通過(guò)發(fā)揮高性能硬件、向量加速算法和并行計(jì)算算法的合力，致力于滿足億級(jí)乃至百億千億向量規(guī)模的大模型推理應(yīng)用向量計(jì)算需求。
cVector向量計(jì)算一體機(jī)
cVector向量計(jì)算一體機(jī)的使用方式與向量數(shù)據(jù)庫(kù)基本一致，支持批量、追加入庫(kù)，支持向量間歐式距離、余弦距離等向量計(jì)算，支持網(wǎng)頁(yè)、命令調(diào)用、Python庫(kù)等方法，但在向量的入庫(kù)和比對(duì)計(jì)算上具有驚人的性能。
cVector向量計(jì)算一體機(jī)架構(gòu)圖
近期， cVector向量計(jì)算一體機(jī)接受了工信部直屬的國(guó)家一級(jí)科研事業(yè)單位中國(guó)軟件評(píng)測(cè)中心的鑒定測(cè)試。中國(guó)軟件評(píng)測(cè)中心對(duì)比測(cè)試了cVector向量計(jì)算一體機(jī)與3款主流向量數(shù)據(jù)庫(kù)在入庫(kù)速度、查詢速度、準(zhǔn)確性等維度的性能對(duì)比。
在入庫(kù)性能方面，同樣入庫(kù)3000萬(wàn)條256 維向量數(shù)據(jù)，在向量數(shù)據(jù)庫(kù)中最快的是A，入庫(kù)速度是4851.97s，cVector向量計(jì)算一體機(jī)是1202.91s，入庫(kù)速度約是向量數(shù)據(jù)庫(kù)A的4倍，向量數(shù)據(jù)庫(kù)C的50倍，向量數(shù)據(jù)庫(kù)B的113倍；當(dāng)入庫(kù)數(shù)據(jù)達(dá)到1億條時(shí)，向量數(shù)據(jù)庫(kù)A的入庫(kù)速度是17295.49s，cVector向量計(jì)算一體機(jī)是4484.55s，入庫(kù)速度約是前者的3.9倍。
入庫(kù)性能比對(duì)
在查詢性能方面，同樣查詢1億條256 維向量數(shù)據(jù)，向量數(shù)據(jù)庫(kù)A的查詢速度是512.8s，cVector向量計(jì)算一體機(jī)是0.27s，查詢速度是前者的1899倍，而其他兩家測(cè)試向量數(shù)據(jù)庫(kù)由于數(shù)據(jù)量太大無(wú)法入庫(kù)比較。
查詢性能對(duì)比
在準(zhǔn)確性方面，cVector 向量計(jì)算一體機(jī)、向量數(shù)據(jù)庫(kù)A、向量數(shù)據(jù)庫(kù)B和向量數(shù)據(jù)庫(kù)C的數(shù)據(jù)準(zhǔn)確度一致，通過(guò)了中國(guó)軟件評(píng)測(cè)中心（工業(yè)和信息化部軟件與集成電路促進(jìn)中心）單項(xiàng)性能測(cè)試。
cVector向量計(jì)算一體機(jī)在億級(jí)乃至百億千億向量規(guī)模的的入庫(kù)和查詢等方面具有顯著的性能優(yōu)勢(shì)，可幫助提高大模型推理的服務(wù)性能和服務(wù)質(zhì)量，并能明顯降低其基礎(chǔ)設(shè)施建設(shè)成本，助力類ChatGPT等人工智能企業(yè)以更優(yōu)的性價(jià)比解決算力不足的問(wèn)題。
在具體應(yīng)用方面，對(duì)于生成式AI相關(guān)企業(yè)，cVector向量計(jì)算一體機(jī)主要面向大模型推理應(yīng)用，能夠在下述大模型推理環(huán)節(jié)發(fā)揮顯著作用：
①提高生成式AI的輸出準(zhǔn)確性。由于大模型的輸出結(jié)果是根據(jù)概率推理而成，所以會(huì)出現(xiàn)“一本正經(jīng)說(shuō)胡話”的情形?？梢詫⒖尚艁?lái)源的數(shù)據(jù)轉(zhuǎn)化成向量數(shù)據(jù)存儲(chǔ)在向量計(jì)算一體機(jī)中，校準(zhǔn)大模型推理輸出的結(jié)果，從而使大模型輸出的結(jié)果更加準(zhǔn)確。
②提升大模型理解互聯(lián)網(wǎng)實(shí)時(shí)數(shù)據(jù)的能力。大模型基于歷史數(shù)據(jù)訓(xùn)練而成，所以“只知道過(guò)去，不知道現(xiàn)在”。如果使用向量計(jì)算一體機(jī)存儲(chǔ)海量實(shí)時(shí)數(shù)據(jù)所轉(zhuǎn)化成的向量數(shù)據(jù)，可以幫助大模型理解掌握實(shí)時(shí)情況。
③提升大模型對(duì)用戶的服務(wù)質(zhì)量。向量計(jì)算一體機(jī)可以允許用戶上傳更多的數(shù)據(jù)，讓大模型掌握用戶個(gè)性化的背景資料，更好地學(xué)習(xí)理解用戶請(qǐng)求，更好地結(jié)合用戶的實(shí)際情況回答問(wèn)題。
④減輕大模型的訪問(wèn)壓力。用戶所提的大部分問(wèn)題都是相似的常見(jiàn)問(wèn)題，向量計(jì)算一體機(jī)可以緩存大量熱點(diǎn)問(wèn)題，不需要經(jīng)過(guò)大模型推理即可返回結(jié)果，從而大幅減少算力成本。
⑤幫助生成式AI過(guò)濾敏感內(nèi)容。怎么防止生成式AI說(shuō)錯(cuò)話一直是一個(gè)挑戰(zhàn)性問(wèn)題，而向量計(jì)算一體機(jī)可以存放敏感內(nèi)容所對(duì)應(yīng)的向量數(shù)據(jù)，在用戶提出請(qǐng)求時(shí)加以判斷，盡可能防止AI對(duì)敏感問(wèn)題做出不恰當(dāng)?shù)幕貞?yīng)。
cVector向量計(jì)算一體機(jī)能夠廣泛應(yīng)用于人工智能領(lǐng)域中生成式AI的推理應(yīng)用場(chǎng)景，為各類生成式AI企業(yè)提供高性價(jià)比的產(chǎn)品和解決方案，大幅增加大模型平臺(tái)的競(jìng)爭(zhēng)力，歡迎各大企事業(yè)單位試用。
目前國(guó)內(nèi)某家龍頭大模型研發(fā)機(jī)構(gòu)已經(jīng)開(kāi)始在測(cè)試cVector向量計(jì)算一體機(jī)，他們反映原來(lái)的向量數(shù)據(jù)庫(kù)的確是一個(gè)大瓶頸，如果不解決，會(huì)嚴(yán)重制約大模型的表現(xiàn)。
聯(lián)系方式：
單先生 13770311887（微信同號(hào)）
點(diǎn)擊“此處”了解更多
