云創(chuàng)大數(shù)據正式發(fā)布cGPT大模型訓練推理一體機！

2023-10-07 11:30

　　隨著ChatGPT的風靡全球，以大模型技術為核心的生成式AI領域受到了廣泛的關注和應用，而生成內容的有理有據、準確可靠和不違反國家相關規(guī)定就變得十分重要。

　　在此背景下，南京云創(chuàng)大數(shù)據科技股份有限公司自主研發(fā)了cGPT大模型訓練推理一體機。該一體機是一款統(tǒng)一的大模型訓練和推理平臺，可以實現(xiàn)對大模型的全生命周期管理，包括數(shù)據集的管理，模型的訓練、評估和推理，平臺性能的監(jiān)控和管理等。

　　cGPT大模型訓練推理一體機特別適合私域大模型訓練和推理場景，支持全國產化的解決方案，通過對接用戶單位內部的數(shù)據庫，可為內網信息化提供新支撐；智能水平不俗，具備自主學習、總結加工、查詢信息等能力，猶如“多面手”和“中樞大腦”；知識處理能力強大，面對大量的知識點，也能進行高效處理；通過對接數(shù)據庫，可以提供數(shù)據查詢、答疑解惑等個性化服務。

　　在對接文檔方面，只需上傳文檔，cGPT大模型訓練推理一體機經過學習，便可結合該文檔，做出用戶所需準確的回答；在對接數(shù)據庫方面，cGPT大模型訓練推理一體機通過對已上傳表格、參考文獻等的學習，便可結合這些數(shù)據，做出總結性的準確回答，甚至可以展現(xiàn)與參考文獻的關聯(lián)度。同時，該一體機也可為用戶單位進行定制化拓展開發(fā)，使其具有個性化功能。

　　一般而言，當數(shù)據量相對較小的時候，cGPT大模型訓練推理一體機可與向量數(shù)據庫結合；當數(shù)據量相對較大的時候，可與云創(chuàng)大數(shù)據cVector向量計算一體機結合。

　　cVector向量計算一體機是一款面向億級以上向量計算場景的高性能向量存儲、計算一體化平臺。經中國軟件評測中心對比測試，cVector向量計算一體機在入庫性能、查詢性能、準確性方面明顯優(yōu)于同行產品，（點擊開放測試！云創(chuàng)大數(shù)據cVector向量計算一體機了解更多），以此可以保障cGPT大模型訓練推理一體機發(fā)揮突出優(yōu)勢。

　　值得一提的是，cGPT大模型訓練推理一體機支持海量數(shù)據私有化、本地化訓練部署和推理、全面支持國產化，能更好地適應中國的語言環(huán)境和文化背景，滿足中國用戶的需求。在保證用戶數(shù)據隱私的前提下，可廣泛應用于智能寫作、智能問答、自然語言生成、機器翻譯等多個領域。

　　● 高算力配置

　　cGPT大模型訓練推理一體機內置最高8塊通用型GPU計算卡，顯存最高可達640GB，單卡FP32精度算力可達37TFLOPS，F(xiàn)P16/BF16精度算力為147TFLOPS，INT8精度算力為295TOPS，支持INT32與INT16計算、支持多精度數(shù)據類型標準/混合訓練。

　　● 國產化適配

　　cGPT大模型訓練推理一體機除支持主流NVIDIA計算卡以外，根據用戶生產環(huán)境需要，還可支持全國產化方案，采用國產服務器準系統(tǒng)、CPU、GPU與操作系統(tǒng)，適用于有特殊安全需求的客戶。主流大模型相關配套框架均作適配，移植便捷，用戶訓練無需進行大量修改。

　　● 私有化部署

　　cGPT大模型訓練推理一體機可支持數(shù)據私有化，服務本地化部署，無需連接公共互聯(lián)網即可提供服務，杜絕用戶數(shù)據泄漏風險。通過本地文件服務器對本地模型進行管理和版本控制，實現(xiàn)模型部署本地化。通過本地大數(shù)據平臺對用戶業(yè)務數(shù)據進行采集、處理、分析、構建，實現(xiàn)用戶業(yè)務數(shù)據私有化。利用全面的訪問控制系統(tǒng)，對需要進行外網訪問的數(shù)據信息進行脫敏過濾，在確保用戶數(shù)據安全性的前提下，保障本地服務功能的完整性。

　　● 一站式方案

　　cGPT大模型訓練推理一體機構建了一站式部署、定制擴展方案，使得用戶無需掌握專業(yè)的人工智能知識，即可輕松擁有大模型提供的各種能力。通過一套完整的、用戶友好的可視化平臺，可簡單實現(xiàn)大模型的訓練、部署和服務提供；提供豐富的場景功能，用戶可根據專業(yè)需求，利用提示模板技術實現(xiàn)專業(yè)定制的大模型應用，例如智能專業(yè)寫作、智能行業(yè)查詢等。

　　cGPT訓練一體機G1000-T（根據需求，可與cVector向量計算一體機搭配使用）

　　硬件規(guī)格如下：