結合內外部AI發(fā)展趨勢及超聚變業(yè)務發(fā)展進展，超聚變成立了AI大模型應用項目，基于工業(yè)互聯(lián)網(wǎng)+大模型開展通用智能方向應用探索，引入國內外先進大模型技術，服務于企業(yè)辦公場景，促進企業(yè)從數(shù)字化向數(shù)智化轉型。
針對企業(yè)數(shù)字化運營中的痛點問題，采用大模型快速接入規(guī)?；瘧?、一站式工程化能力開發(fā)以及大小模型組合應用等創(chuàng)新技術，充分發(fā)揮大模型的優(yōu)勢。
支持IT智能客服、400通話質檢、文本摘要、圖文轉換、代碼生成、會議紀要等多個場景的智能應用。項目上線3個月，月均使用人數(shù)達到3000+，月均AI服務調用次數(shù)13萬+，顯著提升了辦公效率，助力企業(yè)實現(xiàn)數(shù)智化轉型。
通過實戰(zhàn)項目的落地，組建了一支專業(yè)的AI應用團隊，成功孵化了超聚變聚智AI平臺，構建了一套自有的AI需求應用建設流程，涵蓋企業(yè)AI場景識別、模型探索調優(yōu)、工程化以及上線運營等環(huán)節(jié)，形成了端到端的建設體系，具有行業(yè)示范作用。
一、實施背景及目標
當前，人工智能（AI）和深度學習技術已在眾多行業(yè)領域取得突破性進展，大模型作為智能時代的基礎設施，是人工智能的發(fā)展趨勢和未來。如何將大模型技術與實際需求相結合，提高企業(yè)整體運營效率和用戶滿意度方面仍面臨不小挑戰(zhàn)。
超聚變作為一家致力于成為全球領先的算力基礎設施與服務提供者的企業(yè)，在多個國家和地區(qū)設立了研發(fā)、生產(chǎn)和銷售中心，帶來了復雜的管理挑戰(zhàn)。如何實現(xiàn)公司全球業(yè)務的協(xié)同管理，提高運作效率？如何保證不同地區(qū)客戶、員工的流暢交流，提高辦公效率和交付效率？
面對這些問題，應用AI大模型技術可以幫助我們在全球化經(jīng)營中更好地應對管理挑戰(zhàn)，將AI技術生產(chǎn)力應用于企業(yè)內部，更有效、更大范圍地引入AI技術至IT應用中，促進算力產(chǎn)業(yè)從數(shù)字化向數(shù)智化轉型，以構建超聚變核心技術能力及差異化競爭力。
二、建設內容
圖一：超聚變AI大模型應用平臺
項目建設內容主要分為兩方面，一方面是圍繞企業(yè)內部辦公場景，結合AI大模型提供場景應用；另一方面是構建通用的大模型平臺能力，包括大模型注冊管理，應用管理和向量化服務，打造超聚變的AI大模型平臺能力。
2.1超聚變AI大模型場景應用
超聚變AI大模型應用項目已在公司內部落地了面向多個場景的應用服務，幫助員工提升工作效率，幫助公司降低人力成本。
2.1.1 IT智能客服
應用大模型技術，學習IT領域的知識及解決方案，替代人工坐席，智能理解用戶輸入的自然語言，根據(jù)輸入的問題結合知識庫內容給出最合適的答案。增強坐席戰(zhàn)力，實現(xiàn)了全天7*24小時全天候響應支持，從問答準確率提升到自然語言交流再到節(jié)省人力資源投入等方面都得到了突破性改善。
2.1.2 400通話智能質檢
應用大模型技術進行自然語言處理、意圖識別和情感分析，通過監(jiān)聽電話錄音內容及時發(fā)現(xiàn)400電話服務質量問題，并對異常情況進行跟蹤分析；借助情感分析技術評估客戶反饋及滿意度，并根據(jù)結果調整或優(yōu)化相應服務策略；基于收集到的數(shù)據(jù)和模型分析結果為公司提供具體改進建議，從而提升公司客戶服務質量、增強品牌形象。
圖二：400通話質檢系統(tǒng)頁面圖
2.1.3智能會議紀要助手
應用大模型技術實現(xiàn)快速、高效地輸出會議記錄文檔；支持音頻轉錄與口水稿生成環(huán)節(jié)自動完成，降低人為失誤率，并確保會議內容完整、準確地記錄；經(jīng)過內容提煉與關鍵信息標注處理后，重要決策點和任務安排等方面得以突出顯示，便于團隊成員快速查閱參考。
2.1.4研發(fā)代碼助手
運用大模型技術自動生成通用代碼片段，開發(fā)人員在輸入需求描述后，系統(tǒng)自動生成功能模塊的基本框架和實現(xiàn)細節(jié)，減輕開發(fā)人員的重復性勞動。
同時可生成清晰、易理解的代碼注釋文本，有助于提高代碼質量、便于項目理解與維護，并有利于跨團隊協(xié)作及知識傳承；在出現(xiàn)代碼問題時，借助大模型技術分析研發(fā)代碼后，快速定位問題并給出修復建議，可以顯著降低排查所需時間，并提高項目質量。
2.1.5產(chǎn)品領域專家
應用大模型技術，通過構建產(chǎn)品知識庫，包含所有服務器產(chǎn)品的詳細信息，包括型號、性能特點、適用場景、常見問題及解決方案等；自動更新產(chǎn)品知識庫，從而降低維護成本。通過自然語言處理技術理解銷售人員的提問，并以文本、語音或圖像的形式向銷售人員展示相關信息，有助于提高銷售決策的準確性，為客戶提供更好的服務。
2.2構建通用的大模型平臺能力
構建通用的大模型平臺能力，包括大模型注冊管理，應用管理和向量化服務；在建設同時沉淀了技術創(chuàng)新點：
2.2.1企業(yè)內外部大模型統(tǒng)一注冊管理能力
超聚變AI大模型項目憑借著公司強大的研發(fā)能力和領先的平臺解決方案設計能力，實現(xiàn)了業(yè)界各類大模型統(tǒng)一，快速的接入機制，并形成標準化能力。
（1）大模型的注冊接入管理：可以將業(yè)界各類大模型進行統(tǒng)一管理（當前主要針對大語言模型），實現(xiàn)跨應用將的模型資源共享與調配，使得各個模型都可以在一個統(tǒng)一的平臺環(huán)境中開發(fā)和維護。
（2）大模型的信息安全保障：超聚變公司在大模型的注冊管理模塊，還構建了一個安全隔離層，確保每一個模型都能在一個安全的環(huán)境中獨立運行，也通過加密和脫敏技術，防止大模型將企業(yè)密級信息竊取，將企業(yè)用戶進行畫像。
（3）大模型的統(tǒng)一分發(fā)管理：通過統(tǒng)一的服務分發(fā)，讓公司內對不同類型的大模型的調用，都能夠以一致的接口協(xié)議進行，大大簡化了產(chǎn)品化的工作。
（4）大模型的精細化運營管理：統(tǒng)一的運營管理，分析接口使用問題，定期對模型接口進行更新和調用邏輯優(yōu)化，確保模型的性能始終處于領先水平。
2.2.2大模型一站式應用開發(fā)的工程化能力
大模型的應用開發(fā)，有別于傳統(tǒng)的MLOps，更加專注在提示詞開發(fā)與私域向量庫管理方面，我們針對傳統(tǒng)MLOps服務在提示詞開發(fā)方面的不足，超聚變AI大模型項目提出了全新的提示詞開發(fā)流程LMOps，大大提升了大模型應用的開發(fā)效率，實現(xiàn)大模型參數(shù)的配置化調整。此外，項目在向量庫管理方面，借助公司先天的硬件資源優(yōu)勢和服務器優(yōu)化的部署架構，能夠實現(xiàn)對向量數(shù)據(jù)的高效處理與管理，提高利用率。
2.2.3大小模型組合應用，提升模型準確性
在實際的業(yè)務應用大模型的過程中，通常依賴單一大小模型來滿足不同服務需求，難以實現(xiàn)模型準確率的優(yōu)化。超聚變針對這一問題，構建了大小模型的組合應用的方案。該方案是通過多個AI模型的有機組合與協(xié)同，實現(xiàn)更準確的業(yè)務效果，即發(fā)揮了大模型預訓練模型的優(yōu)勢，又通過小模型實現(xiàn)更加專業(yè)，精細的業(yè)務行為，大模型就像大腦，小模型就像具體的動作執(zhí)行器官，兩者相互配合，更確保了大模型應用的精確性。
三、實施效果
截至目前，超聚變AI大模型應用項目已在公司內辦公領域、客戶伙伴關系領域、研發(fā)領域等落地IT智能客服、400通話質檢、智能會議紀要、智能研發(fā)助手、產(chǎn)品領域專家等場景解決方案，共有5000+用戶，月均使用人數(shù)3000+，AI服務月調用次數(shù)13萬+，顯著提升了辦公效率，收到各領域用戶好評。
1、IT智能客服：
問答準確率由此前的65%提升至85%，客戶體驗提升。
2、400電話質檢：
質檢覆蓋率從原本1%的提升100%，質檢準確率從85%提升到91%。
3、智能會議助手：
音頻轉錄速度和準確度分別提升了30%和50%，內容提煉和標注的速度提升了50%，會議紀要文檔生成的速度提升了60%。
4、研發(fā)代碼助手：
提升代碼理解的效率，在相同模式下，項目理解的時間減少40%。
將一種代碼語言轉換為另一種代碼語言，該項目使的代碼遷移速度提升80%，代碼規(guī)范程度提升30%。
5、產(chǎn)品領域專家：
產(chǎn)品問答的準確度提升40%，機器人構建時間縮短60%。
同時，超聚變大模型應用項目實施落地過程中，圍繞大模型應用總結出一套企業(yè)AI大模型應用構建方法，成功孵化超聚變聚智AI平臺；項目經(jīng)驗可為同行業(yè)企業(yè)提供借鑒，具有行業(yè)示范作用。