企業用生成式AI

2022年底，OpenAI推出對話機器人ChatGPT，將AI的自然語言處理能力帶到了前所未有的境界，更結合了語音、影像、動畫等生成技術，開啟了生成式AI的新時代。自此，AI開始廣泛地進入人類的工作與生活中，對任何領域的企業而言，AI化將不再是獨特的競爭力，而成為企業生存發展的必備條件。

ChatGPT的底層演算法為GPT-3.5及GPT-4，通稱為大型語言模型。在2023短短的一年間，幾家科技公司陸續推出了各自的大型語言模型，較為矚目的有Meta的Llama 2、新創公司Mistral 的Mixtral 8×7、及Google 的Gemini。其中Llama 2及Mixtral 8×7為開源模型，讓AI開發者得以下載、調校，並整合到各種應用軟體中；開源模型可部署於雲端，也可部署於企業機房中，足以滿足企業對資安、運算成本、客製化彈性等需求。

前述大型語言模型都經過相當完整的預訓練，動用了龐大的運算資源及訓練語料。在應用場域中，使用者輸入一段文字提示（prompt），模型根據使用者的提示，經逐字預測而產生一段新內容；這個提示、生成的步驟可以重複調整，直到產出滿意的內容。然而，由於生成式模型只作預測而不判斷內容的正確性，生成的內容即使語句通順流暢，有時卻與事實不符，此現象被稱為人工幻覺（artificial hallucinations），是生成式大型語言模型的共通問題。此外，由於模型的預訓練語料多為公開資料，原始的大型語言模型並不適用於個別企業特定內容的生成。

要能有效地利用大型語言模型來生成內容，企業可採用客製化模型微調（fine-tuning）或檢索增強生成（retrieval-augmented generation， 簡稱RAG）兩種方法。模型微調需動用相當的運算資源，RAG則可使用現成的大型語言模型，較易於執行，因此大型語言模型的企業應用（如問答、搜尋）中，RAG會是個基本的配備。

上圖顯示RAG的架構概念，在輸入使用者提示到大型語言模型前，先經由一個語意搜尋系統，從使用者提供的文件中、或是企業的知識庫中，尋找相關的資訊片段；再將搜尋的結果連同使用者提示輸入大型語言模型，以生成回應，如此可提升生成內容的相關性與正確性。

RAG的執行包含許多技術細節，並沒有統一的作法，因此市場上有各種RAG解決方案，展現出不同的效能。八維智能提供的RAG解決方案具有以下特色：

• 使用者可選擇大型語言模型（如Mixtral 8×7、Llama 2、ChatGPT）；
• 它的語意搜尋系統是由八維智能基於深度學習（BERT衍生模型）自主開發而成；
• 兼顧準確度、演算效率、使用彈性；
• 可客製、可持續更新及擴充，並可與八維智能其他的AI服務結合；
• 提供雲端版及落地版，並可提供硬體支援。

此外，八維智能也協助企業執行客製化模型微調。

如同之前的動力機械、電力、電腦、網際網路，AI正快速地推動人類的科技文明，而生成式AI在此過程中促成了革命性的進展。我們可以預見，無論大小企業都將接收到此波AI浪潮帶來的正面或負面的衝擊。