企業向け生成式AI

2022年末にOpenAIが発表した対話型AI「ChatGPT」は、AIによる自然言語処理技術をこれまでにないレベルへと進化させました。さらに、音声や画像、アニメーションなどを生成する技術が組み合わさることにより、生成式AIの新たな時代が幕を開けました。これを契機に、AIは人々の仕事や日常生活に深く浸透し、あらゆる業界の企業にとって、AI導入はもはや競争力を生む要素ではなく、企業の存続と成長に不可欠な要素となりました。 

ChatGPTの基盤となるアルゴリズムは、GPT-3.5およびGPT-4という大規模言語モデルです。2023年には、数社のテクノロジー企業がそれぞれ独自の大規模言語モデルを発表しました。注目すべきモデルには、Metaの「Llama 2」、新興企業Mistralの「Mixtral 8×7」、そしてGoogleの「Gemini」があります。その中でもLlama 2とMixtral 8×7はオープンソースとして提供されており、AI開発者がこれをダウンロードしてカスタマイズし、さまざまなアプリケーションに統合することができます。これらのオープンソースモデルはクラウド上で展開することも、企業の自社サーバーに導入することも可能で、企業が求めるセキュリティ、コスト、柔軟性に対応することができます。

前述の大規模言語モデルは、非常に充実した事前学習が行われており、膨大な計算リソースとデータセットを使用しています。実際に利用する際には、ユーザーが入力したテキスト（プロンプト）を基に、モデルが順次予測を行い、新しいコンテンツを生成します。このプロセスは何度も調整でき、最終的に望ましい結果が得られるまで繰り返し行えます。しかし、生成モデルは予測を行うだけで、その内容の正確性を確認することはないため、文章がスムーズであっても、時には事実と異なる情報が含まれることがあります。この現象は「ハルシネーション（artificial hallucinations）」と呼ばれ、生成式大規模言語モデルに共通する課題です。また、モデルが使用している訓練データは多くが公開されている情報に依存しているため、汎用の大規模言語モデルは企業固有の内容を生成するには十分ではありません。

大規模言語モデルを効果的に活用するために、企業は「カスタマイズしたモデルの微調整（ファインチューニング）」や「検索拡張生成（retrieval-augmented generation、RAG）」といった手法を導入することが有効です。ファインチューニングは膨大な計算資源を必要としますが、RAGは既存の大規模言語モデルを活用できるため、より簡単に実行できます。そのため、企業の大規模言語モデル利用（例えば、Q&Aや検索機能など）において、RAGは基本的な要素として広く使われています。

上の図は、RAG（Retrieval-Augmented Generation）の仕組みを示しています。ユーザーの入力が大規模言語モデルに送られる前に、まずセマンティック検索システムを使って、ユーザーが提供した資料や企業の知識ベースから関連情報を探し出します。その後、検索結果とユーザーの入力を一緒に大規模言語モデルに渡すことで、生成される内容の関連性や正確性が向上します。

RAGの実行には多くの技術的な詳細が含まれており、統一された方法はないため、マーケットにはさまざまなRAGソリューションが存在し、それぞれ異なるパフォーマンスを示しています。D8AIが提供するRAGソリューションには、以下の特徴があります

• 大規模言語モデルはMixtral 8×7、Llama2、ChatGPTから好みのものを選択することができます。
• D8AIのセマンティック検索は、BERT派生のディープラーニング技術を基に、自社開発したものです。
• 高い精度と計算効率を兼ね備え、柔軟に利用できるようになっています。
• カスタマイズに対応しており、継続的な更新や拡張も可能で、D8AIの他のAIサービスとの統合もサポートしています。
• クラウドとオンプレミスが利用可能で、ハードウェアのサポートも提供しています。

また、弊社は企業がカスタマイズしたモデルの微調整を実施する際の支援も行っています。

過去の機械、電力、コンピュータ、インターネットと同様に、AIは急速に人類の技術文明を前進させており、生成式AIはその過程で革命的な変化を引き起こしています。今後、あらゆる規模の企業が、このAIの波がもたらす良い影響と悪い影響の両方を受けることになるでしょう。