微調整 API の改善の導入とカスタム モデル プログラムの拡張

補助付き微調整

昨年 11 月の DevDay で、私たちは 発表の OpenAI 研究者の専任グループと協力して、特定のドメイン向けにモデルをトレーニングおよび最適化するように設計されたカスタム モデル プログラム。それ以来、私たちは数十の顧客と会い、カスタム モデルのニーズを評価し、パフォーマンスをさらに最大化するためにプログラムを進化させてきました。

本日、カスタム モデル プログラムの一環として、微調整支援サービスを正式に発表します。補助微調整は、追加のハイパーパラメータや大規模なさまざまなパラメータ効率的微調整 (PEFT) メソッドなど、微調整 API を超えた技術を活用するための当社の技術チームとの共同作業です。これは、ユースケースやタスクのモデルのパフォーマンスを最大化するために、効率的なトレーニング データ パイプライン、評価システム、特注のパラメーターとメソッドのセットアップのサポートを必要とする組織にとって特に役立ちます。

たとえば、 SKテレコム韓国で 30 万人以上の加入者にサービスを提供する電気通信事業者である は、最初は顧客サービスに重点を置き、電気通信分野のエキスパートとなるようにモデルをカスタマイズしたいと考えていました。彼らは OpenAI と協力して GPT-4 を微調整し、韓国語での通信関連の会話におけるパフォーマンスを向上させました。数週間にわたって、SKT と OpenAI は通信カスタマー サービス タスクのパフォーマンスを大幅に向上させました。会話の要約の品質が 35% 向上し、意図認識の精度が 33% 向上し、満足度スコアが 3.6 から 4.5 に向上しました。 5) 微調整モデルを GPT-4 と比較する場合。 

カスタムトレーニングされたモデル

場合によっては、組織は、自社のビジネス、業界、ドメインを理解する専用のモデルを一からトレーニングする必要があります。完全にカスタム トレーニングされたモデルは、新しいトレーニング中およびトレーニング後の手法を使用してモデル トレーニング プロセスの主要なステップを変更することにより、特定のドメインから新しい知識を注入します。完全にカスタム トレーニングされたモデルで成功を収めている組織は、多くの場合、大量の独自のデータ (数百万のサンプルまたは数十億のトークン) を保有しており、これらのデータを使用して、モデルに新しい知識や、非常に特殊なユース ケース向けの複雑でユニークな動作を教えたいと考えています。 

たとえば、 ハーヴェイ弁護士向けの AI ネイティブ法務ツールであり、OpenAI と提携して、 判例法用にカスタムトレーニングされた大規模な言語モデルを作成する。財団モデルは推論には優れていましたが、訴訟履歴や法律業務に必要なその他の知識に関する広範な知識が不足していました。プロンプト エンジニアリング、RAG、微調整をテストした後、Harvey はチームと協力してモデルに必要なコンテキストの深さを追加しました。これは 10 億トークン相当のデータに相当します。私たちのチームは、ドメイン固有のトレーニング中からトレーニング後のプロセスのカスタマイズ、弁護士の専門家のフィードバックの組み込みに至るまで、モデル トレーニング プロセスのすべてのステップを修正しました。結果として得られたモデルでは、事実に基づく回答が 83% 増加し、弁護士は GPT-97 よりもカスタマイズされたモデルの出力を 4% の確率で好んでいました。