ヘルスケアおよびライフ サイエンス (HCLS) の顧客は、データからより多くの情報を得るツールとして生成 AI を採用しています。 ユースケースには、読者が文書の重要なポイントに集中できるように文書を要約したり、非構造化テキストを標準化された形式に変換して重要な属性を強調したりすることが含まれます。 独自のデータ形式と厳しい規制要件により、顧客は最もパフォーマンスが高くコスト効率の高いモデルを選択する選択肢と、ビジネス ユース ケースに合わせて必要なカスタマイズ (微調整) を実行できる機能を求めています。 この投稿では、次を使用して Falcon 大規模言語モデル (LLM) をデプロイする手順を説明します。 Amazon SageMaker ジャンプスタート そしてモデルを使用して、LangChain と Python で長い文書を要約します。
ソリューションの概要
アマゾンセージメーカー は、製品レコメンデーション、パーソナライゼーション、インテリジェント ショッピング、ロボット工学、音声支援デバイスなどの実世界の ML アプリケーションを開発した Amazon の XNUMX 年にわたる経験に基づいて構築されています。 SageMaker は、データ サイエンティスト、ML エンジニア、ビジネス アナリストが ML で革新できるツールを提供する HIPAA 準拠のマネージド サービスです。 SageMaker 内では、 Amazon SageMakerスタジオは、協調的な ML ワークフロー専用に構築された統合開発環境 (IDE) であり、SageMaker JumpStart と呼ばれる統合ハブに、さまざまなクイックスタート ソリューションと事前トレーニングされた ML モデルが含まれています。 SageMaker JumpStart を使用すると、事前に構築されたサンプル ノートブックと SDK サポートを備えた Falcon LLM などの事前トレーニングされたモデルを使用して、これらの強力なトランスフォーマー モデルを実験およびデプロイできます。 SageMaker Studio と SageMaker JumpStart を使用して、AWS アカウントに独自の生成モデルをデプロイし、クエリを実行できます。
推論ペイロード データが VPC から流出しないようにすることもできます。 モデルをシングルテナントのエンドポイントとしてプロビジョニングし、ネットワークを分離して展開できます。 さらに、SageMaker JumpStart 内のプライベート モデル ハブ機能を使用し、承認されたモデルをそこに保存することで、独自のセキュリティ要件を満たす選択したモデルのセットを厳選して管理できます。 SageMaker は以下の範囲に含まれます ヒパア・バア, SOC123, ヒットラストCSF.
ファルコンLLM は、Technology Innovation Institute (TII) の研究者によって AWS を使用して 1 兆を超えるトークンについてトレーニングされた大規模な言語モデルです。 Falcon にはさまざまなバリエーションがあり、その 40 つの主な構成要素である Falcon 7B と Falcon 40B は、それぞれ 7 億と XNUMX 億のパラメータで構成されており、指示に従うなど、特定のタスク向けにトレーニングされた微調整バージョンが含まれています。 Falcon は、テキストの要約、感情分析、質問応答、会話などのさまざまなタスクで優れたパフォーマンスを発揮します。 この投稿では、SageMaker JumpStart 経由でマネージド ノートブック インスタンスを使用してテキストの要約を実験し、Falcon LLM を AWS アカウントにデプロイするためのチュートリアルを提供します。
SageMaker JumpStart モデル ハブには、各モデルをデプロイおよびクエリするための完全なノートブックが含まれています。 この記事の執筆時点では、SageMaker JumpStart モデル ハブで利用可能な Falcon の 40 つのバージョンがあります: Falcon 16B Instruct BF40、Falcon 16B BF180、Falcon 16B BF180、Falcon 16B Chat BF7、Falcon 16B Instruct BF7、および Falcon 16B BF7。 この投稿では Falcon XNUMXB Instruct モデルを使用します。
次のセクションでは、SageMaker Jumpstart に Falcon 7B をデプロイしてドキュメントの要約を開始する方法を示します。
前提条件
このチュートリアルでは、SageMaker ドメインを持つ AWS アカウントが必要です。 SageMaker ドメインをまだお持ちでない場合は、以下を参照してください。 AmazonSageMakerドメインにオンボード 1つを作成します。
SageMaker JumpStart を使用して Falcon 7B をデプロイする
モデルをデプロイするには、以下の手順を実行します。
- SageMaker コンソールから SageMaker Studio 環境に移動します。
- IDE 内で、 SageMaker ジャンプスタート ナビゲーション ペインで、 モデル、ノートブック、ソリューション.
- Falcon 7B Instruct モデルを推論用のエンドポイントにデプロイします。
これにより、Falcon 7B Instruct BF16 モデルのモデル カードが開きます。 このページでは、 配備します or トレーニング オプションと、SageMaker Studio でサンプル ノートブックを開くためのリンク。 この投稿では、SageMaker JumpStart のサンプル ノートブックを使用してモデルをデプロイします。
- 選択する ノートを開く.
- ノートブックの最初の 7 つのセルを実行して、Falcon XNUMXB Instruct エンドポイントをデプロイします。
デプロイされた JumpStart モデルは、 JumpStart アセットを開始しました ページで見やすくするために変数を解析したりすることができます。
- ナビゲーションペインの[ SageMaker ジャンプスタート、選択する JumpStart アセットを開始しました.
- 選択する モデルのエンドポイント タブをクリックしてエンドポイントのステータスを表示します。
Falcon LLM エンドポイントをデプロイすると、モデルをクエリする準備が整います。
最初のクエリを実行します
クエリを実行するには、次の手順を実行します。
- ソフトウェア設定ページで、下図のように File メニュー、選択 新作 および ノート 新しいノートブックを開く。
完成したノートブックをダウンロードすることもできます こちら.
- プロンプトが表示されたら、イメージ、カーネル、インスタンス タイプを選択します。 この投稿では、データ サイエンス 3.0 イメージ、Python 3 カーネル、および ml.t3.medium インスタンスを選択します。
- 最初のセルに次の 3 行を入力して、BotoXNUMX モジュールと JSON モジュールをインポートします。
- イベント Shift + Enter セルを実行します。
- 次に、エンドポイントを呼び出す関数を定義できます。 この関数は辞書ペイロードを受け取り、それを使用して SageMaker ランタイム クライアントを呼び出します。 次に、応答を逆シリアル化し、入力テキストと生成されたテキストを出力します。
ペイロードには、入力としてのプロンプトと、モデルに渡される推論パラメーターが含まれます。
- プロンプトでこれらのパラメーターを使用して、ユースケースに合わせてモデルの出力を調整できます。
要約プロンプトを使用したクエリ
この投稿では、サンプルの研究論文を使用して要約を示します。 このテキスト ファイルの例は、生物医学文献の自動テキスト要約に関するものです。 次の手順を実行します。
- ダウンロード PDF を開き、テキストを という名前のファイルにコピーします。
document.txt
. - SageMaker Studio で、アップロード アイコンを選択し、ファイルを SageMaker Studio インスタンスにアップロードします。
Falcon LLM は、すぐに使用できるテキスト要約のサポートを提供します。
- プロンプトエンジニアリング手法を使って要約する関数を作成しましょう
document.txt
:
長いドキュメントの場合、エラーが表示されることがわかります。Falcon は、他のすべての LLM と同様に、入力として渡されるトークンの数に制限があります。 LangChain の強化された要約機能を使用すると、この制限を回避できます。これにより、はるかに大きな入力を LLM に渡すことができます。
要約チェーンをインポートして実行する
LangChain は、開発者やデータ サイエンティストが、複雑な ML インタラクションを管理することなく、カスタム生成アプリケーションを迅速に構築、調整、デプロイできるようにするオープンソース ソフトウェア ライブラリです。通常、生成 AI 言語モデルの一般的なユース ケースの多くをわずか数個で抽象化するために使用されます。コード行。 LangChain の AWS サービスのサポートには、SageMaker エンドポイントのサポートが含まれます。
LangChain は、LLM にアクセス可能なインターフェイスを提供します。 その機能には、プロンプト テンプレートとプロンプト チェーンのためのツールが含まれています。 これらのチェーンを使用すると、言語モデルがサポートする長さよりも長いテキスト ドキュメントを XNUMX 回の呼び出しで要約することができます。 マップ リデュース戦略を使用すると、長いドキュメントを管理可能なチャンクに分割し、要約し、結合する (必要に応じて再度要約する) ことで、長いドキュメントを要約できます。
- まず、LangChain をインストールしましょう。
- 関連するモジュールをインポートし、長いドキュメントをいくつかのチャンクに分割します。
- LangChain を Falcon と効果的に連携させるには、有効な入力および出力用のデフォルトのコンテンツ ハンドラー クラスを定義する必要があります。
- カスタム プロンプトを次のように定義できます。
PromptTemplate
オブジェクトは、LangChain でプロンプトを表示するための主要な手段であり、map-reduce 要約アプローチで使用されます。 要約チェーンをロードするための呼び出し内のパラメータ(load_summarize_chain
) は未定義です。
- LangChain は、SageMaker 推論エンドポイントでホストされる LLM をサポートしているため、AWS Python SDK を使用する代わりに、LangChain を介して接続を初期化し、アクセシビリティを向上させることができます。
- 最後に、次のコードを使用して、要約チェーンをロードし、入力ドキュメントの要約を実行できます。
から verbose
パラメータは True
を実行すると、map-reduce アプローチの中間出力がすべて表示されます。 これは、イベントのシーケンスをたどって最終的な概要を得るのに役立ちます。 このマップ リデュース アプローチを使用すると、モデルの最大入力トークン制限で通常許容されるよりもはるかに長いドキュメントを効果的に要約できます。
クリーンアップ
推論エンドポイントの使用が終了したら、次のコード行による不必要なコストの発生を避けるために、推論エンドポイントを削除することが重要です。
SageMaker JumpStart での他の基礎モデルの使用
ドキュメントの要約に SageMaker JumpStart で利用可能な他の基盤モデルを利用する場合、セットアップとデプロイにかかるオーバーヘッドは最小限で済みます。 LLM は入出力形式の構造によって異なる場合があり、新しいモデルや既成のソリューションが SageMaker JumpStart に追加されると、タスクの実装によっては、次のコード変更が必要になる場合があります。
- を介して要約を実行している場合は、
summarize()
メソッド (LangChain を使用しないメソッド) の場合、JSON 構造の変更が必要になる場合があります。payload
パラメータ、および応答変数の処理query_endpoint()
function - LangChain 経由で要約を実行している場合
load_summarize_chain()
メソッドを変更する必要がある場合がありますContentHandlerTextSummarization
クラス、特にtransform_input()
およびtransform_output()
LLM が予期するペイロードと LLM が返す出力を正しく処理するための関数
基礎モデルは、推論の速度や品質などの要素だけでなく、入力形式と出力形式も異なります。 予想される入力と出力については、LLM の関連情報ページを参照してください。
まとめ
Falcon 7B Instruct モデルは SageMaker JumpStart モデル ハブで利用でき、多くのユースケースで実行できます。 この投稿では、SageMaker JumpStart を使用して独自の Falcon LLM エンドポイントを環境にデプロイし、SageMaker Studio から最初の実験を行う方法を説明しました。これにより、モデルのプロトタイプを迅速に作成し、実稼働環境にシームレスに移行できるようになります。 Falcon と LangChain を使用すると、長文のヘルスケアおよびライフ サイエンスのドキュメントを大規模に効果的に要約できます。
AWS での生成 AI の操作の詳細については、以下を参照してください。 AWS でジェネレーティブ AI を使用して構築するための新しいツールを発表。 この投稿で概説した方法を使用して、ヘルスケアおよびライフ サイエンス指向の GenAI アプリケーションのドキュメント要約概念実証の実験と構築を開始できます。 いつ アマゾンの岩盤 の一般提供が開始されましたら、Amazon Bedrock と LangChain を使用してドキュメントの要約を実装する方法を示すフォローアップ投稿を公開する予定です。
著者について
ジョン北岡 アマゾン ウェブ サービスのソリューション アーキテクトです。 John は、お客様が AWS 上で AI/ML ワークロードを設計および最適化してビジネス目標を達成できるよう支援します。
ジョシュ・ファムスタッド アマゾン ウェブ サービスのソリューション アーキテクトです。 Josh は公共部門の顧客と協力して、ビジネスの優先事項を達成するためのクラウド ベースのアプローチを構築および実行しています。
- SEO を活用したコンテンツと PR 配信。 今日増幅されます。
- PlatoData.Network 垂直生成 Ai。 自分自身に力を与えましょう。 こちらからアクセスしてください。
- プラトアイストリーム。 Web3 インテリジェンス。 知識増幅。 こちらからアクセスしてください。
- プラトンESG。 カーボン、 クリーンテック、 エネルギー、 環境、 太陽、 廃棄物管理。 こちらからアクセスしてください。
- プラトンヘルス。 バイオテクノロジーと臨床試験のインテリジェンス。 こちらからアクセスしてください。
- 情報源: https://aws.amazon.com/blogs/machine-learning/create-an-hcls-document-summarization-application-with-falcon-using-amazon-sagemaker-jumpstart/
- :持っている
- :は
- :not
- $UP
- 1
- 10
- 100
- 11
- 12
- 14
- 150
- 16
- 1M
- 20
- 40
- 400
- 50
- 500
- 7
- a
- 能力
- 抽象
- 受け入れる
- 接近性
- アクセス可能な
- 達成する
- 追加されました
- 採用
- 再び
- AI
- AI / ML
- すべて
- 許可されて
- 許可
- ことができます
- 並んで
- 既に
- また
- Amazon
- アマゾンセージメーカー
- Amazon SageMaker ジャンプスタート
- Amazon Webサービス
- an
- 分析
- アナリスト
- および
- 動物
- 動物
- 申し込み
- アプローチ
- アプローチ
- 承認された
- です
- 周りに
- AS
- At
- 属性
- オートマチック
- 利用できます
- 避ける
- AWS
- ベース
- BE
- なぜなら
- 始まる
- と考えています
- 10億
- 生物医学
- ボディ
- 大胆な
- ボックス
- ブレーク
- 破壊
- ビルド
- 建物
- 内蔵
- ビジネス
- 焙煎が極度に未発達や過発達のコーヒーにて、クロロゲン酸の味わいへの影響は強くなり、金属を思わせる味わいと乾いたマウスフィールを感じさせます。
- by
- コール
- 呼ばれます
- 缶
- 取得することができます
- 機能
- 機能
- カード
- 場合
- 例
- 細胞
- チェーン
- チェーン
- 変化する
- 変更
- 選択肢
- 選択する
- 選択する
- class
- クラス
- クライアント
- クラウド
- コード
- 共同
- 組み合わせる
- 結合
- コマンドと
- 一般に
- 比べ
- コンプリート
- 記入済みの
- 複雑な
- 構成
- コンセプト
- 特徴
- 接続
- 領事
- 含む
- コンテンツ
- コスト効率の良い
- コスト
- 作ります
- カスタム
- Customers
- カスタム化
- データ
- データサイエンス
- 数十年
- デフォルト
- 定義します
- 配信する
- 実証します
- 実証
- によっては
- 展開します
- 展開
- 展開する
- 展開
- 設計
- 開発者
- 開発
- 開発
- Devices
- 異なります
- do
- ドキュメント
- ドキュメント
- そうではありません
- ドメイン
- ドント
- ダウン
- ダウンロード
- 各
- EARTH
- 効果的に
- enable
- エンドポイント
- エンジニアリング
- エンジニア
- 強化された
- 確保
- 入る
- 環境
- エラー
- イベント
- 例
- 実行します
- 予想される
- 期待する
- 体験
- 実験
- 実験
- 顔
- 要因
- false
- 特徴
- 少数の
- File
- ファイナル
- もう完成させ、ワークスペースに掲示しましたか?
- 名
- フィット
- フォーカス
- フォロー中
- Foundation
- 4
- から
- function
- 機能
- さらに
- 一般に
- 生成する
- 生成された
- 生々しい
- 生成AI
- 取得する
- 目標
- 大きい
- ハンドル
- ハンドリング
- 持ってる
- ヘルスケア
- 助けます
- ことができます
- 特徴
- 主催
- 認定条件
- How To
- HTML
- HTTPS
- ハブ
- ICON
- if
- 画像
- 実装する
- 実装
- import
- 重要
- in
- include
- 含ま
- 含めて
- 情報
- 革新します
- 革新的手法
- 入力
- install
- を取得する必要がある者
- 機関
- 説明書
- 統合された
- インテリジェント-
- 相互作用
- インタフェース
- に
- 分離
- IT
- ITS
- John Redfern
- JSON
- ただ
- キー
- 言語
- 大
- より大きい
- 打ち上げ
- コメントを残す
- 図書館
- 生活
- 生命科学
- LIMIT
- ライン
- リンク
- レポート
- LLM
- 負荷
- 長い
- より長いです
- 探して
- メイン
- make
- 管理します
- 扱いやすいです
- マネージド
- 管理する
- 多くの
- マッピング
- 五月..
- ミディアム
- メニュー
- 方法
- 最小限の
- ML
- モデル
- 修正する
- モジュール
- 他には?
- 最も
- ずっと
- ナビゲーション
- 必要
- 必要
- 必要とされる
- ネットワーク
- 新作
- NIHの
- 通常は
- ノート
- 知らせ..
- 数
- オブジェクト
- of
- on
- ONE
- の
- 開いた
- オープンソース
- オープンソースソフトウェア
- 最適化
- オプション
- その他
- 概説
- 出力
- が
- 自分の
- ページ
- ペイン
- 紙素材
- パラメーター
- パラメータ
- 渡された
- 実行する
- 実行
- 実行する
- 個人化
- プラトン
- プラトンデータインテリジェンス
- プラトデータ
- ポイント
- ポスト
- 強力な
- 印刷物
- プリント
- プライベート
- プロセス
- プロダクト
- 生産
- 証拠
- プロトタイプ
- 提供します
- 提供
- は、大阪で
- 準備
- 公共
- パブリッシュ
- Python
- 品質
- 質問
- すぐに
- 急速に
- 読者
- 準備
- 現実の世界
- 提言
- 参照する
- レギュレータ
- 関連した
- 要件
- 必要
- 研究
- 研究者
- それぞれ
- 応答
- return
- ロボット工学
- ラン
- セージメーカー
- SageMaker の推論
- 規模
- 科学
- 科学
- 科学者たち
- スコープ
- SDDK
- シームレス
- セクション
- セクター
- セキュリティ
- 選択
- 自己
- 感情
- シーケンス
- サービス
- サービス
- セッションに
- 設定
- ショッピング
- ショート
- 表示する
- SIX
- So
- ソフトウェア
- ソリューション
- 特定の
- 特に
- スピード
- start
- 開始
- Status:
- 手順
- ステップ
- 保存
- 戦略
- 厳格な
- 構造
- 研究
- そのような
- まとめる
- 概要
- サポート
- サポート
- 取り
- 仕事
- タスク
- テクニック
- テクノロジー
- 技術革新
- 클라우드 기반 AI/ML및 고성능 컴퓨팅을 통한 디지털 트윈의 기초 – Edward Hsu, Rescale CPO 많은 엔지니어링 중심 기업에게 클라우드는 R&D디지털 전환의 첫 단계일 뿐입니다. 클라우드 자원을 활용해 엔지니어링 팀의 제약을 해결하는 단계를 넘어, 시뮬레이션 운영을 통합하고 최적화하며, 궁극적으로는 모델 기반의 협업과 의사 결정을 지원하여 신제품을 결정할 때 데이터 기반 엔지니어링을 적용하고자 합니다. Rescale은 이러한 혁신을 돕기 위해 컴퓨팅 추천 엔진, 통합 데이터 패브릭, 메타데이터 관리 등을 개발하고 있습니다. 이번 자리를 빌려 비즈니스 경쟁력 제고를 위한 디지털 트윈 및 디지털 스레드 전략 개발 방법에 대한 인사이트를 나누고자 합니다.
- より
- それ
- アプリ環境に合わせて
- それら
- その後
- そこ。
- ボーマン
- この
- 介して
- 〜へ
- 一緒に
- トークン
- トークン
- ツール
- 豊富なツール群
- 訓練された
- トランス
- 変換
- 遷移
- 1兆
- true
- 順番
- チュートリアル
- 2
- type
- 未定義
- ユニーク
- 不要
- アップロード
- つかいます
- 使用事例
- 中古
- 使用されます
- 変数
- 多様
- 自動車
- バージョン
- 、
- 詳しく見る
- 歩く
- ウォークスルー
- we
- ウェブ
- Webサービス
- WELL
- この試験は
- いつ
- which
- ワイド
- 意志
- 以内
- 無し
- 仕事
- ワークフロー
- ワーキング
- 作品
- 書きます
- 書き込み
- You
- あなたの
- ゼファーネット