2021に発売、 Amazon SageMaker キャンバス は、コードを記述することなく機械学習 (ML) モデルを構築およびデプロイするための視覚的なポイント アンド クリック サービスです。 SageMaker Canvas で利用できるすぐに使える基盤モデル (FM) を使用すると、顧客はコンテンツの生成や要約などのタスクに生成 AI を使用できるようになります。
Amazon SageMaker Canvas の最新アップデートを発表できることを嬉しく思います。これにより、プラットフォームにエキサイティングな新しい生成 AI 機能がもたらされます。 Meta Llama 2 および Mistral.AI モデルのサポートとストリーミング応答の開始により、SageMaker Canvas はコードを XNUMX 行も記述することなく生成 AI を使い始めたいすべての人を支援し続けます。この投稿では、これらのアップデートとその利点について説明します。
Meta Llama 2 と Mistral モデルの紹介
Llama 2 は、幅広い生成 AI タスクに対して拡張性と汎用性が向上した Meta による最先端の基盤モデルです。ユーザーは、Llama 2 が意味のある一貫した会話を行い、新しいコンテンツを生成し、既存のメモから回答を抽出できると報告しています。 Llama 2 は、オープンソース コミュニティが独自の AI を活用したアプリケーションを構築するために現在利用できる最先端の大規模言語モデル (LLM) の XNUMX つです。
フランスの大手 AI 新興企業である Mistral.AI は、7 億のパラメータを備えた強力な言語モデルである Mistral 7.3B を開発しました。ミストラル モデルは、推論を高速化するためのグループ化クエリ アテンション (GQA) の使用により、オープンソース コミュニティで非常に高く評価されており、効率が高く、パラメーター数が XNUMX 倍または XNUMX 倍のモデルと同等のパフォーマンスを実現します。
本日、SageMaker Canvas が 2 つの Llama 7 モデル バリアントと XNUMX つの Mistral XNUMXB バリアントをサポートすることを発表できることを嬉しく思います。
これらのモデルをテストするには、SageMaker Canvas に移動します。 すぐに使えるモデル ページ、次に選択 コンテンツを生成、抽出、要約する。ここには、SageMaker Canvas GenAI チャット エクスペリエンスがあります。ここでは、モデルのドロップダウン メニューで選択することで、Amazon Bedrock または SageMaker JumpStart のモデルを使用できます。
この例では、Llama 2 モデルの XNUMX つを選択します。これで、入力またはクエリを入力できるようになります。入力を送信すると、SageMaker Canvas は入力をモデルに転送します。
SageMaker Canvas で利用可能なモデルのうち、ユースケースに最適なものを選択するには、モデル自体に関する情報を考慮する必要があります。Llama-2-70B-chat モデルはより大きなモデルです (パラメータ数は 70 億に対して 13 億) Llama-2-13B-chat を使用)、これは、待ち時間がわずかに長くなり、トークンあたりのコストが増加するという代償を払って、そのパフォーマンスが一般に小さいものよりも高いことを意味します。 Mistral-7B は Llama-2-7B または Llama-2-13B と同等のパフォーマンスを備えていますが、Amazon SageMaker でホストされています。これは、価格モデルが異なり、トークンあたりドルの価格設定モデルから時間あたりドルのモデルに移行することを意味します。これは、XNUMX 時間あたりの大量のリクエストと大規模な一貫した使用により、よりコスト効率が高くなります。上記のモデルはすべて、さまざまなユースケースで適切にパフォーマンスを発揮できるため、出力、スループット、コストのトレードオフを考慮して、どのモデルが問題を最もよく解決するかを評価することをお勧めします。
モデルの動作を比較する簡単な方法を探している場合、SageMaker Canvas はモデル比較の形式でこの機能をネイティブに提供します。最大 3 つの異なるモデルを選択し、同じクエリをそれらすべてに一度に送信できます。 SageMaker Canvas は各モデルから応答を取得し、それらを並べてチャット UI に表示します。これを行うには、次を選択します 比較 次に示すように、比較する他のモデルを選択します。
応答ストリーミングの導入: リアルタイムのインタラクションと強化されたパフォーマンス
このリリースの主な進歩の 1 つは、ストリーミング応答の導入です。応答のストリーミングは、ユーザーに豊かなエクスペリエンスを提供し、チャット エクスペリエンスをより適切に反映します。ストリーミング応答を使用すると、ユーザーは即座にフィードバックを受け取り、チャットボット アプリケーションにシームレスに統合できます。これにより、よりインタラクティブで応答性の高いエクスペリエンスが可能になり、チャットボットの全体的なパフォーマンスとユーザー満足度が向上します。チャットのような方法で即座に応答を受け取ることができるため、より自然な会話の流れが生まれ、ユーザー エクスペリエンスが向上します。
この機能を使用すると、AI モデルをリアルタイムで操作できるようになり、即座に応答を受け取り、さまざまなアプリケーションやワークフローへのシームレスな統合が可能になります。 SageMaker Canvas でクエリできるすべてのモデル (Amazon Bedrock および SageMaker JumpStart から) は、ユーザーに応答をストリーミングできます。
今日から始めましょう
チャットボット、レコメンデーション システム、仮想アシスタントのいずれを構築している場合でも、Llama 2 および Mistral モデルとストリーミング応答を組み合わせることで、プロジェクトのパフォーマンスと対話性が向上します。
SageMaker Canvas の最新機能を使用するには、必ずアプリを削除して再作成してください。これを行うには、選択してアプリからログアウトします。 ログアウトをクリックしてから、SageMaker Canvas を再度開きます。新しいモデルを見て、最新のリリースを楽しんでください。 SageMaker Canvas アプリケーションからログアウトすると、ワークスペース インスタンスによって使用されているすべてのリソースが解放されるため、意図しない追加料金が発生することが回避されます。
まとめ
SageMaker Canvas で Llama 2 および Mistral モデルの新しいストリーミング応答を開始するには、次のサイトにアクセスしてください。 SageMaker コンソール 直感的なインターフェイスを探索してください。 SageMaker Canvas と生成 AI がビジネス目標の達成にどのように役立つかについて詳しくは、以下を参照してください。 ビジネスユーザーが Amazon SageMaker Canvas と Generative AI を使用して会社の文書から洞察を抽出できるようにします。 および 生成 AI と Amazon SageMaker Canvas でコンタクトセンターの一般的な課題を克服.
SageMaker Canvas の機能についてさらに詳しく知り、他の ML ユースケースについて詳しく知りたい場合は、次の記事で利用可能な他の投稿を確認してください。 SageMaker Canvas カテゴリ AWS ML ブログの。これらの新機能を使用して皆さんが作成する素晴らしい AI アプリケーションを見るのが待ちきれません。
著者について
ダビデガリテッリ AI/ML のシニア スペシャリスト ソリューション アーキテクトです。 彼はブリュッセルに拠点を置き、ローコード/ノーコード機械学習テクノロジーと生成 AI の導入を検討している世界中の顧客と緊密に連携しています。 彼は幼い頃から開発者であり、7 歳でコーディングを始めました。大学で AI/ML を学び始め、それ以来 AI/ML の虜になっています。
ダン・シンライヒ AWS のシニアプロダクトマネージャーで、ローコード/ノーコード機械学習の民主化に貢献しています。 AWS に入社する前は、機関投資家がリスクを管理し、最適なポートフォリオを構築するために使用するエンタープライズ SaaS プラットフォームと時系列モデルを構築して商品化しました。 仕事以外では、ホッケーをしたり、スキューバ ダイビングをしたり、SF を読んだりしています。
- SEO を活用したコンテンツと PR 配信。 今日増幅されます。
- PlatoData.Network 垂直生成 Ai。 自分自身に力を与えましょう。 こちらからアクセスしてください。
- プラトアイストリーム。 Web3 インテリジェンス。 知識増幅。 こちらからアクセスしてください。
- プラトンESG。 カーボン、 クリーンテック、 エネルギー、 環境、 太陽、 廃棄物管理。 こちらからアクセスしてください。
- プラトンヘルス。 バイオテクノロジーと臨床試験のインテリジェンス。 こちらからアクセスしてください。
- 情報源: https://aws.amazon.com/blogs/machine-learning/announcing-support-for-llama-2-models-and-streaming-responses-in-amazon-sagemaker-canvas/
- :持っている
- :は
- :どこ
- $UP
- 100
- 13
- 2021
- 7
- 70
- a
- 能力
- 私たちについて
- 上記の.
- 達成する
- NEW
- 採用
- 進歩
- 再び
- に対して
- 年齢
- AI
- AIモデル
- AI電源
- AI / ML
- すべて
- ことができます
- 驚くべき
- Amazon
- アマゾンセージメーカー
- Amazon SageMaker キャンバス
- Amazon Webサービス
- 間で
- 量
- an
- および
- アナウンス
- 発表
- 回答
- どれか
- アプリ
- 申し込み
- です
- 周りに
- AS
- アシスタント
- At
- 注意
- 利用できます
- 回避
- AWS
- ベース
- BE
- き
- 以下
- 利点
- BEST
- より良いです
- より大きい
- 10億
- ブログ
- 持って来る
- ブリュッセル
- ビルド
- 建物
- 内蔵
- ビジネス
- by
- 缶
- キャンバス
- 機能
- 機能
- できる
- 場合
- 例
- センター
- 課題
- 課金
- チャット
- チャットボット
- チェック
- 選択する
- 選択する
- 密接に
- コード
- コヒーレント
- 組み合わせた
- コマンドと
- コミュニティ
- 会社
- 匹敵します
- 比較します
- 比べ
- 比較
- 考えると
- 整合性のある
- 構築する
- 接触
- コンタクトセンター
- コンテンツ
- コンテンツ生成
- 続ける
- 会話
- 会話
- 費用
- 作ります
- 作成します。
- Customers
- 最先端
- 深いです
- ディープダイブ
- 民主化する
- 展開する
- 発展した
- Developer
- 異なります
- 話し合います
- ダイビング
- ダイビング
- do
- ドキュメント
- 各
- 効果的な
- 効率的な
- エンパワー
- enable
- 有効にする
- 魅力的
- 強化された
- 強化
- 楽しみます
- Enterprise
- 評価する
- 誰も
- 興奮した
- エキサイティング
- 既存の
- 体験
- 探る
- エキス
- 悪魔を憐れむ歌
- 速いです
- 特徴
- 特徴
- フィードバック
- フィクション
- もう完成させ、ワークスペースに掲示しましたか?
- フィット
- フロー
- フォーム
- 発見
- Foundation
- フランス語
- から
- ゲンナイ
- 一般に
- 生成
- 世代
- 生々しい
- 生成AI
- 取得する
- 世界
- 目標
- 持ってる
- he
- 助けます
- 助け
- こちら
- より高い
- 非常に
- 主催
- 時間
- 認定条件
- しかしながら
- HTTPS
- 即時の
- 改善されました
- 向上させる
- in
- 増加した
- 情報
- 洞察
- インスタント
- 制度の
- 機関投資家
- 統合
- 対話
- 相互作用
- 相互作用的
- 双方向性
- インタフェース
- に
- 概要
- 直観的な
- 主要株主
- IT
- ITS
- JPG
- キー
- 言語
- 大
- レイテンシ
- 最新の
- 最新のアップデート
- 起動する
- 主要な
- LEARN
- 学習
- LINE
- ラマ
- ログ
- ロギング
- 探して
- 愛
- 機械
- 機械学習
- make
- 作成
- 管理します
- マネージャー
- 方法
- 意味のある
- 手段
- メニュー
- Meta
- ML
- モデル
- 他には?
- 移動する
- ネイティブに
- ナチュラル
- ナビゲート
- 必要
- 新作
- ノート
- 今
- 数
- of
- オファー
- on
- かつて
- ONE
- 開いた
- オープンソース
- 最適な
- or
- その他
- 私たちの
- でる
- 出力
- 外側
- 全体
- 自分の
- ページ
- パラメータ
- 以下のために
- 実行する
- パフォーマンス
- 公演
- 実行
- 画像
- プラットフォーム
- プラットフォーム
- プラトン
- プラトンデータインテリジェンス
- プラトデータ
- 再生
- ポートフォリオ
- ポスト
- 投稿
- 強力な
- 前
- 価格設定
- 価格モデル
- 問題
- プロダクト
- プロダクトマネージャー
- プロジェクト(実績作品)
- 提供します
- は、大阪で
- クエリー
- 範囲
- リーディング
- リアル
- への
- 受け取ります
- 受け
- 受け入れ
- おすすめ
- 参照する
- 反映
- リリース
- リリース
- 報告
- リクエスト
- 必要
- リソース
- 応答
- 回答
- 反応する
- より豊かな
- リスク
- SaaSの
- セージメーカー
- 同じ
- 満足
- スケーラビリティ
- 規模
- 科学
- サイエンスフィクション
- シームレス
- select
- 選択
- 送信
- シニア
- サービス
- サービス
- すべき
- 表示する
- 示す
- 重要
- から
- より小さい
- So
- ソリューション
- 解決する
- ソース
- 専門家
- 起動
- 開始
- 起動
- 最先端の
- 簡単な
- 流れ
- ストリーミング配信
- ストリーミング
- そのような
- まとめる
- サポート
- サポート
- 確か
- 取る
- タスク
- テクノロジー
- test
- 感謝
- それ
- アプリ環境に合わせて
- それら
- 自分自身
- その後
- したがって、
- ボーマン
- この
- 三
- 興奮
- スループット
- 時間
- <font style="vertical-align: inherit;">回数</font>
- 〜へ
- 今日
- トークン
- Twice
- 2
- ui
- 大学
- 更新版
- 使用法
- つかいます
- 使用事例
- 中古
- ユーザー
- 操作方法
- users
- 多様
- 汎用性
- 非常に
- バーチャル
- 仮想アシスタント
- 訪問
- ビジュアル
- wait
- 欲しいです
- 望んでいる
- ました
- 仕方..
- we
- ウェブ
- Webサービス
- WELL
- which
- ワイド
- 広い範囲
- 意志
- 無し
- 仕事
- ワークフロー
- 作品
- 書きます
- 書き込み
- You
- 若い
- あなたの
- ゼファーネット