本日、このことを発表できることを嬉しく思います。 DBRXモデルによって開発されたオープンな汎用大規模言語モデル (LLM) データブリック、顧客は以下を通じて利用できます。 Amazon SageMaker ジャンプスタート ワンクリックでデプロイして推論を実行できます。 DBRX LLM は、きめ細かい専門家混合 (MoE) アーキテクチャを採用しており、慎重に厳選されたデータの 12 兆トークンと最大コンテキスト長 32,000 トークンで事前トレーニングされています。
このモデルは、アルゴリズムとモデルへのアクセスを提供する機械学習 (ML) ハブである SageMaker JumpStart を使用して試すことができ、ML をすぐに始めることができます。この投稿では、DBRX モデルを検出してデプロイする方法を説明します。
DBRXモデルとは何ですか
DBRX は、トランスフォーマー アーキテクチャに基づいて構築された、洗練されたデコーダー専用 LLM です。これはきめ細かい MoE アーキテクチャを採用しており、合計 132 億のパラメータが組み込まれており、これらのパラメータのうち 36 億が任意の入力に対してアクティブになります。
モデルは、12 兆個のテキストとコードのトークンで構成されるデータセットを使用して事前トレーニングを受けました。 Mixtral や Grok-1 などの他のオープン MoE モデルとは対照的に、DBRX は、パフォーマンスを最適化するために小規模なエキスパートを大量に使用する、きめ細かいアプローチを特徴としています。他の MoE モデルと比較して、DBRX には 16 人の専門家がおり、そのうち 4 人を選択します。
このモデルは、Databricks Open Model ライセンスに基づいて、制限なく使用できるようになります。
SageMaker JumpStart とは
SageMaker JumpStart は、コンテンツ作成、コード生成、質問応答、コピーライティング、要約、分類、情報検索などのさまざまなユースケースに最先端の基盤モデルを提供するフルマネージド プラットフォームです。迅速かつ簡単にデプロイできる事前トレーニング済みモデルのコレクションを提供し、ML アプリケーションの開発とデプロイを加速します。 SageMaker JumpStart の重要なコンポーネントの 1 つはモデル ハブです。モデル ハブは、さまざまなタスク用に、DBRX などの事前トレーニングされたモデルの膨大なカタログを提供します。
数回クリックするだけで DBRX モデルを検出してデプロイできるようになりました。 Amazon SageMakerスタジオ または、SageMaker Python SDK を介してプログラム的に、モデルのパフォーマンスと MLOps 制御を導き出すことができます。 アマゾンセージメーカー などの機能 AmazonSageMakerパイプライン, Amazon SageMakerデバッガ、またはコンテナーのログ。モデルは AWS の安全な環境にデプロイされ、VPC の制御下に置かれ、データ セキュリティの提供に役立ちます。
SageMaker JumpStart でモデルを発見する
DBRX モデルには、SageMaker Studio UI の SageMaker JumpStart および SageMaker Python SDK を通じてアクセスできます。このセクションでは、SageMaker Studio でモデルを検出する方法について説明します。
SageMaker Studio は、単一の Web ベースのビジュアル インターフェイスを提供する統合開発環境 (IDE) であり、専用ツールにアクセスして、データの準備から ML モデルの構築、トレーニング、デプロイまで、すべての ML 開発ステップを実行できます。 SageMaker Studio の開始方法とセットアップ方法の詳細については、以下を参照してください。 Amazon SageMakerスタジオ.
SageMaker Studio では、選択して SageMaker JumpStart にアクセスできます。 ジャンプスタート ナビゲーションペインに表示されます。
SageMaker JumpStart ランディング ページから、検索ボックスで「DBRX」を検索できます。検索結果にはリストが表示されます DBRX 命令 および DBRX ベース.
モデル カードを選択すると、ライセンス、トレーニングに使用されるデータ、モデルの使用方法など、モデルに関する詳細を表示できます。また、 配備します ボタンをクリックしてモデルをデプロイし、エンドポイントを作成します。
SageMaker JumpStart でモデルをデプロイする
を選択すると展開が開始されます。 配備します ボタン。デプロイメントが完了すると、エンドポイントが作成されたことがわかります。エンドポイントをテストするには、サンプル推論リクエスト ペイロードを渡すか、SDK を使用してテスト オプションを選択します。 SDK を使用するオプションを選択すると、SageMaker Studio の選択したノートブック エディターで使用できるサンプル コードが表示されます。
DBRX ベース
SDK を使用してデプロイするには、まず、DBRX 基本モデルを選択します。 model_id
値は hackingface-llm-dbrx-base です。次のコードを使用して、選択したモデルのいずれかを SageMaker にデプロイできます。同様に、独自のモデル ID を使用して DBRX Instruct をデプロイできます。
これにより、デフォルトのインスタンス タイプやデフォルトの VPC 構成などのデフォルト構成でモデルが SageMaker にデプロイされます。 これらの構成は、デフォルト以外の値を指定することで変更できます。 ジャンプスタートモデル。エンドユーザー使用許諾契約 (EULA) に同意するには、Eula 値を True として明示的に定義する必要があります。また、エンドポイントの使用に ml.p4d.24xlarge または ml.pde.24xlarge を XNUMX つ以上のインスタンスとして使用するためのアカウント レベルのサービス制限があることを確認してください。指示に従ってください こちら サービスクォータの増加をリクエストするため。
デプロイ後は、SageMaker プレディクターを通じて、デプロイされたエンドポイントに対して推論を実行できます。
プロンプトの例
標準のテキスト生成モデルと同様に、DBRX 基本モデルを操作できます。モデルは入力シーケンスを処理し、シーケンス内の予測された次の単語を出力します。このセクションでは、プロンプトの例と出力例をいくつか示します。
コード生成
前述の例を使用すると、コード生成プロンプトを次のように使用できます。
出力は次のとおりです。
感情分析
DBRX では、次のようなプロンプトを使用してセンチメント分析を実行できます。
出力は次のとおりです。
質問に答える
DBRX では、次のような質問応答プロンプトを使用できます。
出力は次のとおりです。
DBRX 命令
DBRX の命令調整バージョンは、会話ロールがユーザーからのプロンプトで開始し、ユーザー命令とアシスタント (DBRX-instruct) を交互に切り替える必要がある形式の命令を受け入れます。命令形式は厳密に尊重される必要があり、そうでない場合、モデルは次善の出力を生成します。 Instruct モデルのプロンプトを構築するテンプレートは次のように定義されます。
<|im_start|>
および <|im_end|>
文字列の先頭 (BOS) と文字列の末尾 (EOS) を表す特別なトークンです。モデルには、システム、ユーザー、アシスタント間の複数の会話ターンを含めることができ、モデルの応答を強化するために少数のショットの例を組み込むことができます。
次のコードは、プロンプトを命令形式でフォーマットする方法を示しています。
知識検索
ナレッジの検索には次のプロンプトを使用できます。
出力は次のとおりです。
コード生成
DBRX モデルは、コーディング タスクのベンチマークされた強みを示します。たとえば、次のコードを参照してください。
出力は次のとおりです。
数学と推理
DBRX モデルは、数学的精度の強みも報告します。たとえば、次のコードを参照してください。
DBRX は、数学ロジックを使用した次の出力に示すような理解を提供できます。
クリーンアップ
ノートブックの実行が完了したら、請求が停止されるように、プロセス中に作成したすべてのリソースを必ず削除してください。 次のコードを使用します。
まとめ
この投稿では、SageMaker Studio で DBRX の使用を開始し、推論用のモデルをデプロイする方法を説明しました。基礎モデルは事前にトレーニングされているため、トレーニングとインフラストラクチャのコストを削減し、ユースケースに合わせたカスタマイズを可能にすることができます。今すぐ SageMaker Studio の SageMaker JumpStart にアクセスして開始してください。
リソース
著者について
シカール・クワトラ アマゾン ウェブ サービスの AI/ML スペシャリスト ソリューション アーキテクトであり、大手グローバル システム インテグレーターと協力しています。彼は、AI/ML および IoT ドメインで 400 件を超える特許を取得し、インドの最年少マスター発明家の 8 人の称号を獲得しました。彼は、IoT リサーチ エンジニア、データ サイエンティスト、データ & AI アーキテクトに至るまで、新興企業から大規模企業まで XNUMX 年以上の業界経験を持っています。 Shikhar は、組織向けのコスト効率が高くスケーラブルなクラウド環境の設計、構築、維持を支援し、GSI パートナーによる戦略的産業の構築をサポートします。
ニーティン・ヴィジェシュワラン AWS のソリューションアーキテクトです。彼の重点分野は、生成 AI と AWS AI アクセラレーターです。彼はコンピューター サイエンスとバイオインフォマティクスの学士号を取得しています。 Niithiyn は、Generative AI GTM チームと緊密に連携して、AWS の顧客をさまざまな面でサポートし、Generative AI の導入を促進します。彼はダラス マーベリックスの熱烈なファンであり、スニーカーの収集を楽しんでいます。
セバスティアン・バスティーロ AWS のソリューションアーキテクトです。彼は、生成 AI とコンピューティング アクセラレータに深い情熱を持ち、AI/ML テクノロジーに焦点を当てています。 AWS では、生成 AI を通じて顧客がビジネス価値を引き出すのを支援しています。仕事以外のときは、完璧な特製コーヒーを淹れることと、妻と一緒に世界を探索することを楽しんでいます。
アルマンドディアス AWS のソリューションアーキテクトです。彼は生成 AI、AI/ML、データ分析に重点を置いています。 AWS では、Armando は、顧客が最先端の生成 AI 機能をシステムに統合し、イノベーションと競争上の優位性を促進できるよう支援します。仕事以外の時は、妻や家族と時間を過ごしたり、ハイキングをしたり、世界中を旅行したりすることを楽しんでいます。
- SEO を活用したコンテンツと PR 配信。 今日増幅されます。
- PlatoData.Network 垂直生成 Ai。 自分自身に力を与えましょう。 こちらからアクセスしてください。
- プラトアイストリーム。 Web3 インテリジェンス。 知識増幅。 こちらからアクセスしてください。
- プラトンESG。 カーボン、 クリーンテック、 エネルギー、 環境、 太陽、 廃棄物管理。 こちらからアクセスしてください。
- プラトンヘルス。 バイオテクノロジーと臨床試験のインテリジェンス。 こちらからアクセスしてください。
- 情報源: https://aws.amazon.com/blogs/machine-learning/databricks-dbrx-is-now-available-in-amazon-sagemaker-jumpstart/
- :持っている
- :は
- :not
- :どこ
- $UP
- 000
- 1
- 10
- 100
- 11
- 12
- 視聴者の38%が
- 16
- 19
- 1M
- 20
- 22
- 225
- 25
- 250
- 27
- 30
- 32
- 36
- 400
- 50
- 7
- 700
- 8
- a
- できる
- 私たちについて
- 上記の.
- 絶対に
- 加速する
- 加速している
- 加速器
- 同意
- 受け入れる
- アクセス
- 従った
- それに応じて
- 精度
- 達成する
- アクティブ
- 活動
- 加えます
- 調整します
- 養子縁組
- 利点
- アドバイス
- 後
- に対して
- 契約
- AI
- AI / ML
- 援助
- エイズ
- アルゴリズム
- すべて
- 許可されて
- 許可
- また
- am
- Amazon
- アマゾンセージメーカー
- Amazon SageMaker ジャンプスタート
- Amazon Webサービス
- an
- 分析
- 分析論
- および
- とインフラ
- アナウンス
- 別の
- 回答
- 応答
- どれか
- Apple
- アプローチ
- 建築
- です
- AREA
- 周りに
- AS
- アシスタント
- At
- 利用できます
- AWS
- バナナ
- ベース
- ベース
- 基本
- BE
- なぜなら
- 牛肉
- 開始
- さ
- ベンチマークされた
- の間に
- 請求
- 10億
- 大胆な
- 両言語で
- ボックス
- ブレーク
- 褐色
- ビルド
- 建物
- 内蔵
- ビジネス
- by
- 計算する
- 計算
- 缶
- 機能
- 自動車
- カード
- 慎重に
- 場合
- 例
- カタログ
- 変化する
- 課金
- 選択
- 選択肢
- 選択する
- 選択する
- 選択する
- 分類
- クリック
- 閉じる
- 密接に
- 閉鎖
- クラウド
- コード
- コーディング
- コーヒー
- 収集
- コレクション
- コラム
- コラム
- 会社
- 比べ
- 競争力のある
- コンポーネント
- 計算
- コンピュータ
- コンピュータサイエンス
- コンセプト
- からなる
- 相談する
- 含む
- コンテナ
- コンテンツ
- コンテンツライティング
- コンテキスト
- コントラスト
- controls
- 会話
- 広告文案作成
- 費用
- コスト
- 可能性
- 作ります
- 作成した
- 作成
- 重大な
- 文化的な
- 文化
- カップ
- キュレーション
- 電流プローブ
- Customers
- カスタム化
- 最先端
- daily
- ダラス
- ダラス·マーベリックス
- データ
- データ分析
- データサイエンティスト
- データセキュリティ
- 日付
- 中
- 日
- デフォルト
- 定義済みの
- 度
- 実証します
- 展開します
- 展開
- 展開する
- 展開
- 配備する
- 派生する
- 細部
- 発展した
- 開発
- DICT
- DID
- ダイエット
- 異なります
- 発見する
- ディスプレイ
- ドキュメント
- ありません
- ドメイン
- 行われ
- ダウン
- ドリブン
- 運転
- 獲得
- 緩和する
- 簡単に
- エディタ
- 効果
- 効率良く
- 卵
- どちら
- ほかに
- 従業員
- enable
- 有効にする
- end
- エンドポイント
- エネルギー
- エンジニア
- 高めます
- 十分な
- 企業
- 環境
- 環境
- EOS
- EVER
- 誰も
- 例
- 例
- 交換
- 興奮した
- 運動
- 体験
- エキスパート
- 専門家
- 説明
- 明示的
- 探る
- 促進された
- 家族
- ファン
- 特徴
- 少数の
- File
- ファイナル
- 最後に
- もう完成させ、ワークスペースに掲示しましたか?
- 名
- フィットネス
- 固定の
- フォーカス
- 焦点を当てて
- フォロー中
- 次
- フード
- 食品
- 形式でアーカイブしたプロジェクトを保存します.
- 助長
- Foundation
- から
- 完全に
- function
- 一般的用途
- 生成する
- 世代
- 生々しい
- 生成AI
- 取得する
- 与えられた
- 与え
- グローバル
- グローバルな貿易
- Go
- 目標
- 目標
- 良い
- 商品
- 素晴らしい
- 大きい
- ギリシャ語
- 成長性
- 持っていました
- ハッピー
- 持ってる
- he
- 健康
- ヘルスケア
- 助けます
- 助け
- ことができます
- こちら
- ハイ
- より高い
- 彼の
- history
- 保持している
- 認定条件
- How To
- HTML
- HTTPS
- ハブ
- i
- ID
- アイデア
- 考え
- if
- 影響
- 影響を受けた
- 影響
- import
- 重要
- in
- 含ま
- 含めて
- 組み込む
- 増える
- の増加
- インディアン
- 産業を変えます
- 情報
- インフラ
- 革新的手法
- 入力
- 洞察
- 説明書
- 統合された
- 統合
- 対話
- 相互作用的
- インタフェース
- に
- 発明者
- 関与
- IOT
- IT
- ITS
- JPG
- ただ
- キー
- 種類
- 知識
- 着陸
- 言語
- ESL, ビジネスESL <br> 中国語/フランス語、その他
- 大
- 大規模
- 主要な
- リーン
- 学習
- ツェッペリン
- 長さ
- う
- 図書館
- ライセンス
- ライフスタイル
- ような
- LIMIT
- リスト
- ll
- LLM
- 負荷
- 負荷
- ロジック
- 論理的な
- 見て
- のように見える
- 愛
- 下側
- 機械
- 機械学習
- 製
- 保守
- make
- マネージド
- 操作
- 質量
- マスター
- math
- 数学的
- 数学
- matplotlib
- 五月..
- me
- マイル
- 混合
- ML
- MLOps
- モデル
- 他には?
- 最も
- 映画
- の試合に
- 筋肉
- しなければなりません
- my
- 名前付き
- 名
- ナビゲーション
- 必要
- ニーズ
- 負
- 普通
- 新作
- 次の
- なし
- 注意
- ノート
- 今
- 数
- 栄養の
- of
- オファー
- on
- ONE
- 開いた
- 最適化
- オプション
- or
- 注文
- 組織
- その他
- さもないと
- でる
- アウトライン
- 出力
- outputs
- が
- 全体
- 自分の
- ページ
- パンダ
- ペイン
- パラメータ
- 特に
- パートナー
- 部品
- 通過
- 情熱
- 特許
- path
- のワークプ
- 以下のために
- 完璧
- 実行する
- パフォーマンス
- カスタマイズ
- 計画
- プラン
- プラットフォーム
- プラトン
- プラトンデータインテリジェンス
- プラトデータ
- プレンティ
- プロット
- さらに
- 人気
- 部分
- 正の
- 可能
- ポスト
- 強力な
- プラクティス
- 先行
- 予測
- Predictor
- プ
- 準備中
- PLM platform.
- ブランド
- 価格、またオプションについて
- 問題
- 問題解決
- プロセス
- ラボレーション
- プロ
- 深遠な
- 演奏曲目
- プログラミング
- プログラミング言語
- プロンプト
- タンパク質
- 提供します
- 提供
- は、大阪で
- Python
- 量
- 質問
- すぐに
- 上げる
- レート
- 読む
- 推奨する
- 回復
- 参照する
- 登録された
- レギュラー
- 関連する
- 覚えています
- replace
- レポート
- 表す
- 要求
- 要件
- 研究
- リソース
- 尊敬される
- 反応します
- 応答
- 回答
- レストラン
- 制限
- 結果
- 検索
- return
- 米
- 職種
- 役割
- ラン
- ランニング
- s
- セージメーカー
- サンプル
- 見ました
- ド電源のデ
- 科学
- 科学者
- スコップ
- スクリプト
- SDDK
- を検索
- セクション
- 安全に
- セキュリティ
- select
- 選択
- 選択
- 感情
- シーケンス
- サービス
- サービス
- セッションに
- すべき
- 表示する
- 示されました
- 示す
- 作品
- 重要
- 同様に
- 簡単な拡張で
- サイズ
- サイズ
- 眠る
- より小さい
- スニーカー
- So
- ソフトウェア
- ソフトウェア開発
- ソリューション
- 一部
- 洗練された
- ソース
- 特別
- 専門家
- 専門
- 特定の
- 指定の
- 指定する
- 支出
- スポーツ
- 標準
- start
- 開始
- 起動
- 開始
- スタートアップ
- 最先端の
- 静的な
- 滞在
- ステップ
- 株式
- 停止
- 戦略的
- 力
- 強み
- 文字列
- 構造
- 研究
- 最適ではない
- そのような
- 十分な
- サポート
- サポート
- 確か
- システム
- 取得
- タスク
- チーム
- テクニック
- テクノロジー
- template
- ひどい
- test
- テスト
- 클라우드 기반 AI/ML및 고성능 컴퓨팅을 통한 디지털 트윈의 기초 – Edward Hsu, Rescale CPO 많은 엔지니어링 중심 기업에게 클라우드는 R&D디지털 전환의 첫 단계일 뿐입니다. 클라우드 자원을 활용해 엔지니어링 팀의 제약을 해결하는 단계를 넘어, 시뮬레이션 운영을 통합하고 최적화하며, 궁극적으로는 모델 기반의 협업과 의사 결정을 지원하여 신제품을 결정할 때 데이터 기반 엔지니어링을 적용하고자 합니다. Rescale은 이러한 혁신을 돕기 위해 컴퓨팅 추천 엔진, 통합 데이터 패브릭, 메타데이터 관리 등을 개발하고 있습니다. 이번 자리를 빌려 비즈니스 경쟁력 제고를 위한 디지털 트윈 및 디지털 스레드 전략 개발 방법에 대한 인사이트를 나누고자 합니다.
- より
- それ
- 世界
- アプリ環境に合わせて
- その後
- ボーマン
- 彼ら
- この
- 介して
- 全体
- 時間
- 役職
- 〜へ
- 今日
- トークン
- ツール
- 豊富なツール群
- トータル
- トレード
- トラフィック
- トレーニング
- トレーニング
- トランス
- 輸送サービス
- 旅行
- 旅行
- 1兆
- true
- 試します
- しよう
- 順番
- ターン
- ツイート
- type
- ui
- 下
- 受けた
- アンロック
- 使用法
- つかいます
- 使用事例
- 中古
- ユーザー
- 使用されます
- 値
- 価値観
- 変数
- 多様
- さまざまな
- 広大な
- Ve
- 野菜
- バージョン
- 詳しく見る
- 訪問
- ビジュアル
- 歩く
- 欲しいです
- ました
- 水
- 仕方..
- 方法
- we
- 天気
- ウェブ
- Webサービス
- ウェブベースの
- した
- この試験は
- いつ
- which
- 全体
- なぜ
- 妻
- 意志
- 無し
- 言葉
- 仕事
- ワーキング
- 作品
- 世界
- でしょう
- 書きます
- 書き込み
- 年
- You
- 最年少
- あなたの
- ゼファーネット