本日、Meta が開発した Code Llama 基盤モデルが、以下を通じてお客様に提供されることを発表できることを嬉しく思います。 Amazon SageMaker ジャンプスタート ワンクリックでデプロイして推論を実行できます。 Code Llama は、コードと自然言語プロンプトの両方からコードとコードに関する自然言語を生成できる最先端の大規模言語モデル (LLM) です。このモデルを SageMaker JumpStart で試すことができます。SageMaker JumpStart は、アルゴリズム、モデル、ML ソリューションへのアクセスを提供する機械学習 (ML) ハブであり、ML をすぐに始めることができます。この投稿では、SageMaker JumpStart 経由で Code Llama モデルを検出してデプロイする方法を説明します。
コードラマ
Code Llamaは、から発売されているモデルです。 Meta この最先端のモデルは、開発者が高品質で十分に文書化されたコードを作成できるようにすることで、開発者のプログラミング タスクの生産性を向上させるように設計されています。このモデルは、Python、C++、Java、PHP、C#、TypeScript、Bash に優れており、開発者の時間を節約し、ソフトウェア ワークフローをより効率的にする可能性があります。
これには、幅広いアプリケーションをカバーするように設計された 7 つのバリアントがあり、基本モデル (Code Llama)、Python に特化したモデル (Code Llama Python)、および自然言語命令を理解するための命令追従モデル (Code Llama Instruct) です。すべての Code Llama バリアントには、13B、34B、70B、および 7B パラメータの 13 つのサイズがあります。 2B および 500B のベースおよび命令バリアントは、周囲のコンテンツに基づいた埋め込みをサポートしているため、コード アシスタント アプリケーションに最適です。モデルは Llama 100 をベースとして設計され、その後 100,000 億トークンのコード データでトレーニングされ、Python 特化バージョンは増分 16,000 億トークンでトレーニングされました。 Code Llama モデルは、最大 100,000 個のコンテキスト トークンを含む安定した世代を提供します。すべてのモデルは XNUMX トークンのシーケンスでトレーニングされ、最大 XNUMX トークンの入力で改善が見られます。
このモデルは同じ下で入手可能です Llama 2 としてのコミュニティ ライセンス。
SageMaker の基盤モデル
SageMaker JumpStart は、Hugging Face、PyTorch Hub、TensorFlow Hub などの一般的なモデル ハブのさまざまなモデルへのアクセスを提供し、SageMaker の ML 開発ワークフロー内で使用できます。 ML の最近の進歩により、として知られる新しいクラスのモデルが誕生しました。 基礎モデルこれらは通常、数十億のパラメータでトレーニングされ、テキストの要約、デジタル アートの生成、言語翻訳など、幅広いカテゴリのユースケースに適応できます。これらのモデルのトレーニングにはコストがかかるため、顧客はこれらのモデルを自分でトレーニングするのではなく、既存の事前トレーニングされた基礎モデルを使用し、必要に応じて微調整することを望んでいます。 SageMaker は、SageMaker コンソールで選択できる厳選されたモデルのリストを提供します。
SageMaker JumpStart 内でさまざまなモデルプロバイダーの基礎モデルを見つけることができるため、基礎モデルをすぐに開始できます。さまざまなタスクやモデルプロバイダーに基づいて基礎モデルを検索し、モデルの特性や使用条件を簡単に確認できます。テスト UI ウィジェットを使用してこれらのモデルを試すこともできます。基礎モデルを大規模に使用したい場合は、モデルプロバイダーから事前に構築されたノートブックを使用することで、SageMaker を離れることなく使用できます。モデルは AWS でホストおよびデプロイされるため、モデルの評価または大規模な使用に使用されるデータが第三者と共有されることは決してないので、ご安心ください。
SageMaker JumpStart で Code Llama モデルを発見する
Code Llama 70B モデルを展開するには、次の手順を実行します。 Amazon SageMakerスタジオ:
- SageMaker Studio のホームページで、 ジャンプスタート ナビゲーションペインに表示されます。
- Code Llama モデルを検索し、表示されたモデルのリストから Code Llama 70B モデルを選択します。
モデルの詳細については、Code Llama 70B モデル カードをご覧ください。
次のスクリーンショットは、エンドポイント設定を示しています。オプションを変更することも、デフォルトのオプションを使用することもできます。
- エンドユーザー使用許諾契約書 (EULA) に同意し、選択します。 配備します.
これにより、次のスクリーンショットに示すように、エンドポイント展開プロセスが開始されます。
SageMaker Python SDK を使用してモデルをデプロイする
あるいは、選択してサンプル ノートブックを通じてデプロイすることもできます。 ノートブックを開く Classic Studio のモデル詳細ページ内。サンプル ノートブックは、推論用のモデルをデプロイし、リソースをクリーンアップする方法に関するエンドツーエンドのガイダンスを提供します。
ノートブックを使用してデプロイするには、まず、 model_id
。 次のコードを使用して、選択したモデルのいずれかを SageMaker にデプロイできます。
これにより、デフォルトのインスタンス タイプやデフォルトの VPC 構成などのデフォルト構成でモデルが SageMaker にデプロイされます。 これらの構成は、デフォルト以外の値を指定することで変更できます。 ジャンプスタートモデル。デフォルトでは、 accept_eula
に設定されています False
。 設定する必要があります accept_eula=True
エンドポイントを正常にデプロイします。これにより、前述のユーザー使用許諾契約および利用規定に同意したことになります。あなたもすることができます ダウンロード ライセンス契約。
SageMaker エンドポイントを呼び出す
エンドポイントがデプロイされたら、Boto3 または SageMaker Python SDK を使用して推論を実行できます。次のコードでは、SageMaker Python SDK を使用して推論用のモデルを呼び出し、応答を出力します。
関数 print_response
ペイロードとモデル応答で構成されるペイロードを取得し、出力を出力します。コード Llama は、推論の実行中に多くのパラメーターをサポートします。
- 最大長 – モデルは、出力の長さ (入力コンテキストの長さを含む) に達するまでテキストを生成します。
max_length
. 指定する場合は、正の整数にする必要があります。 - max_new_tokens – モデルは、出力長 (入力コンテキストの長さを除く) に達するまでテキストを生成します。
max_new_tokens
. 指定する場合は、正の整数にする必要があります。 - ビーム数 – これは、貪欲な検索で使用されるビームの数を指定します。指定する場合、それ以上の整数である必要があります。
num_return_sequences
. - no_repeat_ngram_size – モデルは、単語のシーケンスが
no_repeat_ngram_size
出力シーケンスで繰り返されません。 指定する場合は、1 より大きい正の整数にする必要があります。 - 温度 – これは出力のランダム性を制御します。より高い
temperature
確率の低い単語を含む出力シーケンスが生成されます。temperature
その結果、確率の高い単語を含む出力シーケンスが生成されます。もしtemperature
が 0 の場合、貪欲なデコードが行われます。指定する場合は、正の浮動小数点数でなければなりません。 - 早期停止中 - もし
True
, すべてのビーム仮説が文末トークンに到達すると、テキスト生成が終了します。指定する場合は、ブール値である必要があります。 - do_sample - もし
True
、モデルは可能性に従って次の単語をサンプリングします。指定する場合は、ブール値である必要があります。 - トップk – テキスト生成の各ステップで、モデルはテキストのみからサンプリングします。
top_k
最もありそうな言葉。 指定する場合は、正の整数にする必要があります。 - トップ_p – テキスト生成の各ステップで、モデルは累積確率で可能な最小の単語セットからサンプリングします。
top_p
。 指定する場合は、0 から 1 までの浮動小数点でなければなりません。 - return_full_text - もし
True
、入力テキストは、生成された出力テキストの一部になります。指定する場合は、ブール値である必要があります。デフォルト値は次のとおりです。False
. - stop – 指定する場合は、文字列のリストである必要があります。指定された文字列のいずれかが生成されると、テキストの生成は停止します。
エンドポイントを呼び出すときに、これらのパラメーターの任意のサブセットを指定できます。次に、これらの引数を使用してエンドポイントを呼び出す方法の例を示します。
コード補完
次の例は、予期されるエンドポイント応答がプロンプトの自然な継続である場合に、コード補完を実行する方法を示しています。
まず次のコードを実行します。
次の出力が得られます。
次の例では、次のコードを実行します。
次の出力が得られます。
コード生成
次の例は、Code Llama を使用した Python コード生成を示しています。
まず次のコードを実行します。
次の出力が得られます。
次の例では、次のコードを実行します。
次の出力が得られます。
これらは、Code Llama 70B を使用したコード関連タスクの例の一部です。モデルを使用して、さらに複雑なコードを生成できます。独自のコード関連の使用例や例を使用して試してみることをお勧めします。
クリーンアップ
エンドポイントをテストした後、料金が発生しないように、SageMaker 推論エンドポイントとモデルを必ず削除してください。次のコードを使用します。
まとめ
この投稿では、SageMaker JumpStart の Code Llama 70B を紹介しました。 Code Llama 70B は、コードだけでなく自然言語プロンプトからもコードを生成するための最先端のモデルです。 SageMaker JumpStart のいくつかの簡単な手順でモデルをデプロイし、それを使用してコード生成やコード埋め込みなどのコード関連タスクを実行できます。次のステップとして、独自のコード関連のユースケースとデータでモデルを使用してみてください。
著者について
カイル・ウルリッヒ博士 Amazon SageMaker JumpStart チームの応用科学者です。 彼の研究対象には、スケーラブルな機械学習アルゴリズム、コンピューター ビジョン、時系列、ベイジアン ノンパラメトリック、ガウス プロセスなどがあります。 彼はデューク大学で博士号を取得しており、NeurIPS、Cell、および Neuron で論文を発表しています。
ファルーク・サビル博士 AWS のシニア人工知能および機械学習スペシャリスト ソリューション アーキテクトです。 テキサス大学オースティン校で電気工学の博士号と修士号を取得し、ジョージア工科大学でコンピューター サイエンスの修士号を取得しています。 彼は15年以上の実務経験があり、大学生を教えたり指導したりすることも好きです. AWS では、データ サイエンス、機械学習、コンピューター ビジョン、人工知能、数値最適化、および関連分野におけるビジネス上の問題を顧客が定式化して解決するのを支援しています。 テキサス州ダラスを拠点とする彼と彼の家族は、旅行が大好きで、長いドライブ旅行に出かけます。
ジューン・ウォン SageMaker JumpStart のプロダクト マネージャーです。 彼は、顧客が生成 AI アプリケーションを構築できるように、基礎モデルを簡単に見つけて使用できるようにすることに重点を置いています。 Amazon での経験には、モバイル ショッピング アプリケーションやラスト マイル配送も含まれます。
- SEO を活用したコンテンツと PR 配信。 今日増幅されます。
- PlatoData.Network 垂直生成 Ai。 自分自身に力を与えましょう。 こちらからアクセスしてください。
- プラトアイストリーム。 Web3 インテリジェンス。 知識増幅。 こちらからアクセスしてください。
- プラトンESG。 カーボン、 クリーンテック、 エネルギー、 環境、 太陽、 廃棄物管理。 こちらからアクセスしてください。
- プラトンヘルス。 バイオテクノロジーと臨床試験のインテリジェンス。 こちらからアクセスしてください。
- 情報源: https://aws.amazon.com/blogs/machine-learning/code-llama-70b-is-now-available-in-amazon-sagemaker-jumpstart/
- :持っている
- :は
- :not
- :どこ
- $UP
- 000
- 1
- 10
- 100
- 11
- 12
- 13
- 14
- 15年
- 視聴者の38%が
- 16
- 22
- 25
- 500
- 7
- 80
- 9
- a
- 私たちについて
- 同意
- ことができます。
- 受け入れ
- アクセス
- 進歩
- 契約
- AI
- アルゴリズム
- すべて
- また
- Amazon
- アマゾンセージメーカー
- Amazon SageMaker ジャンプスタート
- Amazon Webサービス
- an
- および
- アナウンス
- どれか
- 申し込み
- 適用された
- 適切な
- です
- 引数
- 宝品
- 人工の
- 人工知能
- 人工知能と機械学習
- AS
- アシスタント
- 確実な
- At
- オースティン
- 利用できます
- 避ける
- AWS
- ベース
- ベース
- bash
- ベイジアン
- BE
- ビーム
- なぜなら
- の間に
- 10億
- XNUMX億トークン
- 億
- 両言語で
- バブル
- ビルド
- 内蔵
- ビジネス
- by
- C + +
- コール
- 缶
- できる
- カード
- キャリー
- 例
- カテゴリー
- セル
- 変化する
- 特性
- 課金
- 選択する
- 選択する
- class
- クラシック
- クリック
- コード
- カレッジ
- 来ます
- comes
- コンプリート
- 完成
- 複雑な
- コンピュータ
- コンピュータサイエンス
- Computer Vision
- からなる
- 領事
- コンテンツ
- コンテキスト
- 継続
- controls
- カバー
- 作ります
- キュレーション
- Customers
- ダラス
- データ
- データサイエンス
- デコード
- デフォルト
- 配達
- 実証します
- 展開します
- 展開
- 展開
- 配備する
- 設計
- 詳細
- 発展した
- 開発者
- 開発
- 異なります
- デジタル
- デジタルアート
- 発見する
- do
- すること
- ドメイン
- デューク
- デューク大学
- 各
- 前
- 簡単に
- 効率的な
- 有効にする
- 奨励する
- end
- 端から端まで
- エンドポイント
- 設計された
- エンジニアリング
- 確実に
- 等しい
- エラー
- 評価します
- さらに
- 例
- 例
- Excel
- 除く
- 興奮した
- 除外
- 既存の
- 予想される
- 高価な
- 体験
- 指数関数
- 顔
- 家族
- 少数の
- もう完成させ、ワークスペースに掲示しましたか?
- 名
- フロート
- 焦点を当てて
- フォロー中
- Foundation
- 基礎的な
- 4
- から
- function
- 生成する
- 生成された
- 生成
- 生成
- 世代
- 世代
- 生々しい
- 生成AI
- 取得する
- 与えられた
- Go
- 大きい
- 貪欲
- ガイダンス
- 持ってる
- he
- 助けます
- 助け
- ことができます
- 高品質
- より高い
- 彼の
- 保持している
- ホーム
- host
- 主催
- 認定条件
- How To
- HTTPS
- ハブ
- ハブ
- i
- 理想
- if
- import
- 改善します
- 改善
- in
- include
- 含ま
- 含めて
- インクリメンタル
- 情報
- 入力
- 機関
- 説明書
- インテリジェンス
- 利益
- 導入
- IT
- Java
- JPG
- 既知の
- カイル
- 言語
- 大
- 姓
- 学習
- 残す
- 長さ
- ライセンス
- 尤度
- 可能性が高い
- 好き
- リスト
- ラマ
- LLM
- 長い
- 愛
- 下側
- 機械
- 機械学習
- 製
- make
- 作成
- マネージャー
- 多くの
- 言及した
- メンター
- Meta
- マイル
- ML
- モバイル
- モデル
- 他には?
- もっと効率的
- 最も
- MS
- しなければなりません
- ナチュラル
- ナビゲーション
- 必要
- 必要とされる
- 決して
- 新作
- 次の
- 注意
- ノート
- 今
- 数
- of
- on
- ONE
- もの
- の
- 最適化
- オプション
- or
- 私たちの
- でる
- 出力
- が
- 自分の
- ページ
- ペイン
- 論文
- パラメータ
- 部
- パーティー
- 以下のために
- 実行する
- 実行
- 博士号
- PHP
- プラトン
- プラトンデータインテリジェンス
- プラトデータ
- 方針
- 人気
- 正の
- 可能
- ポスト
- 潜在的な
- Predictor
- 印刷物
- プリント
- 問題
- プロセス
- ラボレーション
- プロダクト
- プロダクトマネージャー
- 生産性
- プログラミング
- プロンプト
- 提供します
- プロバイダ
- は、大阪で
- 公表
- Python
- パイトーチ
- すぐに
- ランダム
- 範囲
- むしろ
- リーチ
- 達します
- 最近
- 関連する
- リリース
- 繰り返される
- 研究
- リソース
- 応答
- REST
- 結果
- return
- 逆
- レビュー
- 上昇
- ロード
- ラン
- ランニング
- セージメーカー
- SageMaker の推論
- 同じ
- Save
- ド電源のデ
- 規模
- 科学
- 科学者
- SDDK
- を検索
- 選択
- 選択
- シニア
- 文
- シーケンス
- シリーズ
- サービス
- セッションに
- 設定
- shared
- ショッピング
- 表示する
- 示す
- 作品
- 簡単な拡張で
- サイズ
- So
- ソフトウェア
- ソリューション
- 解決する
- 一部
- 専門家
- 専門の
- 指定の
- 指定する
- 安定した
- start
- 開始
- 最先端の
- 手順
- ステップ
- 停止する
- 文字列
- 生徒
- 研究
- 首尾よく
- そのような
- サポート
- サポート
- 確か
- 周囲の
- 取り
- タスク
- チーム
- テクノロジー
- テンソルフロー
- 条件
- test
- テスト
- テキサス州
- 클라우드 기반 AI/ML및 고성능 컴퓨팅을 통한 디지털 트윈의 기초 – Edward Hsu, Rescale CPO 많은 엔지니어링 중심 기업에게 클라우드는 R&D디지털 전환의 첫 단계일 뿐입니다. 클라우드 자원을 활용해 엔지니어링 팀의 제약을 해결하는 단계를 넘어, 시뮬레이션 운영을 통합하고 최적화하며, 궁극적으로는 모델 기반의 협업과 의사 결정을 지원하여 신제품을 결정할 때 데이터 기반 엔지니어링을 적용하고자 합니다. Rescale은 이러한 혁신을 돕기 위해 컴퓨팅 추천 엔진, 통합 데이터 패브릭, 메타데이터 관리 등을 개발하고 있습니다. 이번 자리를 빌려 비즈니스 경쟁력 제고를 위한 디지털 트윈 및 디지털 스레드 전략 개발 방법에 대한 인사이트를 나누고자 합니다.
- より
- それ
- アプリ環境に合わせて
- それら
- 自分自身
- その後
- ボーマン
- 三番
- 第三者
- この
- 三
- 介して
- 時間
- 時系列
- 〜へ
- トークン
- トークン
- top
- トレーニング
- 訓練された
- インタビュー
- 旅行
- トラバース
- true
- 試します
- type
- タイプスクリプト
- 一般的に
- ui
- 下
- 理解する
- 大学
- まで
- 使用可能な
- 使用法
- つかいます
- 中古
- ユーザー
- 値
- 価値観
- 多様
- バージョン
- 、
- ビジョン
- 歩く
- 欲しいです
- we
- ウェブ
- Webサービス
- WELL
- した
- いつ
- かどうか
- which
- while
- ワイド
- ウィジェット
- 意志
- 以内
- 無し
- Word
- 言葉
- 仕事
- ワークフロー
- ワークフロー
- 書きます
- 年
- You
- あなたの
- ゼファーネット