松ぼっくりへの投資

松ぼっくりへの投資

タイムスタンプ：27年2023月11日午前00時XNUMX分
Pinecone PlatoBlockchain Data Intelligence への投資。垂直検索。あい。

大規模言語モデル (LLM) の活用により、ソフトウェア開発とコンピューティング業界全体におけるパラダイム シフトを目の当たりにしています。 AI が発生し、私たちの目の前で新たなスタックが形成されています。 それは、新しいやり方のために構築された新しいインフラストラクチャ コンポーネントをサービスに呼び出すインターネットのようなものです。.

LLM は実際には次のようなものであるという認識が高まっています。 新しい形のコンピュータ、 ある意味で。 自然言語で書かれた「プログラム」 (つまり、プロンプト) を実行し、任意のコンピューティング タスク (Python コードの作成や Google の検索など) を実行し、結果を人間が読める形式でユーザーに返すことができます。 これは大きな問題です。次の XNUMX つの理由からです。 

  1. 要約と生成コンテンツに関する新しいクラスのアプリケーション が可能になり、その結果、ソフトウェア消費に関する消費者の行動が変化します。
  2. 新しいクラスの開発者がソフトウェアを作成できるようになりました。 現在、コンピューター プログラミングには英語 (または他の人間の言語) の習得だけが必要であり、Python や JavaScript などの従来のプログラミング言語のトレーニングは必要ありません。 

Andreessen Horowitz の最優先事項の 100 つは、この新しい AI スタックの主要コンポーネントを構築している企業を特定することです。 私たちは XNUMX 億ドルのシリーズ B ラウンドをリードしていることを発表できることを嬉しく思います。 松毬、AI アプリケーションのメモリ層になるというビジョンをサポートします。

問題: LLM は幻覚を起こし、ステートレスになります

現在の LLM の大きな課題は幻覚です。 彼らは非常に自信を持って答えますが、それは事実として、時には論理的に間違っています。 たとえば、LLM に Apple の最後の四半期の粗利益を尋ねると、63 億ドルという自信を持った答えが得られる可能性があります。 このモデルは、25 億ドルの収益から 95 億ドルの商品原価を差し引くと、63 億ドルの粗利益が得られると説明することで、その答えを裏付けることもできます。 もちろん、それはいくつかの点で間違っています。

  • まず、LLM にはリアルタイム データがないため、収益の数値が間違っています。 数か月、あるいはおそらく数年も前の古いトレーニング データを使用しています。
  • 次に、別の果物会社の財務諸表からこれらの収益と商品原価の数値をランダムに抽出しました。
  • 第三に、粗利益の計算は数学的に正しくありません。

ある企業の CEO にその答えを与えるところを想像してみてください。 フォーチュン 500社。 

結局のところ、LLM はサードパーティの膨大な量のインターネット データに基づいてトレーニングされた予測マシンであるため、これらすべてが発生します。 多くの場合、ユーザーが必要とする情報はトレーニング セットに含まれていません。 したがって、モデルは、古いトレーニング データに基づいて、最も可能性が高く、言語的に適切にフォーマットされた回答を提供します。 上記の問題に対する潜在的な解決策はすでに見え始めています。それは、状況に応じて関連する民間企業データをリアルタイムで LLM に供給することです。

この問題の一般的な形式は、システムの観点から見ると、LLM およびその他のほとんどの AI モデルが推論ステップでステートレスであるということです。 GPT-4 API を呼び出すたびに、出力は次のようになります。 の ペイロードで送信するデータとパラメータに基づいて。 モデルには、コンテキスト データを組み込んだり、以前に質問した内容を記憶したりする方法が組み込まれていません。 モデルの微調整は可能ですが、費用がかかり、比較的柔軟性に欠けます (つまり、モデルは新しいデータにリアルタイムで応答できません)。 モデルは状態やメモリを独自に管理しないため、ギャップを埋めるのは開発者の責任です。 

解決策: ベクトル データベースは LLM のストレージ層です

ここで松ぼっくりの登場です。

Pinecone は、開発者が LLM アプリに関連するコンテキスト データを保存できる外部データベースです。 API 呼び出しごとに大規模なドキュメント コレクションをやり取りするのではなく、開発者はドキュメント コレクションを Pinecone データベースに保存し、特定のクエリに最も関連性の高い少数のドキュメントのみを選択できます。これはインコンテキスト学習と呼ばれるアプローチです。 エンタープライズユースケースが真に開花するためには必須です。

特に松ぼっくりは、 ベクトル データベース。これは、データが意味的に意味のある形式で保存されることを意味します。 埋め込み。 エンベディングの技術的な説明はこの投稿の範囲を超えていますが、理解しておくべき重要な部分は、LLM はベクトル エンベディングでも動作するということです。したがって、この形式でデータを Pinecone に保存することにより、AI 作業の一部が効果的に前処理され、データベースにオフロードされます。

アトミックなトランザクションまたは徹底的な分析ワークロード向けに設計された既存のデータベースとは異なり、(Pinecone) ベクトル データベースは、高次元ベクトルに適したデータベース パラダイムである、最終的に整合性のある近似近傍検索向けに設計されています。 また、OpenAI、Cohere、LangChain などの AI アプリケーションの他の主要コンポーネントと統合する開発者 API も提供します。このように考え抜かれた設計により、開発者の作業が大幅に楽になります。 セマンティック検索、製品推奨、フィードランキングなどの単純な AI タスクも、ベクトル検索問題として直接モデル化し、最終的なモデル推論ステップなしでベクトル データベース上で実行することもできます。 既存のデータベースではできないことです。

Pinecone は、LLM アプリケーションで状態およびコンテキストに応じたエンタープライズ データを管理するための新しい標準です。 これは、まったく新しい AI アプリケーション スタックにストレージ、つまり「メモリ」層を提供する重要なインフラストラクチャ コンポーネントであると私たちは考えています。

これまでの Pinecone の信じられないほどの進歩

Pinecone が唯一のベクトル データベースではありませんが、これが大幅な差を付けて、主要なベクトル データベースであると私たちは考えています (現実世界への導入の準備が整っています)。 Pinecone では、Shopify、Gong、Zapier などの先進的なテクノロジー企業を含め、有料顧客 (約 8) がわずか 1,600 か月で XNUMX 倍に増加しました。 エンタープライズ ソフトウェア、コンシューマー アプリ、電子商取引、フィンテック、保険、メディア、AI/ML など、幅広い業界で使用されています。

私たちはこの成功の要因として、チームがユーザー、市場、テクノロジーを深く理解していることだけでなく、重要なことに、最初からクラウド ネイティブな製品アプローチをとってきたことが挙げられます。 このサービスを構築する上で最も難しい部分の XNUMX つは、顧客の幅広いパフォーマンス目標と SLA を満たす、信頼性が高く可用性の高いクラウド バックエンドを提供することです。 このチームは、製品アーキテクチャを複数回繰り返し、実稼働環境で多くの高スケールの有料顧客を管理することで、実稼働データベースに期待される優れた運用能力を示しました。

松毬 は、あらゆる企業が LLM 上にユースケースを構築できるようにする方法を含め、機械学習におけるベクトル データベースの重要性を長年にわたって熱心に提唱してきた Ed Liberty によって設立されました。 応用数学者として、彼は最先端のベクトル検索アルゴリズムの研究と実装にキャリアを費やしてきました。 同時に、彼は実用主義者でもあり、AWS で Sagemaker のようなコア ML ツールを構築し、応用 ML 研究を顧客が使用できる実用的な製品に変換しました。 深いリサーチと実用的な製品思考がこれほど組み合わされているのは珍しいです。

エド氏には、経験豊富な CEO 兼オペレーター (元 Couchbase) である Bob Wiederhold が社長兼 COO として運営側のパートナーとして加わります。 Pinecone には、AWS、Google、Databricks などのクラウド システムに関する深い専門知識を持つ幹部とエンジニアの素晴らしいチームもいます。 私たちはチームの深いエンジニアリング専門知識、開発者エクスペリエンスへの重点、効率的な GTM 実行に感銘を受けており、AI アプリケーションのメモリ層を構築するためにチームと提携できることを光栄に思います。

* * *

ここに示されている見解は、引用された個々のAH Capital Management、LLC（「a16z」）の担当者の見解であり、a16zまたはその関連会社の見解ではありません。 ここに含まれる特定の情報は、a16zが管理するファンドのポートフォリオ企業を含むサードパーティの情報源から入手したものです。 a16zは、信頼できると思われる情報源から取得したものですが、そのような情報を独自に検証しておらず、情報の永続的な正確性や特定の状況に対するその適切性について表明していません。 さらに、このコンテンツにはサードパーティの広告が含まれる場合があります。 a16zはそのような広告をレビューしておらず、そこに含まれる広告コンテンツを推奨していません。

このコンテンツは情報提供のみを目的として提供されており、法律、ビジネス、投資、または税務に関するアドバイスとして信頼されるべきではありません。 これらの問題については、ご自身のアドバイザーにご相談ください。 証券またはデジタル資産への言及は、説明のみを目的としたものであり、投資の推奨または投資顧問サービスの提供を構成するものではありません。 さらに、このコンテンツは、投資家または将来の投資家による使用を目的としたものではなく、a16zが管理するファンドへの投資を決定する際にいかなる状況においても信頼されない場合があります。 （a16zファンドへの投資の申し出は、私募覚書、サブスクリプション契約、およびそのようなファンドの他の関連文書によってのみ行われ、その全体を読む必要があります。）言及、参照、または記載されているのは、a16zが管理する車両へのすべての投資を代表するものではなく、投資が有益である、または将来行われる他の投資が同様の特性または結果をもたらすという保証はありません。 アンドリーセンホロウィッツが管理するファンドが行った投資のリスト（発行者がa16zに公開を許可していない投資、および公開されているデジタル資産への未発表の投資を除く）は、https：//a16z.com/investmentsで入手できます。 /。

記載されているチャートおよびグラフは、情報提供のみを目的としており、投資を決定する際に信頼することはできません。 過去の実績は将来の結果を示すものではありません。 内容は、示された日付の時点でのみ話されています。 これらの資料に記載されている予測、推定、予測、目標、見通し、および/または意見は、予告なしに変更される場合があり、他の人が表明した意見と異なる場合があります。 その他の重要な情報については、https：//a16z.com/disclosuresを参照してください。

タイムスタンプ：

より多くの アンドレッセン・ホロウィッツ