নতুন এবং উন্নত এমবেডিং মডেল

এমবেডিং হল সংখ্যার ক্রমানুসারে রূপান্তরিত ধারণাগুলির সংখ্যাসূচক উপস্থাপনা, যা কম্পিউটারের জন্য সেই ধারণাগুলির মধ্যে সম্পর্ক বোঝা সহজ করে তোলে। যেহেতু প্রাথমিক লঞ্চ OpenAI এর /এম্বেডিং এন্ডপয়েন্ট, অনেক অ্যাপ্লিকেশান ব্যক্তিগতকৃত, সুপারিশ এবং অনুসন্ধান সামগ্রীর জন্য এম্বেডিংগুলিকে অন্তর্ভুক্ত করেছে৷

আপনি জিজ্ঞাসা করতে পারেন /এম্বেডিং আমাদের ব্যবহার করে কোডের দুটি লাইন সহ নতুন মডেলের জন্য শেষ পয়েন্ট ওপেনএআই পাইথন লাইব্রেরি, ঠিক যেমন আপনি আগের মডেলগুলির সাথে করতে পারেন:

import openai
response = openai.Embedding.create(
  input="porcine pals say",
  model="text-embedding-ada-002"
)

মডেল উন্নতি

শক্তিশালী কর্মক্ষমতা. text-embedding-ada-002 টেক্সট সার্চ, কোড সার্চ, এবং বাক্যের সাদৃশ্যমূলক কাজগুলিতে সমস্ত পুরানো এমবেডিং মডেলকে ছাড়িয়ে যায় এবং পাঠ্য শ্রেণিবিন্যাসে তুলনামূলক কর্মক্ষমতা পায়। প্রতিটি টাস্ক বিভাগের জন্য, আমরা ব্যবহৃত ডেটাসেটের মডেলগুলি মূল্যায়ন করি পুরানো এমবেডিং.

সামর্থ্যের একীকরণ. আমরা উল্লেখযোগ্যভাবে এর ইন্টারফেস সরলীকৃত করেছি /এম্বেডিং উপরে দেখানো পাঁচটি পৃথক মডেল মার্জ করে শেষ পয়েন্ট (text-similarity, text-search-query, text-search-doc, code-search-text এবং code-search-code) একটি একক নতুন মডেলে। এই একক উপস্থাপনা পাঠ্য অনুসন্ধান, বাক্যের সাদৃশ্য এবং কোড অনুসন্ধান বেঞ্চমার্কের বিভিন্ন সেট জুড়ে আমাদের পূর্ববর্তী এমবেডিং মডেলগুলির থেকে ভাল পারফর্ম করে।

দীর্ঘ প্রসঙ্গ। নতুন মডেলের প্রসঙ্গ দৈর্ঘ্য 2048 থেকে 8192 পর্যন্ত চারটি ফ্যাক্টর দ্বারা বৃদ্ধি করা হয়েছে, যা দীর্ঘ নথির সাথে কাজ করা আরও সুবিধাজনক করে তুলেছে।

ছোট এম্বেডিং আকার। নতুন এম্বেডিংয়ের মাত্র 1536টি মাত্রা রয়েছে, যার আকারের এক-অষ্টমাংশ davinci-001 এম্বেডিং, নতুন এম্বেডিংগুলিকে ভেক্টর ডাটাবেসের সাথে কাজ করার জন্য আরও সাশ্রয়ী করে তোলে।

কমে দাম. আমরা একই আকারের পুরানো মডেলের তুলনায় নতুন এমবেডিং মডেলের দাম 90% কমিয়েছি। নতুন মডেলটি 99.8% কম দামে পুরানো Davinci মডেলের মতো আরও ভাল বা অনুরূপ কর্মক্ষমতা অর্জন করে৷

সামগ্রিকভাবে, নতুন এমবেডিং মডেলটি প্রাকৃতিক ভাষা প্রক্রিয়াকরণ এবং কোডের কাজগুলির জন্য অনেক বেশি শক্তিশালী হাতিয়ার। আমাদের গ্রাহকরা তাদের নিজ নিজ ক্ষেত্রে আরও বেশি সক্ষম অ্যাপ্লিকেশন তৈরি করতে কীভাবে এটি ব্যবহার করবেন তা দেখে আমরা উত্তেজিত।

সীমাবদ্ধতা

নতুন text-embedding-ada-002 মডেল outperforming হয় না text-similarity-davinci-001 SentEval লিনিয়ার প্রোবিং ক্লাসিফিকেশন বেঞ্চমার্কে। যে কাজের জন্য শ্রেণীবিভাগের পূর্বাভাসের জন্য এম্বেডিং ভেক্টরের উপরে একটি হালকা-ওজনযুক্ত রৈখিক স্তর প্রশিক্ষণের প্রয়োজন, আমরা নতুন মডেলের সাথে তুলনা করার পরামর্শ দিই text-similarity-davinci-001 এবং যে কোন মডেল নির্বাচন করা সর্বোত্তম কর্মক্ষমতা দেয়।

চেক সীমাবদ্ধতা এবং ঝুঁকি আমাদের এমবেডিং মডেলের সাধারণ সীমাবদ্ধতার জন্য এম্বেডিং ডকুমেন্টেশনের বিভাগ।

এম্বেডিং এপিআই ইন অ্যাকশনের উদাহরণ

ক্যালেন্ডার এআই একটি বিক্রয় আউটরিচ পণ্য যা 340M প্রোফাইল সমন্বিত ডেটাসেট থেকে সঠিক গ্রাহকদের সাথে সঠিক বিক্রয় পিচ মেলাতে এমবেডিং ব্যবহার করে। এই অটোমেশন গ্রাহক প্রোফাইলের এমবেডিং এবং বিক্রয় পিচের মধ্যে মিলের উপর নির্ভর করে সবচেয়ে উপযুক্ত ম্যাচগুলিকে র‍্যাঙ্ক আপ করার জন্য, তাদের পুরানো পদ্ধতির তুলনায় 40-56% অবাঞ্ছিত লক্ষ্যবস্তু দূর করে।

ধারণা, অনলাইন ওয়ার্কস্পেস কোম্পানি, আজকের কীওয়ার্ড ম্যাচিং সিস্টেমের বাইরে ধারণা অনুসন্ধানকে উন্নত করতে OpenAI-এর নতুন এম্বেডিং ব্যবহার করবে।