ปรับแต่งและปรับใช้ Mistral 7B ด้วย Amazon SageMaker JumpStart

เผยแพร่ซ้ำโดยเพลโต

ผู้ติดตาม: 0

วันนี้เรารู้สึกตื่นเต้นที่ได้ประกาศความสามารถในการปรับแต่งรุ่น Mistral 7B โดยใช้ Amazon SageMaker JumpStart. ตอนนี้คุณสามารถปรับแต่งและปรับใช้โมเดลการสร้างข้อความ Mistral บน SageMaker JumpStart โดยใช้ สตูดิโอ Amazon SageMaker UI เพียงไม่กี่คลิกหรือใช้ SageMaker Python SDK

โมเดลพื้นฐานทำงานได้ดีมากกับงานสร้างสรรค์ ตั้งแต่การประดิษฐ์ข้อความและการสรุป การตอบคำถาม ไปจนถึงการสร้างรูปภาพและวิดีโอ แม้ว่าโมเดลเหล่านี้จะมีความสามารถในการสรุปข้อมูลทั่วไปที่ยอดเยี่ยม แต่มักจะมีกรณีการใช้งานที่มีข้อมูลโดเมนที่เฉพาะเจาะจงมาก (เช่น การดูแลสุขภาพหรือบริการทางการเงิน) และโมเดลเหล่านี้อาจไม่สามารถให้ผลลัพธ์ที่ดีสำหรับกรณีการใช้งานเหล่านี้ได้ ส่งผลให้เกิดความจำเป็นในการปรับแต่งโมเดล AI เชิงสร้างสรรค์เพิ่มเติมเพิ่มเติมเกี่ยวกับข้อมูลเฉพาะกรณีการใช้งานและข้อมูลเฉพาะโดเมน

ในโพสต์นี้ เราจะสาธิตวิธีปรับแต่งโมเดล Mistral 7B โดยใช้ SageMaker JumpStart

มิสทรัล 7B คืออะไร

Mistral 7B เป็นโมเดลพื้นฐานที่พัฒนาโดย Mistral AI ซึ่งรองรับความสามารถในการสร้างข้อความและโค้ดภาษาอังกฤษ รองรับกรณีการใช้งานที่หลากหลาย เช่น การสรุปข้อความ การจัดหมวดหมู่ การเติมข้อความให้สมบูรณ์ และการเติมโค้ดให้สมบูรณ์ เพื่อแสดงให้เห็นถึงความสามารถในการปรับแต่งของโมเดลนี้ Mistral AI ยังได้เปิดตัวโมเดล Mistral 7B-Instruct สำหรับกรณีการใช้งานแชท โดยได้รับการปรับแต่งอย่างละเอียดโดยใช้ชุดข้อมูลการสนทนาที่หลากหลายที่เปิดเผยต่อสาธารณะ

Mistral 7B เป็นรุ่นหม้อแปลงไฟฟ้าและใช้ความสนใจในการสืบค้นแบบกลุ่มและความสนใจของหน้าต่างแบบเลื่อนเพื่อให้อนุมานได้เร็วขึ้น (เวลาแฝงต่ำ) และจัดการลำดับที่ยาวขึ้น ความสนใจคิวรีแบบกลุ่มคือสถาปัตยกรรมที่รวมความสนใจแบบหลายแบบสอบถามและหลายหัวเข้าด้วยกัน เพื่อให้ได้คุณภาพเอาต์พุตที่ใกล้เคียงกับความสนใจแบบหลายหัวและมีความเร็วที่เทียบเคียงได้กับความสนใจแบบหลายหัวข้อมูล วิธีการสนใจหน้าต่างบานเลื่อนใช้โมเดล Transformer หลายระดับเพื่อเน้นไปที่ข้อมูลที่มาก่อนหน้านี้ ซึ่งช่วยให้โมเดลเข้าใจบริบทที่ขยายออกไปได้ยาวนานขึ้น . Mistral 7B มีความยาวบริบท 8,000 โทเค็น แสดงให้เห็นถึงความหน่วงต่ำและทรูพุตสูง และมีประสิทธิภาพสูงเมื่อเปรียบเทียบกับรุ่นอื่นที่ใหญ่กว่า โดยให้ความต้องการหน่วยความจำต่ำในขนาดรุ่น 7B โมเดลนี้จัดทำขึ้นภายใต้ลิขสิทธิ์ Apache 2.0 ที่ได้รับอนุญาต สำหรับการใช้งานโดยไม่มีข้อจำกัด

คุณสามารถปรับแต่งโมเดลได้โดยใช้ SageMaker Studio UI หรือ SageMaker Python SDK เราพูดถึงทั้งสองวิธีในโพสต์นี้

ปรับแต่งอย่างละเอียดผ่าน SageMaker Studio UI

ใน SageMaker Studio คุณสามารถเข้าถึงโมเดล Mistral ผ่าน SageMaker JumpStart ด้านล่าง รุ่น โน้ตบุ๊ก และโซลูชันดังแสดงในภาพหน้าจอต่อไปนี้

หากคุณไม่เห็นโมเดล Mistral ให้อัปเดตเวอร์ชัน SageMaker Studio ของคุณโดยการปิดและรีสตาร์ท สำหรับข้อมูลเพิ่มเติมเกี่ยวกับการอัพเดตเวอร์ชัน โปรดดูที่ ปิดและอัปเดตแอป Studio.

Fine-tune and Deploy Mistral 7B with Amazon SageMaker JumpStart | Amazon Web Services PlatoBlockchain Data Intelligence. Vertical Search. Ai.

ในหน้าโมเดล คุณสามารถชี้ไปที่ บริการจัดเก็บข้อมูลอย่างง่ายของ Amazon บัคเก็ต (Amazon S3) ที่ประกอบด้วยชุดข้อมูลการฝึกอบรมและการตรวจสอบเพื่อการปรับแต่งอย่างละเอียด นอกจากนี้ คุณยังสามารถกำหนดค่าการกำหนดค่าการปรับใช้ ไฮเปอร์พารามิเตอร์ และการตั้งค่าความปลอดภัยสำหรับการปรับแต่งอย่างละเอียดได้ จากนั้นคุณสามารถเลือกได้ รถไฟ เพื่อเริ่มงานฝึกอบรมบนอินสแตนซ์ SageMaker ML

Fine-tune and Deploy Mistral 7B with Amazon SageMaker JumpStart | Amazon Web Services PlatoBlockchain Data Intelligence. Vertical Search. Ai.

ปรับใช้โมเดล

หลังจากปรับแต่งโมเดลอย่างละเอียดแล้ว คุณสามารถปรับใช้ได้โดยใช้หน้าโมเดลบน SageMaker JumpStart ตัวเลือกในการปรับใช้โมเดลที่ปรับแต่งอย่างละเอียดจะปรากฏขึ้นเมื่อการปรับแต่งแบบละเอียดเสร็จสมบูรณ์ ดังที่แสดงในภาพหน้าจอต่อไปนี้

Fine-tune and Deploy Mistral 7B with Amazon SageMaker JumpStart | Amazon Web Services PlatoBlockchain Data Intelligence. Vertical Search. Ai.

ปรับแต่งอย่างละเอียดผ่าน SageMaker Python SDK

คุณยังสามารถปรับแต่งโมเดล Mistral ได้โดยใช้ SageMaker Python SDK โน้ตบุ๊คฉบับสมบูรณ์มีจำหน่ายที่ GitHub. ในส่วนนี้ เราจะให้ตัวอย่างของการปรับแต่งแบบละเอียดสองประเภท

คำแนะนำการปรับจูน

การปรับแต่งคำสั่งเป็นเทคนิคที่เกี่ยวข้องกับการปรับแต่งโมเดลภาษาอย่างละเอียดในชุดงานการประมวลผลภาษาธรรมชาติ (NLP) โดยใช้คำสั่ง ในเทคนิคนี้ โมเดลจะได้รับการฝึกให้ทำงานโดยทำตามคำแนะนำที่เป็นข้อความแทนชุดข้อมูลเฉพาะสำหรับแต่ละงาน โมเดลได้รับการปรับแต่งอย่างละเอียดด้วยชุดตัวอย่างอินพุตและเอาท์พุตสำหรับแต่ละงาน ช่วยให้โมเดลสามารถสรุปงานใหม่ๆ ที่ไม่ได้รับการฝึกอย่างชัดเจนตราบใดที่มีการแจ้งพร้อมท์สำหรับงานนั้น การปรับแต่งคำสั่งช่วยปรับปรุงความแม่นยำและประสิทธิผลของแบบจำลอง และมีประโยชน์ในสถานการณ์ที่ไม่มีชุดข้อมูลขนาดใหญ่สำหรับงานเฉพาะ

มาดูโค้ดการปรับแต่งที่ให้ไว้ในตัวอย่างกัน สมุดบันทึก ด้วย SageMaker Python SDK

เราใช้สับเซตของ ชุดข้อมูลดอลลี่ ในรูปแบบการปรับแต่งคำสั่งและระบุ template.json ไฟล์อธิบายรูปแบบอินพุตและเอาต์พุต ข้อมูลการฝึกจะต้องอยู่ในรูปแบบบรรทัด JSON (.jsonl) โดยแต่ละบรรทัดจะเป็นพจนานุกรมที่แสดงถึงตัวอย่างข้อมูลเดียว ในกรณีนี้เราตั้งชื่อมันว่า train.jsonl.

ตัวอย่างต่อไปนี้เป็นตัวอย่างของ train.jsonl. กุญแจ instruction, contextและ response ในแต่ละตัวอย่างควรมีรายการที่สอดคล้องกัน {instruction}, {context}, {response} ใน template.json.

{ "instruction": "What is a dispersive prism?", "context": "In optics, a dispersive prism is an optical prism that is used to disperse light, that is, to separate light into its spectral components (the colors of the rainbow). Different wavelengths (colors) of light will be deflected by the prism at different angles. This is a result of the prism material's index of refraction varying with wavelength (dispersion). Generally, longer wavelengths (red) undergo a smaller deviation than shorter wavelengths (blue). The dispersion of white light into colors by a prism led Sir Isaac Newton to conclude that white light consisted of a mixture of different colors.", "response": "A dispersive prism is an optical prism that disperses the light's different wavelengths at different angles. When white light is shined through a dispersive prism it will separate into the different colors of the rainbow."
}

ต่อไปนี้เป็นตัวอย่างของ template.json:

{ "prompt": "Below is an instruction that describes a task, paired with an input that provides further context. " "Write a response that appropriately completes the request.nn" "### Instruction:n{instruction}nn### Input:n{context}nn", "completion": " {response}",
}

หลังจากที่คุณอัปโหลดเทมเพลตพร้อมท์และข้อมูลการฝึกไปยังบัคเก็ต S3 แล้ว คุณสามารถตั้งค่าไฮเปอร์พารามิเตอร์ได้

my_hyperparameters["epoch"] = "1"
my_hyperparameters["per_device_train_batch_size"] = "2"
my_hyperparameters["gradient_accumulation_steps"] = "2"
my_hyperparameters["instruction_tuned"] = "True"
print(my_hyperparameters)

จากนั้นคุณสามารถเริ่มกระบวนการปรับแต่งอย่างละเอียดและปรับใช้โมเดลกับจุดสิ้นสุดการอนุมานได้ ในโค้ดต่อไปนี้ เราใช้อินสแตนซ์ ml.g5.12xlarge:

from sagemaker.jumpstart.estimator import JumpStartEstimator instruction_tuned_estimator = JumpStartEstimator( model_id=model_id, hyperparameters=my_hyperparameters, instance_type="ml.g5.12xlarge",
)
instruction_tuned_estimator.fit({"train": train_data_location}, logs=True) instruction_tuned_predictor = instruction_tuned_estimator.deploy()

การปรับแต่งโดเมนแบบละเอียด

การปรับแต่งการปรับโดเมนอย่างละเอียดเป็นกระบวนการที่ปรับแต่ง LLM ที่ได้รับการฝึกอบรมล่วงหน้าเพื่อให้เหมาะสมกับโดเมนหรืองานเฉพาะเจาะจงมากขึ้น ด้วยการใช้ชุดข้อมูลเฉพาะโดเมนที่มีขนาดเล็กลง LLM สามารถปรับแต่งอย่างละเอียดเพื่อทำความเข้าใจและสร้างเนื้อหาที่แม่นยำ เกี่ยวข้อง และลึกซึ้งยิ่งขึ้นสำหรับโดเมนเฉพาะนั้น ในขณะที่ยังคงรักษาความรู้มากมายที่ได้รับระหว่างการฝึกอบรมดั้งเดิม

โมเดล Mistral สามารถปรับแต่งได้อย่างละเอียดบนชุดข้อมูลเฉพาะโดเมนใดๆ หลังจากปรับแต่งอย่างละเอียดแล้ว คาดว่าจะสร้างข้อความเฉพาะโดเมนและแก้ไขงาน NLP ต่างๆ ในโดเมนเฉพาะนั้น สำหรับชุดข้อมูลการฝึก ให้ระบุไดเร็กทอรีการฝึกและไดเร็กทอรีการตรวจสอบเพิ่มเติม โดยแต่ละไดเร็กทอรีจะมีไฟล์ CSV, JSON หรือ TXT ไฟล์เดียว สำหรับรูปแบบ CSV และ JSON ให้ใช้ข้อมูลจากไฟล์ text คอลัมน์หรือคอลัมน์แรกถ้า text ไม่อยู่ ตรวจสอบให้แน่ใจว่ามีเพียงไฟล์เดียวที่มีอยู่ในแต่ละไดเร็กทอรี ตัวอย่างเช่น ข้อมูลอินพุตอาจเป็นเอกสารที่ยื่นต่อ SEC ของ Amazon ในรูปแบบไฟล์ข้อความ:

This report includes estimates, projections, statements relating to our
business plans, objectives, and expected operating results that are “forward-
looking statements” within the meaning of the Private Securities Litigation
Reform Act of 1995, Section 27A of the Securities Act of 1933, and Section 21E
of the Securities Exchange Act of 1934. Forward-looking statements may appear
throughout this report, including the following sections: “Business” (Part I,
Item 1 of this Form 10-K), “Risk Factors” (Part I, Item 1A of this Form 10-K),
and “Management’s Discussion and Analysis of Financial Condition and Results
of Operations” (Part II, Item 7 of this Form 10-K). These forward-looking
statements generally are identified by the words “believe,” “project,”
“expect,” “anticipate,” “estimate,” “intend,” “strategy,” “future,”
“opportunity,” “plan,” “may,” “should,” “will,” “would,” “will be,” “will
continue,” “will likely result,” and similar expressions.

คุณสามารถเริ่มการปรับแต่งโดเมนแบบละเอียดได้โดยการระบุไฮเปอร์พารามิเตอร์ “instruction_tuned" เช่น "False“. ขั้นตอนที่เหลือจะคล้ายกับขั้นตอนการปรับแต่งคำแนะนำโดยละเอียด

เราตั้ง max_input_length เป็น 2048 บน g5.12xlarge คุณสามารถใช้ความยาวอินพุตที่สูงกว่ากับประเภทอินสแตนซ์ที่ใหญ่กว่าได้ สำหรับรายละเอียด โปรดดูที่ ตัวอย่างโน๊ตบุ๊ค.

ตัวอย่างการอนุมานที่มีและไม่มีการปรับแต่งอย่างละเอียด

ตารางต่อไปนี้ประกอบด้วยผลลัพธ์ของโมเดล Mistral 7B ที่ได้รับการปรับแต่งอย่างละเอียดด้วยการยื่นเอกสาร SEC ของ Amazon ตั้งแต่ปี 2021–2022 เราเปรียบเทียบผลลัพธ์ก่อนและหลังการปรับแต่งแบบละเอียด

อินพุตพร้อมท์	เอาท์พุตก่อนการปรับแบบละเอียด	เอาท์พุตหลังจากการปรับแบบละเอียด	พารามิเตอร์
รายงาน Form 10-K นี้แสดงให้เห็นว่า	บริษัทเปิดกิจการมาเป็นเวลา 10 ปี และมีพนักงานทั้งหมด 10 คน บริษัทมีพนักงานทั้งหมด 10 คน และดำเนินธุรกิจการให้บริการแก่ประชาชน บริษัทมีพนักงานทั้งหมด 10 คน และดำเนินธุรกิจการให้บริการแก่ประชาชน บริษัทมีพนักงานทั้งหมด 10 คน และดำเนินธุรกิจการให้บริการแก่ประชาชน บริษัทมีพนักงานทั้งหมด 10 คน และดำเนินธุรกิจการให้บริการแก่ประชาชน บริษัทมีพนักงานทั้งหมด 10 คน และดำเนินธุรกิจการให้บริการแก่ประชาชน บริษัทมีพนักงานทั้งหมด 10 คน และอยู่ในธุรกิจการจัดหา	เรามียอดขายสุทธิ 1.2 พันล้านดอลลาร์ 1.5 พันล้านดอลลาร์ และ 1.8 พันล้านดอลลาร์ในปี 2004, 2003 และ 2002 จำนวนเงินเหล่านี้รวมยอดขายจากเว็บไซต์ต่างประเทศของเราด้วย ยอดขายสุทธิจากเว็บไซต์ต่างประเทศของเราอยู่ที่ 323 ล้านดอลลาร์ 242 ล้านดอลลาร์ และ 150 ล้านดอลลาร์ในปี 2004, 2003 และ 2002 ยอดขายสุทธิจากเว็บไซต์ต่างประเทศของเราคิดเป็น 27%, 16% และ 8% ของยอดขายสุทธิในปี 2004, 2003 และ 2002 .	“อุณหภูมิ”: 0.2, “max_new_tokens”: 150,
เราให้บริการผู้บริโภคผ่าน	เครือข่ายร้านค้าปลีกของเราจำนวน 1,700 แห่ง ซึ่งรวมถึงร้านค้า 1,200 แห่งในสหรัฐอเมริกา ร้านค้า 400 แห่งในแคนาดา และร้านค้า 100 แห่งในเม็กซิโก เรายังให้บริการผู้บริโภคผ่านเว็บไซต์อีคอมเมิร์ซของเราด้วย ## ร้านปรับปรุงบ้านที่ใหญ่ที่สุดคืออะไร? Home Depot เป็นผู้ค้าปลีกอุปกรณ์ปรับปรุงบ้านที่ใหญ่ที่สุดในสหรัฐอเมริกา ## ร้านปรับปรุงบ้านที่ใหญ่ที่สุดในโลกคืออะไร? ร้านปรับปรุงบ้านที่ใหญ่ที่สุดในโลกคือ Home Depot ## ร้านปรับปรุงบ้านที่ใหญ่ที่สุดในคือร้านใด	ร้านค้าออนไลน์และหน้าร้านของเราและมุ่งเน้นไปที่การเลือก ราคา และความสะดวกสบาย เราออกแบบร้านค้าของเราเพื่อให้ผลิตภัณฑ์ที่ไม่ซ้ำกันหลายร้อยล้านรายการสามารถขายโดยเราและบุคคลที่สามในหมวดหมู่ผลิตภัณฑ์ต่างๆ มากมาย ลูกค้าเข้าถึงข้อเสนอของเราผ่านทางเว็บไซต์ แอพมือถือ Alexa อุปกรณ์ สตรีมมิ่ง และเยี่ยมชมร้านค้าของเรา นอกจากนี้เรายังผลิตและจำหน่ายอุปกรณ์อิเล็กทรอนิกส์ รวมถึง Kindle, Fire tablet, Fire TV, Echo และ Ring และเราพัฒนาและผลิตเนื้อหาสื่อ เราพยายามเสนอราคาที่ต่ำให้กับลูกค้า การจัดส่งฟรีที่รวดเร็วและฟรี ฟังก์ชั่นที่ใช้งานง่าย และการบริการลูกค้าที่ตรงเวลา นอกจากนี้เรายังเสนอบริการสมัครสมาชิกเช่น Amazon Prime, a
วิสัยทัศน์ของเราคือ	เพื่อเป็นผู้ให้บริการชั้นนำด้านบริการดูแลสุขภาพที่มีคุณภาพ ราคาไม่แพง และเข้าถึงได้ภายในชุมชนที่เราให้บริการ ภารกิจของเราคือการให้บริการด้านสุขภาพที่มีคุณภาพ ราคาไม่แพง และเข้าถึงได้แก่ชุมชนที่เราให้บริการ ค่านิยมของเราคือ: – ความซื่อสัตย์: เราปฏิบัติงานด้วยความซื่อสัตย์และซื่อสัตย์ในทุกการติดต่อธุรกิจของเรา – ความเคารพ: เราปฏิบัติต่อทุกคนด้วยความเคารพและให้เกียรติ – ความเป็นเลิศ: เรามุ่งมั่นสู่ความเป็นเลิศในทุกสิ่งที่เราทำ – ความเห็นอกเห็นใจ: เราดูแลผู้ป่วยและผู้อื่นด้วยความเห็นอกเห็นใจ – การทำงานเป็นทีม: เราทำงานร่วมกันเป็นทีมเพื่อให้บรรลุเป้าหมาย ความมุ่งมั่นของเราที่มีต่อผู้ป่วยของเราคือการให้บริการด้านสุขภาพที่มีคุณภาพ ราคาไม่แพง และเข้าถึงได้	เป็นบริษัทที่ยึดลูกค้าเป็นศูนย์กลางมากที่สุดในโลก เราได้รับคำแนะนำจากหลักการสี่ประการ: ความหลงใหลในลูกค้ามากกว่าการมุ่งเน้นไปที่คู่แข่ง ความหลงใหลในการประดิษฐ์ ความมุ่งมั่นสู่ความเป็นเลิศในการปฏิบัติงาน และการคิดระยะยาว ในแต่ละกลุ่มของเรา เราให้บริการกลุ่มลูกค้าหลักของเรา ซึ่งประกอบด้วยผู้บริโภค ผู้ขาย นักพัฒนา องค์กร และผู้สร้างเนื้อหา นอกจากนี้เรายังให้บริการต่างๆ เช่น การโฆษณา เราได้จัดการดำเนินงานของเราออกเป็นสามส่วน: อเมริกาเหนือ ระหว่างประเทศ และ AWS ส่วนงานเหล่านี้สะท้อนถึงวิธีที่บริษัทประเมินผลการดำเนินธุรกิจและจัดการการดำเนินงาน ข้อมูลเกี่ยวกับยอดขายสุทธิของเรามีอยู่ในรายการที่ 8 ของส่วนที่ II “งบการเงิน”

อย่างที่คุณเห็น โมเดลที่ได้รับการปรับแต่งอย่างละเอียดจะให้ข้อมูลเฉพาะเจาะจงมากขึ้นเกี่ยวกับ Amazon เมื่อเปรียบเทียบกับโมเดลที่ได้รับการฝึกอบรมล่วงหน้าทั่วไป เนื่องจากการปรับแต่งอย่างละเอียดจะปรับโมเดลเพื่อทำความเข้าใจความแตกต่าง รูปแบบ และข้อมูลเฉพาะของชุดข้อมูลที่ให้มา ด้วยการใช้แบบจำลองที่ได้รับการฝึกอบรมล่วงหน้าและปรับแต่งด้วยการปรับแต่งอย่างละเอียด เรารับรองว่าคุณจะได้รับสิ่งที่ดีที่สุดจากทั้งสองโลก: ความรู้ในวงกว้างเกี่ยวกับแบบจำลองที่ได้รับการฝึกอบรมล่วงหน้า และความแม่นยำเฉพาะทางสำหรับชุดข้อมูลเฉพาะของคุณ ขนาดเดียวอาจไม่เหมาะกับโลกของการเรียนรู้ของเครื่อง และการปรับแต่งอย่างละเอียดเป็นโซลูชันที่ออกแบบตามความต้องการของคุณ!

สรุป

ในโพสต์นี้ เราได้พูดคุยถึงการปรับแต่งโมเดล Mistral 7B โดยใช้ SageMaker JumpStart เราได้แสดงวิธีที่คุณสามารถใช้คอนโซล SageMaker JumpStart ใน SageMaker Studio หรือ SageMaker Python SDK เพื่อปรับแต่งและปรับใช้โมเดลเหล่านี้ ในขั้นตอนถัดไป คุณสามารถลองปรับแต่งโมเดลเหล่านี้บนชุดข้อมูลของคุณเองได้โดยใช้โค้ดที่ให้ไว้ในที่เก็บ GitHub เพื่อทดสอบและเปรียบเทียบผลลัพธ์สำหรับกรณีการใช้งานของคุณ

เกี่ยวกับผู้เขียน

ซินหวาง เป็นนักวิทยาศาสตร์ประยุกต์อาวุโสสำหรับอัลกอริทึมในตัวของ Amazon SageMaker JumpStart และ Amazon SageMaker เขามุ่งเน้นไปที่การพัฒนาอัลกอริธึมการเรียนรู้ของเครื่องที่ปรับขนาดได้ ความสนใจในงานวิจัยของเขาอยู่ในขอบเขตของการประมวลผลภาษาธรรมชาติ การเรียนรู้เชิงลึกที่อธิบายได้เกี่ยวกับข้อมูลแบบตาราง และการวิเคราะห์ที่มีประสิทธิภาพของการจัดกลุ่มพื้นที่เวลา-อวกาศแบบไม่มีพารามิเตอร์ เขาได้เผยแพร่เอกสารมากมายในการประชุม ACL, ICDM, KDD และ Royal Statistical Society: Series A

วิเวกกังสนิ เป็นสถาปนิกโซลูชันสตาร์ทอัพ AI/ML สำหรับสตาร์ทอัพ Generative AI ที่ AWS เขาช่วยสตาร์ทอัพ GenAI เกิดใหม่สร้างโซลูชันที่เป็นนวัตกรรมโดยใช้บริการของ AWS และการประมวลผลแบบเร่งความเร็ว ปัจจุบันเขามุ่งเน้นไปที่การพัฒนากลยุทธ์สำหรับการปรับแต่งอย่างละเอียดและเพิ่มประสิทธิภาพการอนุมานของโมเดลภาษาขนาดใหญ่ ในเวลาว่าง วิเวกชอบเดินป่า ดูหนัง และลองชิมอาหารประเภทต่างๆ

ดร. Ashish Khetan เป็นนักวิทยาศาสตร์ประยุกต์อาวุโสที่มีอัลกอริทึมในตัวของ Amazon SageMaker และช่วยพัฒนาอัลกอริทึมการเรียนรู้ของเครื่อง เขาได้รับปริญญาเอกจาก University of Illinois Urbana-Champaign เขาเป็นนักวิจัยที่กระตือรือร้นในด้านแมชชีนเลิร์นนิงและการอนุมานทางสถิติ และได้ตีพิมพ์บทความจำนวนมากในการประชุม NeurIPS, ICML, ICLR, JMLR, ACL และ EMNLP