เทคนิคการสรุปเอกสารอัตโนมัติโดยใช้แบบจำลองภาษา | อเมซอนเว็บเซอร์วิส

การสรุปเป็นเทคนิคในการย่อข้อมูลขนาดใหญ่ให้อยู่ในรูปแบบที่กะทัดรัดและมีความหมาย และเป็นรากฐานสำคัญของการสื่อสารที่มีประสิทธิภาพในยุคที่อุดมไปด้วยข้อมูลของเรา ในโลกที่เต็มไปด้วยข้อมูล การสรุปข้อความยาวๆ ให้เป็นบทสรุปสั้นๆ ช่วยประหยัดเวลาและช่วยตัดสินใจอย่างมีข้อมูล การสรุปจะย่อเนื้อหา ประหยัดเวลา และปรับปรุงความชัดเจนโดยการนำเสนอข้อมูลอย่างกระชับและสอดคล้องกัน การสรุปเป็นสิ่งล้ำค่าสำหรับการตัดสินใจและการจัดการเนื้อหาจำนวนมาก

วิธีการสรุปมีแอปพลิเคชันที่หลากหลายซึ่งให้บริการตามวัตถุประสงค์ที่หลากหลาย เช่น:

• รวมข่าว - รวมข่าว เกี่ยวข้องกับการสรุปบทความข่าวลงในจดหมายข่าวสำหรับอุตสาหกรรมสื่อ
• สรุปเอกสารทางกฎหมาย - สรุปเอกสารทางกฎหมาย ช่วยให้ผู้เชี่ยวชาญด้านกฎหมายดึงข้อมูลทางกฎหมายที่สำคัญจากเอกสารที่มีความยาว เช่น ข้อกำหนด เงื่อนไข และสัญญา
• การวิจัยทางวิชาการ – การสรุปคำอธิบายประกอบ จัดทำดัชนี ย่อ และลดความซับซ้อนของข้อมูลสำคัญจากเอกสารทางวิชาการ
• การดูแลเนื้อหาสำหรับบล็อกและเว็บไซต์ – คุณสามารถสร้างบทสรุปเนื้อหาที่น่าสนใจและเป็นต้นฉบับสำหรับผู้อ่าน โดยเฉพาะในด้านการตลาด
• รายงานทางการเงินและการวิเคราะห์ตลาด – คุณสามารถสกัดได้ ข้อมูลเชิงลึกทางการเงิน จากรายงานและสร้างบทสรุปผู้บริหารเพื่อนำเสนอนักลงทุนในอุตสาหกรรมการเงิน

ด้วยความก้าวหน้าในการประมวลผลภาษาธรรมชาติ (NLP) โมเดลภาษา และ AI เชิงสร้างสรรค์ ทำให้ข้อความสรุปที่มีความยาวต่างกันเข้าถึงได้ง่ายขึ้น เครื่องมือเช่น หลังเชนรวมกับโมเดลภาษาขนาดใหญ่ (LLM) ที่ขับเคลื่อนโดย อเมซอน เบดร็อค or Amazon SageMaker JumpStart, ลดความซับซ้อนของกระบวนการดำเนินการ

โพสต์นี้เจาะลึกถึงเทคนิคการสรุปต่อไปนี้:

• การสรุปแบบแยกส่วนโดยใช้ตัวสรุปแบบแยกส่วนของ BERT
• การสรุปเชิงนามธรรมโดยใช้แบบจำลองการสรุปเฉพาะทางและ LLM
• เทคนิคการสรุปหลายระดับสองเทคนิค:
  • การสรุปเชิงนามธรรมแบบแยกส่วนโดยใช้กลยุทธ์การสรุปเนื้อหาแบบแยกเชิงนามธรรม (EACCS)
  • การสรุปเชิงนามธรรมเชิงนามธรรมโดยใช้การลดขนาดแผนที่และการจัดอันดับใหม่ของแผนที่

พบตัวอย่างโค้ดที่สมบูรณ์ได้ใน repo GitHub. คุณสามารถ เปิดตัวโซลูชันนี้ in สตูดิโอ Amazon SageMaker.

คลิกที่นี่เพื่อเปิดคอนโซล AWS และปฏิบัติตาม

ประเภทของการสรุป

มีเทคนิคหลายประการในการสรุปข้อความ ซึ่งแบ่งประเภทกว้างๆ ได้เป็น XNUMX วิธีหลัก ได้แก่ สาร และ นามธรรม การสรุป นอกจากนี้ วิธีการสรุปหลายระดับยังรวมเอาชุดขั้นตอนต่างๆ เข้าด้วยกัน ซึ่งผสมผสานทั้งเทคนิคสกัดและนามธรรม วิธีการหลายระดับเหล่านี้มีข้อได้เปรียบเมื่อต้องจัดการกับข้อความที่มีโทเค็นที่ยาวเกินขีดจำกัดของ LLM ซึ่งช่วยให้เข้าใจเรื่องราวที่ซับซ้อนได้

การสรุปแบบแยกส่วน

การสรุปแบบแยกเป็นเทคนิคที่ใช้ใน NLP และการวิเคราะห์ข้อความเพื่อสร้างสรุปโดยการแยกประโยคสำคัญ แทนที่จะสร้างประโยคหรือเนื้อหาใหม่เช่นเดียวกับการสรุปเชิงนามธรรม การสรุปแบบแยกส่วนอาศัยการระบุและดึงส่วนที่เกี่ยวข้องและให้ข้อมูลมากที่สุดของข้อความต้นฉบับออกมาเพื่อสร้างเวอร์ชันย่อ

การสรุปแบบแยกส่วน แม้ว่าจะมีข้อได้เปรียบในการรักษาเนื้อหาต้นฉบับและทำให้สามารถอ่านได้ง่ายโดยการดึงประโยคสำคัญจากข้อความต้นฉบับโดยตรง แต่ก็มีข้อจำกัด ขาดความคิดสร้างสรรค์ ไม่สามารถสร้างประโยคใหม่ๆ และอาจมองข้ามรายละเอียดเล็กๆ น้อยๆ ซึ่งอาจขาดข้อมูลสำคัญได้ ยิ่งไปกว่านั้น มันอาจมีการสรุปที่ยาว ซึ่งบางครั้งทำให้ผู้อ่านล้นหลามด้วยข้อมูลที่มากเกินไปและไม่พึงประสงค์ มีเทคนิคการสรุปแบบแยกวิเคราะห์มากมาย เช่น อันดับข้อความ และ เล็กซ์แรงค์. ในโพสต์นี้ เรามุ่งเน้นไปที่ตัวสรุปแบบแยกส่วนของ BERT

ตัวสรุปแบบแยกส่วนของ BERT

พื้นที่ ตัวสรุปแบบแยกส่วนของ BERT เป็นแบบจำลองการสรุปแบบแยกประเภทที่ใช้แบบจำลองภาษา BERT เพื่อแยกประโยคที่สำคัญที่สุดออกจากข้อความ BERT เป็นโมเดลภาษาที่ได้รับการฝึกมาแล้วซึ่งสามารถปรับแต่งให้เหมาะกับงานต่างๆ รวมถึงการสรุปข้อความ มันทำงานโดยการฝังประโยคในข้อความโดยใช้ BERT สิ่งนี้จะสร้างการแสดงเวกเตอร์สำหรับแต่ละประโยคที่จับความหมายและบริบทของมัน จากนั้นโมเดลจะใช้อัลกอริธึมการจัดกลุ่มเพื่อจัดกลุ่มประโยคเป็นกลุ่ม ประโยคที่อยู่ใกล้กับศูนย์กลางของแต่ละคลัสเตอร์มากที่สุดจะถูกเลือกเพื่อสร้างบทสรุป

เมื่อเปรียบเทียบกับ LLM ข้อดีของตัวสรุปแบบแยกส่วนของ BERT ก็คือ การฝึกอบรมและปรับใช้แบบจำลองค่อนข้างตรงไปตรงมา และอธิบายได้ง่ายกว่า ข้อเสียคือการสรุปไม่สร้างสรรค์และไม่สร้างประโยค โดยจะเลือกเฉพาะประโยคจากข้อความต้นฉบับเท่านั้น สิ่งนี้จำกัดความสามารถในการสรุปข้อความที่ซับซ้อนหรือเหมาะสมยิ่ง

การสรุปเชิงนามธรรม

การสรุปเชิงนามธรรมเป็นเทคนิคที่ใช้ใน NLP และการวิเคราะห์ข้อความเพื่อสร้างการสรุปที่นอกเหนือไปจากการแยกประโยคหรือวลีจากข้อความต้นฉบับ แทนที่จะเลือกและจัดระเบียบเนื้อหาที่มีอยู่ใหม่ การสรุปเชิงนามธรรมจะสร้างประโยคหรือวลีใหม่ที่จับความหมายหลักและแนวคิดหลักของข้อความต้นฉบับในรูปแบบที่กระชับและสอดคล้องกันมากขึ้น แนวทางนี้ต้องใช้แบบจำลองในการทำความเข้าใจเนื้อหาของข้อความและแสดงออกในลักษณะที่ไม่จำเป็นต้องปรากฏในแหล่งข้อมูล

โมเดลการสรุปเฉพาะทาง

โมเดลภาษาธรรมชาติที่ได้รับการฝึกอบรมล่วงหน้าเหล่านี้ เช่น BART และ PEGASUSได้รับการออกแบบมาเป็นพิเศษสำหรับงานสรุปข้อความ พวกเขาใช้สถาปัตยกรรมตัวเข้ารหัส-ตัวถอดรหัสและมีพารามิเตอร์น้อยกว่าเมื่อเทียบกับคู่กัน ขนาดที่ลดลงนี้ช่วยให้ปรับแต่งและปรับใช้บนอินสแตนซ์ขนาดเล็กได้อย่างง่ายดาย อย่างไรก็ตาม สิ่งสำคัญที่ควรทราบคือโมเดลการสรุปเหล่านี้ยังมาพร้อมกับขนาดโทเค็นอินพุตและเอาท์พุตที่เล็กกว่าอีกด้วย โมเดลเหล่านี้ต่างจากรุ่นที่ใช้งานทั่วไปตรงที่ได้รับการออกแบบมาสำหรับงานสรุปโดยเฉพาะ ด้วยเหตุนี้ ข้อมูลที่จำเป็นสำหรับโมเดลเหล่านี้จึงเป็นเพียงข้อความที่ต้องสรุปเท่านั้น

โมเดลภาษาขนาดใหญ่

A แบบจำลองภาษาขนาดใหญ่ หมายถึงโมเดลใดๆ ที่ได้รับการฝึกอบรมเกี่ยวกับชุดข้อมูลที่กว้างขวางและหลากหลาย โดยทั่วไปจะผ่านการเรียนรู้แบบมีผู้ดูแลด้วยตนเองในวงกว้าง และสามารถปรับแต่งอย่างละเอียดเพื่อให้เหมาะกับงานดาวน์สตรีมที่เฉพาะเจาะจงที่หลากหลาย โมเดลเหล่านี้มีขนาดพารามิเตอร์ใหญ่กว่าและทำงานได้ดีกว่าในงานต่างๆ โดยเฉพาะอย่างยิ่ง พวกมันมีขนาดโทเค็นอินพุตที่ใหญ่กว่ามาก บางส่วนก็เกิดขึ้น ถึง 100,000เช่นมานุษยวิทยา Claude. หากต้องการใช้โมเดลเหล่านี้ AWS จะเสนอบริการ Amazon Bedrock ที่มีการจัดการเต็มรูปแบบ หากคุณต้องการการควบคุมวงจรการพัฒนาโมเดลมากขึ้น คุณสามารถปรับใช้ LLM ผ่าน SageMaker

เนื่องจากลักษณะที่หลากหลาย โมเดลเหล่านี้จึงต้องการคำแนะนำงานเฉพาะที่จัดเตรียมไว้ผ่านการป้อนข้อความ ซึ่งเป็นแนวทางปฏิบัติที่เรียกว่า วิศวกรรมพรอมต์. กระบวนการสร้างสรรค์นี้ให้ผลลัพธ์ที่แตกต่างกันไปตามประเภทโมเดลและข้อความที่ป้อน ประสิทธิผลของทั้งประสิทธิภาพของโมเดลและคุณภาพของการแจ้งเตือนมีอิทธิพลอย่างมากต่อคุณภาพขั้นสุดท้ายของเอาท์พุตของโมเดล ต่อไปนี้เป็นเคล็ดลับบางประการเมื่อฝ่ายวิศวกรรมแจ้งให้ทำการสรุป:

• รวมข้อความเพื่อสรุป – กรอกข้อความที่ต้องการสรุป ซึ่งทำหน้าที่เป็นแหล่งข้อมูลสำหรับการสรุป
• กำหนดงาน – ระบุให้ชัดเจนว่าวัตถุประสงค์คือการสรุปข้อความ ตัวอย่างเช่น “สรุปข้อความต่อไปนี้: [ข้อความที่ป้อน]”
• ให้บริบท – เสนอคำนำหรือบริบทโดยย่อสำหรับข้อความที่ต้องการสรุป สิ่งนี้ช่วยให้โมเดลเข้าใจเนื้อหาและบริบท ตัวอย่างเช่น “คุณได้รับบทความต่อไปนี้เกี่ยวกับปัญญาประดิษฐ์และบทบาทของมันในการดูแลสุขภาพ: [ข้อความที่ป้อน]”
• ขอสรุปครับ – แจ้งให้โมเดลสร้างข้อมูลสรุปของข้อความที่ให้ไว้ มีความชัดเจนเกี่ยวกับความยาวหรือรูปแบบของบทสรุปที่ต้องการ ตัวอย่างเช่น “โปรดสร้างบทสรุปโดยย่อของบทความเกี่ยวกับปัญญาประดิษฐ์และบทบาทในการดูแลสุขภาพ: [ข้อความที่ป้อน]”
• กำหนดข้อจำกัดหรือแนวทางความยาว – หรืออีกทางหนึ่ง กำหนดความยาวของสรุปโดยระบุจำนวนคำ จำนวนประโยค หรือจำนวนอักขระที่ต้องการ ตัวอย่างเช่น “โปรดสร้างบทสรุปที่มีความยาวไม่เกิน 50 คำ: [ข้อความที่ป้อน]”

วิศวกรรมพร้อมท์ที่มีประสิทธิภาพถือเป็นสิ่งสำคัญในการรับรองว่าบทสรุปที่สร้างขึ้นนั้นถูกต้อง เกี่ยวข้อง และสอดคล้องกับงานสรุปที่ต้องการ ปรับแต่งพรอมต์เพื่อให้ได้ผลลัพธ์การสรุปที่เหมาะสมที่สุดด้วยการทดลองและการวนซ้ำ หลังจากที่คุณได้กำหนดประสิทธิภาพของพร้อมต์แล้ว คุณสามารถนำกลับมาใช้ใหม่ได้โดยใช้ เทมเพลตพรอมต์.

การสรุปหลายระดับ

การสรุปแบบแยกส่วนและเชิงนามธรรมมีประโยชน์สำหรับข้อความที่สั้นกว่า อย่างไรก็ตาม เมื่อข้อความที่ป้อนเกินขีดจำกัดโทเค็นสูงสุดของโมเดล การสรุปหลายระดับจึงจำเป็น การสรุปหลายระดับเกี่ยวข้องกับการรวมเทคนิคการสรุปต่างๆ เข้าด้วยกัน เช่น วิธีการสกัดและนามธรรม เพื่อย่อข้อความที่ยาวขึ้นอย่างมีประสิทธิภาพโดยใช้กระบวนการสรุปหลายชั้น ในส่วนนี้ เราจะพูดถึงเทคนิคการสรุปหลายระดับสองเทคนิค: การสรุปเชิงนามธรรมแบบแยกส่วนและการสรุปเชิงนามธรรมแบบนามธรรม

การสรุปแบบสกัดเชิงนามธรรม

การสรุปแบบแยกส่วน-นามธรรมทำงานโดยการสร้างสรุปแบบแยกส่วนของข้อความในขั้นแรก จากนั้นจะใช้ระบบการสรุปเชิงนามธรรมเพื่อปรับแต่งการสรุปแบบแยกส่วน ทำให้กระชับและให้ข้อมูลมากขึ้น ซึ่งช่วยเพิ่มความแม่นยำโดยการให้ข้อมูลสรุปที่มากขึ้นเมื่อเปรียบเทียบกับวิธีการสกัดเพียงอย่างเดียว

กลยุทธ์การสรุปเนื้อหาแบบสกัดเชิงนามธรรม

เทคนิค EACSS ผสมผสานจุดแข็งของเทคนิคอันทรงพลังสองเทคนิค: ตัวสรุปแบบสกัด BERT สำหรับระยะการแยกและ LLM สำหรับระยะนามธรรม ดังแสดงในแผนภาพต่อไปนี้

EACSS มีข้อดีหลายประการ รวมถึงการเก็บรักษาข้อมูลที่สำคัญ ความสามารถในการอ่านที่เพิ่มขึ้น และความสามารถในการปรับตัว อย่างไรก็ตาม การใช้ EACSS นั้นมีราคาแพงและซับซ้อนในการคำนวณ มีความเสี่ยงที่ข้อมูลอาจสูญหาย และคุณภาพของการสรุปจะขึ้นอยู่กับประสิทธิภาพของโมเดลพื้นฐานเป็นอย่างมาก การเลือกและปรับแต่งโมเดลอย่างรอบคอบจึงจำเป็นเพื่อให้ได้ผลลัพธ์ที่ดีที่สุด การนำไปปฏิบัติประกอบด้วยขั้นตอนต่อไปนี้:

1. ขั้นตอนแรกคือการแบ่งเอกสารขนาดใหญ่ เช่น หนังสือ ออกเป็นส่วนเล็กๆ หรือ ชิ้น. ส่วนเหล่านี้ถูกกำหนดเป็นประโยค ย่อหน้า หรือแม้แต่บท ขึ้นอยู่กับรายละเอียดที่ต้องการสำหรับสรุป
2. สำหรับขั้นตอนการสกัด เราใช้ตัวสรุปสารสกัดของ BERT ส่วนประกอบนี้ทำงานโดยการฝังประโยคไว้ในแต่ละส่วน จากนั้นใช้อัลกอริธึมการจัดกลุ่มเพื่อระบุประโยคที่ใกล้กับเซนทรอยด์ของคลัสเตอร์มากที่สุด ขั้นตอนการแยกส่วนนี้ช่วยในการรักษาเนื้อหาที่สำคัญและเกี่ยวข้องที่สุดจากแต่ละส่วน
3. หลังจากสร้างบทสรุปที่แยกออกมาสำหรับแต่ละส่วนแล้ว เราจะเข้าสู่ขั้นตอนการสรุปเชิงนามธรรม ที่นี่ เราใช้ LLM ซึ่งเป็นที่รู้จักในด้านความสามารถในการสร้างบทสรุปที่สอดคล้องกันและเกี่ยวข้องกับบริบท แบบจำลองเหล่านี้ใช้ข้อมูลสรุปที่แยกออกมาเป็นข้อมูลป้อนเข้า และสร้างข้อมูลสรุปเชิงนามธรรมที่รวบรวมสาระสำคัญของเอกสารต้นฉบับ ในขณะเดียวกันก็รับประกันความสามารถในการอ่านและการเชื่อมโยงกัน

ด้วยการรวมเทคนิคการสรุปแบบดึงข้อมูลและเชิงนามธรรม แนวทางนี้นำเสนอวิธีการสรุปเอกสารขนาดยาว เช่น หนังสือ ที่มีประสิทธิภาพและครอบคลุม ช่วยให้มั่นใจได้ว่าข้อมูลสำคัญจะถูกดึงออกมาในขณะเดียวกันก็สามารถสร้างบทสรุปที่กระชับและมนุษย์อ่านได้ ทำให้เป็นเครื่องมือที่มีคุณค่าสำหรับการใช้งานต่างๆ ในขอบเขตของการสรุปเอกสาร

การสรุปเชิงนามธรรม-เชิงนามธรรม

การสรุปเชิงนามธรรม-เชิงนามธรรมเป็นแนวทางที่ใช้วิธีเชิงนามธรรมสำหรับทั้งการแยกและการสร้างสรุป มีข้อดีที่โดดเด่น ได้แก่ ความสามารถในการอ่านที่เพิ่มขึ้น ความสอดคล้องกัน และความยืดหยุ่นในการปรับความยาวและรายละเอียดสรุป มีความเป็นเลิศในการสร้างภาษา ช่วยให้สามารถถอดความและหลีกเลี่ยงความซ้ำซ้อนได้ อย่างไรก็ตามมีข้อเสียอยู่ ตัวอย่างเช่น มีราคาแพงในการคำนวณและใช้ทรัพยากรเป็นจำนวนมาก และคุณภาพของแบบจำลองนั้นขึ้นอยู่กับประสิทธิภาพของแบบจำลองพื้นฐาน ซึ่งหากไม่ได้รับการฝึกอบรมมาเป็นอย่างดีหรือมีความอเนกประสงค์ อาจส่งผลกระทบต่อคุณภาพของข้อมูลสรุปที่สร้างขึ้น การเลือกแบบจำลองมีความสำคัญอย่างยิ่งในการบรรเทาความท้าทายเหล่านี้และรับประกันบทสรุปเชิงนามธรรมคุณภาพสูง สำหรับการสรุปเชิงนามธรรม-เชิงนามธรรม เราจะหารือเกี่ยวกับสองกลยุทธ์: การลดขนาดแผนที่ และการจัดอันดับใหม่ของแผนที่

ลดขนาดแผนที่โดยใช้ LangChain

กระบวนการสองขั้นตอนนี้ประกอบด้วย ขั้นตอนการทำแผนที่และขั้นตอนการลดดังแสดงในแผนภาพต่อไปนี้ เทคนิคนี้ช่วยให้คุณสามารถสรุปอินพุตที่ยาวเกินขีดจำกัดโทเค็นอินพุตของโมเดลได้

กระบวนการประกอบด้วยสามขั้นตอนหลัก:

1. องค์กรจะถูกแบ่งออกเป็นส่วนเล็กๆ ที่พอดีกับขีดจำกัดโทเค็นของ LLM
2. เราใช้ขั้นตอนแผนที่เพื่อใช้สายโซ่ LLM แยกกันซึ่งจะดึงข้อมูลที่สำคัญทั้งหมดจากแต่ละข้อความ และผลลัพธ์จะถูกใช้เป็นข้อความใหม่ ขึ้นอยู่กับขนาดและโครงสร้างของคลังข้อมูล ซึ่งอาจอยู่ในรูปแบบของหัวข้อหลักหรือบทสรุปสั้นๆ
3. ขั้นตอนการลดจะรวมข้อความเอาท์พุตจากขั้นตอนแมปหรือขั้นตอนการลดเพื่อให้พอดีกับขีดจำกัดโทเค็นและป้อนลงใน LLM กระบวนการนี้ทำซ้ำจนกระทั่งผลลัพธ์สุดท้ายเป็นข้อความเอกพจน์

ข้อดีของการใช้เทคนิคนี้คือสามารถปรับขนาดได้สูงและขนานได้ การประมวลผลทั้งหมดในแต่ละขั้นตอนเป็นอิสระจากกัน ซึ่งใช้ประโยชน์จากระบบแบบกระจายหรือบริการแบบไร้เซิร์ฟเวอร์ และลดเวลาในการประมวลผล

การจัดอันดับแผนที่ใหม่โดยใช้ LangChain

กลุ่มนี้จะเรียกใช้พร้อมท์เริ่มต้นในเอกสารแต่ละฉบับที่ไม่เพียงแต่พยายามทำงานให้เสร็จสิ้น แต่ยังให้คะแนนว่าคำตอบนั้นมีความแน่นอนเพียงใด คำตอบที่ให้คะแนนสูงสุดจะถูกส่งกลับ

เทคนิคนี้คล้ายกับ Map Reduce มาก แต่มีข้อดีตรงที่ต้องใช้การเรียกโดยรวมน้อยลง ซึ่งทำให้กระบวนการสรุปมีความคล่องตัว อย่างไรก็ตาม ข้อจำกัดอยู่ที่การไม่สามารถผสานข้อมูลระหว่างเอกสารหลายชุดได้ ข้อจำกัดนี้ทำให้มีประสิทธิภาพมากที่สุดในสถานการณ์ที่คาดหวังคำตอบเดียวที่ตรงไปตรงมาจากเอกสารเดียว ทำให้ไม่เหมาะกับงานดึงข้อมูลที่ซับซ้อนหรือหลายแง่มุมที่เกี่ยวข้องกับหลายแหล่ง การพิจารณาบริบทและลักษณะของข้อมูลอย่างรอบคอบเป็นสิ่งสำคัญในการพิจารณาความเหมาะสมของวิธีการนี้สำหรับความต้องการในการสรุปเฉพาะ

Cohere ReRank ใช้ระบบการจัดอันดับใหม่ตามความหมายซึ่งจะปรับบริบทความหมายของข้อความค้นหาของผู้ใช้นอกเหนือจากความเกี่ยวข้องของคำหลัก ใช้กับระบบร้านค้าเวกเตอร์ตลอดจนเครื่องมือค้นหาตามคำหลัก ทำให้มีความยืดหยุ่น

การเปรียบเทียบเทคนิคการสรุป

เทคนิคการสรุปแต่ละเทคนิคมีข้อดีและข้อเสียเฉพาะของตัวเอง:

• การสรุปแบบแยกส่วนจะคงเนื้อหาต้นฉบับไว้และช่วยให้อ่านได้ง่ายแต่ขาดความคิดสร้างสรรค์และอาจสร้างบทสรุปที่ยาวได้
• การสรุปเชิงนามธรรมในขณะที่นำเสนอความคิดสร้างสรรค์และสร้างบทสรุปที่กระชับและคล่องแคล่ว มาพร้อมกับความเสี่ยงในการปรับเปลี่ยนเนื้อหาโดยไม่ได้ตั้งใจ ความท้าทายในความถูกต้องของภาษา และการพัฒนาที่ต้องใช้ทรัพยากรมาก
• การสรุปหลายระดับแบบแยกเชิงนามธรรมจะสรุปเอกสารขนาดใหญ่ได้อย่างมีประสิทธิภาพ และให้ความยืดหยุ่นที่ดีกว่าในการปรับแต่งส่วนที่แยกออกมาของแบบจำลองอย่างละเอียด อย่างไรก็ตาม มีราคาแพง ใช้เวลานาน และไม่มีการขนาน ทำให้การปรับแต่งพารามิเตอร์มีความท้าทาย
• การสรุปหลายระดับเชิงนามธรรมเชิงนามธรรมยังสรุปเอกสารขนาดใหญ่ได้อย่างมีประสิทธิภาพและมีความเป็นเลิศในด้านความสามารถในการอ่านและการเชื่อมโยงกันที่ได้รับการปรับปรุง อย่างไรก็ตาม มีราคาแพงในการคำนวณและใช้ทรัพยากรมาก โดยต้องอาศัยประสิทธิภาพของโมเดลพื้นฐานเป็นอย่างมาก

การเลือกแบบจำลองอย่างรอบคอบเป็นสิ่งสำคัญในการลดความท้าทายและรับประกันบทสรุปเชิงนามธรรมคุณภาพสูงในแนวทางนี้ ตารางต่อไปนี้สรุปความสามารถสำหรับการสรุปแต่ละประเภท

แง่มุม	การสรุปแบบแยกส่วน	การสรุปนามธรรม	การสรุปหลายระดับ
สร้างบทสรุปที่สร้างสรรค์และน่าดึงดูด	ไม่	ใช่	ใช่
รักษาเนื้อหาต้นฉบับ	ใช่	ไม่	ไม่
รักษาสมดุลข้อมูลและความคิดสร้างสรรค์	ไม่	ใช่	ใช่
เหมาะสำหรับข้อความสั้นวัตถุประสงค์ (ความยาวข้อความอินพุตน้อยกว่าโทเค็นสูงสุดของโมเดล)	ใช่	ใช่	ไม่
มีผลกับเอกสารที่ซับซ้อนและยาวกว่า เช่น หนังสือ (ความยาวข้อความที่ป้อนมากกว่าโทเค็นสูงสุดของโมเดล)	ไม่	ไม่	ใช่
ผสมผสานการสกัดและการสร้างเนื้อหา	ไม่	ไม่	ใช่

เทคนิคการสรุปหลายระดับเหมาะสำหรับเอกสารที่ยาวและซับซ้อนซึ่งความยาวของข้อความที่ป้อนเกินขีดจำกัดโทเค็นของโมเดล ตารางต่อไปนี้เปรียบเทียบเทคนิคเหล่านี้

เทคนิค	ข้อดี	ข้อเสีย
EACSS (แบบแยกเชิงนามธรรม)	เก็บรักษาข้อมูลที่สำคัญ ให้ความสามารถในการปรับแต่งส่วนที่ดึงออกมาของแบบจำลองได้อย่างละเอียด	มีราคาแพงในการคำนวณ ข้อมูลอาจสูญหาย และขาดการทำงานแบบขนาน
ลดขนาดแผนที่ (นามธรรม-นามธรรม)	ปรับขนาดได้และขนานได้โดยใช้เวลาประมวลผลน้อยลง เทคนิคที่ดีที่สุดในการสร้างบทสรุปที่สร้างสรรค์และกระชับ	กระบวนการที่ใช้หน่วยความจำมาก
การจัดอันดับแผนที่ใหม่ (นามธรรม-นามธรรม)	การสรุปที่คล่องตัวด้วยการจัดอันดับตามความหมาย	การรวมข้อมูลอย่างจำกัด

เคล็ดลับในการสรุปข้อความ

พิจารณาแนวทางปฏิบัติที่ดีที่สุดต่อไปนี้เมื่อสรุปข้อความ:

• ระวังขนาดโทเค็นทั้งหมด – เตรียมพร้อมที่จะแยกข้อความหากเกินขีดจำกัดโทเค็นของโมเดล หรือใช้การสรุปหลายระดับเมื่อใช้ LLM
• คำนึงถึงประเภทและจำนวนแหล่งข้อมูล – การรวมข้อมูลจากหลายแหล่งอาจต้องมีการเปลี่ยนแปลง การจัดองค์กรที่ชัดเจน และกลยุทธ์การบูรณาการ สิ่งของ LangChain มีการบูรณาการกับแหล่งข้อมูลที่หลากหลายและ ประเภทเอกสาร. ช่วยให้กระบวนการรวมข้อความจากเอกสารและแหล่งข้อมูลต่างๆ ง่ายขึ้นด้วยการใช้เทคนิคนี้
• ตระหนักถึงความเชี่ยวชาญเฉพาะด้านของโมเดล – บางรุ่นอาจเก่งในเนื้อหาบางประเภทแต่ก็ประสบปัญหากับรุ่นอื่นๆ อาจมีโมเดลที่ได้รับการปรับแต่งอย่างละเอียดซึ่งเหมาะสมกับโดเมนข้อความของคุณมากกว่า
• ใช้การสรุปหลายระดับสำหรับเนื้อหาขนาดใหญ่ – สำหรับข้อความที่เกินขีดจำกัดโทเค็น ให้พิจารณาวิธีการสรุปหลายระดับ เริ่มต้นด้วยการสรุประดับสูงเพื่อรวบรวมแนวคิดหลัก จากนั้นจึงสรุปส่วนย่อยหรือบทต่างๆ อย่างต่อเนื่องเพื่อให้ได้ข้อมูลเชิงลึกที่มีรายละเอียดมากขึ้น
• สรุปข้อความตามหัวข้อ – แนวทางนี้ช่วยรักษากระแสตรรกะและลดการสูญเสียข้อมูล และจัดลำดับความสำคัญในการเก็บรักษาข้อมูลที่สำคัญ หากคุณกำลังใช้ LLM ให้สร้างพร้อมต์ที่ชัดเจนและเฉพาะเจาะจงเพื่อเป็นแนวทางให้โมเดลสรุปหัวข้อใดหัวข้อหนึ่งแทนการสรุปเนื้อหาทั้งหมด

สรุป

การสรุปถือเป็นเครื่องมือสำคัญในยุคที่เต็มไปด้วยข้อมูลของเรา ช่วยให้สามารถกลั่นกรองข้อมูลที่กว้างขวางให้อยู่ในรูปแบบที่กระชับและมีความหมายได้อย่างมีประสิทธิภาพ มันมีบทบาทสำคัญในโดเมนต่างๆ โดยมีข้อดีมากมาย การสรุปช่วยประหยัดเวลาด้วยการถ่ายทอดเนื้อหาสำคัญจากเอกสารที่มีความยาวได้อย่างรวดเร็ว ช่วยในการตัดสินใจโดยการดึงข้อมูลที่สำคัญ และเพิ่มความเข้าใจในด้านการศึกษาและการดูแลจัดการเนื้อหา

โพสต์นี้ให้ภาพรวมที่ครอบคลุมของเทคนิคการสรุปต่างๆ รวมถึงแนวทางแบบดึงข้อมูล นามธรรม และหลายระดับ ด้วยเครื่องมืออย่าง LangChain และโมเดลภาษา คุณสามารถควบคุมพลังของการสรุปเพื่อปรับปรุงการสื่อสาร ปรับปรุงการตัดสินใจ และปลดล็อกศักยภาพสูงสุดของที่เก็บข้อมูลขนาดใหญ่ ตารางเปรียบเทียบในโพสต์นี้สามารถช่วยคุณระบุเทคนิคการสรุปที่เหมาะสมที่สุดสำหรับโครงการของคุณ นอกจากนี้ เคล็ดลับที่แชร์ในโพสต์ยังทำหน้าที่เป็นแนวทางที่มีคุณค่าเพื่อหลีกเลี่ยงข้อผิดพลาดซ้ำๆ เมื่อทดลองกับ LLM สำหรับการสรุปข้อความ คำแนะนำเชิงปฏิบัตินี้ช่วยให้คุณสามารถประยุกต์ใช้ความรู้ที่ได้รับ เพื่อให้มั่นใจว่าการสรุปโครงการจะประสบความสำเร็จและมีประสิทธิภาพ

อ้างอิง

---

เกี่ยวกับผู้แต่ง

นิค บิโซ เป็นวิศวกรการเรียนรู้ของเครื่องที่ AWS Professional Services เขาแก้ปัญหาความท้าทายด้านเทคนิคและองค์กรที่ซับซ้อนโดยใช้วิทยาศาสตร์ข้อมูลและวิศวกรรม นอกจากนี้ เขาสร้างและปรับใช้โมเดล AI/ML บน AWS Cloud ความหลงใหลของเขาขยายไปสู่ความกระตือรือร้นในการเดินทางและประสบการณ์ทางวัฒนธรรมที่หลากหลาย

สุหัส เชาวดารี ชนลากัดดา เป็นนักวิทยาศาสตร์ข้อมูลที่ AWS Global Services เขามีความกระตือรือร้นในการช่วยให้ลูกค้าองค์กรแก้ไขปัญหาที่ซับซ้อนที่สุดด้วยพลังของ AI/ML เขาได้ช่วยเหลือลูกค้าในการเปลี่ยนแปลงโซลูชันทางธุรกิจในอุตสาหกรรมที่หลากหลาย รวมถึงการเงิน การดูแลสุขภาพ การธนาคาร อีคอมเมิร์ซ สื่อ การโฆษณา และการตลาด

วอร์ดแท็บบี้ เป็น Principal Cloud Architect/ที่ปรึกษาทางเทคนิคเชิงกลยุทธ์ที่มีประสบการณ์กว้างขวางในการโยกย้ายลูกค้าและปรับปรุงปริมาณงานและบริการของแอปพลิเคชันไปยัง AWS ให้ทันสมัย ด้วยประสบการณ์กว่า 25 ปีในการพัฒนาและออกแบบซอฟต์แวร์ เธอได้รับการยอมรับจากความสามารถในการเจาะลึก รวมถึงได้รับความไว้วางใจจากลูกค้าและคู่ค้าในการออกแบบสถาปัตยกรรมและโซลูชันทั่วทั้งกลุ่มเทคโนโลยีและผู้ให้บริการคลาวด์หลายราย

สยาม เดไซ เป็นวิศวกรระบบคลาวด์สำหรับบริการ Big Data และ Machine Learning ที่ AWS เขาสนับสนุนแอปพลิเคชัน Big Data ระดับองค์กรและลูกค้าโดยใช้การผสมผสานความเชี่ยวชาญด้านวิศวกรรมซอฟต์แวร์เข้ากับวิทยาศาสตร์ข้อมูล เขามีความรู้กว้างขวางเกี่ยวกับการประยุกต์ใช้คอมพิวเตอร์วิทัศน์และการสร้างภาพสำหรับปัญญาประดิษฐ์ ตลอดจนการประยุกต์ใช้ทางชีวการแพทย์และชีวสารสนเทศศาสตร์

• เนื้อหาที่ขับเคลื่อนด้วย SEO และการเผยแพร่ประชาสัมพันธ์ รับการขยายวันนี้
• PlatoData.Network Vertical Generative Ai เพิ่มพลังให้กับตัวเอง เข้าถึงได้ที่นี่.
• เพลโตไอสตรีม. Web3 อัจฉริยะ ขยายความรู้ เข้าถึงได้ที่นี่.
• เพลโตESG. คาร์บอน, คลีนเทค, พลังงาน, สิ่งแวดล้อม แสงอาทิตย์, การจัดการของเสีย. เข้าถึงได้ที่นี่.
• เพลโตสุขภาพ เทคโนโลยีชีวภาพและข่าวกรองการทดลองทางคลินิก เข้าถึงได้ที่นี่.
• ที่มา: https://aws.amazon.com/blogs/machine-learning/techniques-for-automatic-summarization-of-documents-using-language-models/