ไฮเปอร์เน็ตเวิร์กคืออะไร?

เมื่อ Stable Diffusion แอปพลิเคชัน AI แสดงภาพถ่ายเหมือนจริงที่ถ่ายจนโด่งดังเมื่อไม่กี่สัปดาห์ก่อน ก็มีคำศัพท์ใหม่ตามมาด้วย ไฮเปอร์เน็ตเวิร์ค

ตอนนี้ Stable Diffusion และไฮเปอร์เน็ตเวิร์กรวมเข้าด้วยกันแล้ว เป็นไปไม่ได้เลยที่จะพูดถึงสิ่งหนึ่งโดยไม่มีสิ่งอื่นในย่อหน้าเดียวกัน

“ฉันได้ฝึกไฮเปอร์เน็ตเวิร์กการแพร่กระจายที่เสถียรบนชุดข้อมูลขนาดเล็ก (ไม่ ไม่ใช่ศิลปินร่วมสมัยนอกเหนือจากของคุณจริงๆ) เพื่อสอน “สไตล์” ที่คลุมเครือซึ่งไม่เข้าใจจริงๆ เมื่อแกะกล่อง มันทำงานได้ตามที่อธิบายไว้จริงๆ ดีกว่าที่ฉันคิดไว้เสียอีก” ผู้ใช้ทวิตเตอร์รายหนึ่งกล่าว

ฉันได้ฝึกไฮเปอร์เน็ตเวิร์กการแพร่กระจายที่เสถียรบนชุดข้อมูลขนาดเล็ก (ไม่ ไม่ใช่ศิลปินร่วมสมัยนอกเหนือจากของคุณจริงๆ) เพื่อสอน "สไตล์" ที่คลุมเครือซึ่งไม่เข้าใจจริงๆ นอกกรอบ มันใช้งานได้ตรงตามที่เขาอธิบาย จริง ๆ แล้วดีกว่าที่ฉันคิดไว้

— เสียใจ maximizer (@regretmaximizer) December 20, 2022

สิ่งนี้เป็นตัวอย่างที่ชัดเจนของกระแสไฮเปอร์เน็ตเวิร์กที่ดึงดูดใจชาวเน็ตในช่วงปลายปี

ในวิทยาการคอมพิวเตอร์ ไฮเปอร์เน็ตเวิร์กเป็นเครือข่ายที่สร้างน้ำหนักให้กับเครือข่ายหลักในทางเทคนิค กล่าวอีกนัยหนึ่ง เชื่อกันว่าพฤติกรรมของเครือข่ายหลักนั้นเหมือนกันกับโครงข่ายประสาทเทียมอื่นๆ เพราะมันเรียนรู้ที่จะแมปอินพุตดิบบางส่วนกับเป้าหมายที่ต้องการ ในขณะที่ไฮเปอร์เน็ตเวิร์กใช้ชุดอินพุตที่มีข้อมูลเกี่ยวกับโครงสร้างของน้ำหนักและสร้าง น้ำหนักสำหรับชั้นนั้น

อ่านเพิ่มเติม: เทคโนโลยี AI ที่สร้างภาพปลอมลึกทำลายชีวิต

ไฮเปอร์เน็ตเวิร์คใช้อย่างไร?

เพื่อให้เข้าใจว่าไฮเปอร์เน็ตเวิร์กคืออะไร มาสำรองข้อมูลกันสักหน่อย หากคุณสร้างรูปภาพบน Stable Diffusion ซึ่งเป็นเครื่องมือ AI สำหรับสร้างงานศิลปะและรูปภาพดิจิทัล คุณคงเคยเจอมาแล้ว

โดยทั่วไปการฝึกอบรมหมายถึงกระบวนการที่ตัวแบบเรียนรู้ (กำหนด) ค่าที่ดีสำหรับน้ำหนักทั้งหมดและอคติจากตัวอย่างที่มีป้ายกำกับ

การสร้างภาพบน การแพร่กระจายที่เสถียร ไม่ใช่กระบวนการอัตโนมัติดังที่เราได้กล่าวไปแล้ว ที่อื่น ๆ. เพื่อให้ไปถึงที่นั่นมีกระบวนการ

ก่อนอื่น โมเดล AI จะต้องเรียนรู้วิธีการเรนเดอร์หรือสังเคราะห์รูปภาพของใครบางคนให้เป็นภาพถ่ายจากโมเดล 2 มิติหรือ 3 มิติผ่านซอฟต์แวร์ แม้ว่าแบบจำลอง Stable Diffusion ได้รับการทดสอบอย่างละเอียดแล้ว แต่ก็มีข้อจำกัดในการฝึกอบรมบางประการที่สามารถแก้ไขได้ด้วยวิธีการฝึกอบรมแบบฝังตัวและไฮเปอร์เน็ตเวิร์ก

เพื่อให้ได้ผลลัพธ์ที่ดีที่สุด ผู้ใช้ปลายทางอาจเลือกทำการฝึกอบรมเพิ่มเติมเพื่อปรับแต่งการสร้างเอาต์พุตให้ตรงกับกรณีการใช้งานเฉพาะเจาะจงมากขึ้น การฝึกอบรม "การฝัง" เกี่ยวข้องกับคอลเล็กชันของรูปภาพที่ผู้ใช้เป็นผู้จัดเตรียม และอนุญาตให้โมเดลสร้างรูปภาพที่คล้ายคลึงกันเมื่อใดก็ตามที่ชื่อของการฝังนั้นถูกใช้ภายในข้อความแจ้งการสร้าง

การฝังขึ้นอยู่กับแนวคิด "การกลับข้อความ" ที่พัฒนาโดยนักวิจัยจากมหาวิทยาลัยเทลอาวีฟ โดยที่การแสดงเวกเตอร์สำหรับโทเค็นเฉพาะที่ใช้โดยตัวเข้ารหัสข้อความของโมเดลนั้นเชื่อมโยงกับคำหลอกใหม่ การฝังสามารถลดอคติภายในโมเดลต้นฉบับหรือเลียนแบบสไตล์ภาพได้

ในทางกลับกัน “ไฮเปอร์เน็ตเวิร์ก” คือโครงข่ายประสาทเทียมที่ฝึกไว้ล่วงหน้าซึ่งนำไปใช้กับจุดต่างๆ ภายในโครงข่ายประสาทเทียมที่ใหญ่ขึ้น และอ้างอิงถึงเทคนิคที่สร้างขึ้นโดย Kurumuz ผู้พัฒนา NovelAI ในปี 2021 ซึ่งแต่เดิมมีไว้สำหรับโมเดลทรานส์ฟอร์มการสร้างข้อความ .

ฝึกฝนกับศิลปินเฉพาะ

เครือข่ายไฮเปอร์เน็ตเวิร์กถูกรวมไว้เพื่อนำผลลัพธ์ไปสู่ทิศทางเฉพาะ ทำให้โมเดลที่ใช้ Stable Diffusion สามารถจำลองสไตล์ศิลปะของศิลปินเฉพาะได้ เครือข่ายมีข้อได้เปรียบที่สามารถทำงานได้แม้ในขณะที่ศิลปินไม่ได้รับการยอมรับจากโมเดลดั้งเดิม และจะยังคงประมวลผลภาพโดยการค้นหาส่วนสำคัญที่สำคัญ เช่น ผมและดวงตา จากนั้นจึงปะพื้นที่เหล่านี้ในพื้นที่แฝงรอง

“เลเยอร์การฝังใน Stable Diffusion มีหน้าที่เข้ารหัสอินพุต (เช่น ข้อความแจ้งและป้ายกำกับคลาส) ลงในเวกเตอร์มิติต่ำ เวกเตอร์เหล่านี้ช่วยแนะนำโมเดลการแพร่กระจายเพื่อสร้างภาพที่ตรงกับอินพุตของผู้ใช้” Benny Cheung อธิบายในบล็อกของเขา

“ชั้น Hypernetwork เป็นวิธีสำหรับระบบในการเรียนรู้และแสดงความรู้ของตนเอง ช่วยให้ Stable Diffusion สร้างภาพตามประสบการณ์ก่อนหน้านี้ได้”

ในขณะที่เลเยอร์การฝังจะเข้ารหัสอินพุต เช่น text prompt และ class labels ให้เป็นเวกเตอร์มิติต่ำเพื่อช่วยนำทางโมเดลการแพร่กระจายเพื่อสร้างภาพที่ตรงกับอินพุตของผู้ใช้ เลเยอร์ไฮเปอร์เน็ตเวิร์กเป็นวิธีที่ระบบจะเรียนรู้และเป็นตัวแทนของมันเอง ความรู้.

กล่าวอีกนัยหนึ่ง มันอนุญาตให้ Stable Diffusion สร้างภาพตามประสบการณ์ก่อนหน้านี้ ใน Stable Diffussion ไฮเปอร์เน็ตเวิร์กคือเลเยอร์เพิ่มเติมที่ประมวลผลหลังจากรูปภาพถูกเรนเดอร์ผ่านโมเดล ไฮเปอร์เน็ตเวิร์กมีแนวโน้มที่จะบิดเบือนผลลัพธ์ทั้งหมดจากโมเดลไปยังข้อมูลการฝึกอบรมของคุณในลักษณะที่ "เปลี่ยน" โมเดลเป็นหลัก

การเก็บรักษาหน่วยความจำ

โดยพื้นฐานแล้วหมายความว่าไฮเปอร์เน็ตเวิร์กมีหน้าที่รับผิดชอบในการเก็บรักษาหน่วยความจำของภาพที่ระบบสร้างขึ้นก่อนหน้านี้ เมื่อผู้ใช้ป้อนข้อมูลใหม่ ระบบสามารถใช้ความรู้เดิมที่มีอยู่เพื่อสร้างภาพที่แม่นยำยิ่งขึ้น ด้วยเหตุนี้ ไฮเปอร์เน็ตเวิร์กจึงช่วยให้ระบบเรียนรู้ได้เร็วขึ้นและปรับปรุงตามขั้นตอน

สิ่งนี้มีข้อได้เปรียบตรงที่ทุกภาพที่บรรจุสิ่งที่อธิบายข้อมูลการฝึกของคุณจะดูเหมือนข้อมูลการฝึกของคุณ

“เราพบว่าการฝึกด้วยการฝังนั้นง่ายกว่าการฝึกด้วยไฮเปอร์เน็ตเวิร์กสำหรับการสร้างภาพตัวเอง การฝึกอบรมของเราให้ผลลัพธ์ที่ดีซึ่งเราพอใจ” Cheung เขียน

คุณใช้เทคนิคการปรับแต่งแบบใด บางอย่างเช่น Hypernetworks หรือ Textual Inversion?

— มาเทียส มิเชล (@m91michel) December 21, 2022

แต่มันเป็นเทคโนโลยีที่หลายคนยังคงต่อล้อต่อเถียงกันอยู่ ไฮเปอร์เน็ตเวิร์กและเครื่องกำเนิด AI เพิ่งเริ่มตอบสนองความต้องการและความต้องการของผู้ใช้ ส่วนต่อประสานกับผู้ใช้และเทคนิคการแจ้งเตือนจะก้าวหน้าอย่างรวดเร็วอย่างไม่ต้องสงสัย และอาจจะดึงดูดใจด้วยซ้ำ Google ไม่ระวังเหมือน MetaNews เพิ่งครอบคลุม.

แบ่งปันโพสต์นี้