การปฏิวัติในคอมพิวเตอร์กราฟิกกำลังนำการจับภาพความเป็นจริง 3 มิติมาสู่คนจำนวนมาก

การปฏิวัติในคอมพิวเตอร์กราฟิกกำลังนำการจับภาพความเป็นจริง 3 มิติมาสู่คนจำนวนมาก

ประทับเวลา: 6 พฤศจิกายน 2023 10:23 น
การปฏิวัติในคอมพิวเตอร์กราฟิกกำลังนำการจับภาพความเป็นจริง 3 มิติมาสู่ข้อมูลอัจฉริยะของ PlatoBlockchain จำนวนมาก ค้นหาแนวตั้ง AI.

การทำลายมรดกทางวัฒนธรรมเป็นอาวุธสงคราม วิธีการทั่วไป โดยผู้บุกรุกติดอาวุธเพื่อกีดกันชุมชนที่มีอัตลักษณ์ที่แตกต่างออกไป จึงไม่น่าแปลกใจเลยในเดือนกุมภาพันธ์ปี 2022 ขณะที่กองทหารรัสเซียบุกเข้าไปในยูเครน นักประวัติศาสตร์และผู้เชี่ยวชาญด้านมรดกทางวัฒนธรรมเตรียมพร้อมรับมือกับการทำลายล้างที่จะเกิดขึ้น จนถึงขณะนี้ในสงครามรัสเซีย-ยูเครน UNESCO มี ได้รับการยืนยัน สร้างความเสียหายให้กับอาคารทางศาสนาและประวัติศาสตร์หลายร้อยแห่ง รวมถึงอนุสรณ์สถานสาธารณะ ห้องสมุด และพิพิธภัณฑ์หลายแห่ง

ในขณะที่เทคโนโลยีใหม่ ๆ เช่น โดรนราคาประหยัด, พิมพ์ 3Dและ อินเทอร์เน็ตดาวเทียมส่วนตัว อาจสร้างสนามรบที่ชัดเจนในศตวรรษที่ 21 ที่ไม่คุ้นเคยกับกองทัพทั่วไป เทคโนโลยีอีกชุดหนึ่งกำลังสร้างความเป็นไปได้ใหม่สำหรับผู้เก็บเอกสารพลเมืองที่อยู่แนวหน้าเพื่อรักษามรดกทางวัฒนธรรมของยูเครน

ตัวสำรองยูเครนซึ่งเป็นโครงการความร่วมมือระหว่างคณะกรรมาธิการแห่งชาติของ UNESCO แห่งเดนมาร์กและ Polycam ซึ่งเป็นเครื่องมือสร้างภาพ 3 มิติ ช่วยให้ใครก็ตามที่มีเพียงโทรศัพท์สามารถสแกนและจับภาพแบบจำลอง 3 มิติคุณภาพสูง มีรายละเอียด และเหมือนจริงของสถานที่มรดกทางวัฒนธรรม ซึ่งเป็นสิ่งที่เป็นไปได้ด้วยราคาแพงและภาระหนักเท่านั้น อุปกรณ์เมื่อไม่กี่ปีที่ผ่านมา

Bilawal Sidhu นักเทคโนโลยี นักลงทุนเทวดา และอดีตผู้จัดการผลิตภัณฑ์ของ Google ที่ทำงานเกี่ยวกับแผนที่ 3 มิติและ AR/VR กล่าวว่า Backupยูเครนเป็นการแสดงออกถึงความเร็วที่น่าทึ่งซึ่งเทคโนโลยีการจับภาพและกราฟิก 3 มิติกำลังก้าวหน้าไป

“เทคโนโลยีการจับภาพความเป็นจริงอยู่บนเส้นโค้งของการทำให้เป็นประชาธิปไตยแบบเอ็กซ์โพเนนเชียล” เขาอธิบายให้ฉันฟังในการให้สัมภาษณ์สำหรับ Hub เอกพจน์.

จากข้อมูลของ Sidhu การสร้างเนื้อหา 3 มิติสามารถทำได้ แต่ต้องใช้เครื่องมือราคาแพง เช่น กล้อง DSLR เครื่องสแกน LIDAR และลิขสิทธิ์ซอฟต์แวร์ราคาแพงเท่านั้น ยกตัวอย่างผลงานของ ไซอาร์คซึ่งเป็นองค์กรไม่แสวงผลกำไรที่ก่อตั้งขึ้นเมื่อสองทศวรรษที่แล้วโดยมีเป้าหมายในการใช้เทคโนโลยีจับภาพ 3 มิติระดับมืออาชีพ เพื่อรักษามรดกทางวัฒนธรรมทั่วโลก

“สิ่งที่บ้าและสิ่งที่เปลี่ยนไปคือวันนี้ฉันสามารถทำทุกอย่างนั้นได้โดยมี iPhone อยู่ในกระเป๋าของคุณ” เขากล่าว

ในการสนทนาของเรา Sidhu ได้กล่าวถึงแนวโน้มเทคโนโลยีที่แตกต่างกันแต่มีความเกี่ยวข้องกันสามประการที่ขับเคลื่อนความก้าวหน้านี้ ประการแรกคือต้นทุนที่ลดลงของกล้องและเซ็นเซอร์ประเภทต่างๆ ที่สามารถจับภาพวัตถุหรือพื้นที่ได้ ประการที่สองคือเทคนิคใหม่ๆ ที่ใช้ประโยชน์จากปัญญาประดิษฐ์เพื่อสร้างสินทรัพย์ 3 มิติที่เสร็จสมบูรณ์ และประการที่สามคือการเพิ่มพลังการประมวลผล ซึ่งส่วนใหญ่ขับเคลื่อนโดย GPU ซึ่งสามารถเรนเดอร์วัตถุที่เน้นกราฟิกบนอุปกรณ์ที่เข้าถึงได้อย่างกว้างขวางสำหรับผู้บริโภค

เครื่องสแกน Lidar เป็นตัวอย่างของการปรับปรุงประสิทธิภาพด้านราคาในเซ็นเซอร์ ได้รับความนิยมครั้งแรกในฐานะเซ็นเซอร์หมุนขนาดใหญ่บนยานพาหนะอัตโนมัติ และราคาอยู่ที่ หลายหมื่นดอลลาร์Lidar เปิดตัวเทคโนโลยีผู้บริโภคบน iPhone 12 Pro และ Pro Max ในปี 2020 ความสามารถในการสแกนพื้นที่ในลักษณะเดียวกับที่รถยนต์ไร้คนขับมองเห็นโลก หมายความว่าใครๆ ก็สามารถทำได้อย่างรวดเร็วและถูกในทันที สร้างเนื้อหา 3 มิติที่มีรายละเอียด อย่างไรก็ตาม สิ่งนี้ยังคงมีให้บริการเฉพาะลูกค้า Apple ที่ร่ำรวยที่สุดเท่านั้น

จุดเปลี่ยนที่เป็นผลสืบเนื่องมากที่สุดประการหนึ่งของอุตสาหกรรมเกิดขึ้นในปีเดียวกับที่นักวิจัยของ Google แนะนำ สนามความกระจ่างใสของระบบประสาท หรือที่เรียกกันทั่วไปว่า NeRF

แนวทางนี้ใช้การเรียนรู้ของเครื่องเพื่อ สร้างแบบจำลอง 3 มิติที่น่าเชื่อถือของวัตถุหรือพื้นที่จากรูปภาพหรือวิดีโอ 2 มิติ. โครงข่ายประสาทเทียม "หลอน" ว่าฉาก 3 มิติเต็มรูปแบบจะปรากฏขึ้นได้อย่างไร ตามข้อมูลของ Sidhu เป็นวิธีแก้ปัญหาสำหรับ "การสังเคราะห์มุมมอง" ซึ่งเป็นความท้าทายด้านคอมพิวเตอร์กราฟิกที่ต้องการให้ผู้อื่นมองเห็นพื้นที่จากมุมมองใดก็ได้จากรูปภาพต้นฉบับเพียงไม่กี่ภาพ

“สิ่งนั้นจึงเกิดขึ้นและทุกคนก็ตระหนักได้ว่าตอนนี้เรามีการสังเคราะห์มุมมองที่ล้ำสมัยซึ่งทำงานได้อย่างยอดเยี่ยมกับทุกสิ่งที่โฟโตแกรมเมทรีเคยประสบกับช่วงเวลาที่ยากลำบาก เช่น ความโปร่งใส ความโปร่งแสง และการสะท้อนแสง นี่มันบ้าไปแล้ว” เขากล่าวเสริม

ชุมชนคอมพิวเตอร์วิทัศน์ได้ถ่ายทอดความตื่นเต้นของพวกเขาไปสู่การใช้งานเชิงพาณิชย์ ที่ Google Sidhu และทีมของเขาสำรวจโดยใช้เทคโนโลยีเพื่อ มุมมองที่ดื่มด่ำซึ่งเป็น Google Maps เวอร์ชัน 3 มิติ สำหรับผู้ใช้ทั่วไปการแพร่กระจายของแอพพลิเคชั่นที่เป็นมิตรต่อผู้บริโภคเช่น ลูม่า เอไอ และอื่นๆ หมายความว่าใครก็ตามที่มีเพียงกล้องสมาร์ทโฟนก็สามารถสร้างเนื้อหา 3 มิติที่สมจริงได้ การสร้างเนื้อหา 3D คุณภาพสูงไม่ได้จำกัดอยู่เพียงกลุ่มลิดาร์ชั้นนำของ Apple อีกต่อไป

ขณะนี้ อีกวิธีหนึ่งที่อาจมีแนวโน้มมากขึ้นในการแก้ปัญหาการสังเคราะห์มุมมองคือการได้รับความสนใจซึ่งเทียบได้กับความตื่นเต้นของ NeRF ในยุคแรก ๆ การสาดแบบเกาส์เซียน เป็นเทคนิคการเรนเดอร์ที่เลียนแบบวิธีการ รูปสามเหลี่ยมใช้สำหรับเนื้อหา 3 มิติแบบดั้งเดิมแต่แทนที่จะเป็นรูปสามเหลี่ยม มันเป็น "จุดสี" ของสีที่แสดงผ่านฟังก์ชันทางคณิตศาสตร์ที่เรียกว่าเกาส์เซียน เมื่อเกาส์เซียนซ้อนกันเป็นชั้นๆ มากขึ้น เนื้อหา 3 มิติที่มีรายละเอียดสูงและพื้นผิวก็จะปรากฏให้เห็น ความเร็วในการปรับใช้สำหรับการสาดนั้นน่าทึ่งมากในการรับชม

ผ่านไปแค่ไม่กี่เดือนแต่. การสาธิต กำลังท่วม X และทั้ง Luma AI และ Polycam กำลังเสนอเครื่องมือในการสร้างแถบเกาส์เซียน นักพัฒนารายอื่นๆ กำลังทำงานเพื่อรวมสิ่งเหล่านี้เข้ากับเอ็นจิ้นเกมแบบดั้งเดิม เช่น Unity และ Unreal Splats ยังได้รับความสนใจจากอุตสาหกรรมคอมพิวเตอร์กราฟิกแบบดั้งเดิม เนื่องจากความเร็วในการเรนเดอร์เร็วกว่า NeRF และสามารถแก้ไขได้ด้วยวิธีที่ศิลปิน 3D คุ้นเคยอยู่แล้ว (NeRF ไม่อนุญาตให้ทำเช่นนี้เนื่องจากสร้างโดยโครงข่ายประสาทเทียมที่อ่านไม่ออก)

หากต้องการคำอธิบายที่ดีเกี่ยวกับวิธีการทำงานของการสาดแบบเกาส์เซียน และเหตุใดจึงทำให้เกิดกระแส โปรดดูวิดีโอนี้จาก Sidhu

[เนื้อหาฝัง]

โดยไม่คำนึงถึงรายละเอียด สำหรับผู้บริโภค เราอยู่ในช่วงเวลาที่โทรศัพท์สามารถสร้างเนื้อหา 3 มิติระดับฮอลลีวูดได้ ซึ่งไม่นานมานี้มีเพียงทีมผู้ผลิตที่มีอุปกรณ์ครบครันเท่านั้นที่จะผลิตได้

แต่เหตุใดการสร้าง 3D จึงมีความสำคัญเลย?

เพื่อชื่นชมการเปลี่ยนแปลงไปสู่เนื้อหา 3 มิติ เป็นเรื่องน่าสังเกตว่าภูมิทัศน์ของเทคโนโลยีกำลังมุ่งสู่อนาคตของ "การประมวลผลเชิงพื้นที่" แม้ว่าคำที่ใช้มากเกินไป เช่น metaverse อาจดึงดูดสายตา แต่จิตวิญญาณที่ซ่อนอยู่คือการยอมรับว่าสภาพแวดล้อม 3 มิติ เช่น ที่ใช้ในวิดีโอเกม โลกเสมือนจริง และฝาแฝดดิจิทัล มีบทบาทสำคัญในอนาคตของเรา เนื้อหา 3 มิติอย่างเช่นที่ผลิตโดย NeRF และ Splatting พร้อมที่จะกลายเป็นเนื้อหาที่เราจะมีส่วนร่วมด้วยในอนาคต

ในบริบทนี้ ความทะเยอทะยานในวงกว้างคือความหวังในแบบเรียลไทม์ แผนที่สามมิติของโลก. แม้ว่าจะมีเครื่องมือสำหรับสร้างแผนที่ 3 มิติแบบคงที่ แต่ความท้าทายก็ยังคงต้องหาทางทำให้แผนที่เหล่านั้นเป็นปัจจุบันอยู่เสมอในโลกที่เปลี่ยนแปลงตลอดเวลา

“มีการสร้างแบบจำลองของโลก แล้วก็มีการรักษาแบบจำลองของโลกนั้นไว้ ด้วยวิธีการเหล่านี้ที่เรากำลังพูดถึง ฉันคิดว่าในที่สุดเราก็อาจมีเทคโนโลยีในการแก้ปัญหา 'การรักษาโมเดล' ผ่านการระดมทุนจากมวลชนในที่สุด” Sidhu กล่าว

โครงการต่างๆ เช่น Immersive View ของ Google เป็นตัวอย่างที่ดีในช่วงแรกๆ ของผลกระทบที่ผู้บริโภคมีต่อสิ่งนี้ แม้ว่าเขาจะไม่ได้คาดเดาว่าในที่สุดจะเป็นไปได้เมื่อใด Sidhu ก็เห็นพ้องกันว่าเมื่อถึงจุดหนึ่ง เทคโนโลยีก็จะมีอยู่ซึ่งจะช่วยให้ผู้ใช้ใน VR สามารถเดินไปรอบ ๆ ที่ใดก็ได้บนโลกด้วยประสบการณ์แบบเรียลไทม์และดื่มด่ำของสิ่งที่เกิดขึ้นที่นั่น . เทคโนโลยีประเภทนี้ก็จะทะลักเข้าสู่ความพยายามเช่นกัน “การเคลื่อนย้ายทางไกลตามอวาตาร์” การประชุมทางไกล และการรวมตัวทางสังคมอื่นๆ

Sidhu กล่าวว่าอีกเหตุผลที่ทำให้ตื่นเต้นก็คือการจับหน่วยความจำ 3 มิติ ตัวอย่างเช่น Apple กำลังโน้มตัวอย่างหนัก ภาพถ่ายและวิดีโอ 3 มิติ สำหรับชุดหูฟังความเป็นจริงผสม Vision Pro ตัวอย่างเช่น Sidhu บอกฉันว่าเขาเพิ่งสร้างบ้านจำลองคุณภาพสูงของบ้านพ่อแม่ของเขาก่อนที่พวกเขาจะย้ายออกไป จากนั้นเขาก็สามารถให้ประสบการณ์การเดินเข้าไปข้างในโดยใช้ความเป็นจริงเสมือนได้

“การได้กลับมามีความรู้สึกลึกซึ้งนั้นมีพลังมาก นี่คือเหตุผลที่ฉันมั่นใจใน Apple มาก เพราะหากพวกเขาใช้รูปแบบสื่อ 3 มิติได้สำเร็จ คนทั่วไปจะตื่นเต้นได้ที่นั่น”

ตั้งแต่ศิลปะในถ้ำไปจนถึงภาพวาดสีน้ำมัน แรงกระตุ้นที่จะรักษาแง่มุมต่างๆ ของประสบการณ์ทางประสาทสัมผัสของเรานั้นถือเป็นความรู้สึกของมนุษย์อย่างลึกซึ้ง เช่นเดียวกับที่ภาพถ่ายเคยรวมเอาหุ่นหุ่นนิ่งไว้เป็นแนวทางในการอนุรักษ์ เครื่องมือสร้าง 3 มิติดูเหมือนจะเข้ามาแทนที่ความสัมพันธ์อันยาวนานของเราด้วยภาพ 2 มิติและวิดีโอ

การถ่ายภาพสามารถหวังที่จะบันทึกช่วงเวลาเพียงเสี้ยววินาทีเท่านั้น โมเดล 3 มิติไม่สามารถแทนที่ความสัมพันธ์ของเรากับโลกทางกายภาพได้อย่างสมบูรณ์ อย่างไรก็ตาม สำหรับผู้ที่ประสบกับความน่าสะพรึงกลัวของสงครามในยูเครน บางทีสิ่งเหล่านี้อาจเป็นการพัฒนาที่น่ายินดีที่นำเสนอแนวทางที่ดื่มด่ำมากขึ้นในการรักษาสิ่งที่ไม่สามารถทดแทนได้อย่างแท้จริง

เครดิตภาพ: วิม ทอร์บีนส์ / Unsplash 

ประทับเวลา:

เพิ่มเติมจาก Hub เอกพจน์