레고 세트가 궁금하다면? 새로운 기계 학습 프레임워크가 이러한 지침을 해석할 수 있습니다.
스탠포드 대학의 연구원, MIT의 컴퓨터 과학 및 인공 지능 연구소, Autodesk AI 연구소는 2D 명령을 해석하여 3D 객체를 만들 수 있는 새로운 학습 기반 프레임워크를 개발하기 위해 협력했습니다.
Manual-to-Executable-Plan 네트워크, 또는 MEPNet, 컴퓨터 생성 레고 세트, 실제 레고 세트 지침 및 마인크래프트 스타일의 복셀 제작 계획에서 테스트되었으며 연구원들은 전반적으로 기존 방법보다 성능이 뛰어났다고 말했습니다.
MEPNet의 참신한 아이디어
인공 지능이 2D 명령을 해석하는 것은 쉽지 않습니다. 연구원들은 레고 세트와 같이 전적으로 이미지로 구성된 시각적 지침에서 몇 가지 주요 문제가 있다고 말했습니다.
연구원들은 기본 레고 브릭이 모델 본체에 추가되기 전에 복잡한 형태로 조립되는 경우가 많다고 말했습니다. 이것은 "기계가 레고 설명서를 해석하는 데 어려움을 증가시킵니다. 이는 본 프리미티브로 구성된 보이지 않는 물체의 3D 포즈를 추론해야 합니다."라고 연구원은 말했습니다.
수동 단계를 기계 실행 계획으로 구문 분석하는 기존 방법은 주로 두 가지 형식으로 구성되어 있다고 연구원들은 말했습니다. 단순하고 정확하지만 계산 비용이 많이 드는 검색 기반 방법. 빠르지만 보이지 않는 3D 모양을 잘 다루지 못하는 학습 기반 모델이 있습니다.
연구원들은 MEPNet이 이 두 가지를 결합한다고 말했습니다.
연구원들은 구성 요소의 3D 모델, 레고 세트의 현재 상태 및 2D 수동 이미지를 시작으로 MEPNet이 "각 구성 요소에 대한 2D 키포인트 및 마스크 세트를 예측"한다고 썼습니다.
일단 완료되면 2D 키포인트는 "기본 모양과 새 구성요소 간의 가능한 연결을 찾아 3D로 역투영됩니다." 이 조합은 "학습 기반 모델의 효율성을 유지하고 보이지 않는 3D 구성 요소에 더 잘 일반화됩니다"라고 팀은 썼습니다.
하지만 내 이케아 옷장을 만들 수 있습니까?
이 논문에서 연구원들은 사람들이 복잡한 물건을 조립하는 데 도움이 되는 기계를 만드는 것이 목표라고 밝혔으며, 그들은 가구를 레고 벽돌 및 복셀 세계와 함께 응용 프로그램 목록에 포함시켰습니다.
우리는 MEPNet 뒤에 있는 연구원들에게 새로운 프레임워크의 더 많은 잠재적 사용에 대해 물었지만 아직 답변을 듣지 못했습니다. 한편, 필요한 구성 요소 및 지침 라이브러리가 주어지면 MEPNet이 최소한 가상으로 책장을 구축할 수 있다고 가정하는 것이 합리적일 수 있습니다.
인간이 해야 할 일은 MEPNet의 3D 렌더링을 해석하는 것뿐이며, 이는 평면 가구 지침보다 더 쉬울 것입니다.
MEPNet을 테스트하고 싶고 Pytorch에 익숙한 사람들은 다음을 찾을 수 있습니다. Github의 코드. ®
