사진과 같은 이미지를 렌더링하는 AI 애플리케이션인 Stable Diffusion이 몇 주 전에 두각을 나타내자 새로운 유행어가 등장했습니다. 하이퍼네트웍스.
이제 Stable Diffusion과 hypernetworks는 이미 결합되어 있어 같은 단락에서 하나를 언급하는 것이 불가능합니다.
“저는 작은 데이터 세트(아니요, 당신을 제외한 현대 예술가는 아닙니다)에서 안정적인 확산 하이퍼네트워크를 훈련시켜 상자 밖에서는 실제로 이해하지 못하는 모호한 "스타일"을 가르쳤습니다. 설명대로 정확하게 작동하며 실제로 내가 생각했던 것보다 더 잘 작동합니다.”라고 트위터 사용자가 말합니다.
저는 작은 데이터 세트에서 안정적인 확산 하이퍼네트워크를 훈련시켰습니다(아니요, 당신을 제외한 현대 예술가는 아닙니다). 그것은 그가 설명한 대로 정확히 작동하며 실제로 내가 생각했던 것보다 더 잘 작동합니다.
— 후회 최대화기(@regretmaximizer) 2022 년 12 월 20 일
최근 네티즌들을 사로잡은 하이퍼네트워크 열풍을 단적으로 보여주는 대목이다.
컴퓨터 과학에서 하이퍼네트워크는 기술적으로 메인 네트워크에 대한 가중치를 생성하는 네트워크입니다. 즉, 하이퍼네트워크가 가중치 구조에 대한 정보가 포함된 일련의 입력을 받고 생성하는 동안 메인 네트워크의 동작은 일부 원시 입력을 원하는 대상에 매핑하는 방법을 배우기 때문에 다른 신경망과 동일하다고 여겨집니다. 해당 레이어의 가중치.
또한 읽으십시오 : 생명을 앗아가는 딥 페이크 이미지를 만드는 AI 기술
하이퍼네트워크는 어떻게 사용되나요?
하이퍼네트워크가 무엇인지 이해하기 위해 잠시 뒤로 물러서겠습니다. 디지털 아트 및 이미지를 생성하기 위한 AI 도구인 Stable Diffusion에서 이미지를 생성한 경우 이를 접한 것입니다.
교육은 일반적으로 모델이 레이블이 지정된 예제에서 모든 가중치 및 편향에 대해 좋은 값을 학습(결정)하는 프로세스를 나타냅니다.
이미지 생성 안정적인 확산 우리가 다룬 것처럼 자동 프로세스가 아닙니다. 다른. 거기에 도달하기 위해 프로세스가 있습니다.
먼저 AI 모델은 소프트웨어를 통해 누군가의 이미지를 2D 또는 3D 모델에서 사진으로 렌더링하거나 합성하는 방법을 배워야 합니다. Stable Diffusion 모델은 철저한 테스트를 거쳤지만 임베딩 및 하이퍼네트워크 교육 방법으로 수정할 수 있는 몇 가지 교육 제한이 있습니다.
최상의 결과를 얻기 위해 최종 사용자는 보다 구체적인 사용 사례에 맞게 생성 출력을 미세 조정하기 위해 추가 교육을 수행하도록 선택할 수 있습니다. "임베딩" 교육에는 사용자 제공 이미지 모음이 포함되며 생성 프롬프트 내에서 임베딩 이름이 사용될 때마다 모델이 시각적으로 유사한 이미지를 생성할 수 있습니다.
임베딩은 모델의 텍스트 인코더에서 사용되는 특정 토큰에 대한 벡터 표현이 새로운 의사 단어에 연결되는 Tel Aviv University의 연구원이 개발한 "텍스트 반전" 개념을 기반으로 합니다. 임베딩은 원래 모델 내의 편향을 줄이거나 시각적 스타일을 모방할 수 있습니다.
반면 "하이퍼네트워크"는 더 큰 신경망 내의 다양한 지점에 적용되는 사전 훈련된 신경망으로, 원래 텍스트 생성 변환기 모델을 위해 NovelAI 개발자 Kurumuz가 2021년에 만든 기술을 말합니다. .
특정 아티스트에 대한 교육
특정 방향으로 결과를 유도하기 위해 Hypernetworks가 포함되어 있어 Stable Diffusion 기반 모델이 특정 아티스트의 아트 스타일을 복제할 수 있습니다. 네트워크는 원래 모델이 아티스트를 인식하지 못하는 경우에도 작동할 수 있는 장점이 있으며 머리카락과 눈과 같은 중요한 핵심 영역을 찾은 다음 이 영역을 보조 잠재 공간에 패치하여 이미지를 처리합니다.
“Stable Diffusion의 Embedding 레이어는 입력(예: 텍스트 프롬프트 및 클래스 레이블)을 저차원 벡터로 인코딩하는 역할을 합니다. 이러한 벡터는 사용자의 입력과 일치하는 이미지를 생성하도록 확산 모델을 안내하는 데 도움이 됩니다.”라고 Benny Cheung은 자신의 블로그에서 설명합니다.
“Hypernetwork 계층은 시스템이 자신의 지식을 학습하고 표현하는 방법입니다. 이를 통해 Stable Diffusion은 이전 경험을 기반으로 이미지를 생성할 수 있습니다.”
임베딩 레이어는 텍스트 프롬프트 및 클래스 레이블과 같은 입력을 저차원 벡터로 인코딩하여 사용자의 입력과 일치하는 이미지를 생성하도록 확산 모델을 안내하는 데 도움을 주지만, 하이퍼네트워크 레이어는 시스템이 학습하고 자신을 나타내는 방법입니다. 지식.
즉, Stable Diffusion이 이전 경험을 기반으로 이미지를 생성할 수 있도록 합니다. Stable Diffussion에서 하이퍼네트워크는 이미지가 모델을 통해 렌더링된 후 처리되는 추가 레이어입니다. Hypernetwork는 본질적으로 모델을 "변경"하는 방식으로 모델의 모든 결과를 교육 데이터로 왜곡하는 경향이 있습니다.
기억 유지
이것은 본질적으로 하이퍼네트워크가 시스템이 이전에 생성한 이미지의 메모리 보존을 담당한다는 것을 의미합니다. 사용자가 새로운 입력을 제공하면 시스템은 이전의 기존 지식을 사용하여 보다 정확한 이미지를 생성할 수 있습니다. 따라서 하이퍼네트워크는 시스템이 더 빠르게 학습하고 진행하면서 개선할 수 있도록 합니다.
이것은 훈련 데이터를 설명하는 것을 포함하는 모든 이미지가 훈련 데이터처럼 보일 것이라는 이점이 있습니다.
“자화상 생성을 위해 하이퍼네트워크로 훈련하는 것보다 임베딩으로 훈련하는 것이 더 쉽다는 것을 알게 되었습니다. 우리의 훈련은 우리가 만족하는 좋은 결과를 낳았습니다.”라고 Cheung은 썼습니다.
어떤 미세 조정 기술을 사용하고 있습니까? Hypernetworks 또는 Textual Inversion 같은 것?
— 마티아스 미셸(@m91michel) 2022 년 12 월 21 일
그러나 많은 사람들이 여전히 흥정하고 있는 기술입니다. Hypernetworks와 AI 생성기는 이제 막 사용자의 필요와 욕구를 충족시키기 시작했습니다. 사용자 인터페이스와 프롬프트 기술은 의심할 여지없이 빠르게 발전할 것이며 아마도 사람들을 사로잡을 것입니다. 구글 오프 가드, MetaNews로 최근에 덮여.
