Siêu mạng là gì?

Khi Khuếch tán ổn định, ứng dụng AI hiển thị hình ảnh chân thực trở nên nổi bật vài tuần trước, một từ thông dụng mới đã xuất hiện cùng với nó; siêu mạng.

Bây giờ, khuếch tán ổn định và siêu mạng đã gắn liền với nhau đến mức không thể đề cập đến cái này mà không có cái kia trong cùng một đoạn văn.

“Tôi đã đào tạo các siêu mạng khuếch tán ổn định trên các tập dữ liệu nhỏ (không, không phải các nghệ sĩ đương đại thực sự ngoại trừ của bạn) để dạy cho nó những “phong cách” mơ hồ mà nó không thực sự hiểu ngay lập tức. Nó hoạt động chính xác như mô tả, thực sự tốt hơn tôi nghĩ,” một người dùng trên twitter cho biết.

Tôi đã đào tạo các siêu mạng khuếch tán ổn định trên các tập dữ liệu nhỏ (không, không phải các nghệ sĩ đương đại thực sự ngoại trừ của bạn) để dạy cho nó những “phong cách” mơ hồ mà nó không thực sự hiểu ngay lập tức. nó hoạt động chính xác như anh ấy mô tả, thực sự tốt hơn bản thân tôi nghĩ.

- hối tiếc tối đa (@regretmaximizer) 20 Tháng mười hai, 2022

Điều này là hình ảnh thu nhỏ của buzz siêu mạng thu hút cư dân mạng gần đây.

Trong khoa học máy tính, siêu mạng về mặt kỹ thuật là một mạng tạo ra các trọng số cho mạng chính. Nói cách khác, người ta tin rằng hành vi của mạng chính giống với các mạng thần kinh khác vì nó học cách ánh xạ một số đầu vào thô tới các mục tiêu mong muốn của chúng trong khi siêu mạng lấy một tập hợp đầu vào chứa thông tin về cấu trúc của trọng số và tạo ra trọng lượng cho lớp đó.

Cũng đọc: Công nghệ AI tạo ra những hình ảnh giả sâu đầy sức sống

Siêu mạng được sử dụng như thế nào?

Để hiểu siêu mạng là gì, hãy sao lưu một chút. Nếu bạn đã tạo hình ảnh trên Stable Diffusion – công cụ AI để tạo hình ảnh và nghệ thuật kỹ thuật số – thì bạn đã bắt gặp nó.

Đào tạo thường đề cập đến một quá trình trong đó một mô hình học (xác định) các giá trị tốt cho tất cả các trọng số và độ lệch từ các ví dụ được dán nhãn

Tạo hình ảnh trên Khuếch tán ổn định không phải là một quá trình tự động, như chúng tôi đã đề cập nơi khác. Để đạt được điều đó, có các quy trình.

Đầu tiên, một mô hình AI phải học cách kết xuất hoặc tổng hợp hình ảnh của ai đó thành ảnh từ mô hình 2D hoặc 3D thông qua phần mềm. Mặc dù mô hình Khuếch tán ổn định đã được kiểm tra kỹ lưỡng, nhưng nó có một số hạn chế đào tạo có thể được khắc phục bằng các phương pháp đào tạo nhúng và siêu mạng.

Để có được kết quả tốt nhất, người dùng cuối có thể chọn thực hiện đào tạo bổ sung để tinh chỉnh các đầu ra tạo ra để phù hợp với các trường hợp sử dụng cụ thể hơn. Quá trình đào tạo "nhúng" liên quan đến một tập hợp các hình ảnh do người dùng cung cấp và cho phép mô hình tạo các hình ảnh tương tự trực quan bất cứ khi nào tên của phần nhúng được sử dụng trong dấu nhắc tạo.

Các phần nhúng dựa trên khái niệm “đảo ngược văn bản” do các nhà nghiên cứu từ Đại học Tel Aviv phát triển, trong đó các biểu diễn véc-tơ cho các mã thông báo cụ thể được sử dụng bởi bộ mã hóa văn bản của mô hình được liên kết với các từ giả mới. Việc nhúng có thể làm giảm các sai lệch trong mô hình ban đầu hoặc bắt chước các kiểu trực quan.

Mặt khác, “siêu mạng” là một mạng nơ-ron được đào tạo trước được áp dụng cho nhiều điểm khác nhau trong một mạng nơ-ron lớn hơn và đề cập đến kỹ thuật do nhà phát triển NovelAI Kurumuz tạo ra vào năm 2021, ban đầu được dự định cho các mô hình máy biến thế tạo văn bản .

Đào tạo về các nghệ sĩ cụ thể

Các siêu mạng được đưa vào để hướng kết quả theo một hướng cụ thể, cho phép các mô hình dựa trên Khuếch tán ổn định tái tạo phong cách nghệ thuật của các nghệ sĩ cụ thể. Mạng có lợi thế là có thể hoạt động ngay cả khi nghệ sĩ không được mô hình ban đầu nhận ra và vẫn sẽ xử lý hình ảnh bằng cách tìm các khu vực quan trọng chính như tóc và mắt, sau đó vá các khu vực này trong một không gian tiềm ẩn thứ cấp.

“Lớp Nhúng trong Khuếch tán Ổn định chịu trách nhiệm mã hóa đầu vào (ví dụ: dấu nhắc văn bản và nhãn lớp) thành các vectơ có chiều thấp. Các vectơ này giúp hướng dẫn mô hình khuếch tán để tạo ra hình ảnh phù hợp với thông tin đầu vào của người dùng,” Benny Cheung giải thích trên blog của mình.

“Tầng Hypernetwork là một cách để hệ thống học hỏi và thể hiện kiến ​​thức của chính nó. Nó cho phép Stable Diffusion tạo ra hình ảnh dựa trên trải nghiệm trước đó của nó.”

Trong khi lớp nhúng của nó mã hóa các đầu vào như dấu nhắc văn bản và nhãn lớp thành các vectơ chiều thấp để giúp hướng dẫn mô hình khuếch tán tạo ra hình ảnh khớp với đầu vào của người dùng, lớp siêu mạng phần nào là cách để hệ thống học và biểu diễn chính nó hiểu biết.

Nói cách khác, nó cho phép Khuếch tán ổn định tạo hình ảnh dựa trên trải nghiệm trước đó của nó. Trong Khuếch tán ổn định, siêu mạng là một lớp bổ sung được xử lý sau khi hình ảnh được hiển thị thông qua mô hình. Hypernetwork có xu hướng làm lệch tất cả các kết quả từ mô hình sang dữ liệu đào tạo của bạn theo cách về cơ bản là “thay đổi” mô hình.

Lưu giữ bộ nhớ

Về cơ bản, điều này có nghĩa là siêu mạng chịu trách nhiệm lưu giữ bộ nhớ hình ảnh mà hệ thống đã tạo trước đó. Khi người dùng đưa ra một đầu vào mới, hệ thống có thể sử dụng kiến ​​thức hiện có trước đó để tạo ra một hình ảnh chính xác hơn. Như vậy, siêu mạng do đó cho phép hệ thống học nhanh hơn và cải thiện khi nó hoạt động.

Điều này có lợi thế là mọi hình ảnh chứa nội dung nào đó mô tả dữ liệu đào tạo của bạn, sẽ giống như dữ liệu đào tạo của bạn.

“Chúng tôi nhận thấy rằng đào tạo với nhúng dễ dàng hơn đào tạo với siêu mạng để tạo chân dung tự chụp. Chương trình đào tạo của chúng tôi mang lại kết quả tốt mà chúng tôi hài lòng,” Cheung viết.

Bạn đang sử dụng kỹ thuật tinh chỉnh nào? Một cái gì đó như Hypernetworks hoặc Textual Inversion?

– Mathias Michel (@m91michel) 21 Tháng mười hai, 2022

Nhưng đó là một công nghệ mà nhiều người vẫn đang mặc cả. Siêu mạng và máy phát AI mới bắt đầu đáp ứng nhu cầu và mong muốn của người dùng. Giao diện người dùng và kỹ thuật nhắc nhở chắc chắn sẽ phát triển nhanh chóng và thậm chí có thể bắt kịp Google mất cảnh giác, như MetaNews được bảo hiểm gần đây.

CHIA SẺ BÀI NÀY