Yapay Zeka Araçları Görüntülerin Daha İyi Görünmesini Sağlıyor | Quanta Dergisi

Bu, suç ve bilim kurgudaki en büyük klişelerden biridir: Bir araştırmacı, bilgisayar ekranındaki bulanık bir fotoğrafı gösterir ve geliştirilmesini ister ve bum, görüntü odağa gelir ve bazı önemli ipuçlarını ortaya çıkarır. Bu harika bir hikaye anlatımı kolaylığıdır, ancak onlarca yıldır sinir bozucu bir kurgu olmuştur; bir görüntüyü çok fazla şişirirseniz gözle görülür şekilde pikselleşir. Daha fazlasını yapmak için yeterli veri yok.

“Bir görüntünün ölçeğini safça yükseltirseniz, bulanık olacaktır. Çok fazla detay olacak ama yanlış olacak” dedi. Bryan CatanzaroNvidia'da uygulamalı derin öğrenme araştırmalarından sorumlu başkan yardımcısı.

Son zamanlarda araştırmacılar ve profesyoneller, süreci daha kolay ve daha güçlü hale getirmek için yapay zeka algoritmalarını görüntü iyileştirme araçlarına dahil etmeye başladılar, ancak herhangi bir görüntüden alınabilecek veri miktarının hâlâ sınırları var. Neyse ki, araştırmacılar iyileştirme algoritmalarını daha da ileri götürdükçe, bu sınırlarla başa çıkmanın yeni yollarını buluyorlar, hatta bazen bunların üstesinden gelmenin yollarını da buluyorlar.

Geçtiğimiz on yılda araştırmacılar, ayrıntılı, etkileyici görünen resimler üretebilen, üretken rakip ağ veya GAN adı verilen yeni bir tür yapay zeka modeliyle görüntüleri geliştirmeye başladı. "Görüntüler aniden çok daha iyi görünmeye başladı" dedi Tomer Michaeliİsrail'deki Technion'da elektrik mühendisi. Ancak GAN'lar tarafından oluşturulan görüntülerin yüksek düzeyde bozulma göstermesine şaşırdı; bu, geliştirilmiş bir görüntünün, gösterdiği şeyin altında yatan gerçekliğe ne kadar yakın olduğunu ölçer. GAN'lar güzel ve doğal görünen görüntüler üretti, ancak aslında doğru olmayan ve yüksek düzeyde bozulma olarak kaydedilen ayrıntıları uyduruyorlardı veya "halüsinasyon görüyorlardı".

Michaeli, fotoğraf restorasyonu alanının iki ayrı alt topluluğa bölünmesini izledi. “Biri, çoğu GAN'lar tarafından yapılmış güzel resimler gösterdi. Diğeri veri gösterdi ama çok fazla görüntü göstermediler çünkü hoş görünmüyorlardı” dedi.

2017 yılında Michaeli ve yüksek lisans öğrencisi Yochai Blau bu ikilemi daha resmi bir şekilde ele aldı. Çeşitli görüntü iyileştirme algoritmalarının performansını, insanların öznel yargılarıyla iyi bir şekilde ilişkilendirilen algısal kalite için bilinen bir ölçü kullanarak, bozulmaya karşı algısal kalite grafiği üzerinde çizdiler. Michaeli'nin beklediği gibi, bazı algoritmalar çok yüksek görsel kaliteyle sonuçlanırken, diğerleri çok doğru ve düşük bozulmayla sonuçlandı. Ancak hiçbirinin her iki avantajı da yoktu; birini ya da diğerini seçmek zorundaydın. Araştırmacılar buna şöyle seslendi: algı-bozulma değiş tokuşu.

Michaeli ayrıca diğer araştırmacılara meydan okudu güzel resim algoritmaları ile güzel istatistik algoritmaları arasında adil karşılaştırmalara olanak sağlamak için belirli bir bozulma seviyesi için en iyi görüntü kalitesini üretebilecek algoritmalar bulmak. O zamandan bu yana yüzlerce yapay zeka araştırmacısı, algoritmalarının çarpıtma ve algılama nitelikleri hakkında rapor verdi. Michaeli ve Blau makalesinden alıntı yaparak bu takası anlatıyordu.

Bazen algı-bozulma değişiminin sonuçları korkunç değildir. Örneğin Nvidia, yüksek çözünürlüklü ekranların bazı düşük çözünürlüklü görsel içerikleri iyi bir şekilde işlemediğini tespit etti ve bu nedenle Şubat ayında video akışının kalitesini yükseltmek için derin öğrenmeyi kullanan bir araç yayınladı. Bu durumda, Nvidia'nın mühendisleri, algoritmanın videoyu yükselttiğinde orijinal videoda olmayan bazı görsel ayrıntıları oluşturacağı gerçeğini kabul ederek, doğruluk yerine algısal kaliteyi seçtiler. “Model halüsinasyon görüyor. Bunların hepsi bir tahmin," dedi Catanzaro. "Süper çözünürlüklü bir modelin tutarlı olduğu sürece çoğu zaman yanlış tahminde bulunmasında sorun yoktur."

Araştırma ve tıptaki uygulamalar elbette çok daha fazla doğruluk gerektirir. Yapay zeka teknolojisi görüntülemede büyük ilerlemelere yol açtı, ancak "bazen fazla takma veya sahte özellikler [ekleme] gibi istenmeyen yan etkilerle birlikte geliyor ve bu nedenle çok dikkatli bir şekilde tedavi edilmesi gerekiyor" dedi. Junjie YaoDuke Üniversitesi'nde biyomedikal mühendisi. Geçen yıl ortak yazar olarak şunları yazdı: kâğıt Yapay zeka araçlarının beyindeki kan akışını ve metabolizmayı ölçmeye yönelik mevcut yöntemleri nasıl geliştirebileceğini ve aynı zamanda algı-bozulma dengelemesinin doğru tarafında güvenli bir şekilde kalabileceğini anlatıyor.

Bir görüntüden ne kadar veri çıkarılabileceğine ilişkin sınırları aşmanın bir yolu, daha fazla görüntüden alınan verileri basitçe dahil etmektir; ancak bu genellikle o kadar basit değildir. Çevreyi uydu görüntüleri aracılığıyla inceleyen araştırmacılar, farklı görsel veri kaynaklarını birleştirme konusunda ilerleme kaydetti. 2021'de Çin ve İngiltere'deki bir grup araştırmacı birleştirilmiş veriler Dünyanın en büyük ikinci tropik yağmur ormanı ve en büyük biyolojik çeşitlilik depolarından biri olan Kongo Havzası'ndaki ormansızlaşmayı daha iyi görebilmek için iki farklı uydu türünden. Araştırmacılar, onlarca yıldır ormansızlaşmayı ölçen iki Landsat uydusundan veri aldı ve görüntülerin çözünürlüğünü 30 metreden 10 metreye çıkarmak için derin öğrenme tekniklerini kullandı. Daha sonra bu görüntü setini, biraz farklı dedektör dizilerine sahip iki Sentinel-2 uydusundan gelen verilerle birleştirdiler. Birleştirilmiş görüntülerin "sadece Sentinel-11 veya Landsat-21/2 görüntüleri kullanılarak mümkün olandan %7 ila %8 daha fazla rahatsız edici alanın tespit edilmesine olanak sağladığını" yazdılar.

Michaeli, bilgiye erişilebilirlik konusundaki katı sınırlamaları aşmanın, hatta aşmanın başka bir yolunu öneriyor. Düşük kaliteli bir görüntünün nasıl geliştirileceği konusunda tek bir kesin yanıta karar vermek yerine modeller, orijinal görüntünün birden fazla farklı yorumunu gösterebilir. “ başlıklı bir makaledeKeşfedilebilir Süper Çözünürlük," diyerek görüntü iyileştirme araçlarının kullanıcıya nasıl birden fazla öneri sunabileceğinin gösterilmesine yardımcı oldu. Grimsi bir gömlek gibi görünen bir kişinin bulanık, düşük çözünürlüklü görüntüsü, gömleğin siyah beyaz dikey şeritleri, yatay şeritleri veya kareli olduğu ve bunların hepsinin eşit derecede makul olduğu daha yüksek çözünürlüklü bir görüntüye dönüştürülebilir. .

Başka bir örnekte Michaeli, bir plakanın düşük kaliteli fotoğrafını çekti ve önde gelen bir AI görüntü geliştiriciden geçirdi; bu, plakadaki 1'in neredeyse sıfıra benzediğini gösterdi. Ancak görüntü, Michaeli'nin tasarladığı farklı, daha açık uçlu bir algoritma tarafından işlendiğinde rakamın sıfır, 1 veya 8 olma olasılığı eşit görünüyordu. Bu yaklaşım, hatalı bir şekilde rakamın sıfır olduğu sonucuna varmadan diğer rakamların elenmesine yardımcı olabilirdi.

Farklı disiplinler algı-bozulma dengesiyle kendi yöntemleriyle boğuşurken, yapay zeka görüntülerinden ne kadar çıkarım yapabileceğimiz ve bu görüntülere ne kadar güvenebileceğimiz sorusu merkezi olmaya devam ediyor. Michaeli, "Bu güzel görüntülerin çıktısını almak için algoritmaların yalnızca ayrıntıları oluşturduğunu aklımızda tutmalıyız" dedi. Bu halüsinasyonları hafifletebiliriz, ancak çok güçlü, suç çözücü "geliştirme" düğmesi bir rüya olarak kalacak.