Hiç yürümeyi öğrenen yavru bir ceylan gördünüz mü? Temelde bir memeli baba uzun bacaklı olan bir geyik, ayağa fırlar, düşer, ayağa kalkar ve tekrar düşer. Sonunda, kürdan benzeri bacaklarını bir dizi yakın düşmeye… ahem, basamaklara sallayacak kadar uzun durur. Şaşırtıcı bir şekilde, bu sevimli gösteriden birkaç dakika sonra, geyik, eski bir profesyonel gibi etrafta zıplıyor.
Şimdi bu klasik Serengeti sahnesinin robot versiyonuna sahibiz.
Bu durumdaki geyik, Berkeley'deki California Üniversitesi'ndeki robotik bir köpek. Ve aynı şekilde şaşırtıcı derecede hızlı bir öğrenicidir (robot türünün geri kalanına göre). Robot ayrıca özel çünkü internette görmüş olabileceğiniz diğer gösterişli robotların aksine, kendisine yürümeyi öğretmek için yapay zeka kullanıyor.
Sırt üstü, bacakları sallanan robot bir saat içinde kendini ters çevirmeyi, ayağa kalkmayı ve yürümeyi öğrenir. Bir karton rulosuyla on dakika daha taciz etmek, ona, işleyicileri tarafından itilip kakılmaya nasıl dayanacağını ve ondan nasıl kurtulacağını öğretmek için yeterlidir.
bu ilk değil bir robot yürümeyi öğrenmek için yapay zekayı kullandı. Ancak önceki robotlar, simülasyonlardaki sayısız yinelemede deneme yanılma yoluyla beceriyi öğrenirken, Berkeley botu tamamen gerçek dünyada öğrendi.
[Gömülü içerik]
İçinde yayınlanan kağıt arXiv ön baskı sunucusunda, araştırmacılar—Danijar Hafner, Alejandro Escontrela ve Philipp Wu— simülasyonda öğrenilen algoritmaları gerçek dünyaya aktarmanın kolay olmadığını söylüyor. Gerçek dünya ile simülasyon arasındaki küçük ayrıntılar ve farklılıklar, yavru kuş robotları tetikleyebilir. Öte yandan, gerçek dünyadaki eğitim algoritmaları pratik değildir: Çok fazla zaman alır ve yıpranır.
Örneğin, dört yıl önce OpenAI, bir küpü manipüle edebilen, AI özellikli bir robotik el gösterdi. Kontrol algoritması Dactyl, bu nispeten basit görevi gerçekleştirmek için 100 CPU ve 6,144 Nvidia V8 GPU tarafından desteklenen bir simülasyonda yaklaşık 100 yıllık deneyime ihtiyaç duyuyordu. O zamandan beri işler ilerledi, ancak sorun büyük ölçüde devam ediyor. Saf pekiştirmeli öğrenme algoritmaları, gerçek dünyada eğitilmeleri için becerileri öğrenmek için çok fazla deneme yanılma gerektirir. Basitçe söylemek gerekirse, öğrenme süreci araştırmacıları kırar ve anlamlı bir ilerleme kaydetmeden önce robotlar.
Berkeley ekibi bu sorunu Dreamer adlı bir algoritma ile çözmek için yola çıktı. "olarak adlandırılan şeyi inşa etmekdünya modeliDreamer, gelecekteki bir eylemin amacına ulaşma olasılığını yansıtabilir. Deneyimle, projeksiyonlarının doğruluğu artar. Daha az başarılı eylemleri önceden filtreleyen dünya modeli, robotun neyin işe yaradığını daha verimli bir şekilde bulmasını sağlar.
Araştırmacılar, "Geçmiş deneyimlerden dünya modellerini öğrenmek, robotların potansiyel eylemlerin gelecekteki sonuçlarını hayal etmelerini sağlayarak, başarılı davranışları öğrenmek için gerçek ortamda gerekli olan deneme yanılma miktarını azaltıyor" diye yazıyor. "Gelecekteki sonuçları tahmin ederek, dünya modelleri, yalnızca küçük miktarlarda gerçek dünya etkileşimi verildiğinde planlama ve davranış öğrenimine izin verir."
Başka bir deyişle, bir dünya modeli, bir simülasyondaki yılların eğitim süresinin eşdeğerini, gerçek dünyada garip bir saatten fazla olmayacak şekilde azaltabilir.
Yaklaşım, robot köpeklerden de daha geniş bir alaka düzeyine sahip olabilir. Ekip ayrıca Dreamer'ı bir seç ve yerleştir robot koluna ve tekerlekli bir robota uyguladı. Her iki durumda da Dreamer'ın robotlarının sim zamanı gerektirmeden ilgili becerileri verimli bir şekilde öğrenmesine izin verdiğini gördüler. Gelecekteki daha iddialı uygulamalar şunları içerebilir: öz-sürüş araba.
Tabii ki, hala ele alınması gereken zorluklar var. Takviyeli öğrenme, günümüzün en gelişmiş robotlarının arkasındaki karmaşık el kodlamasının bazılarını otomatikleştirse de, yine de mühendislerin bir robotun hedeflerini ve başarıyı neyin oluşturduğunu tanımlamasını gerektirir - hem zaman alıcı hem de gerçek dünya ortamları için açık uçlu bir alıştırma. Ayrıca, robot ekibin buradaki deneylerinden sağ kurtulmuş olsa da, daha ileri beceriler üzerinde daha uzun süre eğitim, gelecekteki botların hasar görmeden hayatta kalması için çok fazla olduğunu kanıtlayabilir. Araştırmacılar, simülatör eğitimini hızlı gerçek dünya öğrenimi ile birleştirmenin verimli olabileceğini söylüyor.
Yine de, sonuçlar robotikte yapay zekayı bir adım daha ilerletiyor. Dreamer, Oregon Eyalet Üniversitesi'nde robotik profesörü Jonathan Hurst, "pekiştirmeli öğrenmenin robot kontrolünün geleceğinde temel bir araç olacağı" iddiasını güçlendiriyor. söyledi MIT Technology Review.
Resim Kredi: Danijar Hafner / YouTube
