Devasa ölçekli video veri kümeleri sayesinde eylem tanıma önemli ölçüde gelişti. Ancak bu veri kümelerine kürasyon maliyeti, mahremiyet, etik, önyargı ve telif hakkıyla ilgili sorunlar eşlik ediyor. Bu yüzden, İLE bilim insanları sentetik veri kümelerine yöneliyor.
Bunlar, gerçek verilerle gelen potansiyel telif hakkı sorunları veya etik kaygılar olmadan, belirli eylemlerin çok sayıda farklı klibini hızlı bir şekilde üretmek için sahnelerin, nesnelerin ve insanların 3 boyutlu modellerini kullanan bir bilgisayar tarafından yapılır.
Sentetik veriler gerçek veriler kadar iyi midir?
MIT, MIT-IBM Watson Yapay Zeka Laboratuvarı ve Boston Üniversitesi'nden bir bilim insanı ekibi bu soruyu yanıtlamaya çalıştı. Çeşitli insan eylemlerini temsil eden ve eğitilen 150,000 video klipten oluşan sentetik bir veri seti oluşturdular. makine öğrenme Bu veri kümesini kullanan modeller. Daha sonra, gerçek dünyadan alınan altı film veri kümesini bu modellere göstererek, bu kayıtlardaki eylemleri ne kadar iyi yakalayabileceklerini test ettiler.
Bilim adamları, sentetik olarak eğitilmiş modellerin, daha az arka plan nesnesine sahip videolar için gerçek verilerle eğitilmiş modellerden bile daha iyi performans gösterdiğini buldu.
Bu keşif, modellerin gerçek görevlerde daha doğru performans göstermesine yardımcı olmak için bilim adamlarının sentetik veri kümelerini kullanmasına yardımcı olabilir. Gerçek veri kümelerinin kullanılmasıyla ilgili bazı etik, gizlilik ve telif hakkı kaygılarını azaltmak için, aynı zamanda araştırmacıların sentetik verilerle eğitim için hangi makine öğrenimi uygulamalarının en uygun olduğunu belirlemelerine de yardımcı olabilir.
MIT-IBM Watson Yapay Zeka Laboratuvarı'nın baş bilim insanı ve yöneticisi Rogerio Feris şunları söyledi: "Araştırmamızın nihai hedefi, gerçek veri ön eğitimini sentetik veri ön eğitimiyle değiştirmektir. Sentetik verilerde bir eylem oluşturmanın bir maliyeti var, ancak bu yapıldıktan sonra pozu, ışığı vb. değiştirerek sınırsız görüntü veya video oluşturabilirsiniz. Sentetik verinin güzelliği budur.”
Bilim insanları, insan eylemlerini yakalayan, kamuya açık üç sentetik video klip veri kümesini kullanarak yeni bir Sentetik Eylem Ön Eğitimi ve Transferi (SynAPT) derleyerek işe başladı. Kategori başına 150 video klip ile neredeyse 1,000 aksiyon kategorisi içerir.
Veri kümesi oluşturulduktan sonra veri kümesini kullanan eylemleri tanımak için üç makine öğrenimi modeli önceden eğitildi. Ön eğitim, bir modele bir görevi öğretmeden önce başka bir görevi öğretme sürecidir. Önceden eğitilmiş model, yeni bir veri kümesiyle yeni bir görevi daha hızlı ve daha verimli bir şekilde öğrenmesine yardımcı olmak için önceden öğrendiği parametreleri kullanabilir. Bu, insanların yeni bir şey öğrendiğimizde geçmiş bilgileri yeniden kullanma şeklinde öğrendiklerine göre modellenmiştir. Önceden eğitilmiş model, her biri eğitim verilerindekilerden farklı eylem sınıflarını yakalayan altı adet gerçek video klip veri kümesi kullanılarak test edilmiştir.
Üç sentetik modelin de, altı veri kümesinden dördünde gerçek video kliplerle eğitilen modellerden daha iyi performans gösterdiğini görmek bilim insanları için şaşırtıcıydı. Doğrulukları, "düşük sahne-nesne önyargısına" sahip video klipler içeren veri kümeleri için en yüksek seviyedeydi. Bu, modelin arka plana veya sahnedeki diğer nesnelere bakarak eylemi tanıyamayacağı anlamına gelir; eylemin kendisine odaklanması gerekir.
Feris dedi ki: "Düşük sahne-nesne yanlılığı olan videolarda, eylemlerin zamansal dinamikleri nesnelerin veya arka planın görünümünden daha önemlidir ve bu, sentetik verilerle iyi yakalanmış gibi görünüyor."
"Yüksek sahne-nesne önyargısı bir engel teşkil edebilir. Model, eylemin kendisinden ziyade bir nesneye bakarak eylemi yanlış sınıflandırabilir. Modeli karıştırabilir.”
MIT-IBM Watson Yapay Zeka Laboratuvarı'nda araştırma personeli olan ortak yazar Rameswar Panda şunları söyledi: "Bu sonuçlara dayanarak, araştırmacılar gelecekteki çalışmalara daha fazla aksiyon sınıfı ve ek sentetik video platformları dahil etmek ve sonunda sentetik veriler kullanılarak önceden eğitilmiş modellerden oluşan bir katalog oluşturmak istiyorlar."
"Literatürdeki mevcut modellere çok benzer, hatta onlardan daha iyi performansa sahip, ancak bu önyargılara veya güvenlik kaygılarına bağlı kalmadan modeller oluşturmak istiyoruz."
Ortak yazar ve CSAIL doktora sonrası araştırmacısı Sooyoung Jin şunları söyledi: "Ayrıca çalışmalarını, modellerin performansını artırabilecek daha doğru ve gerçekçi sentetik videolar üretmeyi amaçlayan araştırmalarla birleştirmek istiyorlar."
"Gizlilik sorunlarını veya bağlamsal veya sosyal önyargıları önlemek için sentetik veri kümeleri kullanıyoruz, ancak model ne öğreniyor? Tarafsız bir şey öğreniyor mu?”
Ortak yazar Samarth Mishra, Boston Üniversitesi'nde (BU) yüksek lisans öğrencisi, şuraya, "İyi açıklamalı sentetik veriler elde etmenin maliyeti daha düşük olmasına rağmen, şu anda gerçek videolarla en büyük açıklamalı veri kümeleriyle rekabet edebilecek ölçeğe sahip bir veri kümemiz yok. Farklı maliyetleri ve endişeleri gerçek videolarla tartışarak ve sentetik verilerin etkinliğini göstererek, çabaları bu yönde motive etmeyi umuyoruz."
Dergi Referans:
- Yo-ne Kim ve ark. Sentetik Verilere Dayalı Video Gösterimleri Ne Kadar Aktarılabilir? kâğıt
