Adana Adıyaman Afyon Ağrı Aksaray Amasya Ankara Antalya Ardahan Artvin Aydın Balıkesir Bartın Batman Bayburt Bilecik Bingöl Bitlis Bolu Burdur Bursa Çanakkale Çankırı Çorum Denizli Diyarbakır Düzce Edirne Elazığ Erzincan Erzurum Eskişehir Gaziantep Giresun Gümüşhane Hakkari Hatay Iğdır Isparta İstanbul İzmir K.Maraş Karabük Karaman Kars Kastamonu Kayseri Kırıkkale Kırklareli Kırşehir Kilis Kocaeli Konya Kütahya Malatya Manisa Mardin Mersin Muğla Muş Nevşehir Niğde Ordu Osmaniye Rize Sakarya Samsun Siirt Sinop Sivas Şanlıurfa Şırnak Tekirdağ Tokat Trabzon Tunceli Uşak Van Yalova Yozgat Zonguldak
İstanbul 26 °C
Gök Gürültülü

Gerçek insanlara benzeyen oyun karakterleri oluşturmak için derin öğrenme yöntemi

05.03.2021
88
Gerçek insanlara benzeyen oyun karakterleri oluşturmak için derin öğrenme yöntemi

Son yıllarda, video oyunu geliştiricileri ve bilgisayar bilimcileri, oyun deneyimlerini giderek daha sürükleyici, ilgi çekici ve gerçekçi hale getirebilecek teknikler geliştirmeye çalışıyorlar. Bunlar, gerçek insanlardan esinlenen video oyunu karakterlerini otomatik olarak oluşturma yöntemlerini içerir.

Video oyunu karakterleri yapmaya ve özelleştirmeye yönelik mevcut yöntemlerin çoğu, oyuncuların kendi yüzlerini veya diğer insanların yüzlerini yeniden oluşturmak için karakterlerinin yüz özelliklerini manuel olarak ayarlamalarını gerektirir. Daha yakın zamanlarda, bazı geliştiriciler, gerçek insanların yüzlerinin görüntülerini analiz ederek bir karakterin yüzünü otomatik olarak özelleştirebilen yöntemler geliştirmeye çalıştılar. Bununla birlikte, bu yöntemler her zaman etkili değildir ve analiz ettikleri yüzleri her zaman gerçekçi şekillerde yeniden üretmez.

Netease Fuxi AI Lab ve University of Michigan’daki araştırmacılar, kısa süre önce, bir kişinin yüzünün tek bir portresini analiz ederek otomatik olarak karakter yüzleri oluşturabilen derin bir öğrenme tekniği olan MeInGame‘i yaptı. ArXiv‘de önceden yayınlanan bir makalede sunulan bu teknik, mevcut 3D video oyunlarının çoğuna kolayca entegre edilebilir.

Çalışmayı gerçekleştiren üç araştırmacı Jiangke Lin, Yi Yuan ve Zhengxia Zou, “Tek bir portreden hem yüz şeklini hem de dokuyu tahmin eden ve mevcut 3D oyunların çoğuna entegre edilebilen otomatik bir karakter yüzü oluşturma yöntemi öneriyoruz,” dedi.

İlk sıra: gerçek portreler. İkinci sıra: Araştırmacıların yöntemiyle oluşturulan oyun içi karakterler. Teknikleri ışık değişikliklerine, gölgelere ve tıkanmalara karşı dayanıklıdır ve cilt tonu, makyaj ve kırışıklıklar gibi kişiselleştirilmiş ayrıntıları aslına sadık bir şekilde geri yükleyebilir.

Önceki çalışmalarda sunulan bazı otomatik karakter özelleştirme sistemleri, 3B morphable yüz modelleri (3BMM’ler) olarak bilinen hesaplama tekniklerine dayanmaktadır. Bu yöntemlerden bazılarının, bir kişinin yüz özelliklerini iyi düzeyde doğrulukla yeniden ürettiği bulunsa da, geometrik özellikleri ve uzamsal ilişkileri (yani topoloji) temsil etme biçimleri, çoğu 3D video oyununda kullanılan ağlardan farklıdır.

3DMM’lerin bir kişinin yüzünün dokusunu güvenilir bir şekilde yeniden üretebilmesi için, tipik olarak büyük görüntü veri kümeleri ve ilgili doku verileri üzerinde eğitilmeleri gerekir. Bu veri kümelerini derlemek oldukça zaman alabilir. Dahası, bu veri kümeleri her zaman doğada toplanan gerçek görüntüleri içermez ve bu da üzerlerinde eğitilen modellerin yeni verilerle sunulduğunda tutarlı bir şekilde iyi performans göstermesini engelleyebilir. Bu sınırlamanın üstesinden gelmek için Lin, Yuan ve Zou, tekniklerini vahşi ortamda yakalanan görüntülerden oluşan bir veri kümesi üzerinde eğitti.

Araştırmacılar, “Bir giriş yüzü fotoğrafı verildiğinde, önce bir 3D morphable yüz modeline (3DMM) ve evrişimli sinir ağlarına (CNN’ler) dayalı bir 3D yüzü yeniden yapılandırıyoruz, ardından 3D yüzün şeklini şablon ağa aktarıyoruz,” diye açıkladı. “Önerilen ağ, yüz fotoğrafını ve sarılmamış kaba UV doku haritasını girdi olarak alıyor, ardından ışık katsayılarını ve iyileştirilmiş doku haritalarını tahmin ediyor.”

Araştırmacılar tarafından geliştirilen tekniğin oyunlarda kullanılan diğer yöntemlerle karşılaştırılması: A Dream of Jianghu, Loomie, Justice (Shi ve diğerleri 2020), ZEPETO. Son sütunda: 3DMM tabanlı bir yöntemle elde edilen sonuçlar (Deng ve diğerleri 2019). Kaynak: Lin, Yuan ve Zou.

Lin, Yuan ve Zou, kendi derin öğrenme tekniklerini bir dizi deneyde değerlendirdiler ve ürettikleri oyun karakterlerinin kalitesini, otomatik karakter özelleştirme için diğer mevcut son teknoloji yöntemlerle üretilen karakter yüzlerinkiyle karşılaştırdılar. Yöntemleri oldukça iyi performans gösterdi ve girdi görüntülerindekilere çok benzeyen karakter yüzleri üretti.

Araştırmacılar makalelerinde, “Önerilen yöntem, yalnızca girdi portresine benzer ayrıntılı ve canlı oyun karakterleri üretmekle kalmıyor, aynı zamanda aydınlatma ve tıkanmaların etkisini de ortadan kaldırabilir,” diye yazdı. “Deneyler, yöntemimizin oyunlarda kullanılan son teknoloji yöntemlerden daha iyi performans gösterdiğini gösteriyor.”

Gelecekte, bu araştırmacılar ekibi tarafından tasarlanan karakter yüzü oluşturma yöntemi, gerçek insanlara çok benzeyen karakterlerin otomatik olarak oluşturulmasını sağlayan bir dizi 3D video oyununa entegre edilebilir. MeInGame modelinin kodu ve onu eğitmek için kullanılan veri kümesi çevrimiçi olarak yayınlandı ve dünya çapındaki oyun geliştiricileri tarafından şu adresten erişilebilir: github.com/FuxiCV/MeInGame.

ZİYARETÇİ YORUMLARI - 0 YORUM

Henüz yorum yapılmamış.