Dolar 13,7194
Euro 15,5684
Altın 786,58
BİST 1.910
Adana Adıyaman Afyon Ağrı Aksaray Amasya Ankara Antalya Ardahan Artvin Aydın Balıkesir Bartın Batman Bayburt Bilecik Bingöl Bitlis Bolu Burdur Bursa Çanakkale Çankırı Çorum Denizli Diyarbakır Düzce Edirne Elazığ Erzincan Erzurum Eskişehir Gaziantep Giresun Gümüşhane Hakkari Hatay Iğdır Isparta İstanbul İzmir K.Maraş Karabük Karaman Kars Kastamonu Kayseri Kırıkkale Kırklareli Kırşehir Kilis Kocaeli Konya Kütahya Malatya Manisa Mardin Mersin Muğla Muş Nevşehir Niğde Ordu Osmaniye Rize Sakarya Samsun Siirt Sinop Sivas Şanlıurfa Şırnak Tekirdağ Tokat Trabzon Tunceli Uşak Van Yalova Yozgat Zonguldak
İstanbul 15 °C
Sağanak Yağışlı

Filmlerden ve diğer videolardan otomatik olarak çizgi roman oluşturan bir sistem

18.02.2021
152
Filmlerden ve diğer videolardan otomatik olarak çizgi roman oluşturan bir sistem

Son birkaç yılda, bilgisayar bilimcileri, metinleri, görüntüleri ve diğer veri türlerini otomatik olarak oluşturabilen çok sayıda hesaplama tekniği geliştirdiler. Bu modeller, özellikle insanların manuel olarak üretmesi için zorlu ve zaman alıcı olan veriler veya yaratıcı işler oluşturmak için oldukça avantajlıdır.

Çin’deki Dalian Teknoloji Üniversitesi ve Hong Kong Şehir Üniversitesi’ndeki araştırmacılar, kısa süre önce, genellikle çok yetenekli profesyonel sanatçılar tarafından tasarlanan ve kapsamlı çalışma gerektiren manga çizgi romanlarını otomatik olarak oluşturabilen yenilikçi bir çerçeve oluşturdu. ArXiv’de önceden yayınlanmış bir makalede sunulan çerçeveleri, TV dizilerinden, filmlerden, animasyonlardan veya diğer videolardan veri alarak çizgi roman oluşturuyor.

Araştırmacılar makalelerinde “İnsan müdahalesi olmadan videolardan çizgi roman oluşturmak için tam otomatik bir sistem öneriyoruz” diye yazdı. “Altyazılarıyla birlikte bir giriş videosu verildiğinde, yaklaşımımız ilk olarak altyazıları analiz ederek bilgilendirici ana kareleri çıkarır ve ana kareleri çizgi roman tarzı görüntülere stilize eder.”

Videolardan anahtar kareleri çıkardıktan ve bunları çizgi roman tarzı görüntülere dönüştürdükten sonra, araştırmacılar tarafından tasarlanan sistem, görüntüleri birkaç sayfaya yaymak ve görüntüler arasındaki ilişkiyi yansıtan görsel olarak çekici düzenler oluşturmak için çok sayfalı bir düzen çerçevesi kullanıyor.

Araştırmacılar tarafından oluşturulan çerçeve, diğer çizgi roman oluşturma çerçevelerinde olduğu gibi her zaman aynı tür konuşma balonlarını kullanmak yerine, karakterin sözleriyle iletilen duyguyu yansıtan farklı türlerde balonlar üretir. Bunu yapmak için, önce hem bir videonun ses parçasını hem de karşılık gelen altyazıları analiz ederek bir diyalogun farklı satırları tarafından iletilen duyguyu kavramaya çalışır.

Model tarafından oluşturulan diyalog balonlarının şekli ve içlerindeki kelimelerin boyutu, karakterlerin ilettiği duygulara göre değişir. Bu, genel çizgi roman okuma deneyimini önemli ölçüde geliştirir ve farklı karakterler arasındaki diyalogların içeriğini yansıtan daha ilgi çekici düzenler üretir.

Filmlerden ve diğer videolardan otomatik olarak çizgi roman oluşturan bir sistem 1
Araştırmacıların yönteminin Content-Aware Video2Comics adlı son teknoloji ürünü bir sistemle karşılaştırılması. (a) – (d) araştırmacıların sistemi tarafından oluşturulan çizgi romanlar. (e) – (h) İçeriğe Duyarlı Video2Comics tarafından üretilen çizgi romanlar. (a) ve (e): Titanic (1997) (20th Century Fox, Paramount Pictures ve Lightstorm Entertainment). (b) ve (f): Mesaj (Huayi Kardeşler). (c) ve (g): Arkadaşlar [Bright / Kauffman / Crane Productions, Warner Bros. Television, NBC ve Warner Bros. Television Distribution (dünya çapında)]. (d) ve (h): Havada (DW Studios, The Montecito Picture Company, Rickshaw Productions ve Paramount Pictures). Kredi: Yang ve ark.

Sistem tarafından oluşturulan konuşma balonları konuşan karakterlerin yanına yerleştirilir. Bunu yapmak için, model önce videodaki farklı konuşmacıları algılar ve ardından yakınlıklarında ifade ettikleri duygularla hizalanmış konuşma balonları yerleştirir.

Araştırmacılar, sistemlerini bir dizi deneyde değerlendirdiler, kendi modüllerini değerlendirdiler ve ürettikleri çizgi romanların kalitesini, videoları çizgi romanlara çevirmek için mevcut diğer son teknoloji tekniklerle üretilenlerle karşılaştırdılar. Sistem, dört film ve diziden çıkarılan 16 video klibe dayalı çizgi romanlar oluşturmak için kullanıldı: “Titanik”, “Mesaj”, “Arkadaşlar” ve “Havada”. Bu video klipler iki ila altı dakika uzunluğundaydı.

Ekip, bir grup insandan, modellerinin ürettiği çizgi romanların, alternatif bir çizgi roman oluşturma sistemi tarafından üretilenlere kıyasla genel kalitesini değerlendirmelerini istedi. Bu çalışmaya katılan kullanıcıların büyük çoğunluğu, araştırmacıların modelinin oluşturduğu düzenleri, daha önce geliştirilen sistem tarafından oluşturulanlara tercih ettiklerini söyledi.

Araştırmacılar makalelerinde, “Deneylerimiz, sistemimizin son teknoloji bir çizgi roman oluşturma sistemine kıyasla daha etkileyici ve ilgi çekici çizgi romanlar sentezleyebileceğini gösteriyor” diye yazdı. “Sistemimizin ümit verici sonuçlar elde ettiği gösterilmiş olsa da, yine de bazı sınırlamalara tabidir. Örneğin, anahtar kare seçimi yeterince doğru değildir. Bazı durumlarda, seçilen ana kareler birbirine benzerdir ve bu kesinlikle çizgi roman oluşturdu.”

Mükemmelleştirildikten sonra, bu araştırmacı ekibi tarafından geliştirilen çizgi roman oluşturma sistemi, filmlere, dizilere veya diğer video içeriklerine dayalı olarak otomatik olarak ilgi çekici çizgi romanlar oluşturmak için kullanılabilir. Araştırmacılar sonraki çalışmalarında, anahtar kare seçimi için alternatif bir modül geliştirmeyi planlıyorlar, çünkü bu, sistemleri tarafından üretilen düzenlerin kalitesini artırabilir ve anahtar kare fazlalığını azaltabilir.

“Dahası, birden çok cümleden oluşan bir hikaye verilen görüntü sekansları oluşturabilen birçok mevcut yöntemden esinlenerek , metinsel hikayelerden çizgi romanlar üretmek mümkündür ve manga oluşturmaya yardımcı olmak için metinsel bilgilerden yararlanma yöntemimizi genişletmek istiyoruz,” araştırmacılar makalelerinde sonuca varıyor.

Daha fazla bilgi: Biçimsel çok sayfalı düzenler ve duygu odaklı metin balonu oluşturma ile otomatik çizgi roman oluşturma. arxiv.org/abs/2101.11111

ZİYARETÇİ YORUMLARI - 0 YORUM

Henüz yorum yapılmamış.