Adana Adıyaman Afyon Ağrı Aksaray Amasya Ankara Antalya Ardahan Artvin Aydın Balıkesir Bartın Batman Bayburt Bilecik Bingöl Bitlis Bolu Burdur Bursa Çanakkale Çankırı Çorum Denizli Diyarbakır Düzce Edirne Elazığ Erzincan Erzurum Eskişehir Gaziantep Giresun Gümüşhane Hakkari Hatay Iğdır Isparta İstanbul İzmir K.Maraş Karabük Karaman Kars Kastamonu Kayseri Kırıkkale Kırklareli Kırşehir Kilis Kocaeli Konya Kütahya Malatya Manisa Mardin Mersin Muğla Muş Nevşehir Niğde Ordu Osmaniye Rize Sakarya Samsun Siirt Sinop Sivas Şanlıurfa Şırnak Tekirdağ Tokat Trabzon Tunceli Uşak Van Yalova Yozgat Zonguldak
İstanbul 26 °C
Gök Gürültülü

Yapay zeka Makine öğrenimi çok fazla enerji gerektirir, bu kadar çok güce aç olmasının nedeni

15.12.2020
193
Yapay zeka Makine öğrenimi çok fazla enerji gerektirir, bu kadar çok güce aç olmasının nedeni

Bu ay Google, Yapay zeka Makine öğrenimi araştırma makalesini geri çekmesi için şirkete duyduğu hayal kırıklığını dile getirdikten sonra tanınmış bir yapay zeka etik araştırmacısını görevden aldı.

Makale, Google Arama ve diğer metin analizi ürünlerinde kullanılan dil işleme yapay zekasının risklerine dikkat çekti.

Riskler arasında, bu tür yapay zeka teknolojisini geliştirmenin büyük karbon ayak izi var. Bazı tahminlere göre, bir yapay zeka modelini eğitmek, yaşamları boyunca beş araba inşa etmek ve sürmek için gereken kadar karbon emisyonu üretir.

Yapay zeka modellerini inceleyen ve geliştiren bir araştırmacıyım ve yapay zeka araştırmasının hızla yükselen enerji ve finansal maliyetlerine fazlasıyla aşinayım. Yapay zeka modelleri neden güce bu kadar aç hale geldi ve geleneksel veri merkezi hesaplamasından nasıl farklılar?

Bugünün eğitimi verimsiz

Veri merkezlerinde yapılan geleneksel veri işleme işleri arasında video akışı, e-posta ve sosyal medya bulunur. Yapay zeka hesaplama açısından daha yoğundur çünkü anlamayı öğrenene kadar yani eğitilene kadar birçok veriyi okuması gerekir.

Global geography of Google Data Centers

Bu eğitim, insanların nasıl öğrendiğine kıyasla çok verimsiz. Modern yapay zeka, insan beynindeki nöronları taklit eden matematiksel hesaplamalar olan yapay sinir ağlarını kullanır.

Her nöronun komşusuyla olan bağlantısının gücü, ağın ağırlık denilen bir parametresidir. Dilin nasıl anlaşılacağını öğrenmek için ağ rastgele ağırlıklarla başlar ve çıktı doğru yanıtı kabul edene kadar bunları ayarlar.

Bir dil ağını eğitmenin yaygın bir yolu, onu Wikipedia gibi web sitelerinden ve haber kuruluşlarından bazı sözcükler gizlenmiş olarak beslemek ve ondan maskelenen sözcükleri tahmin etmesini istemektir.

Yapay sinir ağları nasıl çalışır?

Bir örnek, “şirin” kelimesinin maskelenmiş olduğu “köpeğim tatlıdır”. Başlangıçta, model hepsini yanlış anlıyor, ancak birçok ayarlama turundan sonra, bağlantı ağırlıkları değişmeye ve verilerdeki kalıpları almaya başlıyor. Ağ sonunda doğru hale gelir.

Transformers’dan Bidirectional Encoder Representations (BERT) adlı yeni bir model, İngilizce kitaplardan ve Wikipedia makalelerinden 3,3 milyar kelime kullandı. Üstelik BERT eğitim sırasında bu veri setini bir kez değil 40 kez okudu.

Karşılaştırmak gerekirse, konuşmayı öğrenen ortalama bir çocuk, BERT’den 3000 kat daha az, beş yaşında 45 milyon kelime duyabilir.

Doğru yapıyı aramak

Dil modellerini oluşturmayı daha da maliyetli kılan şey, bu eğitim sürecinin geliştirme süreci boyunca birçok kez gerçekleşmesidir.

Bunun nedeni, araştırmacıların ağ için en iyi yapıyı bulmak istemeleridir – kaç nöron, nöronlar arasında kaç bağlantı, öğrenme sırasında parametrelerin ne kadar hızlı değişmesi gerektiği vb.

Ne kadar çok kombinasyon denerlerse, ağın yüksek bir doğruluk elde etme şansı o kadar artar. Buna karşılık insan beyninin optimal bir yapı bulmasına gerek yoktur – evrimle bilenmiş önceden oluşturulmuş bir yapıya sahiptirler.

Şirketler ve akademisyenler yapay zeka alanında rekabet ederken, son teknolojinin iyileştirilmesi için baskı artıyor. Makine çevirisi gibi zor görevlerde doğrulukta %1’lik bir iyileştirme elde etmek bile önemli kabul edilir ve iyi bir tanıtım ve daha iyi ürünler sağlar.

Ancak bu %1’lik iyileştirmeyi elde etmek için, bir araştırmacı, en iyisi bulunana kadar her seferinde farklı bir yapı ile modeli binlerce kez eğitebilir.

Massachusetts Amherst Üniversitesi’ndeki araştırmacılar, eğitim sırasında kullanılan ortak donanımın güç tüketimini ölçerek yapay zeka dil modelleri geliştirmenin enerji maliyetini tahmin ettiler.

BERT eğitiminin bir zamanlar New York ve San Francisco arasında gidiş-dönüş uçan bir yolcunun karbon ayak izine sahip olduğunu buldular.

Yapay Sinir Ağları

Bununla birlikte, farklı yapılar kullanarak arama yaparak – yani, algoritmayı veriler üzerinde çok az farklı sayıda nöron, bağlantı ve diğer parametrelerle birden çok kez eğiterek – maliyet 315 yolcuya veya bir 747 uçağa eşdeğer hale geldi.

Daha büyük ve daha sıcak

Yapay zeka modelleri de olması gerekenden çok daha büyük ve her yıl daha da büyüyor. GPT-2 adı verilen BERT’e benzer daha yeni bir dil modelinin ağında 1,5 milyar ağırlık var. Yüksek doğruluğu nedeniyle bu yıl heyecan yaratan GPT-3, 175 milyar ağırlığa sahip.

Araştırmacılar, daha büyük ağlara sahip olmanın, ağın yalnızca küçük bir kısmı yararlı olsa bile daha iyi doğruluk sağladığını keşfettiler. Benzer bir şey, nöronal bağlantılar ilk eklendiğinde ve sonra azaldığında çocukların beyinlerinde de olur, ancak biyolojik beyin bilgisayarlardan çok daha fazla enerji verimlidir.

Minecraft RTX

Yapay zeka modelleri, geleneksel CPU’lardan daha fazla güç çeken grafik işlemci birimleri gibi özel donanımlar üzerinde eğitilir. Bir oyun dizüstü bilgisayarına sahipseniz, muhtemelen Minecraft RTX oynamak için gelişmiş grafikler oluşturmak için bu grafik işlemci birimlerinden birine sahiptir. Sıradan dizüstü bilgisayarlardan çok daha fazla ısı ürettiklerini de fark edebilirsiniz.

Tüm bunlar, gelişmiş yapay zeka modelleri geliştirmenin büyük bir karbon ayak izi eklediği anlamına geliyor. %100 yenilenebilir enerji kaynaklarına geçmediğimiz sürece, yapay zeka ilerlemesi sera gazı emisyonlarını azaltma ve iklim değişikliğini yavaşlatma hedefleriyle çelişebilir.

Geliştirmenin finansal maliyeti de o kadar yüksek hale geliyor ki, yalnızca birkaç seçilmiş laboratuvar bunu karşılayabilir ve ne tür yapay zeka modellerinin geliştirileceğine dair gündemi belirleyecek olanlar onlar olacak.

Daha azıyla daha fazlasını yapmak

Bu, yapay zeka araştırmasının geleceği için ne anlama geliyor? İşler göründükleri kadar kasvetli olmayabilir. Daha verimli eğitim yöntemleri icat edildikçe eğitimin maliyeti düşebilir. Benzer şekilde, son yıllarda veri merkezi enerji kullanımının patlayacağı tahmin edilirken, veri merkezi verimliliğindeki gelişmeler, daha verimli donanım ve soğutma nedeniyle bu gerçekleşmedi.

Modelleri eğitmenin maliyeti ile bunları kullanmanın maliyeti arasında da bir denge vardır, bu nedenle eğitim zamanında daha küçük bir model bulmak için daha fazla enerji harcamak onları kullanmayı daha ucuz hale getirebilir. Bir model, ömrü boyunca birçok kez kullanılacağından, büyük enerji tasarrufu sağlayabilir.

Laboratuvarımın araştırmasında, ağırlıkları paylaşarak veya ağın birden çok bölümünde aynı ağırlıkları kullanarak yapay zeka modellerini küçültmenin yollarını arıyorduk. Bunlara şekil değiştirici ağlar diyoruz çünkü küçük bir ağırlık kümesi, herhangi bir şekil veya yapıdaki daha büyük bir ağa yeniden yapılandırılabilir. Diğer araştırmacılar, ağırlık paylaşımının aynı miktarda eğitim süresinde daha iyi performans gösterdiğini göstermiştir.

İleriye baktığımızda, yapay zeka topluluğu enerji açısından verimli eğitim programları geliştirmeye daha fazla yatırım yapmalıdır. Aksi takdirde, yapay zeka’nın ne tür modellerin geliştirildiği, bunları eğitmek için ne tür verilerin kullanıldığı ve modellerin ne için kullanıldığı dahil olmak üzere gündemi belirlemeyi göze alabilecek seçkin bir azınlığın hâkimiyetine girmesi riski vardır.


Referans: Bu makale The Conversation‘dan bir Creative Commons lisansı altında, BilimPortal tarafından Türkçe’ye çevirilerek yeniden yayınlanmıştır. Orijinal makaleyi buradan okuyun.

ZİYARETÇİ YORUMLARI - 0 YORUM

Henüz yorum yapılmamış.