Dolar 13,7033
Euro 15,5541
Altın 785,05
BİST 2.005
Adana Adıyaman Afyon Ağrı Aksaray Amasya Ankara Antalya Ardahan Artvin Aydın Balıkesir Bartın Batman Bayburt Bilecik Bingöl Bitlis Bolu Burdur Bursa Çanakkale Çankırı Çorum Denizli Diyarbakır Düzce Edirne Elazığ Erzincan Erzurum Eskişehir Gaziantep Giresun Gümüşhane Hakkari Hatay Iğdır Isparta İstanbul İzmir K.Maraş Karabük Karaman Kars Kastamonu Kayseri Kırıkkale Kırklareli Kırşehir Kilis Kocaeli Konya Kütahya Malatya Manisa Mardin Mersin Muğla Muş Nevşehir Niğde Ordu Osmaniye Rize Sakarya Samsun Siirt Sinop Sivas Şanlıurfa Şırnak Tekirdağ Tokat Trabzon Tunceli Uşak Van Yalova Yozgat Zonguldak
İstanbul 13 °C
Sağanak Yağışlı

Şaşırtıcı Bir Şekilde Akıllı Yapay Zeka, Beynin Dili Nasıl İşlediğine Işık Tutuyor

05.11.2021
44
Şaşırtıcı Bir Şekilde Akıllı Yapay Zeka, Beynin Dili Nasıl İşlediğine Işık Tutuyor

Büyük Veri AI Beyin Konsepti

Sinirbilimciler, sonraki kelime tahmin modellerinin iç işleyişinin beyindeki dil işleme merkezlerine benzediğini buluyor.

Son birkaç yılda, dilin yapay zeka modelleri belirli görevlerde çok iyi hale geldi. En önemlisi, bir metin dizisindeki bir sonraki kelimeyi tahmin etmede üstündürler; bu teknoloji, arama motorlarının ve mesajlaşma uygulamalarının yazacağınız bir sonraki kelimeyi tahmin etmesine yardımcı olur.

Tahmine dayalı dil modellerinin en yeni neslinin de dilin altında yatan anlam hakkında bir şeyler öğrendiği görülüyor. Bu modeller yalnızca bir sonraki kelimeyi tahmin etmekle kalmaz, aynı zamanda soru cevaplama, belge özetleme ve hikaye tamamlama gibi bir dereceye kadar gerçek anlayış gerektiren görevleri de yerine getirir.

Bu tür modeller, insan beyninin bu görevi nasıl gerçekleştirdiği veya dili nasıl anladığı hakkında herhangi bir şeyi taklit etmeye çalışmadan, metni tahmin etmenin belirli işlevi için performansı optimize etmek üzere tasarlanmıştır. Ama yeni bir çalışma İLE BİRLİKTE sinirbilimciler, bu modellerin altında yatan işlevin insan beynindeki dil işleme merkezlerinin işlevine benzediğini öne sürüyorlar.

Sonraki Kelime Tahmin Modelleri

: MIT nörobilimcileri, sonraki kelime tahmin modellerinin iç işleyişinin beyindeki dil işleme merkezlerine benzediğini buluyor. Kredi bilgileri: MIT

Diğer dil görevlerinde iyi performans gösteren bilgisayar modelleri, insan beynine bu benzerliği göstermez ve insan beyninin dil işlemeyi yönlendirmek için sonraki kelime tahminini kullanabileceğine dair kanıtlar sunar.

MIT’nin McGovern Beyin Araştırmaları Enstitüsü ve Beyinler Merkezi üyesi Walter A. Rosenblith Bilişsel Sinirbilim Profesörü Nancy Kanwisher, “Model bir sonraki kelimeyi tahmin etmede ne kadar iyiyse, insan beynine o kadar çok uyuyor” diyor. Akıllar ve Makineler (CBMM) ve yeni çalışmanın yazarı. “Modellerin bu kadar iyi uyması şaşırtıcı ve çok dolaylı olarak, insan dil sisteminin yaptığı şeyin belki de bir sonraki adımda ne olacağını tahmin etmek olduğunu gösteriyor.”

MIT’de hesaplamalı bilişsel bilim profesörü ve CBMM ve MIT Yapay Zeka Laboratuvarı (CSAIL) üyesi Joshua Tenenbaum; ve Evelina Fedorenko, Frederick A. ve Carole J. Middleton Kariyer Gelişimi Nörobilim Doçenti ve McGovern Enstitüsü üyesi, bu hafta yayınlanan çalışmanın kıdemli yazarları. Ulusal Bilimler Akademisi Bildiriler Kitabı. CBMM’de çalışan bir MIT yüksek lisans öğrencisi olan Martin Schrimpf, makalenin ilk yazarıdır.

tahminler yapmak

Yeni, yüksek performanslı sonraki kelime tahmin modelleri, derin sinir ağları adı verilen bir model sınıfına aittir. Bu ağlar, değişen güçte bağlantılar oluşturan hesaplamalı “düğümler” ve önceden belirlenmiş yollarla birbirleri arasında bilgi aktaran katmanlar içerir.

Son on yılda, bilim adamları, primat beyninin yanı sıra nesneleri de tanıyabilen görme modelleri oluşturmak için derin sinir ağlarını kullandılar. MIT’deki araştırmalar ayrıca, görsel nesne tanıma modellerinin altında yatan işlevin, bu bilgisayar modelleri beyni taklit etmek için özel olarak tasarlanmamasına rağmen, primat görsel korteksinin organizasyonuyla eşleştiğini göstermiştir.

Yeni çalışmada, MIT ekibi, insan beynindeki dil işleme merkezlerini dil işleme modelleriyle karşılaştırmak için benzer bir yaklaşım kullandı. Araştırmacılar, bir sonraki kelime tahmini için optimize edilmiş birkaçı da dahil olmak üzere 43 farklı dil modelini analiz etti. Bunlara GPT-3 (Generative Pre-trained Transformer 3) adı verilen ve bir komut verildiğinde bir insanın üreteceğine benzer metinler üretebilen bir model dahildir. Diğer modeller, bir cümlede boşluk doldurma gibi farklı dil görevlerini yerine getirmek için tasarlanmıştır.

Her modele bir dizi kelime sunulduğundan, araştırmacılar ağı oluşturan düğümlerin etkinliğini ölçtüler. Daha sonra bu kalıpları insan beynindeki aktiviteyle karşılaştırdılar ve deneklerde üç dil görevi yerine getirdiler: hikayeleri dinlemek, cümleleri birer birer okumak ve her seferinde bir kelimenin ortaya çıktığı cümleleri okumak. Bu insan veri setleri, epilepsi için beyin ameliyatı geçiren kişilerde alınan fonksiyonel manyetik rezonans (fMRI) verilerini ve intrakraniyal elektrokortikografik ölçümleri içeriyordu.

En iyi performans gösteren sonraki kelime tahmin modellerinin, insan beyninde görülenlere çok benzeyen aktivite kalıplarına sahip olduğunu buldular. Aynı modellerdeki etkinlik, insanların metni ne kadar hızlı okuyabildiği gibi insan davranış ölçütlerinin ölçüleriyle de yüksek oranda ilişkiliydi.

“Nöral tepkileri iyi tahmin eden modellerin aynı zamanda okuma süreleri şeklinde insan davranışı tepkilerini en iyi tahmin etme eğiliminde olduğunu bulduk. Ve sonra bunların her ikisi de sonraki kelime tahminindeki model performansıyla açıklanır. Bu üçgen gerçekten her şeyi birbirine bağlıyor” diyor Schrimpf.

“Bu çalışmadan çıkarılan önemli bir sonuç, dil işlemenin oldukça kısıtlı bir sorun olduğudur: Yapay zeka mühendislerinin yarattığı en iyi çözümler, bu makalenin gösterdiği gibi, insan beynini yaratan evrimsel süreç tarafından bulunan çözümlere benzer. . Yapay zeka ağı beyni doğrudan taklit etmeye çalışmadığından – ancak sonunda beyin benzeri göründüğünden – bu, bir anlamda, yapay zeka ve doğa arasında bir tür yakınsak evrimin meydana geldiğini gösteriyor” diyor asistan Daniel Yamins. Çalışmaya dahil olmayan Stanford Üniversitesi’nde psikoloji ve bilgisayar bilimi profesörü.

Oyun değiştirici

GPT-3 gibi tahmine dayalı modellerin temel hesaplama özelliklerinden biri, ileri tek yönlü tahmin transformatörü olarak bilinen bir öğedir. Bu tür bir transformatör, önceki dizilere dayanarak bir sonraki adımda ne olacağına dair tahminlerde bulunabilir. Bu dönüştürücünün önemli bir özelliği, yalnızca son birkaç kelimeye değil, çok uzun bir önceki bağlama (yüzlerce kelimeye) dayalı tahminler yapabilmesidir.

Tenenbaum, bilim adamlarının bu tür işlemeye karşılık gelen herhangi bir beyin devresi veya öğrenme mekanizması bulamadığını söylüyor. Bununla birlikte, yeni bulgular, daha önce tahminin dil işlemedeki temel işlevlerden biri olduğu öne sürülen hipotezlerle tutarlıdır, diyor.

“Dil işlemenin zorluklarından biri, bunun gerçek zamanlı yönüdür” diyor. “Dil devreye giriyor ve ona ayak uydurmanız ve gerçek zamanlı olarak anlamlandırabilmeniz gerekiyor.”

Araştırmacılar şimdi, mimarilerindeki küçük değişikliklerin performanslarını ve insan sinirsel verilerine uyma yeteneklerini nasıl etkilediğini görmek için bu dil işleme modellerinin varyantlarını oluşturmayı planlıyorlar.

Fedorenko, “Benim için bu sonuç oyunun kurallarını değiştirdi” diyor. “Bu, araştırma programımı tamamen değiştiriyor, çünkü hayatım boyunca, beynin nasıl çalıştığını anlamada onlardan gerçekten yararlanabilmemiz için beyin hakkında yeterince bilgi toplayan bu hesaplamalı açık modellere ulaşacağımızı tahmin edemezdim.”

Araştırmacılar ayrıca bu yüksek performanslı dil modellerini, Tenenbaum’un laboratuvarının daha önce geliştirdiği ve fiziksel dünyanın algısal temsillerini oluşturmak gibi başka tür görevleri yerine getirebilen bazı bilgisayar modelleriyle birleştirmeyi planlıyorlar.

Tenenbaum, “Bu dil modellerinin ne yaptığını ve daha çok algılama ve düşünme gibi şeyler yapan modellerle nasıl bağlantı kurduklarını anlayabilirsek, bu bize beyinde işlerin nasıl yürüdüğüne dair daha bütünleştirici modeller verebilir” diyor. . “Bu, bizi daha iyi yapay zeka modellerine götürebilir, ayrıca bize geçmişte sahip olduğumuzdan daha fazla beynin nasıl çalıştığına ve genel zekanın nasıl ortaya çıktığına dair daha iyi modeller verebilir.”

Referans: Ulusal Bilimler Akademisi Bildiriler Kitabı.

Araştırma bir Takeda Bursu tarafından finanse edildi; MIT Shoemaker Bursu; Yarı İletken Araştırma Şirketi; MIT Medya Laboratuvarı Konsorsiyumu; MIT Singleton Bursu; MIT Başkanlık Yüksek Lisans Bursu; McGovern Enstitüsü Dostları Bursu; Ulusal Bilim Vakfı aracılığıyla MIT Beyin, Zihin ve Makineler Merkezi; Ulusal Sağlık Enstitüleri; MIT’nin Beyin ve Bilişsel Bilimler Bölümü; ve McGovern Enstitüsü.

Makalenin diğer yazarları Idan Blank PhD ’16 ve yüksek lisans öğrencileri Greta Tuckute, Carina Kauf ve Eghbal Hosseini’dir.

.

ZİYARETÇİ YORUMLARI - 0 YORUM

Henüz yorum yapılmamış.