Ann Johnson’ın 20 yıl önceki düğün töreninde konuşma yeteneği açıkça ortaya çıktı. 15 dakikalık coşkulu bir kadeh kaldırma töreninde, koridordan aşağı koştuğunu söyleyerek şaka yaptı, tören programının “flütçü” mü yoksa “flütçü” mü demesi gerektiğini merak etti ve “mikrofonu elinde tuttuğunu” kabul etti.
Sadece iki yıl sonra, o zamanlar 30 yaşında bir öğretmen, voleybol antrenörü ve bir bebek annesi olan Bayan Johnson, onu felç eden ve konuşamaz hale getiren korkunç bir felç geçirdi.
Çarşamba günü, bilim insanları onun ve diğer hastaların yeniden konuşmasına yardımcı olma konusunda dikkate değer bir ilerleme bildirdiler. Sinirbilim ve yapay zeka alanında bir dönüm noktası olarak, implante edilen elektrotlar, Bayan Johnson sessizce cümle söylemeye çalışırken beyin sinyallerinin kodunu çözdü. Teknoloji onun beyin sinyallerini yazılı ve sesli dile dönüştürdü ve bilgisayar ekranındaki bir avatarın bu kelimeleri söylemesini ve gülümsemeleri, büzülmüş dudakları ve diğer ifadeleri göstermesini sağladı.
Uzmanlar, Nature dergisinde yayınlanan araştırmanın, ilk kez konuşulan sözcüklerin ve yüz ifadelerinin doğrudan beyin sinyallerinden sentezlendiğini ortaya koyduğunu söylüyor. Bayan Johnson, kendisininkine benzeyen bir yüz olan avatarı seçti ve araştırmacılar, avatarın sesini geliştirmek için düğün kadehini kullandı.
Ekibin lideri, San Francisco’daki California Üniversitesi nörolojik cerrahi başkanı Dr. Edward Chang, “Biz sadece insanların kim olduğunu geri getirmeye çalışıyoruz” dedi.
Şimdi 48 yaşında olan Bayan Johnson bana şöyle yazdı: “Yeniden bütün bir insan olduğumu hissetmemi sağladı.”
Amaç, felç veya serebral palsi ve amyotrofik lateral skleroz gibi rahatsızlıklar nedeniyle konuşamayan insanlara yardım etmektir. Bayan Johnson’ın implantının işe yaraması için kafasından bir bilgisayara kabloyla bağlanması gerekiyor, ancak ekibi ve diğerleri implantın kablosuz versiyonlarını geliştiriyor. Araştırmacılar, sonunda konuşmayı kaybeden kişilerin, tonlama, vurgu ve neşe ve öfke gibi duyguları ileten bilgisayarlı resimleri aracılığıyla gerçek zamanlı olarak konuşabileceklerini umuyor.
Michigan Üniversitesi’nde beyin cerrahı ve biyomedikal mühendisi olan Dr. Parag Patil, “Oldukça heyecan verici olan şey, araştırmacıların iletişimin bu farklı özellikleri hakkında oldukça iyi bilgileri beynin yüzeyinden çıkarabilmeleriydi” dedi. Nature tarafından çalışmayı yayınlanmadan önce incelemesi istendi.
Video: Metzger ve diğerleri, Weill Sinir Bilimleri Enstitüsü/Kaliforniya Üniversitesi, San Francisco
Bayan Johnson’ın deneyimi, alanın hızlı ilerlemesini yansıtıyor. Sadece iki yıl önce aynı ekip, Pancho takma adını kullanan felçli bir adamın daha basit bir implant ve algoritma kullanarak bilgisayarda metin olarak görüntülenen “merhaba” ve “aç” gibi 50 temel kelimeyi ürettiğini gösteren bir araştırma yayınladı. bunları söylemeye çalıştıktan sonra.
Bayan Johnson’ın implantında neredeyse iki kat daha fazla elektrot bulunuyor ve bu da onun ağız, dudaklar, çene, dil ve gırtlakla bağlantılı konuşmayla ilgili duyusal ve motor süreçlerden gelen beyin sinyallerini tespit etme yeteneğini artırıyor. Araştırmacılar, gelişmiş yapay zekayı tek tek kelimeleri değil, fonemleri veya sonuçta herhangi bir kelimeyi oluşturabilecek “ow” ve “ah” gibi ses birimlerini tanıyacak şekilde eğitti.
Proje yöneticisi David Moses, “Bu, konuşma seslerinden oluşan bir alfabeye benziyor” dedi.
Pancho’nun sistemi dakikada 15 ila 18 kelime üretirken, Bayan Johnson’ın oranı çok daha geniş bir kelime listesi kullanarak 78’di. Tipik konuşma konuşması dakikada yaklaşık 160 kelimedir.
Araştırmacılar onunla çalışmaya başladığında avatarı veya sesi denemeyi beklemiyorlardı. Ancak umut verici sonuçlar, “‘Tamam, daha zor şeyleri deneyelim, hadi devam edelim’ demek için büyük bir yeşil ışıktı” dedi Dr. Moses.
Berkeley’deki Kaliforniya Üniversitesi’nde yüksek lisans öğrencisi ve araştırmanın baş yazarlarından biri olan Kaylo Littlejohn, Dr. Moses, Sean Metzger, Alex Silva ile birlikte beyin aktivitesini ses dalga formlarına dönüştürecek ve sesli konuşma üretecek bir algoritma programladıklarını söyledi. ve Margaret Seaton.
Bay Littlejohn, “Konuşmada tonlama, perde, ifade gibi yalnızca metinle iyi korunmayan pek çok bilgi var” dedi.
Yüz animasyonu üreten bir şirketle çalışan araştırmacılar, avatarı kas hareketlerine ilişkin verilerle programladılar. Bayan Johnson daha sonra yüksek, orta ve düşük yoğunlukta mutlu, üzgün ve şaşırmış yüz ifadeleri yapmaya çalıştı. Ayrıca çeşitli çene, dil ve dudak hareketleri yapmaya çalıştı. Şifresi çözülen beyin sinyalleri avatarın yüzüne aktarıldı.
Avatar aracılığıyla “Bence harikasın” ve “Yapay sesim hakkında ne düşünüyorsun?” dedi.
Bayan Johnson araştırmacılara “Kendi sesinize benzer bir ses duymak duygusaldır” dedi.
O ve posta işçisi olan kocası William sohbet bile ediyorlardı. Avatar aracılığıyla şunları söyledi: “Beni güldürme.” Toronto Blue Jays’in şansı hakkında ne hissettiğini sordu. “Her şey mümkün” diye yanıtladı.
Bu alan o kadar hızlı ilerliyor ki uzmanlar federal onaylı kablosuz versiyonların önümüzdeki on yıl içinde mevcut olabileceğine inanıyor. Bazı hastalar için farklı yöntemler optimal olabilir.
Stanford’da nöroşirürji profesörü ve ekibin lideri olan Dr. Jaimie Henderson, çocukluk döneminde kendi anılarını izleme deneyimiyle motive olan Dr. Jaimie Henderson, Çarşamba günü Nature’ın başka bir ekibin beynin daha derinlerine implante edilen elektrotları içeren ve bireysel nöronların aktivitesini tespit eden çalışmasını yayınladığını söyledi. Babam bir kazadan sonra konuşmasını kaybetti. Yöntemlerinin daha kesin olabileceğini ancak belirli nöronların ateşleme düzenlerinin değişebilmesi nedeniyle daha az kararlı olabileceğini söyledi.
Sistem, ALS hastası olan 68 yaşındaki katılımcı Pat Bennett’in geniş bir kelime dağarcığından söylemeye çalıştığı cümleleri dakikada 62 kelimeyle çözdü. Bu çalışma bir avatar veya ses kod çözme içermiyordu.
Her iki çalışmada da cümlelerdeki kelimeleri tahmin etmeye yardımcı olmak için tahmine dayalı dil modelleri kullanıldı. Oregon Sağlık ve Bilim Üniversitesi’nde konuşma-dil yardımcı teknolojisi uzmanı Melanie Fried-Oken, sistemlerin sadece kelimeleri eşleştirmekle kalmayıp, katılımcıların sinirsel aktivitelerini daha iyi tanımalarını sağlayarak “yeni dil kalıpları da ortaya çıkardığını” söyledi. Stanford çalışmasına danışıldı.
Video: Metzger ve diğerleri, Weill Sinir Bilimleri Enstitüsü/Kaliforniya Üniversitesi, San Francisco
Her iki yaklaşım da tamamen doğru değildi. Geniş kelime dağarcığı setlerini kullanırken, yaklaşık dörtte bir oranında tek tek kelimelerin kodlarını hatalı çözdüler.
Örneğin Bayan Johnson, “Belki de onları kaybettik” demeye çalıştığında sistem, “Belki de o ismi verdik” cevabını verdi. Ancak cümlelerinin neredeyse yarısında her kelimeyi doğru şekilde deşifre etti.
Araştırmacılar, kitle kaynak platformundaki kişilerin çoğu zaman avatarın yüz ifadelerini doğru yorumlayabildiğini buldu. Sesin söylediklerini yorumlamak daha zor olduğundan ekip bunu iyileştirmek için bir tahmin algoritması geliştiriyor. Dr. Chang, “Konuşan avatarımız henüz başlangıç noktasında” dedi.
Uzmanlar bu sistemlerin insanların aklını veya düşüncelerini okumadığını vurguluyor. Dr. Patil, bunların daha ziyade, atışları tahmin etmek için “atıcının aklını okumayan, ancak atıcının yaptığını gördüklerini yorumlayan” beyzbol vurucularına benzediklerini söyledi.
Dr. Fried-Oken, yine de zihin okumanın eninde sonunda mümkün olabileceğini, bunun da etik ve mahremiyet sorunlarını gündeme getirebileceğini söyledi.
Bayan Johnson, 2021 yılında, kocasının araştırmacıların yardım ettiği felçli adam Pancho hakkındaki makalemi ona göstermesinin ertesi günü Dr. Chang ile temasa geçti. Dr. Chang, kendisinin San Francisco’daki laboratuvarından uzakta, Kanada’nın Saskatchewan kentinde yaşadığı için başlangıçta cesaretini kırdığını ancak “ısrarcı olduğunu” söyledi.
48 yaşındaki Bay Johnson, yarı zamanlı çalışma ayarladı. Yerel posta birliğini yönetmek de dahil olmak üzere, “Ann her zaman istediğimi yapma konusunda beni destekledi” dedi. “Bu yüzden onu bu konuda destekleyebilmenin önemli olduğunu düşündüm.”
Geçtiğimiz Eylül ayında katılmaya başladı. Kaliforniya’ya yolculuk, onu tekerlekli sandalye ile yatak arasında transfer edecek bir asansör de dahil olmak üzere ekipmanlarla dolu bir minibüste üç gün sürüyor. Orada araştırmacıların onun işini kolaylaştırmak için deneylerini yürüttüğü bir daire kiralıyorlar. Çok yıllı çalışmanın seyahat ve kira masraflarını ödemek için internetten ve kendi topluluklarından para toplayan Johnson’lar, Kaliforniya’da haftalar geçirip araştırma aşamaları arasında evlerine dönüyorlar.
Bay Johnson, “Bunu haftanın yedi günü, günde 10 saat yapabilseydi yapardı” dedi.
Kararlılık her zaman onun doğasının bir parçası olmuştur. Çıkmaya başladıklarında, Bayan Johnson, Bay Johnson’a evlenme teklif etmesi için 18 ay süre verdi; Bay Johnson, bunu “18’inci ayın tam gününde”, “zaten gidip nişan yüzüğünü seçtikten sonra” yaptığını söyledi.
Bayan Johnson benimle evde kullandığı daha ilkel yardımcı sistemle hazırlanan e-postalar aracılığıyla iletişim kurdu. Bilgisayar ekranındaki harflere ve kelimelere nişan aldığı yansıtıcı bir noktanın yapıştırıldığı gözlük takıyor.
Yavaş olduğundan dakikada yalnızca 14 kelime üretebiliyor. Ancak bu, evde iletişim kurabilmesinin diğer tek yolundan daha hızlı: plastik bir yazı tahtası kullanmak, Bay Johnson’ın tanımladığı bir yöntem: “O sadece hangi mektuba bakmaya çalıştığını bana göstermeye çalışıyor ve sonra ben de anlamaya çalışıyorum.” ne söylemeye çalışıyor?”
Serbest akışlı konuşmalar yapamamak onları sinirlendiriyor. Ayrıntılı konuları tartışırken Bay Johnson bazen bir şeyler söylüyor ve ertesi gün yanıtını e-postayla alıyor.
“Ann hayatta her zaman çok konuşan, dışa dönük, konuşmayı seven sosyal bir birey olmuştur ve ben sevmiyorum” dedi, ancak geçirdiği felç “rolleri tersine çevirdi ve şimdi konuşmacı olmam gerekiyor.”
Bayan Johnson, voleybol oynamak için ısınırken beyin sapı felç geçirdiğinde lisede matematik, sağlık ve beden eğitimi öğretmenliği yapıyor ve voleybol ve basketbol koçluğu yapıyordu. Bay Johnson, hastanede ve rehabilitasyon merkezinde bir yıl geçirdikten sonra eve, 10 yaşındaki üvey oğlunun ve 23 aylık kızının yanına döndüğünü ve artık annesinin konuştuğunu hiç hatırlamadan büyüdüğünü söyledi.
Bayan Johnson, “Çocuklarıma sarılamamak ve öpememek çok canımı acıttı ama bu benim gerçeğimdi” diye yazdı. “Tabuttaki asıl çivi bana daha fazla çocuk sahibi olamayacağımın söylenmesiydi.”
Felçten sonraki beş yıl boyunca çok korkmuştu. “Her an öleceğimi sanıyordum” diye yazdı ve şunu ekledi: “Beynimin donmamış kısmı yardıma ihtiyacım olduğunu biliyordu ama nasıl iletişim kuracaktım?”
Yavaş yavaş inatçılığı yeniden ortaya çıktı. Başlangıçta “yüz kaslarım hiç çalışmıyordu” diye yazdı, ancak yaklaşık beş yıl sonra istediği zaman gülümseyebildi.
Yaklaşık on yıl boyunca tamamen tüple beslendi ancak katı yiyeceklerin tadına bakmak istediğine karar verdi. Kendi kendine, “Eğer ölürsem öyle olsun,” dedi. “Çikolata emmeye başladım.” Yutma terapisi gördü ve şimdi ince kıyılmış veya yumuşak yiyecekler yiyor. “Kızım ve ben kekleri severiz” diye yazdı.
Bayan Johnson, 2018’de Saskatchewan’da meydana gelen ölümcül otobüs kazasının ardından travma danışmanlarına ihtiyaç duyulduğunu öğrendiğinde, çevrimiçi bir üniversite danışmanlığı kursu almaya karar verdi.
Bir sınıf karnesinde, “Bilgisayar becerilerim asgari düzeydeydi ve bir matematik ve fen bilimleri insanı olarak ödev yazma düşüncesi beni korkuttu” diye yazdı. “Aynı zamanda kızım 9. sınıftaydı ve işleme engeli teşhisi konuldu. Korkularımı aşmaya ve ona engellerin bizi durdurması ya da yavaşlatması gerekmediğini göstermeye karar verdim.”
Travmadan kurtulanlara yardım etmek onun hedefi olmaya devam ediyor. Dr. Chang’ın ekibine şunları söyledi: “Ay’daki şansım, bir danışman olmak ve bu teknolojiyi müşterilerimle konuşmak için kullanmaktı.”
İlk başta avatarla duygusal ifadeler yapmaya başladığında, “Kendimi aptal gibi hissettim ama yine ifadeli bir yüze sahip olduğumu hissetmek hoşuma gitti” diye yazdı ve egzersizlerin aynı zamanda alnının sol tarafını hareket ettirmesine de olanak sağladığını ekledi. İlk kez.
Bir şey daha kazandı. Felçten sonra “Her şeyimi kaybettiğimde canım çok yandı” diye yazdı. “Kendime bir daha asla kendimi bu hayal kırıklığının eşiğine getirmeyeceğimi söyledim.”
Şimdi, “Yeniden bir işim varmış gibi hissediyorum” diye yazdı.
Üstelik teknoloji ona “Yıldız Savaşları”nda olmayı hayal ettiriyor: “Aklımın uçmasına bir nevi alıştım.”
