Yapay zeka girişimi Docugami’nin CEO’su Jean Paoli, son bir yıldır teknolojinin en gözde metası haline gelen bilgisayar çiplerini arıyor.
Bay Paoli’nin özellikle grafik işleme birimi veya GPU olarak bilinen bir tür çipe ihtiyacı var çünkü bu, son teknoloji AI şirketlerinin muazzam miktarda veriyi analiz etmesine olanak tanıyan hesaplamaları yapmanın en hızlı ve en verimli yolu.
Bu yüzden sektörde yardımcı olabilecek tanıdığı herkesi aradı. Çiplere erişim sağlayan bir devlet ödeneği için başvurdu. Daha az GPU gerektirmesi için Docugami’nin AI teknolojisini daha verimli hale getirmeye çalıştı. Bilim adamlarından ikisi, yardımcı olmak için eski video oyun çiplerini bile yeniden tasarladı.
“Bu noktada nadir bir toprak metali olarak düşünüyorum. ,” Bay Paoli cipslerden bahsetti.
Teknoloji şirketleri bu yıl paradan, mühendislik yeteneğinden, abartıdan ve hatta kârdan çok, GPU’lar için çaresiz. Temel bileşen avı, geçen yıl ChatGPT gibi çevrimiçi sohbet robotlarının AI üzerinde bir heyecan dalgası başlatmasıyla başladı ve tüm teknoloji endüstrisinin bir araya gelmesine ve çip sıkıntısı yaratmasına yol açtı. Buna yanıt olarak, start-up’lar ve yatırımcıları artık küçük silikon parçalarını ve sağladıkları çok önemli “bilgi işlem gücünü” ele geçirmek için büyük çaba harcıyorlar.
Yapay zeka yongalarının kıtlığı, uzun süredir yonga sağlayıcısı olan Nvidia’nın piyasada sanal bir kilide sahip olması nedeniyle daha da arttı. Taleple dolu olan ve değeri 1 trilyon dolara yükselen Silikon Vadisi şirketinin önümüzdeki hafta rekor mali sonuçlar açıklaması bekleniyor.
Teknoloji şirketleri genellikle Google, Microsoft ve Amazon gibi bulut bilişim hizmetleri aracılığıyla yapay zeka yongalarına ve bunların bilgi işlem gücüne erişim satın alır. Bu şekilde, özel ağ donanımına bağlı bilgisayar sunucularıyla dolu kendi veri merkezlerini kurmak ve işletmek zorunda kalmazlar.
Ancak AI patlaması, bulut bilişim şirketlerinde bu çiplere erişmek için uzun bekleme listelerinin (bazı durumlarda neredeyse bir yıla kadar uzanan) olduğu anlamına geliyordu ve bu, teknoloji endüstrisinin fırsatlardan ve sınırsız büyümeden başka bir şey görmediği bir zamanda alışılmadık bir barikat yarattı. kendi görüntülerini, metnini ve videosunu oluşturabilen üretken yapay zeka oluşturan işletmeler.
En büyük teknoloji firmaları, boyutları, geniş cepleri ve pazar konumları nedeniyle genellikle GPU’ları daha kolay ele geçirebilir. Bu, tipik olarak ilişkileri veya harcama gücü olmayan yeni başlayanları ve araştırmacıları çabalamaya bıraktı.
Çaresizlikleri elle tutulur cinsten. Sosyal medyada, blog gönderilerinde ve konferans panellerinde, start-up kurucuları ve yatırımcılar, eksikliği gidermek için son derece teknik ipuçları paylaşmaya başladılar. Bazıları Nvidia’nın bekleme listesinin silinmesinin ne kadar süreceğini düşünüyorlar. Billy Joel’in “We Didn’t Start the Fire” melodisine ayarlanmış, Weird AI Yankochip olarak bilinen bir sanatçının “GPU’lar ateştir, onları asla bulamıyoruz ama istiyoruz” şarkısını söylediği iniltilere layık bir YouTube şarkısı bile var. satın al.”
Index Ventures da dahil olmak üzere bazı girişim sermayesi firmaları artık bağlantılarını fiş satın almak için kullanıyor ve ardından bunları portföy şirketlerine sunuyor. Girişimciler, bir GPU kümesi satın almak ve paylaşmak için start-up’ları ve araştırma gruplarını bir araya getiriyor.
Docugami’de Bay Paoli, GPU kaynaklarını araştırma ve geliştirmeden kendi ürününe, belgeleri analiz eden bir yapay zeka hizmetine yönlendirme olasılığını değerlendirdi. İki hafta önce altın madalya kazandı: Docugami, bilim ve mühendisliği finanse eden federal bir kurum olan Ulusal Bilim Vakfı tarafından yürütülen Access adlı bir hükümet programı aracılığıyla ihtiyaç duyduğu bilgi işlem gücüne erişimi güvence altına aldı. Docugami daha önce ajanstan bir hibe kazanmıştı ve bu da onu çip için başvurmaya hak kazandı.
“GPU’lara ihtiyaç duyduğunuzda bir start-up’ın hayatı böyledir” dedi.
AI çiplerinin eksikliği, yeni başlayan şirketler için en şiddetli olanıydı. Haziran ayında Eric Jonas, bir AI ilaç keşif şirketi kurmak için para toplamak amacıyla Chicago Üniversitesi’nde bilgisayar bilimi öğrettiği bir işten ayrıldı. Üniversite araştırma projeleri için GPU’lara sınırlı erişim zaten sinir bozucuydu, ancak Bay Jonas’ın bunun bir start-up için bu kadar zor olduğunu keşfettiğinde şok olduğunu söyledi.
“Orası Vahşi Batı,” dedi. “Tam anlamıyla kapasite yok.”
Bay Jonas, daha eski, daha az güçlü çipler kullanmak ve kendi veri merkezini kurmak da dahil olmak üzere bir dizi istenmeyen seçeneği değerlendirdiğini söyledi. Ayrıca, bir arkadaşının dijital para birimini üreten hesaplamaları yapmak için tasarlanmış bir bilgisayar olan Bitcoin madencilik teçhizatındaki çipleri kullanarak oynadı, ancak bu çipler yapay zekanın gerektirdiği türden işler için programlanmadığından bunun daha fazla iş yaratacağını düşündü.
Şimdilik, Bay Jonas, büyük ekipman satıcılarındaki arkadaşlarından ve kullanabileceği GPU’lara sahip ekstra GPU’ları veya test laboratuvarları olabilecek kantitatif hisse senedi ticaret şirketlerinde çalışan insanlardan iyilik istiyor. Fazla bir şeye ihtiyacı olmadığını söyledi – her seferinde altı saat için yalnızca 64 GPU.
Bu gerginlik, yakın zamanda iki kurucuyu, Evan Conrad ve Alex Gajewski’yi, girişimcilerin ve araştırmacıların küçük miktarlarda GPU’lara erişim satın almasına izin vermeyi planlayan bir proje olan San Francisco Compute Group’u başlatmaya iten şeydi. Bulut şirketlerine, ekipman üreticilerine ve komisyonculara yüzlerce e-posta ve bir düzine telefon görüşmesinden sonra, geçen ay Nvidia’nın 512 H100 yongasını ele geçirdiklerini ve bunları ilgili taraflara kiralayacaklarını duyurdular.
Bay Conrad, duyurunun “neşeli bir şekilde viral olduğunu” söyledi ve kuruculardan, yüksek lisans öğrencilerinden ve diğer araştırma kuruluşlarından yüzlerce mesajla sonuçlandı.
Bay Conrad ve Bay Gajewski şimdi bilgisayar çiplerini teminat olarak kullanan özel bir tür borç için 25 milyon dolar toplamayı planlıyorlar. Kurucuların, birinin gelip GPU’ları altlarından satın alacağı korkusuyla adını vermeyi reddettiği satıcıları, yaklaşık bir ay içinde erişim sözü verdi.
İkili, start-up’ların yıllarca süren büyük taahhütler yerine yalnızca deneme yapmak için ihtiyaç duydukları bilgi işlem gücünü satın alarak tasarruf etmelerine yardımcı olmayı umduklarını söyledi.
“Aksi takdirde, görevdekilerin hepsi kazanır,” dedi Bay Conrad.
Risk sermayesi yatırımcılarının da benzer bir hedefi vardır. Bu ay Index Ventures, çok genç portföy şirketlerine ücretsiz olarak Nvidia’nın H100 yongaları ile A100 adlı eski bir sürümün bir karışımını sağlamak için Oracle ile bir ortaklık kurdu.
Bir Index Ventures yatırımcısı olan Erin Price Wright, şirketin yeni kurulan şirketlerin bilgi işlem gücü elde etme ve dokuz aya varan bekleme listelerine girme gibi karmaşık süreçte yol almakta zorlandığını gördüğünü söyledi. İki şirket firmanın yeni programını kullanmaya hazırlanıyor, diğerleri ilgilerini dile getiriyor.
Eksiklikten önce, bir AI üretkenlik yazılımı üreticisi olan Hebbia’nın CEO’su George Sivulka, şirket genişledikçe bulut sağlayıcısından daha fazla “örnek” veya GPU’larla dolu sanal sunucular istedi. Şimdi, bulut şirketlerindeki bağlantılarının ya isteklerine yanıt vermediğini ya da onu dört aylık bir bekleme listesine eklediğini söyledi. Bulut şirketlerine davasını açmak için müşterileri ve diğer bağlantıları kullanmaya başvurdu. Ve sürekli olarak daha fazlasını arıyor.
“Neredeyse uyuşturucu hakkında konuşmak gibi: ‘H100’leri olan bir adam tanıyorum'” dedi.
Birkaç ay önce, bazı Hebbia mühendisleri şirketin Manhattan ofisinde daha az verimli GPU’lar içeren bir sunucu kurdular, makineyi bir dolaba park ettiler ve daha küçük projelerde çalışmak için kullandılar. Bay Sivulka, sıvı soğutma ünitelerinin sunucunun aşırı ısınmasını engellediğini, ancak bunun gürültülü olduğunu söyledi.
Kapıyı kapattık, dedi. “Yanında kimse oturmuyor.”
Kıtlık, sahip olanlar ve olmayanlar arasında keskin bir karşıtlık yarattı. Haziran ayında, California, Palo Alto’da bir AI girişimi olan Inflection AI, Nvidia’nın 22.000 H100 yongasını satın aldığını duyurdu. Ayrıca Microsoft, Nvidia ve diğerlerinden 1,3 milyar dolar topladığını söyledi. Inflection’ın CEO’su Mustafa Süleyman, bir röportajda şirketin fonların en az yüzde 95’ini GPU’lara harcamayı planladığını söyledi.
“Sismik miktarda hesaplama,” dedi. “Sadece göz yaşartıcı.”
Diğer start-up’ların ondan paylaşmasını istediğini, ancak şirketin şimdiden tam kapasiteyle çalıştığını söyledi.
