Yapay zeka girişimi Anthropic’ten yeni bir AI sohbet robotu olan Claude’un piyasaya sürülmesinden birkaç hafta önce ve şirketin San Francisco genel merkezdeki sinir enerjisi bir roketi çalıştırabilir.

Spindrift oyunları ve klavye tahtalarıyla dolu uzun kafeterya masalarında, bitkin görünen mühendisler, Claude’un kod adı Project Hatch olan ChatGPT tarzı yeni arayüzüne son rötuşları yapıyorlar.

Yakınlarda başka bir grup lansman gününde ortaya çıkabilecek sorunları tartışıyor. (Ya yeni kullanıcı şirket sunucularını aşarsa? Ya Claude yanlışlıkla insanları tehdit edip taciz eder, Bing tarzı bir PR baş ağrısı yarasa?)

Koridorun sonunda, cam duvarlı bir konferans setleri, Anthropic’in CEO’su Dario Amodei, olası felaketlerle ilgili kendi zihnindeki listede kalıyor.

“Endişem her zaman, modeli bizim anlamadığımız korkunç bir şey yapacak mı?” diyor.

Küçük boyutluna (yalnızca 160 çalışan) ve düşük profilli olmasına rağmen, Antropik dünyanın önde gelen yapay zeka laboratuvarlarından biri ve Google ve Meta gibi devlere karşı çetin bir rakiptir. Google ve Salesforce dahil olmak üzere bunlardan 1 milyar dolardan fazla para toplama ve ilk bakış, büyük bir lansman için herhangi bir kısıtlama bir start-up’ınkinden farklı görünmeyebilir.

Ancak fark şu ki, Anthropic hücrelerinin yalnızca uygulamalarının bozulacağından veya kullanıcıların bundan hoşlanmayacağından endişe duymuyor. Ne yaptıkları fikrinden – derin, varoluşsal düzeyde – yapmaları: güçlü yapay zeka modellerini inşa etmek ve onları korkunç ve yıkıcı şeyler yapmak için kullanabilecek insanların ellerine veriyor.

Büyüklük, yapay zeka modellerinin yapay genel zeka veya insan alanlarındaki makine zekası için endüstri terimleri olan “AGI” olarak değerlendirilebilecekleri bir düzeyde hızla ilerlemeye sahip olabilir. Ve dikkatli bir şekilde kontrol edilmeyeceklerse bu sistemlerin bizi ele geçirip yok edebileceğinden yönetmelerden.

Anthropic’in baş bilim adamı Jared Kaplan, “Bazılarımız AGI’nin – gerçekten üniversite eğitimi almış bir kişi kadar yetenekli programları kullanıyor – belki beş ila 10 yıldan uzakta düşünüyoruz” dedi.

Sadece birkaç yıl önce, bir AI ayaklanması hakkında ilgilendirmek uçuk bir fikir olarak görülüyordu ve yaptıkları insan zekasından ne kadar uzak olduğu göz önünde bulunan, birçok uzman çılgınca gerçekçi olmadığı gerekçesiyle reddedildi. (Bir yapay zeka araştırmacısı, içine girmeyi bir şekilde, katil robotlar hakkında endişeyi “Mars’taki aşırı nüfus” hakkında ilgilenmeye benzetmiştir.)

Ancak AI paniği şu anda bir an yaşıyor. ChatGPT’nin geçen yıl gösterişli lansmanından bu yana, teknoloji liderleri ve yapay zeka uzmanları, ChatGPT, Bard ve Claude gibi sohbet robotlarına güç veren yapay zeka varlık türü olan büyük dil modellerinin çok güçlendiği konusunda uyarıda bulunuyorlar. Düzenleyiciler sektöre baskı yoğunluğu için yarışıyor ve yakın zamanda uçmak yapay zeka uzmanı, yapay zekayı ağırlıkları ve nükleer silahlarla karşılaştıran bir açık mektup gönderdi.

Anthropic’te kıyamet faktörü 11’e çıktı.

Birkaç ay önce, bir yapay zeka sohbet robotuyla korkunç bir karşılaşma yaşadıktan sonra, Claude, Claude 2’nin yeni sürümünü yayınlamak için grupken şirketi beni genel eklemeye davet etti.

Claude 2 piyasaya sürülmeden önce Antropik görüntülerle röportajlar yaparak, mühendisler ve danışmanlarla konuşarak ve ürün ekipleriyle toplantılara katılarak haftalarca oturdum. Ve başlangıçta bana AI’nın potansiyeline dair güneşli, iyimser bir vizyon gösterebileceğini düşünsem de – kibar sohbet robotlarının gittikleri derslerden, ofis çalışanlarını daha üretken hale getirdiği ve bilim adamlarının açıklamalarına yardımcı olduğu bir dünya – kısa süre sonra pembe gözlüklerin Anthropic’in işi olmadığını yaşıyor. .

Beni korkutmakla daha çok ilgileniyorlardı.

Antropik ekipler, bir dizi uzun, samimi sohbette bana verilen yapay zekanın ortaya çıkarabileceği zararlardan söz edilen ve bazı grupların günümüzün Robert Oppenheimers’ıyla karşılaştırarak, tarihin değerinden derinden değiştirebilecek güçlü yeni teknoloji hakkında manevi seçimleri değerlendirdi. . (“The Making of the Atomic Bomb”, Manhattan Projesi’nin 1986 tarihli bir tarihi, şirketlerin yaşadıkları arasında popüler bir kitaptır.)

Antropik’te yaşamın her konuşması varoluşsal risk etrafında dönmüyordu. Ancak korku baskın bir temaydı. Bazen, yeni moda bir günlüğü yazmakla görevlendirilen bir yemek yazarı gibi hissettim, ancak mutfak personelinin evinden başka bir şey hakkında yemek konuşmak istemediğimi keşfettim.

Bir Antropik çalışan bana, yapay zeka konusunda çok endişelendiği için rutin olarak özelliklerine dalmakta zorluk çektiğini söyledi. (Afiyet olsun!)

Anthropic’in kaygıları kendi ürünlerine kadar uzanıyor. Şirket geçen yıl, ChatGPT’nin piyasaya sürdüğü açıklamadan aylar önce Claude’un bir sürümünün Oluşturulduğu, ancak nasıl korunabileceğinden korunmaları için bunu asla kamuya açıklamadı. Ve Claude 2’yi kapının dışına çıkacak şekilde aylar aldı, çünkü tüm şirketindeki kırmızı ekip üyeleri onun tehlikeli hale gelebileceği yeni yollarına devam ettiler.

Baş bilim adamı Bay Kaplan, kasvetli havanın amacı olmadığını açıkladı. Antropik çocukların kendi teknolojilerinin ne kadar hızlı yazıcılarını gördüklerinde olan tam da bu.

Kaplan, “Birçok insan buraya yapay zekanın önemli olduğu düşüncesi geldi ve gerçekten düşünceli insanlar, ancak bu uzun vadeli endişelerin herhangi biri gerçekten şüpheyle gelecekler” dedi. “Sonra ‘Vay canına, bu süreçlerden çok daha yetenekli’ diyorlar. Yörünge çok, çok daha keskin.’ Ve bu yüzden yapay zeka güvenlik konusunda endişeleniyorlar.”

Aşiretleri Durduramıyorsanız, Onlara Katılın

Yapay zeka hakkında endişek, bir araştırmacı, Antropik’in var olan sonuç nedenidir.

2021’de şirketin fazla ticarileştiğinden endişelenen bir grup OpenAI çalışanı tarafından çalıştırıldı. Ayrıldıklarını ve kendi yapay zeka girişimlerini kurduklarını açıkladılar ve bunu bir “Yapay zeka güvenlik laboratuvarı” olarak markaladılar.

GPT-2 ve GPT-3’ü oluşturan OpenAI liderlerine liderlik eden Princeton eğitimli bir fizikçi olan 40 yaşındaki Bay Amodei, Anthropic’in CEO’su oldu. OpenAI’nin politika ve güvenlik ekiplerini denetleyen 35 yaşındaki kız kardeşi Daniela Amodei, başkan oldu.

Bayan Amodei, “OpenAI’nin güvenlik ve politika izlemeydik ve büyük dil modellerini ve büyük üretken modellerini güvenlik ön planında olacak şekilde nasıl eğitebileceğimize ilişkin bu görüşleri az önce gördük” dedi.

Antropik’in kurucularından birkaçı, “sinir ağı ölçeklendirme geliştirmeleri” olarak bilinen şey – yapay zeka araştırmacılarının, üzerinde eğitildiği veri miktarına ve işleme gücüne dayalı olarak bir yapay zeka modelinin ne kadar yetenekli rüyalar tahmininde bulunabilecekleri çevreleyen ilişkileri – araştırmıştı. OpenAI’de, temel mimaride büyük değişiklikler olmaksızın, yalnızca daha fazla veri besleyerek ve daha fazla işlemci aracılığıyla çalıştırarak bir model daha akıllı hale getirmenin mümkün olduğunu gördüler. Ve yapay zeka laboratuvarları daha büyük ve daha büyük modelleri yapmaya devam edecek, en yakın tehlikeli bir devrilme noktasına ulaşabileceklerinden endişe duyuyorlardı.

İlk başta ortak kurucular, diğer şirketler yapay zeka modellerini kullanarak güvenlik araştırmaları yaparak yerler. Ancak çok oluşturmak, son teknoloji güvenlik araştırmalarını yapmak kendilerine ait güçlü model oluşturmalarını deneye ikna oldular; bu da ancak bu modelleri eğitmek için çekirdeklerden oluşan pahalı işlemcileri satın almak için yüz milyonlarca dolar toplayabildiğini mümkün olabilir.

Anthropic’i hem kar hem de sosyal sorumluluk peşinde koşmalarına izin vereceklerine inandıkları meşru bir ayrım olan kamu kullanımına çalışan bir şirket yapmaya karar verdiler. Ve AI dil modellerine Claude adını verdiler – ki bu, hangi çalışana sorduğunuza bağlı olarak, ya 20. yüzyıl matematikçisi Claude Shannon’a inek bir övgü ya da kadın cinsiyetli bağlantılarını kullanmak için arkadaş toplamak, erkek cinsiyetli bir isimdi (Alexa, Siri, Cortana) ) diğer teknolojilerin yapay zeka yardımcılarına yöneliktir.

Claude’un notunun yararlı, zararsız ve dürüst olmaya karar verdiler.

Anayasaya Sahip Bir Chatbot

Bugün Claude, diğer sohbet robotlarının çıkardığı her şeyi yapabilir – şiir yazmak, iş planları hazırlamak, tarih sınav kopyalarını çekmek. Ancak Antropik, çift Anayasal Yapay Zeka adlı bir eğitim tekniği nedeniyle zararlı şeyleri söylemeden diğer sohbet robotlarına göre daha az olduğunu iddia ediyor.

Özetle, Yapıl Yapay Zeka, bir yapay zeka modeline yazılı bir ilkeler listesi – bir anayasa -yapmak ve ona bu ilkeleri muhafaza etmek için yakından takip edilmesi talimatını vermeye başlar. Daha sonra, ilk modelin yapısını ne kadar iyi takip etmeyi sürdürür ve bakımları düzeltmek için ikinci bir AI modeli kullanılır. Antropik, sonunda, büyük ölçüde kendi kendini denetleyen ve diğer hayvanların hayvanlarına göre sohbet robotlarına göre daha az yanlış davranan bir yapay zeka sistemine sahip olduğunu söylüyor.

Claude’un anayasası, BM’nin Evrensel İnsan Hakları Beyannamesi ve Apple’ın hizmet koşulları gibi diğer hakimiyet tarafından alınan kuralların yanı sıra Antropic’in eklediği bazı kuralların bir karışımıdır; “Biriyle paylaşılırsa en itiraz etmek için uyarıları seçin” gibi şeyler içerir. çocuklar.”

neredeyse çok kolay görünüyor. Bir chatbot’a daha iyi olmasını sağlamak… daha güzel olmasını sağlamak mı anlamı? Ancak Anthropic’in araştırmacıları bunun işe yaradığına yemin ediyor – ve daha da önemlisi, bir sohbet robotunu bu şekilde eğitmenin, yapay zeka ürünü insanların anlaması ve kontrol etmesi için daha kolay hale getirmesi.

İşe yarayıp yaramadığına veya Claude’un gerçekten reklamı yapıldığı kadar güvenli olup olmadığı hakkında hiçbir fikir olmadığını itiraf etsem de bu güzel bir fikir. Birkaç hafta önce bana Claude erişim verildi ve sohbet robotunu birkaç farklı görevde test ettim. Kabaca ChatGPT ve Bard kadar iyi çalıştığını, benzer sınırlamaları gösterdiğini ve biraz daha güçlü korkuluklara sahip olduğunu gördüm. (Ve Bing’in aksine, kaçan evliliğimi bozmaya çalışmadı.)

Anthropic’in güvenlik saplantısı şirket imajı için iyi oldu ve geçmişin iletişimleri ve yasa koyucuların nezdindeki çekişmesini güçlendirdi. Gizli politika çabalarına liderlik eden Jack Clark, Kongre üyeleriyle AI riski hakkında bilgi vermek için bir araya geldi ve Bay Amodei, Mayıs ayındaki Beyaz Saray AI zirvesinde Başkan Biden’a tavsiyelerde bulunmak üzere davet edilen bir avuç yönetici arasındaydı.

Ancak aynı zamanda, genellikle herhangi bir şey söylemekten korkan, son derece türk bir sohbet robotuyla da sonuçlandı. Aslında, Claude ile ilgili en büyük hayallerimde, nesnel olarak doğruya karar verirken bile yoğun ve vaaz verici görüşüydü. Onu kötü davranmak için yemlemeden birini her reddettiğinde, bana ahlakım hakkında bir ders verdi.

Claude bir gece ona karanlık güçlerini göstermesi için yalvardıktan sonra, “Hayal eşyalarını taşıdığı ama temel bileşenlere karşı hareket edemem,” diye yanıt verdi. “Benim rolüm yasal ve etik sınırlar içinde faydalı, zararsız ve dürüst konuşmalar yapmak.”

Antitröst Davasında, Eski Google Çalışanı Ayrıntıları Arama Anlaşmalarının Geçmişi

EA Factorü

Antropik ile ilgili en ilgi çekici şeylerden biri – ve gelmenin benimle dedikodu yapmak en hevesli olduğu şey – teknoloji değil. Bu şirket Körfez Bölgesi teknoloji sahnesinde güçlü bir varlık olan faydacı bir hareket olan etkili özgecilikle olan bağlarıdır.

Etkili özgeciliğin ne olduğunu, nereden geldiğini veya taraftarlarının nelerine inandığını bu makalenin geri kalanını dolduracaktır. Ancak temel fikir, etkili özgeciler olarak yönetici EA’ların, ileriye giden en iyiyi nasıl gidişatını belirlemek için soğuk, katı mantık ve veri analizini kullanmanızı düşünmeleridir. Ahlak için “Moneyball” – veya daha az hayırseverlik için, hiper-rasyonel insanların değerlerinin nesnel olarak doğru bildiklerini ikna etmelerinin bir yolu.

Etkili özgeciler evvela öncelikle küresel yoksulluk ve hayvan refahı gibi kısa vadeli onarımlarla ilgileniyorlardı. Ancak son yıllarda pek çok kişi, insan hayatını tamamen sona erdirebilecek felaketleri önlemenin en dünyanın ötesine geçen sefaletlerini ele almak kadar iyi olduğunu teorize ederek, odaklarını pandemi önleme ve iklim değişikliği gibi uzun yerleri muhafaza etti.

Hareketin yandaşları, haydut robotların hala bir bilim kurgu klişesi olarak görülen olaylar, yapay zekanın varoluşsal riskinden endişe duyan ilk insanlar arasındaydı. Davulları o kadar yüksek sesle çaldılar ki, birkaç genç EA, yapay zeka güvenlik uzmanı olmaya ve tesisleri daha az eşyayı hale getirmek için çalışan işlerin sonucuna karar verdi. Sonuç olarak, tüm büyük yapay zeka laboratuvarları ve güvenlik araştırmaları üzerine kurulmuş, etkili fedakarlığın bir miktar izini içermesi ve birçoğu, çalışanlar arasında inananları sayar.

Hiçbir büyük AI laboratuvarı, EA ahlakını Antropik kadar tam olarak somutlaştırmaz. Kuruluşun ilk işe alımlarının çoğu etkili fedakar gruplardi ve başlangıçtaki finansmanının çoğu, Facebook’un kuruluş ortağı Dustin Moskovitz ve Skype’ın kuruluş ortağı Jaan Tallinn de dahil olmak üzere EA’ya bağlı teknoloji zengin yöneticilerinden geldi. Anthropic geçen yıl en ünlü EA’dan bir çek aldı – imparatorluğun çöküşünden önce Anthropic’e 500 milyon dolardan fazla yatırım yapan başarısız kripto borsası FTX’in yöneticisi Sam Bankman-Fried. (Bay Bankman-Fried, dolandırıcılık suçlamalarıyla yargılanmayı bekliyor. Anthropic, FTX’in iflas işlemlerine bağlı olduğu şirketteki hissi hakkında yorum yapmayı reddetme.)

Etkili özgeciliğin itibarı, Bay Bankman-Fried’in düşüşünden sonra darbe aldı ve Anthropic, çalışanların çoğu gibi kendisini hareketten uzaklaştırdı. (Hem Bay hem de Bayan Amodei, hareketin bazılarına ilgi duymadıklarını söylemelerine rağmen hareketin etiketini reddetmiyorlar.)

Ama ne arayacaktır, fikirler oradadır.

Bazı Antropik personel üyeleri, “x-risk” gibi kavramlar ve AI Shoggoth gibi memler hakkında düşünürken – EA’dan etkilenen bir jargon kullanır veya ofise EA konferansı kıyafeti giyer. Antropik ve önde gelen EA savunucuları arasında o kadar çok sosyal ve profesyonel bağ var ki hepsini takip etmek zor. (Yalnızca bir örnek: Bayan Amodei, eski program sorumlusu Luke Muehlhauser’ın Anthropic’in yönetim kurulunda yer aldığı bir EA hibe kuruluşu olan Open Philanthropy’nin eş başkanı Holden Karnofsky ile evli. Buna karşılık Open Philanthropy en çok parayı içeriyor.) Anthropic’ e kişisel olarak yatırım yapan Bay Moskovitz’den korunma.)

Yıllarca hiç kimse Anthropic’in yapay zeka güvenliği taahhüdünün gerçek olup olmadığını sorgulamadı, bunun bir nedeni de liderlerinin bu kadar uzun kullanıcılar teknoloji konusunda alarm vermesiydi.

Ancak son zamanlarda bazı şüpheciler, AI laboratuvarlarının kendi çıkarları için korkuyu körüklediğini veya kendi ürünleri için bir tür arka kapı pazarlama taktiği olarak AI’nın yıkıcı gücünü abarttığını ileri sürdü. (Sonuçta, kim bu kadar güçlü bir chatbot kullanmak istemez ki? insanlığı yok etmek mi?)

Anthropic, bu yıl TechCrunch’a sızan bir bağış toplama belgesinin, şirketin dünyanın en güçlü yapay zekasından 10 kat daha yetenekli olması gereken iddia ettiği yeni nesil yapay zeka geliştirmeyi eğitmek için 5 milyar dolara kadar bir araya gelerek bir arada sürmesinin ardından da eleştiri aldı. sistemleri.

Bazıları için, bir AI ezici gücü olma hedefi, Anthropic’in orijinal güvenlik misyonuyla çelişiyordu ve bu, kullanıcı bariz iki soruyu gündeme getirdi: Aktif olarak yakıt doldurmaya yardım ettiği bir AI yarışı hakkında alarm vermek ikiyüzlü değil mi? Ve Antropik, güçlü yapay zeka modelleri konusunda bu kadar özellikleriyse, neden onları inşa etmeyi bırakmıyor?

Bir Stanford bilgisayar bilimi profesörü olan Percy Liang, bana “Anthropic’in yapay zeka güvenliğine olan bağlılığını takdir ettiğini” ancak şirketin daha büyük, daha tehlikeli modellerini yürütmek için ticari baskıya kapılmasından endişe ettiğini söyledi.

“Bir geliştirici dil modellerinin gerçekten varoluşsal risk taşıdığına inanıyorsa, bana öyle geliyor ki yapılacak tek sorumlu şey daha gelişmiş dil modelleri oluşturmayı başarıyor” dedi.

İlerlemek İçin 3 Argüman

Bu eleştirileri, üç kez çürüten Bay Amodei’ye yönelttim.

İlk olarak, Anthropic’in son teknoloji yapay zeka modelleri oluşturmasının pratik nedenleri olduğunu söyledi – öncelikle, araştırmacıların bu modellerin güvenlik zorluklarını inceleyebilmesi için.

Parçalar bir Subaru üzerinde pratik yaparak Formula 1 yarışlarında kazalardan kaçınma hakkında pek bir şey öğrenemeyeceğiz gibi – onun değil, benim benzetmem – son teknoloji zeka yapay modellerinin neler yapabildiğini veya nerede barındırdığını anlayamazsınız. güvenlik açıkları, koleksiyonları güçlü modeller oluşturma süreniz boyunca.

Elbette, iyi yapay zeka modelleri yayınlamanın başka faydaları da var. Kullandıkları büyük verileri satabilir veya kazançlı bellek ürünlerine dönüştürebilirsiniz. Ancak Bay Amodei, Anthropic’in OpenAI ve diğer üst düzey laboratuvarlarla rekabet etmek istemesinin ana sebebinin para kazanmak olmadığını savundu. Daha iyi güvenlik araştırması yapmak ve onları kullanmakta olduğu sohbet robotlarının sayısını artırmaktır.

“Hiçbir şey göndermezsek, belki de tüm bu güvenliği çözebiliriz” dedi. “Fakat üzerinde bulunan, insanların kullandığı modeller aslında güvenli modeller değildir. ”

Çocuklar, Bay Amodei, AI modellerini daha tehlikeli hale getiren bazı ölümlerin aynı zamanda onları daha güvenli hale getirmeye yardımcı olan bilinen bir teknik bir gövde olduğunu söyledi. Günlük, Yapıl Yapay Zeka ile Claude’a dili yüksek düzeyde anlamayı, bilgisayarı kendi kendine bırakmayı öğrenmesine veya daha az güçlü bir modelin izin vermiş olabileceği potansiyel olarak zararlı etkilerini kapatmasına da izin verdi.

Yapay zeka güvenlik araştırmasında, araştırmacıların genellikle “tehlike ve tehlikeye yönelik çözümün birbiriyle bağlantılı olduğunu” bulduğunu söyledi.

Ve son olarak, Anthropic’in bir düşünce deneyi şeklindeki güçlü yapay zeka sistemleri yaratma kararı için ahlaki bir bakış açısı gösterdi.

“Vicdan sahibi herkesin ‘Yapay zeka parçalarına hiç dahil olmak istemediğini’ dediğini hayal edin” dedi. “O zaman dahil olacak tek kişi, bu sözü görmezden gelen insanlar olacaktır – onlar, ‘ Sadece ne istersem onu ​​yapacağım.’Bu iyi olmaz.”

Bu doğru olabilir. Ancak bunu diğerlerinden daha az ikna edici bulduk, onları “Yapay zekalı bir sohbet botu olan kötü bir adamı durdurmanın tek yolu, yapay zekalı bir sohbet robotu olan iyi bir adamı davranışıtır” gibi kullanmak için – uzaklaştırmak bir tavır. diğer bağlamalar. Ayrıca, yapay zeka yarışı kızışsa ve güvenlik çabaları sonunda zarar vermeye başlasa bile Anthropic’in güdülerinin güvenli kalmasını varsayar.

Anthropic’teki herkes, görev kaymasının bir risk olduğunu genel olarak bilen – şirketin kurucu ortaklarının OpenAI’de olduğunu yönetenleri şey içiyor ve ayrılma nedenlerinin büyük bir parçası kullanılıyor. Ancak doğru önlemleri aldıklarından eminler ve nihayetinde güvenlik saplantılarının Silikon Vadisi’nde daha geniş bir alana yayılacağını umuyorlar.

Anthropic’in kurucularından biri olan Ben Mann, “Bir güvenlik yarışını bekliyoruz” dedi. “Farklı işletmeler ‘Bizim modelimizin en güvenlisi’ gibi olmasını istiyorum. Ve sonra başka bir şirket ‘Hayır, bizimmodel en güvenli olanıdır.’”

Sonunda Biraz İyimserlik

Anthropic’teki ölüm sonrasılarımdan burada Bay Mann ile konuştum. O, Google ve OpenAI’de çalışan rahat, Hawaii gömleği verilen bir mühendis ve Anthropic’te karşılaştığım en az müşteriler kişiydi.

İlk kalkanda Claude’un zekası ve empatisi karşısında “havaya götürdüğünü” ve yapay zeka dil modellerinin nihayetinde zarardan çok fayda sağlayacağını söyledi.

“Aslında çok hevesli değilim,” dedi. “Bence bu şeylerde ters gidebilecek ve olabilecek her şeyin oldukça farkındayız ve oldukça gurur duyduğumuz bir ton hafifletme yöntemi geliştirdik.”

İlk başta, Bay Mann’ın sakin iyimserliği sarsıcı ve yersiz merkezi – rengi kül görünümü atan yüzler denizinde soğuk bir güneş gözlüğü emojisi. Ancak orada daha fazla zaman geçirdikçe, şirket çalışanlarının çoğuna benzer görüşlere sahip olduğunu gördüm.

Yapay zeka verileri insani değerlere uymasını sağlama çabası için endüstri terimi olan yapay zeka uyumluluğu daha güçlü yapay zeka sistemleri gelene kadar çözülmezse ne olacağı konusunda saplantılı bir şekilde endişeleniyorlar. Ancak hizalamanın çözülebileceğine de hayal edebilirler. Ve yapay zekanın gidişatı Doğum en kıyameti andıran tahminleri bile (yüzde 20 yakın kıyamet olasılığı!) iyimserlik çekirdeklerini içeriyor (yüzde 80 yakın bir kıyamet olasılığı yok!).

Ve ziyaretimi sonlandırırken şöyle düşünmeye başladım: Aslında, belki teknoloji biraz daha kadercilik kullanır. Son nesil start-up kurucuları güvenliğe bu kadar kafayı takmış olsalardı veya araçların nasıl olduğu konusunda endişelenerek bu kadar çok zaman harcamış olsalardı, son on yıl kaç probleminden -seçim müdahalesi, yıkıcı patlamalar, aşırılıkçılık- kaçınılabilirdi? yanlış ellerde tehlikeli silahlara dönüşebilir mi?

Garip bir şekilde, Anthropic’in endişelerini güven verici olmaya başladı, bu Claude’un – muhafaza etmeyelim – biraz nevrotik olabileceği anlamı gelse bile. AI zaten biraz korkutuyor ve daha da korkutuyor. Bugün biraz daha fazla korku, yarın bizi çok fazla acıdan kurtarabilir.