原文連結： 完整專訪：「AI教父」分享對AI未來的預測並發出警告
我們上次交談是兩年一個月前。我很好奇，這兩年來，您對未來看法的期望是如何演變的。所以，AI的發展甚至比我想像的還要快。嗯，特別是它們現在有了這些AI代理，這些代理比僅僅回答問題的AI更危險，因為它們可以在世界上做事。 嗯，所以我認為事情，如果有的話，變得比以前更可怕了。嗯，我不知道我們是否想稱之為AGI、超級智慧，或者其他什麼，總之是非常有能力的AI系統。您心中是否有一個時間表，預計它何時會出現？所以，一年前，我認為很有可能在未來五年到二十年之間出現。 嗯，所以我想我應該相信很有可能在未來四年到十九年之間出現。嗯，我想我仍然是這麼猜測的。好吧。這比我們上次談話時更早，因為您當時還在考慮大約20年。是的。嗯，我認為它可能，你知道，現在很有可能在十年或更短的時間內出現。
AI發展速度與AGI時間表
那麼，在4到19年內，我們達到這一點。那會是什麼樣子？所以，我不太想推測如果它決定接管會是什麼樣子。它有很多種方式可以做到。而且我甚至不是在談論接管。我們可以談論那個。我肯定我們會談論那個。但是撇開那種接管不談，就像一個超級智慧的人工智慧，它能做些什麼，或者會做些什麼？所以，好的情景是，我們都會像是大公司的某種愚笨的CEO，他有一個 極其聰明的助理，實際上讓一切運作起來，但卻按照CEO的意願行事。所以CEO認為是他們在做事，但實際上都是助理做的，而CEO感覺非常好，因為他們決定的每件事都成功了。這是好的情景。
我聽說您指出了一些您認為未來有理由感到樂觀的領域。是的。是的。那麼我們逐一來看。像是醫療保健領域，它們在閱讀醫學影像方面會好得多，例如。那是一件小事。嗯，我幾年前做過一個預測，說它們現在會更好，而它們現在與專家水平相當。 嗯，它們很快就會好很多，因為它們將會有更多的經驗。這些東西中的一個可以查看數百萬張X光片並從中學習，而醫生做不到。嗯，它們會是非常好的家庭醫生。所以你可以想像一個家庭醫生，他看過一億人，其中包括六個患有你那種非常非常罕見疾病的人。 他們會是好得多的家庭醫生。一個能夠整合你的基因組資訊、你所有檢測結果以及你親屬所有檢測結果、整個病史並且不會忘記事物的家庭醫生。那樣已經會好很多很多了。嗯，AI結合醫生在困難病例的診斷方面比單獨的醫生要好得多。 所以我們將從這些東西中獲得更好的醫療保健，而且它們還會設計出更好的藥物。教育是另一個領域。是的，在教育領域我們知道，如果你有私人導師，你可以大約快兩倍的速度學習東西。嗯，這些東西最終會成為極好的私人導師，它們確切知道你不理解的是什麼，也確切知道該給你什麼例子來向你闡明，讓你理解。 所以也許有了這些東西，你可以三到四倍快地學習。嗯，這對大學來說是壞消息，但對人們來說是好消息。是的。您認為大學系統能挺過這個時期嗎？我認為它的許多方面會。我認為在一個好的大學裡，一個好的研究團隊中的研究生仍然是真正原創性研究的最佳來源，而且我認為這很可能會持續下去。 你需要一種學徒制度。有些人希望這能幫助解決氣候危機。我認為它會有幫助。嗯，它會製造出更好的材料。例如，我們將能夠製造出更好的電池。嗯，我確信AI會參與設計它們。嗯，人們正在用它從大氣中捕獲碳。 我並不確信這會成功，僅僅因為能源方面的考慮，但它或許可以。總的來說，我們將獲得更好的材料。我們甚至可能獲得室溫超導性，這意味著你可以在沙漠中擁有許多太陽能發電廠，而我們可以遠在千里之外。 還有其他我們應該提到的正面影響嗎？嗯，幾乎任何行業，它都會使其更有效率，因為幾乎每家公司都想從數據中預測事物，而AI非常擅長做預測。它幾乎總是比我們以前的方法更好。嗯，所以它將會導致生產力的大幅提升。 這意味著當你打電話給客服中心，當你打電話給 Microsoft 抱怨某樣東西壞了，然後你接通了客服中心，客服中心的人實際上會是一個AI，他會消息靈通得多。是的。幾年前我問您關於工作崗位流失的問題時，您似乎認為那不是一個大問題。 您現在還是這麼想嗎？不，我認為這將是一個大問題。過去幾年AI進步太大了，我的意思是，如果我在客服中心工作，我會非常擔心。是的。或者也許是律師、記者或會計師的工作。是的。任何做例行公事的工作，我認為調查記者會持續很長時間，因為你需要很多主動性加上一些道德上的憤慨，我想記者還能做一段時間。但除了客服中心，您對工作還有什麼擔憂？嗯，任何 例行工作，例如標準的秘書工作，像是律師助理，這些工作都完蛋了。您是否考慮過在所有這些工作都消失的世界裡，我們該如何前進？情況是這樣的。如果能夠提高生產力，理應讓每個人都受益。嗯，從事這些工作的人可以每週工作幾個小時，而不是每週60個小時。 嗯，他們不再需要做兩份工作了。他們可以因為使用AI助理而同樣高效，從而靠一份工作賺很多錢。但我們知道事情不會是那樣的。我們知道將會發生的是，極其富有的人會變得更加極其富有，而不太富裕的人將不得不做三份工作。
生存威脅：「P(Doom)」的可能性
現在我想，沒有人喜歡這個問題，但我們喜歡問它，關於「p doom」這個概念，它發生的可能性有多大，我很好奇您是否認為這是一件很有可能發生的事，或者只是因為它太糟糕了，即使可能性不是很高，我們也應該非常擔心它。您在那個機率尺度上的位置是哪裡？所以我認為，嗯，該領域的大多數專家都會同意，如果你考慮到這些東西會變得比我們聰明得多，然後就從我們手中奪走控制權，直接接管的可能性，那麼發生的機率非常 可能大於1%，並且非常可能小於99%。是的，我認為幾乎所有的專家都能同意這一點，但這並沒有太大幫助。不，但這是一個好的開始。它可能發生，也可能不發生，然後不同的人對數字有不同的看法。我不幸地在這點上同意 Elon Musk 的看法。 嗯，也就是說，這些東西接管的可能性大概是10%到20%。嗯，但這只是一個胡亂的猜測。是的。嗯，我認為理性的人會說，這遠遠超過1%，也遠遠低於99%。但我們正在處理我們毫無經驗的事情。嗯，我們沒有真正好的方法來估計機率是多少。 在我看來，事到如今，我們必然會找出答案。我們會找出答案。是的，我們，因為這些東西變得比我們聰明似乎是極有可能的。它們已經比我們知識淵博得多。所以，GPT4知道的比一個普通人多幾千倍。 它對所有事情都算不上是一個很好的專家，但最終它的繼任者將會成為所有事情的優秀專家。嗯，它們將能夠看到不同領域之間沒有人見過的聯繫。是的。是的。我也，我也很有興趣了解，好吧，有這個可怕的10%到20%的機率，但或者更多，或者更多或更少，或更少，但讓我們就假設有80%的機率它們不會接管並消滅我們。 所以那是最可能的情況。如果不是最壞的結果，您仍然認為這會是淨正面還是淨負面？好吧，如果我們能阻止它們接管，那將是件好事。唯一能做到這點的方法是我們投入認真的努力。但我認為一旦人們明白這是即將發生的事，就會有很大的壓力去投入認真的努力。 如果我們只是像現在這樣繼續下去，只顧著賺取利潤，那事情就會發生。它們將會接管。嗯，我們必須讓公眾向政府施壓，要求他們認真對待這件事。但即使AI沒有接管，也存在壞人利用AI做壞事的問题。例如大規模監控，這在中國已經發生了。 如果你看看中國西部維吾爾族的情況，嗯，AI對他們來說是災難性的。我為了搭飛機來Toronto，我必須接受美國政府的面部識別拍照。對。當我進入加拿大時，你把護照放進去，它會看著你，看著你的護照。每次它都認不出我。 嗯，其他人，它能識別來自不同國籍的人。它能識別我。它無法識別。而且我特別憤慨，因為我猜它用的是神經網路。你沒有設定例外，對吧？沒有。沒有。只是我身上有某些東西它不喜歡。嗯，我得找個地方把它加進去。所以，這裡跟任何地方一樣好。
諾貝爾獎的插曲
讓我們談談諾貝爾獎。您能描述一下您得知獲獎那天的情景嗎？所以，我當時半睡半醒。我的手機螢幕朝下放在床頭櫃上，聲音關掉了。但是當有電話進來時，螢幕會亮起來，我看到那條細細的光線，因為我剛好側躺在枕頭上，頭朝向這一邊，而手機在這裡，面對著我，而不是背對著。 剛好面對著手機。我看到那條細細的光線，我當時在California，那時是凌晨一點，而大多數打電話給我的人都在東岸或歐洲。是的。您不用「勿擾模式」嗎？不。不。好吧。嗯，我只是，我把聲音關掉。我把聲音關掉。知道了。 我當時只是好奇，到底是誰會在東岸時間凌晨四點打電話給我。這太瘋狂了。所以我接了起來，那是一個很長的電話號碼，國家代碼我不認識。然後一個瑞典口音的聲音響起，問是不是我，我說：「是的，是我。」 他們說：「我獲得了諾貝爾物理學獎。」嗯，我不搞物理啊，對吧？所以我當時想這可能是個惡作劇。事實上，我認為最有可能的情況就是這是個惡作劇。我知道諾貝爾獎快要頒發了。好吧。因為我非常關心Demis是否會獲得諾貝爾化學獎，而且我知道那會在第二天宣布。 好的。嗯，但我算是，我不搞物理。我是一個躲在電腦科學領域的心理學家，然後我得了諾貝爾物理學獎。是不是搞錯了？嗯，我想到的一件事是，如果這是個錯誤，他們能收回嗎？所以，接下來幾天，我做了以下的推理。那麼，一個心理學家獲得諾貝爾物理學獎的機率是多少？嗯，也許是兩百萬分之一。 現在，如果這是在我的夢中，我獲得諾貝爾物理學獎的機率是多少？嗯，也許是二分之一。所以，如果在我的夢中是二分之一，而在現實中是兩百萬分之一，那這就使得這是夢的可能性比這是現實的可能性大一百萬倍。接下來幾天，我到處想著，你知道，你確定這不是夢嗎？你把我帶進了這個非常古怪的領域，但這確實是這次討論的一部分。
我們活在模擬中嗎？
有些人認為我們生活在一個模擬世界中，而AGI並非證據，而是暗示我們可能生活在這樣的現實中。是的，我不太相信那個。我覺得那有點古怪。好吧，那麼我們把，但我並不認為，我並不認為這完全是胡說八道。我也看過《駭客任務》。喔，好吧。好吧。古怪，但不完全是。好吧。
我想這是我想要引導諾貝爾獎討論的方向。嗯，我想您曾說過類似這樣的話，您希望利用您的信譽向世界傳達一個訊息。您能解釋一下那是什麼嗎？是的。那就是AI潛在地非常危險，而且有兩類危險。
以信譽傳達警訊
壞人利用它做壞事，以及AI本身接管，這是兩種截然不同的威脅。我們知道壞人已經在利用它做壞事了。我的意思是，它在英國脫歐期間被用來以一種瘋狂的方式讓英國人投票離開歐洲。所以，一家叫做 Cambridge Analytica 的公司從 Facebook 獲取資訊並使用AI。 嗯，從那時起AI已經發展了很多。它可能被用來讓Trump當選。我的意思是，他們有來自Facebook的資訊，而且那可能對此有所幫助。我們不確定，因為這從未真正被調查過。嗯，但現在它更有能力了，所以人們可以更有效地將其用於像網路攻擊這樣的事情。 嗯，設計新的病毒。嗯，顯然還有用於操縱選舉的假影片。嗯，利用人們的資訊製作有針對性的假影片，只給他們那些會讓他們憤慨的內容。是的。嗯，自主致命武器。所有主要的武器銷售國都在忙著製造自主致命武器。 美國、俄羅斯、中國、英國和以色列。我想加拿大可能對此有點太懦弱了。那麼問題是該怎麼辦。您認為我們應該推行哪種類型的監管？
監管的必要性與挑戰
好的，所以我們需要區分這兩種不同的威脅：壞人利用它做壞事，以及AI本身接管。我主要談論的是第二種威脅，不是因為我認為它比其他威脅更重要，而是因為人們認為那是科幻小說。我想利用我的聲譽來說明，不，那不是科幻小說。我們真的需要擔心那個。嗯，如果你問我們應該怎麼做，這不像氣候變遷。 氣候變遷，只要停止燃燒碳，長遠來看一切都會好起來。短期內會很糟糕，但長遠來看，如果你不燃燒碳，一切都會好起來。嗯，對於AI接管，我們不知道該怎麼辦。我們不知道。例如，研究人員不知道是否有任何方法可以防止這種情況發生，但我們當然應該非常努力地嘗試，而大公司不會這麼做。 如果你看看大公司現在在做什麼，他們正在遊說減少AI監管。現在幾乎沒有任何監管，但他們想要更少，因為他們想要短期利潤。我們需要人們向政府施壓，堅持要求大公司進行認真的安全研究。所以在California，他們有一項非常明智的法案，1047號法案，其中規定大公司至少必須仔細測試產品並報告測試結果。 他們甚至不喜歡那樣。那麼這是否讓您認為監管不會發生，或者它如何發生？這在很大程度上取決於我們得到什麼樣的政府。嗯，我認為在現任美國政府下，監管是不會發生的。嗯，所有大型AI公司都已經和Trump勾搭上了，是的，情況就是這麼糟糕。
Elon Musk的角色與開源權重的爭議
Elon Musk，他顯然與Trump政府關係密切，長期以來一直關注AI安全問題。是的，他是個有趣的混合體。嗯，他有些瘋狂的觀點，比如去火星，我認為那完全是瘋狂的。然而，是因為它不會發生，還是因為它不應該是優先事項？ 因為無論你把地球搞得多糟，它永遠都會比火星宜居得多。即使發生了全球核戰，地球也會比火星宜居得多。火星根本就不宜居。嗯，顯然他做了一些偉大的事情，比如電動車，以及用他的Starlink幫助烏克蘭通訊。 嗯，所以他做了一些好事，但現在他似乎嗯，被氯胺酮的能量驅動著，而且嗯，他正在做很多瘋狂的事情。所以他的觀點很奇特。所以，他過去對AI安全的關注，並不能讓您對現任政府感覺好一些。我不認為這會減緩他用AI做不安全事情的速度。 所以，他們已經在釋出他們AI大型語言模型的權重了。嗯，那真是瘋狂的舉動。好吧。這些公司不應該釋出權重。Meta釋出權重。OpenAI剛宣布他們即將釋出權重。您認為那是，我不認為他們應該那麼做，因為一旦你釋出權重，你就移除了使用這些東西的主要障礙。 所以，如果你看看核武器，只有少數國家擁有核武器的原因是因為很難獲得裂變材料。如果你能在Amazon上買到裂變材料，那麼更多的公司，更多的國家將會擁有核武器。嗯，AI的裂變材料相當於大型模型的權重，因為訓練一個真正大型的模型需要數億美元。 也許不是最後的訓練運行，而是最終訓練運行之前所做的所有研究。數億美元，這是一個小邪教組織或一群網路犯罪分子負擔不起的。嗯，一旦你釋出權重，他們就可以從那裡開始，然後用幾百萬美元對其進行微調，以用於各種各樣的事情。 所以我認為釋出權重簡直是瘋狂的，人們把它說成是開源，但它與開源非常非常不同。在開源軟體中，你釋出程式碼，然後很多人會查看那些程式碼，說，嘿，那一行可能有個錯誤，於是他們就修復它。當你釋出權重時，人們不會查看權重然後說，嘿，那個權重可能有點問題。 不，他們只是拿著這個基礎模型和他們現在擁有的權重，然後訓練它去做壞事。是的。然而，這個論點的問題，正如您的前同事 Yann LeCun 等人所闡述的那樣，是另一種情況：您讓極少數公司控制著這項極其強大的技術。 我認為那比每個人都控制著這項極其強大的技術要好。我的意思是，對於核武器你也可以這麼說。你希望只有少數國家控制它們，還是你認為每個人都應該擁有它們？
對主要AI公司與Google的擔憂
我從中體會到的一點是，您確實擔心，聽起來像是所有主要公司目前所做的，是為了社會的最佳利益，而不是為了他們的利潤動機。這樣理解您對嗎？我認為公司的運作方式是，法律要求它們為股東爭取最大利潤。它們沒有法律義務。嗯，也許公益公司有，但大多數公司沒有法律義務去做對社會有益的事情。您今天會對哪家公司（如果有的話）感到滿意地為其工作？我以前對為 Google 工作感到滿意，因為 Google 非常負責任。 嗯，它沒有釋出這些大型的，它是第一個擁有這些大型聊天機器人的公司，但它沒有釋出它們。嗯，我今天為他們工作會感到不那麼開心。嗯，是的，我今天不會樂意為他們中的任何一家工作。如果我為他們中的任何一家工作，我會比大多數其他公司更樂意選擇Google。但是當Google違背其不支援AI軍事用途的承諾時，您是否感到失望？非常失望。 我特別失望，因為我知道Sergey Brin不喜歡AI的軍事用途。但您認為他們為什麼這麼做？我沒有任何內部消息可以推測。我沒有任何關於他們為何這麼做的內部消息。我可以推測他們擔心，如果他們不使用他們的技術為美國製造武器，現任政府會虐待他們。 這可能是我今天問你最棘手的問題。你現在是否仍然持有大量Google股票？嗯，我持有一些Google股票。嗯，我的大部分儲蓄不再是Google股票了。嗯，但是，是的，我持有一些Google股票，當Google股價上漲時，我很高興，當它下跌時，我很不高興。所以，我與Google有既得利益關係。 但如果他們實施了強力的AI監管，使得Google價值降低，但增加了人類生存的機會，我會非常高興。嗯，最知名的實驗室之一顯然是OpenAI，他們流失了許多頂尖人才。您對此有何看法？
OpenAI的動盪
嗯，OpenAI成立的初衷是為了安全地發展超級智慧，但隨著時間的推移，安全問題越來越被置於次要地位。他們本來打算將一定比例的運算資源用於安全，但後來他們食言了。所以，現在他們試圖上市。他們現在不是想成為一家營利公司。嗯，據我所知，他們試圖擺脫所有對安全的承諾。所以，他們流失了很多非常優秀的研究人員，特別是我以前的一位學生，Ilia Sutskever，他是一位非常優秀的研究人員，也是他們開發GPT2以及後來的GPT4的主要貢獻者之一。 嗯，在導致他離職的那些戲劇性事件發生之前，您和他談過嗎？不，他非常謹慎。他不會跟我談論任何對OpenAI來說是機密的事情。嗯，我為他開除Sam Altman感到相當自豪，儘管那非常天真。所以問題是，OpenAI即將進行新一輪融資，在那輪新融資中，所有員工都將能夠將他們在OpenAI股份中的紙面財富轉換成真金白銀。是的。 紙上富貴，意思是說，如果OpenAI倒閉，這些錢就會消失。現在是起義的艱難時刻。所以，在大家即將透過兌現股票各獲得大約一百萬美元，甚至更多的前一兩個星期。嗯，也許更多。那可不是起義的好時機。所以，員工們大規模地站出來支持Sam Altman。 但這並非因為他們想要Sam Altman，而是因為他們想要能夠把他們的紙上富貴變成真金白銀。是的。所以，當時那麼做是天真的。他犯了那個錯誤，您感到驚訝嗎？或者這就是您預期中那種有原則但或許沒有經過充分計算的決定？我不知道。 Ilia非常聰明，並且有很強的道德羅盤。所以，他在道德方面很好，技術方面也非常出色，但在操縱人心方面，他可能不太擅長。嗯，這有點像個未知數的問題，但我確實認為它很有趣，並且與該領域相關，也與人們討論正在發生的事情相關。
保密協議與透明度問題
您談到Ilia很謹慎。整個行業似乎都存在這種保密協議（NDA）的文化，因此很難知道人們在想什麼，因為人們不願意或無法討論正在發生的事情。我不確定我能否對此發表評論，因為當我離開Google時，我想我不得不簽署一大堆保密協議。 事實上，當我加入Google時，我想我必須簽署一大堆保密協議，這些協議在我離開後仍然適用，但我完全不知道它們說了些什麼。我已經不記得了。您是否因此感到有所束縛？沒有。好吧。不過，您認為公眾更難理解正在發生的事情，是否因為人們不被允許告訴我們正在發生的事情，這是一個因素嗎？我真的不知道。 你必須知道。你必須知道哪些人不告訴你。好吧。所以你並不認為這是一個，我不認為這是一個大問題。這是一個大問題。知道了。我認為OpenAI似乎有一些規定，說如果你已經獲得了股份，他們可以把錢從你那裡拿走，這是一件大事。 嗯，是的，我認為那是一件大事，當那件事公諸於世後，他們很快就讓步了。那是他們的公開聲明所說的。他們沒有向公眾出示任何合約來判斷他們是否撤銷了那項規定，但他們說他們已經撤銷了。是的。嗯，有一些重要且敏感的事情。 「熱門按鈕」其實不是個好詞，但我想聽聽您對這些相關議題的看法。其中一個是美國以及西方國家對中國在AI發展方面的態度。您是否同意我們應該試圖限制中國的這個想法？有出口管制這個想法，還有民主國家應該首先達到AGI的這個想法。
美中AI關係與合作
您對此有何看法？首先，你必須決定哪些國家仍然是民主國家。嗯，我的想法是，長遠來看，這不會有太大區別。它可能會讓事情延遲幾年，但顯然，如果你阻止中國獲得最先進的技術，人們知道這種先進技術是如何運作的。 所以，中國剛剛投入了數十億，也許是數千億，我想大約是一千億，用於製造光刻機，或者用於發展他們自己的本土技術來做這些事情。嗯，所以這會讓他們慢一點，但實際上會迫使他們發展自己的產業，長遠來看，他們非常有能力，他們會做到的，所以這只會讓事情慢幾年。 但「競賽」是正確的框架嗎？我們不應該試圖與共產中國合作。我不會再把它描述為共產主義了。我特意用了這個帶有特定含義的詞，因為你為什麼不合作，對吧？不合作的唯一理由是你認為他們是一股惡性力量。嗯，在某些領域我們不會合作，這裡的「我們」，我想，我不確定「我們」現在是誰了，因為我現在在加拿大，而我們過去常指加拿大和美國，但現在不是了。是的。 嗯，顯然各國不會在發展致命自主武器方面合作，因為致命自主武器是用來對付其他國家的。所以，但是我們在其他類型的武器上簽訂過條約，正如您所指出的。我們可以簽訂條約不發展它們，但是在讓它們變得更好方面進行合作。 他們不會那麼做的。當然。當然。當然。現在有一個領域他們會合作，那就是關於生存威脅。如果他們真的開始認真擔心生存威脅並採取行動，他們會在如何阻止AI接管方面進行合作，因為我們都在同一條船上。 所以，在冷戰高峰期，蘇聯和美國在防止全球核戰方面進行了合作，即使是非常敵對的國家，當他們的利益一致時也會合作，而當AI對抗人類時，他們的利益就會一致。嗯，有一個關於合理使用的問題，將數十億人在多年間創造的內容，在未經許可的情況下被收集起來，並重新用於訓練模型，而這些模型將取代那些創造了訓練數據的人，這樣做是否可以接受？您對此持何立場？
合理使用與創作者權益
我想我在這個問題上有些搖擺不定，因為這是一個非常複雜的問題。所以，起初看來，是的，他們應該為此付費。但是假設我有一個音樂家，他創作了一首特定風格的歌曲，然後問，他是如何創作出那種風格的歌曲的？他創作那種風格歌曲的能力是從哪裡來的？嗯，是來自聆聽該風格其他音樂家的歌曲。 所以他們聽這些歌，他們在某種程度上內化了歌曲的結構，然後他們創作出那種風格的東西，而他們創作出來的東西是不同的。所以這不是盜竊，而且這是被接受的。嗯，AI做的就是這樣。AI吸收所有這些資訊，然後產生新的東西。 它不僅僅是拿來然後拼湊在一起。它是在產生具有相同潛在主題的新事物。所以這並不比一個人做同樣事情時更像是偷竊。但問題是，它正在以巨大的規模進行。而且從來沒有哪個音樂家讓所有其他音樂家都失業。正是。 例如在英國，政府似乎對保護創意藝術家沒有任何興趣。如果你看看經濟，創意藝術家對英國來說價值連城。所以我有一個朋友叫 BB Bankron，他說我們應該保護創意藝術家。這對經濟非常重要，而任由AI將其全部奪走，似乎不公平。
全民基本收入（UBI）
UBI，全民基本收入，您認為這是解決AI取代就業問題的方案之一嗎？我認為這可能是防止人們挨餓所必需的。嗯，我認為這並不能完全解決問題，但即使你有相當高的UBI，對很多人來說，這並不能解決人類尊嚴的問題，嗯，他們是誰，特別是對學者來說，他們是誰，是與他們的工作交織在一起的。 那就是他們是誰。如果他們失業了，僅僅得到同樣的錢並不能完全彌補。他們不再是他們自己了。是的。我也傾向於這麼認為。不過我曾看過您在某個時候引用過這樣一句話，您說如果您是個木匠，您可能會更快樂。嗯，是的，因為我真的很喜歡當木匠。 有沒有另一種可能，你晚出生一百年，不必把所有時間浪費在這些神經網路上，只需要享受木工，同時每月領取收入？是的，但這與把木工當作業餘愛好和以此為生是有區別的。 以此為生更真實。所以您不認為未來我們可以追求自己的嗜好，而不必為經濟做出貢獻？那樣可能很好。是的。嗯，如果每個人都那麼做，但如果你屬於某個弱勢群體，領取全民基本收入，而且你的收入比其他人少，因為雇主會希望你這麼做，這樣他們才能讓其他人為他們工作。 那將會非常不同。我對「機器人權利」這個概念很感興趣。我不知道是否有更好的詞來形容它，但在某個時候，你將擁有這些極其聰明的AI。它們將具有能動性，並在世界上做各種各樣的事情。它們是否應該能夠擁有財產？它們是否應該能夠投票？它們是否應該能夠在充滿愛的關係中與人類結婚？像是，或者即使它們只是比我們更聰明，而且如果它是一種比我們現有智慧更好的智慧形式，它們是否應該可以
機器人權利
就這樣接管，而人類成為歷史？是的，讓我們稍後再談那個更大的想法。我很好奇那個更狹隘的想法，除非您認為那些狹隘的問題無關緊要，因為那個大問題優先。不，我認為那個狹隘的問題無關緊要。是的。所以，我以前擔心這個問題。 我以前想，嗯，如果它們比我們聰明，嗯，為什麼它們不應該擁有和我們一樣的權利？是的。而現在我想，嗯，我們是人。我們關心的是人。嗯，我吃牛。我的意思是，我知道很多人不吃，但我吃牛。我之所以樂於吃牛，是因為它們是牛。嗯，而我是人。嗯，對於這些超級智慧的AI也是如此。 它們可能比我們聰明，但我關心的是人。所以，我願意對它們刻薄。我願意剝奪它們的權利，因為我想要對人最好的。是的。嗯，現在它們不會同意，而且它們可能會贏，但這是我目前對AI是否應該擁有權利的立場，也就是說，即使它們有智慧，即使它們有感覺、情緒和感受以及所有那些東西，嗯，它們不是人，而人是我所關心的，但它們看起來會非常像人。 我覺得它們會，它們將能夠假裝。是的。它們將能夠看起來非常像人。是的。是的。您是否懷疑我們最終會給予它們權利？我不知道。好吧。我傾向於避免這個問題，因為有更緊迫的問題，比如AI的濫用，或者它們是否會試圖接管以及如何防止這種情況的問題。是的。
胚胎篩選的倫理
而且如果你開始談論它們擁有權利，聽起來有點靠不住。當你談到那裡時，大多數人都已經跟不上了。即使只談論人，似乎很快，如果還沒到來的話，就會出現這種利用AI來選擇我們生育什麼樣的嬰兒的能力。您對那方面有任何擔憂嗎？胚胎篩選，您是指篩選性別，還是篩選智力、眼睛顏色、患胰腺癌的可能性，以及，你知道，清單可以一直列下去，列出所有我們可能篩選的事項。我想 如果你能選擇一個不太可能得胰腺癌的嬰兒，那將是一件很棒的事。我願意這麼說。好吧。所以我們，這是我們應該追求的事情。我們應該製造更健康、更強壯、更好的嬰兒。嗯，這是非常困難的領域。對。是的。所以我才問這個。但它的某些方面，嗯，對我來說似乎是有道理的。 例如，如果你是一對正常的健康夫婦，你有一個胎兒，你可以預測它將會有非常嚴重的問題，而且可能活不了多久。嗯，在我看來，墮胎然後生一個健康的嬰兒是有道理的。這對我來說似乎很合理。現在，我知道很多有宗教信仰的人完全不會同意。 嗯，但對我來說，如果你能可靠地做出那些預測，嗯，那對我來說似乎就是有道理的。我一直有點拖延著我們，沒有直接談論我認為您希望人們從中領會到的核心內容，那就是機器接管的想法及其影響。所以，我想就此進行盡可能充分的討論，或者說我們能做到的程度。
AI接管威脅的深度剖析
例如，您想如何闡述這個問題？人們應該如何思考它？需要記住的一點是，您知道多少個智慧較低的物體控制智慧高得多的物體的例子？所以我們知道，當物體的智慧大致相等時，智慧較低的一個可以控制智慧較高的一個。嗯，但在智慧差距很大的情況下，智慧較高的一個不受控制的例子非常非常少。 所以這是個大問題，你應該記住。我認為我們現在所處的情況，從情感上理解的最佳方式是，我們就像擁有一隻非常可愛的小老虎的人。它真是隻可愛的小老虎。現在，除非你非常確定它長大後不會想殺了你，否則你應該擔心。嗯。 延伸這個比喻，你把它關進籠子裡，你殺了它。你怎麼處理這隻小老虎？嗯，關於小老虎的重點是，它只是身體比你強壯。所以，你仍然可以控制它，因為你更聰明。是的。嗯，比你更聰明的事物。我們沒有那方面的經驗，對吧？人們不習慣思考這個問題。 人們認為不知怎的你能約束它。你不允許它按按鈕之類的。嗯，比你聰明的事物，它們將能夠操縱你。所以另一種思考方式是，想像一下，有一個幼兒園。裡面有兩三歲的孩子，這兩三歲的孩子是負責人，而你只是在幼兒園為他們工作，而且你的智力並不比一個兩三歲的孩子高多少。 與超級智慧相比不算什麼，但你確實更聰明。嗯，那麼你要控制局面有多難？嗯，你只要告訴他們所有人，你們都可以得到免費的糖果，如果他們只是簽署這個，或者只是口頭同意這個，嗯，你們就可以隨心所欲地得到免費糖果。然後你就能控制局面了。 他們根本不知道發生了什麼事。而對於超級智慧，它們將比我們聰明得多，我們根本不知道它們在搞什麼鬼。那麼我們該怎麼辦？嗯，我們擔心是否有辦法建造一個超級智慧，讓它不想奪取控制權。 我不認為如果它想奪取控制權，有辦法阻止它。所以有一種可能性是永遠不要建造超級智慧。您認為那可能嗎？我的意思是，這是可以想像的，但我認為這不會發生，因為國家之間、公司之間的競爭太激烈了，它們都在追逐下一個閃亮的東西，而且發展得非常非常快。 所以我認為我們無法避免建造超級智慧。這將會發生。問題是，我們能否以這樣一種方式設計它，讓它永遠不想奪取控制權，讓它永遠是仁慈的。嗯，這是一個非常棘手的問題。人們只是說，嗯，我們會讓它與人類的利益保持一致。但人類的利益本身並不一致。 如果我說我有兩條成直角的線，而我希望你給我看一條與它們都平行的線。那有點棘手，對吧？如果你看看中東，例如，有些人有非常強烈的觀點，而且這些觀點並不一致。那麼你要如何讓AI與人類的利益保持一致呢？人類的利益本身並不一致。所以這是一個問題。 要弄清楚如何讓超級智慧不想接管，也不想傷害我們，這將會非常困難。嗯，但我們當然應該嘗試。而嘗試，有點像一個反覆的過程。月復一月，年復一年，我們嘗試，是的。所以顯然，如果你要開發某種東西，當它只比你稍微不那麼聰明一點時，它可能就想接管了，而我們現在已經非常接近那個地步了，嗯，你應該好好看看它會做些什麼來試圖接管。所以如果你看看目前的AI， 你可以看到它們已經有能力進行蓄意欺騙。它們有能力假裝比實際更笨。嗯，它們會對你撒謊，以便迷惑你，讓你無法理解它們在做什麼。嗯，我們需要非常清楚地意識到所有這些，並研究所有這些，研究是否有辦法阻止它們那麼做。
Hinton觀點的轉變：從類比到數位的頓悟
幾年前我們談話時，我很驚訝您表達了擔憂，因為您以前很少這麼做，而現在您非常清晰且大聲地表達了這些擔憂。主要是因為您覺得更自由地說這些話，還是這幾年您對此的看法真的發生了巨大的轉變？幾年前我們談話時，我當時還在Google工作。 那是在三月，而我直到四月底才辭職。嗯，但我當時就在考慮離開了。嗯，在我們談話之前，我曾有過一次頓悟，我意識到這些東西可能是一種比我們更好的智慧形式。那讓我非常害怕。而您以前不這麼認為，只是因為您認為時間跨度如此不同。 不，不僅僅是那樣。那是因為我在Google做的研究。好吧。我當時試圖弄清楚是否可以設計出耗電量小得多的類比大型語言模型。嗯。嗯，然後我開始充分意識到數位的優勢。所以我們目前擁有的所有模型都是數位的。 如果你是一個數位模型，你可以在好幾個不同的硬體上運行完全相同的神經網路，使用相同的權重，例如數千個不同的硬體。然後你可以讓一個硬體查看網際網路的某一部分，另一個硬體查看網際網路的另一部分。 每個硬體都可以說，我該如何改變我的內部參數，我的權重，以便吸收我剛剛看到的資訊。每個獨立的硬體都可以做到這一點。然後它們可以簡單地平均所有權重的變化，因為它們都以完全相同的方式使用相同的權重。 所以平均是有意義的。你和我做不到。如果它們有一萬億個權重，它們每次進行這種平均時，都會共享大約一萬億位元的資訊。現在你和我，當我想把一些知識從我的腦袋傳到你的腦袋時，我不能只是把神經元之間連接的強度拿來和你神經元之間連接的強度平均一下，因為我們的神經元是不同的。 我們是類比的，我們的大腦就是非常不同的。所以我能把知識傳給你的唯一方法就是我做一些動作，如果你信任我，你就會嘗試改變你大腦中的連接強度，這樣你也許會做同樣的事情。如果你問，嗯，那效率有多高？嗯，如果我給你一個句子，它最多也只有幾百位元的資訊。所以，那非常慢。 我們每秒只傳輸幾位元。這些在數位系統上運行的大型語言模型每秒可以傳輸數萬億位元。所以，它們在共享資訊方面比我們強數十億倍。那讓我害怕。對。但是讓您驚訝或改變您想法的是，您以前認為類比將是途徑。 不，我當時在想，如果我們想要使用更少的電力，是的，我們應該考慮是否有可能以類比方式做到這一點。是的。而且因為你可以使用更少的電力，你也可以在系統設計上更馬虎。因為將會發生的是，你不必製造一個完全按照你的指令運作的系統，而電腦就是這樣的。 你可以製造一個有很多誤差的系統，而它會學會使用那個有誤差的系統，我們的大腦就是這樣。您認為這項技術不再注定走向那個解決方案，而是會堅持數位解決方案嗎？我想它很可能會堅持數位解決方案。
AI研究與大腦理解的進展
現在，我們很有可能讓這些數位電腦設計出比我們更好的類比硬體。嗯，我認為這可能是長遠的未來。您進入這個領域是因為您想知道大腦是如何運作的。是的。您認為我們透過這個更接近那個目標了嗎？我想有一段時間我們確實如此。 所以我認為我們在一個非常普遍的層面上學到了很多關於大腦如何運作的知識。所以30年前或50年前，如果你問人們，嗯，你能否擁有一個大型隨機神經網路，具有隨機的連接強度，然後你能否向它展示數據，讓它學會做一些困難的事情，比如識別某人在說什麼，或者僅僅透過向它展示大量數據來回答問題？幾乎每個人都會說：「那太瘋狂了。」 你不可能做到那樣。它必須有許多來自演化的預先設定的結構。嗯，結果他們錯了。結果你可以擁有一個大型隨機神經網路。嗯，而且它可以僅僅從數據中學習。現在，這並不意味著我們沒有很多預先設定的結構，但基本上我們所知道的大部分來自於從數據中學習，而不是來自所有這些預先設定的結構。 所以，這在理解大腦方面是一個巨大的進步。現在，問題是你如何獲得告訴你是否應該增加或減少連接強度的資訊？如果你能獲得那些資訊，我們知道我們就可以訓練一個從隨機權重開始的大型系統來做一些奇妙的事情。大腦需要獲得類似的資訊，而且它獲得資訊的方式可能與這些大型AI模型中使用的標準演算法不同，那種演算法叫做反向傳播。 大腦可能不使用反向傳播。沒有人能弄清楚它可能是如何做到的。嗯，它可能以不同的方式獲取梯度資訊，也就是改變一個權重將如何改善性能。但我們現在確實知道，如果它能獲得那些重要的資訊，它就能非常有效地學習。 您知道現在是否有任何實驗室正在利用他們的模型來尋求AI發展的新思路嗎？幾乎可以肯定。好吧。是的。特別是 DeepMind 非常有興趣利用AI來進行科學研究。而AI本身就是一門科學。當然。我的意思是，您在那裡的時候是否嘗試過類似的事情？例如這種「自舉」(bootstrapping) 的想法，也許下一個創新可以由AI本身創造出來。所以其中有一些元素。
情緒影響與實際應對
例如，他們曾使用AI來佈局將用於AI的晶片。所以Google的AI晶片，嗯，他們的嗯，張量處理單元。嗯，他們使用AI來開發那些晶片。所以我很好奇，在您的日常生活中，您是否會感到絕望。您是否為未來感到恐懼，並認為未來不會那麼好。 我不絕望，但主要是因為即使是我，也很難認真對待它。啊，很難讓你的頭腦理解我們正處於歷史上這個非常非常特殊的時刻，在一個相對較短的時間內，一切都可能完全改變，一種我們從未見過規模的改變。嗯，從情感上很難吸收這一點。 是的。而且我確實注意到，即使人們可能感到擔憂，我也從未見過任何抗議活動。圍繞著這個世界正在改變的想法，並沒有真正的政治運動，而且似乎沒有人真正關心太多。嗯，在AI研究人員中，人們對此的意識更強。嗯，所以我認識的那些對此最感到沮喪的人是認真的AI研究人員。 嗯，我已經開始做一些實際的事情，例如因為AI將非常擅長設計嗯，網路攻擊。嗯，我認為加拿大的銀行不再安全了。所以加拿大的銀行可以說是最安全的了。好吧？與美國銀行相比，它們受到非常好的監管。嗯，但在未來10年內，如果發生網路攻擊導致加拿大銀行倒閉，我一點也不會感到驚訝。 「倒閉」是什麼意思？假設銀行持有我擁有的股票，對吧？假設網路攻擊賣掉了那些股票。現在我的錢沒了。所以我現在實際上把我的錢分散到三家銀行。好吧。所以現在你的床墊。這是我做的第一件實際的事情，因為我認為如果一次網路攻擊摧毀了一家加拿大銀行，其他銀行就會更加認真起來。好吧。 還有其他類似的嗎？還有什麼？那是主要的事情。那是我注意到我確實做了一些實際行動的地方。那源於我的信念，即嗯，非常可怕的時代即將來臨。好吧。嗯，幾年前我們談話時，您曾說過，你知道，AI就像個白痴天才，但人類在推理方面仍然好得多，對吧？那已經改變了。好吧。
AI推理能力的躍進與加速發展
請解釋。以前，大型語言模型所做的是一次吐出一個詞，然後就這樣了。現在它們吐出詞語，並且它們會看著自己吐出的詞語。而且它們會吐出一些還不是問題答案的詞語。它們會吐出一些詞語。 這叫做「思維鏈」推理。所以現在它們可以反思它們已經吐出的詞語。這給了它們一些思考的空間，而且你可以看到它們在想什麼。這很棒。是的。嗯，如果你是個研究員，這很棒。很多來自傳統AI領域的人說：「嗯，你知道，這些東西不能推理。 它們並非真正有智慧，因為它們無法推理。你需要使用傳統的AI，將事物轉換成邏輯形式才能進行適當的推理。嗯，他們完全錯了。嗯，神經網路將會進行推理。而它們進行推理的方式就是透過這種思維鏈，透過吐出一些它們沒有反思過的東西。是的。 您在開頭時說，過去兩年發展速度比您預期的要快。還有其他類似的例子嗎？您看到哪些事情讓您說：「哇，這速度真快。」那是主要的例子。它在生成圖像等方面也進步了很多，但主要的是它現在可以很好地進行推理了。好吧。
科技巨頭在華府的影響力與利潤動機
而且你可以看到它在想什麼。例如，那為什麼重要，或者那會導致什麼有意義的結果？嗯，你能看到它們在想什麼，這非常好，因為有一些例子，你給它目標。你給它一個目標，然後你可以看到它為了達到這個目標而進行推理，透過欺騙他人，你可以看到它在那麼做。 就像我能聽到你腦海中的聲音。是的。另一件我們已經談過，但或許我不知道您是否還有更多想說的，那就是，有如此多的科技界人士現在在華盛頓特區扮演著重要角色，而此刻華盛頓特區的所作所為可能對這項技術的發展和監管至關重要，這真是引人注目。 那讓您擔心嗎？您怎麼看？那些科技界人士主要關心的是他們公司的盈利。所以那讓我非常擔心。是的。我不明白事情如何真正改變，除非有強力的監管，或者這脫離了這種營利模式。而且我也不明白那些事情如何發生。 我認為如果公眾意識到正在發生的事情，他們會對政府施加很大的壓力，堅持要求AI公司更安全地發展這項技術。好吧，這是我能做的最好的了。這不是很令人滿意，但這是我能想到的最好的。而「更安全」意味著這些公司投入更多資源進行安全研究。是的。
Anthropic：相對注重安全的參與者
例如，他們花在安全研究上的運算時間比例應該是一個顯著的比例，比如三分之一。而現在，這個比例要小得多得多。有一家公司，Anthropic，比其他公司更關心安全。它是由一些因為OpenAI不夠關心安全而離開OpenAI的人創立的，旨在關心安全。 而Anthropic確實花了更多時間在安全研究上，但可能仍然不夠。許多人認為OpenAI在這些議題上說得很好聽，但並沒有踐行這些價值觀。這是您的看法嗎？是的。您看到什麼證據證明這一點？他們所有最優秀的安全研究人員都離開了，因為他們也相信這一點。 嗯，他們成立時是一家旨在發展區域安全的公司，他們的主要目標不是賺取利潤，而是發展我們的安全，而他們現在正忙著遊說California州檢察長，允許他們轉型為一家營利公司。嗯，這方面有很多證據，對吧？嗯，我應該給您一個機會，在這裡表揚任何一個好的行為者，讓大家感覺好一些。 您提到了Anthropic。是那個名字嗎？或者您認為有哪些公司？Anthropic是最關心安全的公司，許多離開OpenAI的安全研究人員都去了Anthropic，所以Anthropic更有關心安全的文化。好吧。但是，嗯，它們有來自大公司的投資。是的。你必須從某個地方獲得資金，我擔心那些投資會迫使它們比應該的速度更快地發布產品。 當我問您願意為哪家公司工作時，您說沒有一家，我想，或者只是也許Google。我應該說也許Google，Anthropic。好吧。非常感謝您今天抽出這麼多時間，以及接下來的時間。我真的很感激。好吧。您還沒得到剩下的呢。 我還沒拿到，我指望著呢。