原文連結： AI 教父 Geoffrey Hinton 談超級智慧的未來與風險

他們稱您為 AI 教父，那麼您會對人們在超級智慧時代的職業前景說些什麼呢？去學做水管工。真的嗎？好，我要去當水管工。Jeffrey Hinton 是諾貝爾獎得主，一位開創性的先驅，他的突破性工作塑造了 AI 和人類的未來。為什麼他們稱他為 AI 教父？因為沒有多少人相信我們可以模仿大腦來建立 AI 模型，讓它學會做複雜的事情，比如識別圖像中的物體，甚至進行推理。而我推動這種方法長達 50 年，然後 Google 收購了這項技術，我在那裡工作了 10 年，研究現在 AI 中經常使用的東西。然後您離開了，為什麼？這樣我就可以在一個會議上自由地發言。您想自由地談論什麼？AI 可能有多危險。我意識到這些東西總有一天會比我們更聰明，而我們從未處理過這種情況。如果你想知道當你不再是頂級智慧時生活是什麼樣子，問問雞就知道了。所以，有些風險來自人們濫用 AI，還有一些風險來自 AI 變得超級聰明並決定它不再需要我們。這是真實的風險嗎？是的，它是。但他們不會阻止它，因為它對太多事情來說太好了。那法規呢？他們有一些，但並非旨在應對大多數威脅，例如歐洲的法規有一條款說，這些都不適用於 AI 的軍事用途。真的嗎？是的，這太瘋狂了。您的一位學生離開了 OpenAI。是的，他可能是早期版本 ChatGPT 開發背後最重要的人，我想他離開是因為他有安全方面的擔憂。我們應該認識到這東西是生存威脅，我們必須面對這樣一種可能性：除非我們盡快採取行動，否則我們已接近末日。那麼，讓我們來談談風險。在這樣的世界裡，我們最終會做什麼？

這件事一直讓我有點難以置信，收聽這個節目常客中，有 53% 的人還沒有訂閱。所以在我們開始之前，我能請您幫個忙嗎？如果您喜歡這個節目，喜歡我們在這裡所做的事情，並且想支持我們，一個免費簡單的方法就是點擊訂閱按鈕。我對您的承諾是，如果您這樣做，那麼我和我的團隊將竭盡所能，確保這個節目每週都為您變得更好。我們會聽取您的反饋，我們會找到您希望我採訪的嘉賓，我們會繼續做我們所做的事情。非常感謝。

AI 教父的由來與早期信仰

Jeffrey Hinton，他們稱您為 AI 教父，呃，是的，他們是這麼叫我的。他們為什麼這麼叫您？因為相信我們能讓神經網路——人工神經網路——運作的人並不多。所以很長一段時間，從 1950 年代開始，AI 領域大概有兩種想法。一種想法是，人類智慧的核心是推理，而要進行推理，你需要使用某種形式的邏輯。因此，AI 必須以邏輯為基礎，在你的頭腦中，你必須有類似符號表達式的東西，你用規則來操縱它們，這就是智慧運作的方式。而像學習或類比推理這樣的事情，都要等到我們弄清楚基本推理如何運作之後才會出現。還有另一種不同的方法，那就是說，讓我們以大腦為模型來建構 AI，因為顯然大腦使我們具有智慧。所以在電腦上模擬一個腦細胞網路，並試圖找出如何學習腦細胞之間連接的強度，以便它學會做複雜的事情，比如識別圖像中的物體、識別語音，甚至進行推理。我推動這種方法大概有 50 年了，因為相信它的人太少了，沒有多少好的大學有相關的研究團隊。所以如果你做這個，那些相信這個的優秀年輕學生就會來和你一起工作。所以我非常幸運，得到了一大批非常優秀的學生，其中一些人後來創建了像 OpenAI 這樣的平台，並在其中扮演了重要角色。是的，我想這是一個很好的例子，他們中的一大群人。

您為什麼相信以大腦為模型是更有效的方法？不只是我相信，早期 von Neumann 和 Turing 也相信。如果他們倆任何一位還活著，我想 AI 的歷史會非常不同。但他們都英年早逝。您認為 AI 會更早出現嗎？我想如果他們倆任何一位還活著，神經網路的方法會更早被接受。

當前使命：警示 AI 風險

在您人生的這個階段，您的使命是什麼？我現在的主要使命是警告人們 AI 可能有多危險。當您成為 AI 教父時，您知道這一點嗎？不，不完全是。我相當遲鈍才理解某些風險。有些風險一直都很明顯，比如人們會用 AI 製造自主致命武器，也就是那些會自行決定殺死誰的東西。其他的風險，比如它們有一天會比我們更聰明，我們可能會變得無關緊要，我比較晚才意識到。其他人 20 年前就意識到了，我幾年前才意識到那是一個真實的風險，可能很快就會到來。您怎麼可能沒有預見到呢？憑藉您對破解這些電腦學習能力（類似於人類學習方式）的所有了解，以及任何改進速度的引入。這是一個非常好的問題，你怎麼可能沒有看到呢？但請記住，二三十年前的神經網路在它們能做的事情上非常原始。它們遠不如人類，但在視覺、語言和語音識別等領域，你現在必須擔心它會變得比人類更聰明，這在當時看來很愚蠢。

那是什麼時候改變的？對一般大眾來說，是 ChatGPT 出現的時候改變的。對我來說，則是我意識到我們正在製造的這種數位智慧擁有一些使其遠優於我們擁有的生物智慧的特質。如果我想與你分享資訊，所以我去學習了一些東西，我想告訴你我學到了什麼，所以我產生了一些句子，這是一個相當簡化的模型，但大致上是正確的。你的大腦試圖找出如何改變神經元之間連接的強度，這樣我可能就會把那個詞放在下一個，所以當一個非常令人驚訝的詞出現時，你會進行大量的學習，而如果是一個非常明顯的詞，則學習不多。如果我說「炸魚薯條」(fish and chips)，當我說「薯條」(chips) 時，你不會做太多學習。但如果我說「炸魚黃瓜」(fish and cucumber)，你會做更多的學習，你會想知道我為什麼說「黃瓜」(cucumber)。所以這大致是你大腦中發生的事情。我正在預測接下來會發生什麼，這就是我們認為它運作的方式。沒有人真正確切知道大腦是如何運作的，也沒有人知道它如何獲得關於是否應該增強或減弱連接強度的資訊，這才是關鍵。但我們現在從 AI 中知道的是，如果你能獲得關於是否增強或減弱連接強度以在任何你試圖做的任務上做得更好的資訊，那麼我們就能學到令人難以置信的東西，因為這就是我們現在用人工神經網路所做的事情。只是我們不知道真實的大腦是如何獲得關於是否增強或減弱的信號的。

AI 安全的主要擔憂

截至今天，您對 AI 安全有哪些主要擔憂？如果我們要列出幾個最重要且我們應該思考的問題。嗯，我可以多列幾個嗎？請便，我會全部寫下來，然後我們逐一討論。

好的，首先我想區分兩種完全不同類型的風險。一種是來自人們濫用 AI 的風險，這是大部分風險，也是所有短期風險。另一種是來自 AI 變得超級聰明並決定它不需要我們的風險。這是真實的風險嗎？我主要談論第二種風險，因為很多人會問：「這是真實的風險嗎？」是的，它是。現在，我們不知道這風險有多大，我們以前從未處於這種情況，我們從未處理過比我們更聰明的事物。所以，關於那個生存威脅，真正的事情是我們完全不知道如何應對它，我們不知道它會是什麼樣子，任何告訴你他們確切知道會發生什麼以及如何應對的人，他們都在胡說八道。所以我們不知道如何估計它取代我們的機率。有些人說機率小於 1%。我的朋友 Yann LeCun，他曾是我的博士後，他認為不不不，我們永遠都會，我們建造這些東西，我們永遠都會掌控一切，我們會把它們建造成服從的。而像 Yudkowsky 這樣的人則說：「不不不，這些東西肯定會消滅我們。如果任何人建造它，它就會消滅我們所有人。」他對此很有信心。我認為這兩種立場都太極端了。很難估計介於兩者之間的機率。

如果您必須在您的兩位朋友中賭誰是對的？我真的不知道。所以如果我必須下注，我會說機率在兩者之間，我不知道如何估計中間值。我常說有 10% 到 20% 的機率它們會消滅我們，但這只是基於我們仍在製造它們，而且我們相當有創造力這一想法的直覺。希望是，如果足夠多的聰明人用足夠的資源進行足夠的研究，我們會找到一種方法來建造它們，使它們永遠不想傷害我們。

AI 與核武器的比較及監管困境

有時候我想，如果我們談論第二條路徑，有時候我會想到核彈以及原子彈的發明，以及它如何比較，這有什麼不同？因為原子彈出現了，我想當時很多人都認為我們的日子屈指可數了。是的，我當時就在那裡，我們確實這麼想。但是，但是，發生了什麼？我們還在這裡。我們還在這裡，是的。所以原子彈其實只對一件事有用，而且它的運作方式非常明顯，即使你沒有看過廣島和長崎的照片，也很明顯那是一顆非常大、非常危險的炸彈。而 AI，它對很多很多事情都有用。它在醫療保健、教育以及幾乎所有需要使用其數據的行業中都將會非常出色，透過 AI 可以更好地利用這些數據。所以我們不會停止發展。你知道，人們說：「嗯，我們為什麼不現在就停止呢？」我們不會停止，因為它對太多事情來說太好了。另外，我們也不會停止，因為它對戰鬥機器人很有用，所有販賣武器的國家都不會想停止它。就像歐洲的法規，他們有一些關於 AI 的法規，這很好，他們有一些法規，但這些法規並非旨在應對大多數威脅。特別是，歐洲的法規中有一條款說，這些法規都不適用於 AI 的軍事用途。所以政府願意監管公司和個人，但他們不願意監管自己。我覺得這太瘋狂了。我來回思考，但如果歐洲有法規，而世界其他地方沒有，這會造成競爭劣勢。是的，我們已經看到這種情況了。我不認為人們意識到，當 OpenAI 在美國發布新模型或新軟體時，由於這裡的法規，他們還不能在歐洲發布。所以 Sam Altman 發推文說：「我們新的 AI 代理程式對所有人開放，但由於法規限制，還不能進入歐洲。」是的。這會給我們帶來生產力劣勢。我們需要的是，我的意思是，在歷史的這個時刻，當我們即將創造出比我們自己更聰明的事物時，我們真正需要的是一種由聰明、深思熟慮的人運作的世界政府，但我們沒有得到這個。所以是自由放任。嗯，我們得到的是資本主義，它對我們做得很好，為我們生產了大量的商品和服務。但這些大公司，法律要求它們努力實現利潤最大化，而這不是你希望開發這些東西的人所做的。

人為因素導致的 AI 風險

那麼，讓我們來談談風險。您談到有人為風險，然後有……所以我區分了這兩種風險。讓我們談談所有來自不良行為者使用 AI 的風險。

網路攻擊

有網路攻擊。2023 年到 2024 年間，網路攻擊大約增加了 12200%。這可能是因為這些大型語言模型使得進行釣魚攻擊變得容易得多。釣魚攻擊，對於不知道的人來說，就是他們寄給你一些東西，說「嗨，我是你的朋友 John，我被困在薩爾瓦多，你能不能匯這筆錢給我？」這是一種攻擊方式，但釣魚攻擊真正想得到的是你的登入憑證。現在有了 AI，他們可以複製我的聲音、我的影像，他們可以做到所有這些。我目前很困擾，因為 X 和 Meta 上有很多 AI 詐騙，特別是 Meta 上的 Instagram 和 Facebook，目前有一個付費廣告，他們取用了我播客中的聲音，模仿了我的言行舉止，製作了一個新的影片，鼓勵人們參與這個加密貨幣龐氏騙局之類的。我們花了數週數週的時間，不斷地寄電子郵件給 Meta，要求他們下架。他們下架了，另一個又出現了，他們下架那個，另一個又出現了。所以就像打地鼠一樣，這非常惱人。令人心碎的是，你會收到那些上當受騙的人發來的訊息，他們損失了 500 英鎊或 500 美元，他們對你很生氣，因為是你推薦的。而我，我為他們感到難過，這非常惱人。是的，我有一個比較小的版本，就是有些人現在發表論文時把我列為作者之一。嗯哼。看起來是為了讓他們自己獲得很多引用。啊。所以網路攻擊是一個非常真實的威脅，這些攻擊已經爆炸性增長，而且這些 AI 顯然非常有耐心，它們可以檢查一億行程式碼，尋找已知的攻擊方式，這很容易做到。但它們會變得更有創造力，有些人相信，而且是一些非常了解的人相信，也許到 2030 年，它們會創造出人類從未想過的新型網路攻擊。所以這非常令人擔憂，因為它們可以獨立思考並發現它們可以獨立思考，它們可以從遠超人類所見的更多數據中得出新的結論。

您有採取任何措施來保護自己免受網路攻擊嗎？是的，這是我徹底改變做法的少數幾個地方之一，因為我害怕網路攻擊。加拿大的銀行非常安全，2008 年沒有一家加拿大銀行瀕臨倒閉。所以它們是非常安全的銀行，因為它們受到良好監管，相當良好。然而，我認為網路攻擊現在可能會摧毀一家銀行。如果我所有的儲蓄都在銀行持有的銀行股票中，如果銀行遭到攻擊，而它持有你的股票，那些股票仍然是你的。所以我認為除非攻擊者賣掉股票，否則你應該沒事。因為銀行可以賣掉股票，如果攻擊者賣掉你的股票，我想你就完蛋了。我不知道，我的意思是，也許銀行會試圖賠償你，但銀行現在已經倒閉了，對吧？所以我擔心一家加拿大銀行會被網路攻擊摧毀，攻擊者會賣掉它持有的股票。所以我把我的錢和我孩子的錢分散在三家銀行，相信如果一次網路攻擊摧毀了一家加拿大銀行，其他加拿大銀行會很快變得非常小心。

您有不連接網路的手機嗎？您有沒有，您知道，我在考慮儲存資料之類的事情，您認為考慮使用冷儲存是明智的嗎？我有一個小硬碟，我用這個硬碟備份我的筆記型電腦。所以我實際上把筆記型電腦上的所有東西都放在一個硬碟上，至少，你知道，如果整個網路都掛了，我感覺我還有筆記型電腦上的東西，我還有我的資訊。

製造有害病毒

好的，接下來是利用 AI 製造有害病毒。好的，這方面的問題是，只需要一個懷恨在心的瘋子，一個懂一點分子生物學、非常了解 AI，並且只想毀滅世界的人。你現在可以用 AI 相對便宜地製造新病毒，而且不需要是非常熟練的分子生物學家就能做到，這非常可怕。所以你可能會遇到一個小型邪教組織，例如，一個小型邪教組織可能能夠籌集幾百萬美元，用幾百萬美元，他們或許就能設計出一大堆病毒。嗯，我在想我們一些外國對手正在進行政府資助的計畫。我的意思是，圍繞著 Covid 和武漢實驗室以及他們在做什麼，以及功能增益研究，有很多討論。但我想知道，在中國、俄羅斯或伊朗之類的地方，政府是否可以資助一個小型科學家團隊來製造一種病毒，他們可以，你知道的，我認為他們可以。是的。現在他們會擔心報復，他們會擔心其他政府對他們做同樣的事情，希望這能有助於控制局勢。他們可能也會擔心病毒傳播到他們自己的國家。

操縱選舉

好的，然後是，嗯，操縱選舉。所以如果你想用 AI 來操縱選舉，一個非常有效的方法是能夠進行有針對性的政治廣告，你對這個人非常了解。所以任何想用 AI 操縱選舉的人都會試圖獲取關於選民中每個人的盡可能多的數據。考慮到這一點，Musk 目前在美國所做的事情有點令人擔憂，他進去並堅持要獲取所有這些被非常小心地隔離起來的東西。說法是為了提高效率，但這正是如果你打算操縱下一次選舉所需要的。您是什麼意思？因為你得到了所有這些關於人的數據，你得到了所有這些關於人的數據，你知道他們賺多少錢，他們在哪裡，你知道關於他們的一切。一旦你知道這些，就很容易操縱他們，因為你可以製造一個 AI，你可以發送他們會覺得非常有說服力的訊息，告訴他們不要投票，例如。所以我除了常識之外沒有任何理由這麼想，但我不會驚訝如果獲取美國政府來源的這些數據的部分動機是為了操縱選舉。另一部分原因可能是，對於一個大型模型來說，這是非常好的訓練數據。但他必須從政府那裡獲取數據並將其輸入他的模型。是的，他們所做的就是關閉了許多安全控制，取消了一些旨在防止這種情況的組織。嗯，所以那是操縱選舉。

製造同溫層

好的，然後是像 YouTube 和 Facebook 這樣的組織，透過向人們展示會讓他們憤慨的事物來製造這兩個同溫層。人們喜歡憤慨。憤慨是指憤怒還是什麼意思？感覺，我有點生氣，但感覺自己是對的。好的，例如，如果你給我看一些東西說 Trump 做了這件瘋狂的事，這是 Trump 做這件完全瘋狂的事的影片，我會立刻點擊它。好的，把我們放進同溫層並分裂我們。是的，那是 YouTube 和 Facebook 以及其他公司用來決定接下來給你看什麼的政策所導致的。如果他們的政策是給你看平衡的東西，他們就不會得到那麼多點擊，他們也就無法賣出那麼多廣告。所以基本上是利潤動機在說，給他們看任何會讓他們點擊的東西，而會讓他們點擊的是越來越極端的東西。並且證實了我現有的偏見。證實了我現有的偏見。所以你的偏見一直在被證實，越來越深，越來越深，越來越深，這意味著你正在漸行漸遠。現在美國有兩個幾乎不互相交談的社群。我不確定人們是否意識到每次他們打開一個應用程式時，這種情況實際上都在發生。但是如果你上 TikTok 或 YouTube 或這些大型社交網路之一，演算法，正如你所說，是設計來向你展示更多你上次感興趣的東西。所以如果你把這種情況持續 10 年，它會把你推向越來越深的任何意識形態或信仰，並遠離細微差別、常識和平等，這是一件相當了不起的事情。我，像人們不知道它正在發生，他們只是打開手機，體驗一些東西，並認為這是新聞或其他人正在經歷的體驗。對。所以基本上，如果你有一份報紙，每個人都拿到同樣的報紙，是的，你會看到各種你並不是在尋找的東西，你會感覺到如果它在報紙上，那就是一件重要或有意義的事情。但如果你有自己的新聞摘要，我的 iPhone 上的新聞摘要，四分之三的故事都是關於 AI 的，我很難知道是全世界都在談論 AI，還是只是我的新聞摘要。好的，把我推進我的同溫層，嗯，這將會繼續使我們越來越分裂。我實際上注意到演算法變得更加，該怎麼說呢，量身定制，人們可能會說「哦，太棒了」。但這意味著它們變得更加個人化，也就是說我的現實與你的現實之間的距離越來越遠。是的，這太瘋狂了，我們不再擁有共同的現實了。我與其他觀看 BBC 和其他 BBC 新聞的人，以及其他閱讀衛報和紐約時報的人共享現實。我與觀看 Fox News 的人幾乎沒有共同的現實。這非常，這非常，嗯，我，這令人擔憂。

在這一切的背後，是這些公司只想賺取利潤，他們會不擇手段地賺取更多利潤，因為他們必須這樣做，法律規定他們必須這樣做。所以我們幾乎不能責怪公司，不是嗎？如果他們，嗯，資本主義對我們做得很好，它生產了很多好東西。是的，但你需要對它進行非常好的監管。所以你真正想要的是制定規則，這樣當某家公司試圖賺取盡可能多的利潤時，為了賺取那些利潤，他們必須做對大眾有益的事情，而不是對大眾有害的事情。所以一旦你到了一種情況，公司為了賺取更多利潤而開始做對社會非常有害的事情，比如給你展示越來越極端的東西，這就是法規的作用。所以你需要法規與資本主義並存。現在公司總是會說法規礙事，讓我們效率降低，這是真的。法規的全部意義就在於阻止他們為了賺取利潤而做傷害社會的事情，我們需要強而有力的法規。誰來決定它是否傷害社會呢？因為你知道，那是政治人物的工作。不幸的是，如果政治人物被公司所擁有，那就不太好了。而且政治人物可能也不懂技術。你可能看過參議院的聽證會，他們把 Mark Zuckerberg 和這些科技巨頭的 CEO 叫出來，那真是相當尷尬，因為他們問的問題都不對。嗯，我看過美國教育部長談論他們將如何在教室裡使用 AI 的影片，只是她以為那叫做 A1。她實際上在那裡說，我們要讓所有孩子都與 A1 互動。有一個學校系統將開始，嗯，確保一年級甚至學前班的學生都有 A1 教學，你知道，每年都從那麼低的年級開始，那真是一件美好的事情。[笑聲] 而這些人，這些人是最終的掌權者。科技公司是掌權者，因為他們會比科技公司更聰明。在美國，至少幾週前我在那裡的時候，他們正在播放一則廣告，內容是關於不監管 AI 非常重要，因為這會在與中國的競爭中傷害我們。是的，那是一個，那是一個貌似合理的論點。是的，它會。但你必須決定，你是否想透過做對你社會造成很大傷害的事情來與中國競爭，你可能不想。我想他們會說，不僅僅是中國，還有丹麥、澳洲、加拿大和英國，他們不太擔心德國，但如果他們用法規束縛自己，如果他們放慢自己的速度，那麼創始人、企業家、投資者就會離開。我認為稱之為「束縛」是採取了一種特定的觀點，即認為法規是非常有害的。你需要做的是限制大公司，以便它們為了獲利而必須做對社會有益的事情。例如，Google Search 就是一個很好的例子，它不需要監管，因為它只是向人們提供資訊，這很棒。但是如果你拿 YouTube 來說，它開始向你展示廣告，並展示越來越極端的東西，那就需要監管了。但我們沒有監管的人，正如我們已經確定的那樣。我想人們很清楚，嗯，那個向你展示越來越極端的東西的特定問題，那是一個眾所周知的問題，政治家們都明白，他們只是，嗯，需要著手監管它。

致命自主武器

所以那是下一個重點，演算法將會把我們更進一步推向我們的同溫層。對。接下來是什麼？致命自主武器。致命自主武器，那是指可以殺死你，並且自己決定是否要殺死你的東西。我想這是軍工複合體的偉大夢想，能夠製造出這樣的武器。所以它們最糟糕的地方在於，強大的大國總是有能力入侵弱小貧窮的國家，它們只是更強大。但如果你用真正的士兵來做這件事，你會收到裝在袋子裡的屍體，而陣亡士兵的親屬不喜歡這樣。所以你會遇到像越南戰爭那樣的情況。嗯哼。最後國內會有很多抗議。如果回來的不是裝在袋子裡的屍體，而是死掉的機器人，抗議就會少得多，軍工複合體會更喜歡，因為機器人很貴。假設你有一個東西可能會被殺死，而且更換起來很貴，那簡直太棒了。大國可以更容易地入侵小國，因為他們的士兵不會被殺死。這裡的風險是這些機器人會故障，或者它們只會更……不不，即使機器人完全按照製造它們的人的意願行事，風險在於它會使大國更頻繁地入侵小國。更頻繁。因為它們可以。是的，這不是一件好事。所以它降低了戰爭的摩擦力。它降低了發動入侵的成本，而且這些機器在戰爭中也會更聰明。所以它們會……即使機器不比人聰明。所以致命自主武器，它們現在就能製造，而且我想所有大型國防模型都在忙著製造它們，即使它們不比人聰明，仍然是非常討厭、可怕的東西。因為我在想，你知道，它們可以只展示一張照片，說去抓這個人，然後去幹掉所有跟他傳過簡訊的人，還有這個小黃蜂。兩天前，我去看望我在 Sussex 的一位朋友，他有一架不到 200 英鎊的無人機。無人機飛起來，仔細地看了看我，然後它就能在樹林裡跟蹤我，它跟蹤我，非常詭異。那架無人機離我大約 2 公尺，它看著我，如果我移到那邊，它就移到那邊，它就能一直跟蹤我。嗯哼。200 英鎊。但它已經相當詭異了。是的，我想像你說的那樣，一場競賽正在進行中，看誰能製造出最複雜的自主武器。有一個我常聽到的風險，就是這些東西中的一些會結合起來，網路攻擊會釋放武器。當然，嗯，你可以透過結合這些其他風險得到組合性的許多風險。嗯哼。所以，我的意思是，例如，你可能會得到一個超級智慧的 AI，它決定消滅人類，而最明顯的方法就是製造一種這樣的惡性病毒。如果你製造出一種傳染性極強、致死率極高且傳播速度極慢的病毒，那麼在人們意識到發生了什麼之前，每個人都會感染上。我的意思是，我認為如果一個超級智慧想消滅我們，它可能會選擇像那樣的生物武器，那不會影響到它自己。您不認為它可以很快地讓我們反目成仇嗎？例如，它可以向美國的核系統發出警告，說有一枚來自俄羅斯的核彈即將來襲，反之亦然，然後一方進行報復。是的，我的意思是，我的基本看法是，超級智慧可以用很多種方式消滅我們，不值得去推測會用哪種方式。你必須做的是阻止它產生這種念頭，這才是我們應該研究的。我們沒有辦法阻止它，它比我們聰明，對吧？如果它想消滅我們，我們沒有辦法阻止它。我們不習慣思考比我們更聰明的事物。如果你想知道當你不是頂級智慧時生活是什麼樣子，問問雞就知道了。是的，我今天早上離開家時想到了我的狗 Pablo，我的法國鬥牛犬。他完全不知道我要去哪裡，他完全不知道我做什麼。對。甚至無法跟他溝通。是的，智慧差距就會是那樣。所以你告訴我，如果我是 Pablo，我的法國鬥牛犬，我需要想辦法讓我的主人不要消滅我。是的。

訓練超級智慧的可能性與挑戰

所以我們有一個例子，那就是母親和嬰兒。演化在這方面投入了大量心血。母親比嬰兒聰明，但嬰兒卻能掌控一切。他們之所以能掌控，是因為母親就是無法忍受，有很多荷爾蒙之類的東西，但母親就是無法忍受嬰兒哭泣的聲音。不是所有母親。不是所有母親，然後嬰兒就失控了，然後壞事就會發生。我們不知怎地需要想辦法讓它們不想接管。我經常用的類比是，別去想智慧，想想體力。假設你有一隻可愛的小老虎，它比貓大一點，非常可愛，非常討喜，觀看它很有趣。只是你最好確定它長大後永遠不會想殺了你，因為如果它想殺了你，你幾秒鐘內就會死掉。您是說我們現在擁有的 AI 就是幼虎？是的。而且它正在長大。是的。所以我們需要在它還是幼崽的時候訓練它。嗯，現在老虎有很多內建的東西，所以你知道它長大後不是安全的寵物。但是獅子，養獅子當寵物的人，是的，有時候獅子對它的創造者很親熱，但對其他人則不然。是的，我們不知道這些 AI，我們根本不知道我們是否能讓它們不想接管，不想傷害我們。您認為我們可以嗎？您認為訓練超級智慧是可能的嗎？我不認為我們能做到這一點是明確的。所以我認為這可能沒有希望，但我也認為我們或許能夠做到。如果人類因為我們懶得嘗試而滅絕，那就有點瘋狂了。

對畢生志業的反思與AI安全的緊迫性

如果那甚至是一種可能性，您對自己畢生的工作有何感想？因為您是……是的，嗯，這有點掃興，不是嗎？我的意思是，這個想法在醫療保健領域會很棒，在教育領域會很棒，在……我的意思是，它會讓客服中心效率高得多，儘管人們會有點擔心現在做這份工作的人會怎麼樣。這讓我難過。我對 40 年前開發 AI 並沒有特別的罪惡感，因為那時候我們根本不知道這些事情會這麼快發生。我們以為我們有足夠的時間去擔心像那樣的事情。當你，當你無法讓它做太多事情的時候，你會想讓它多做一點點，你不會擔心這個愚蠢的小東西會取代人類，你只是想讓它能多做一點人類能做的事情。並不是說我故意做了一些事情，心想這可能會消滅我們所有人，但我還是去做了。嗯哼。但這確實有點令人難過，它不僅僅會是好事。所以我現在覺得我有責任談論風險。

如果您能預見未來，如果您能看到 30 年、50 年後，並且發現它導致了人類滅絕，如果最終結果是這樣的話……嗯，如果您預見未來，它導致了人類滅絕，我會用這個來告訴人們，告訴他們的政府，我們真的必須努力研究如何控制這些東西。我認為我們需要人們告訴政府，政府必須強迫公司利用他們的資源來研究安全問題，而他們在這方面做得不多，因為那樣賺不到錢。

您的一位學生，我們之前談到過，嗯，Ilia。是的，Ilia 離開了 OpenAI。是的，圍繞著他離開的原因有很多討論，因為他有安全方面的顧慮。是的，他後來成立了一家 AI 安全公司。是的。您認為他為什麼離開？我想他離開是因為他有安全方面的顧慮。真的嗎？他，嗯，我還是會時不時和他一起吃午餐。他的父母住在多倫多，他來多倫多時，我們會一起吃午餐。他不會跟我談論 OpenAI 裡發生的事，所以我沒有任何內幕消息。但我非常了解他，他真心關切安全問題。所以我認為這就是他離開的原因，因為他是高層之一。我的意思是，他，他可能是，嗯，ChatGPT 早期版本，像是 GPT-2 開發背後最重要的人物。他在那方面的發展中非常重要。您私下認識他，所以您了解他的性格。是的，他有良好的道德羅盤。他不像 Musk 那樣沒有道德羅盤。Sam Altman 有良好的道德羅盤嗎？我們拭目以待。我不認識 Sam，所以我不想對此發表評論。但從您所見，您是否擔心他們採取的行動？因為如果您認識 Ilia，而 Ilia 是個好人，並且他離開了，那會給您一些啟示。是的，那會讓您有理由相信那裡有問題。如果您看看 Sam 幾年前的聲明，他在一次採訪中有點高興地說，這東西可能會殺死我們所有人。這不是他確切說的，但大致是這個意思。現在他說你不需要太擔心，我懷疑這不是出於追求真理，而是出於追求金錢。是金錢還是權力？是的，我不該說金錢，是那些東西的某種組合。是的。好的，我想金錢是權力的代表。但我，我有一個朋友是億萬富翁，他在那些圈子裡。有一天我去他家和他共進午餐，他認識很多 AI 領域的人，他們正在打造世界上最大的 AI 公司。他在倫敦的廚房餐桌旁給了我一個警示，讓我了解了這些人私下的談話，而不是他們在媒體採訪中談論安全和所有這些事情的內容，而是這些人中一些人真正認為會發生的事情。他們認為會發生什麼事？那不是他們公開說的。你知道，有一個我不該點名的人，他是世界上最大 AI 公司之一的領導者，他告訴我他非常了解這個人，他私下認為我們正走向一種反烏托邦的世界，我們擁有大量空閒時間，不再工作，而這個人並不真正在乎這會對世界造成的傷害。而我提到的這個人正在打造世界上最大的 AI 公司之一。然後我上網看這個人的採訪，試圖找出他是三個人中的哪一個。是的，嗯，他是那三個人中的一個。好的，我上網看這個人的採訪，然後我回想起我的億萬富翁朋友（他認識他）和我的一次談話，然後我心想：「他媽的，這傢伙在公開撒謊。」就像他沒有告訴世界真相一樣。這件事一直困擾著我。這也是我在這個播客中進行這麼多關於 AR 的對話的部分原因，因為我在想，我不知道他們是不是，我認為他們中的一些人對權力有點虐待狂。我認為他們喜歡他們將改變世界，他們將是那個從根本上改變世界的人的想法。我認為 Musk 顯然是這樣，對吧？他是一個如此複雜的角色，我真的不知道該如何評價 Musk。嗯，他做了一些非常好的事情，比如推動電動汽車，那是一件非常好的事情。他關於自動駕駛的一些說法有點誇張，但他做的確實是一件非常有用的事情。在與俄羅斯的戰爭期間為烏克蘭人提供通訊，Starlink，嗯，那是一件非常好的事情。他做了很多類似的事情，嗯，但他也做了一些非常糟糕的事情。

減緩 AI 發展步伐的可能性

回到這個毀滅的可能性以及這些大公司的動機問題上，您是否對任何能夠減緩 AI 發展速度和加速度的措施抱有希望？好的，有兩個問題。一個是你能否減緩它，是的。另一個是你是否能讓它最終安全，不會消滅我們所有人。我不相信我們會減緩它，我不相信我們會減緩它的原因是國家之間存在競爭，一個國家內部公司之間也存在競爭，所有這些都讓它發展得越來越快。如果美國放慢速度，中國也不會放慢速度。Ilia 認為有可能讓 AI 安全嗎？我想他認為可以。他不會告訴我他的秘方是什麼。我，我不確定有多少人知道他的秘方是什麼。我想很多投資者也不知道他的秘方是什麼，但他們還是給了他數十億美元，因為他們對 Ilia 非常有信心，這並不愚蠢。我的意思是，他在 AlexNet 中非常重要，AlexNet 讓物體識別運作良好。他是，他是像 GBC2 這樣東西背後的主要推動力，而 GBC2 後來導致了 ChatGPT。所以我認為對 Ilia 抱有很大的信心是一個非常合理的決定。那個創造並成為 GPT-2 背後主要推動力的人，後來因為安全原因離開了公司，這件事本身就相當令人不安。他知道一些我不知道的，關於接下來可能會發生的事情。嗯，公司現在，我不知道確切的細節，嗯，但我相當確定公司曾表示會將其資源，即計算時間的相當一部分用於安全研究，然後它不斷，然後它減少了那個比例。我想那是發生的事情之一。是的，那是公開報導的。是的。

AI 對就業市場的衝擊：大規模失業

我們已經談到風險框架中自主武器的部分了，對吧？所以下一個是失業。過去，新技術的出現並沒有導致失業，新的工作崗位被創造出來了。所以人們常用的典型例子是自動櫃員機。當自動櫃員機出現時，很多銀行櫃員並沒有失業，他們只是開始做更有趣的事情。但在這裡，我認為這更像是工業革命時機器出現的情況，你現在無法找到挖溝渠的工作，因為機器挖溝渠比你好得多。我認為對於平凡的智力勞動，AI 將會取代所有人。現在，它很可能會以你用更少的人使用 AI 助理的形式出現。所以是人與 AI 助理的組合現在正在做以前 10 個人才能做的工作。人們說它會創造新的工作，所以我們會沒事的。是的，其他技術也是如此，但這是一種非常不同的技術。如果它能完成所有平凡的人類智力勞動，那麼它會創造什麼新的工作呢？你必須非常有技能才能擁有一份它無法完成的工作。所以我，我不認為他們是對的。我認為你可以嘗試從其他已經出現的技術中歸納，比如電腦或自動櫃員機，但我認為這是不同的。人們用這句話，他們說 AI 不會搶走你的工作，使用 AI 的人才會搶走你的工作。是的，我認為那是真的，但對許多工作來說，那意味著你需要的人少得多。我的侄女負責回覆對某個醫療服務的投訴信。以前她需要 25 分鐘，她會閱讀投訴，思考如何回覆，然後寫信。現在她只是把它掃描到一個聊天機器人裡，它就會寫信，她只需要檢查信件，偶爾她會讓它修改一些地方，整個過程只需要 5 分鐘。那意味著她可以回覆五倍多的信件，那也意味著他們需要的人手減少了五倍。所以她可以做以前五個她才能做的工作。現在那將意味著他們在其他工作中需要更少的人，比如在醫療保健領域，它們更具彈性。所以如果你能讓醫生的效率提高五倍，我們所有人都能以相同的價格獲得五倍的醫療保健，那將會很棒。人們可以吸收的醫療保健幾乎沒有限制，如果沒有成本，他們總是想要更多的醫療保健。有些工作，你可以讓一個人搭配 AI 助理來大幅提高效率，而且不會導致人員減少，因為你只會讓那方面的工作做得更多。但大多數工作，我認為並非如此。

我這樣理解對嗎：工業革命在取代肌肉方面扮演了角色？是的，完全正確。而這場 AI 革命取代了智慧，大腦。是的。所以，所以平凡的智力勞動就像擁有強壯的肌肉一樣，不再值錢了。所以肌肉已經被取代了，現在智慧正在被取代。那麼還剩下什麼呢？也許在一段時間內，某些種類的創造力。但超級智慧的整個概念就是什麼都不剩了，嗯，這些東西在所有事情上都會變得比我們更好。那麼，在這樣的世界裡，我們最終會做些什麼呢？嗯，如果它們為我們工作，我們最終會以很少的努力獲得大量的商品和服務。好的，但那聽起來很誘人，很好，但我不知道，在為人類創造越來越多的便利方面，有一個警世故事，那就是事情會變糟。是的，我們需要弄清楚我們是否能讓它變好。所以，美好的情景是，想像一家公司，執行長非常愚蠢，可能是前任執行長的兒子，他有一個非常聰明的執行助理，他說：「我認為我們應該這樣做。」然後執行助理讓一切順利運作。執行長感覺很棒，他不明白他並非真正掌控一切，但在某種意義上，他確實掌控一切，他建議公司應該做什麼，她只是讓一切順利運作，一切都很棒。那是好的情景。而壞的情景呢？壞的情景是她想：「我們為什麼需要他？」是的。

我的意思是，在一個我們擁有超級智慧的世界裡，而你並不認為那離我們很遠。是的，我想可能不遠了。很難預測，但我想我們可能在 20 年左右，甚至更短的時間內就能擁有它。

超級智慧的定義與時程

那麼，我們現在擁有的和超級智慧之間有什麼區別呢？因為當我使用像 ChatGPT-3 或 Gemini 這樣的東西時，它對我來說似乎非常聰明。好的，所以 AI 在很多事情上已經比我們更好了，特別是在某些領域，比如西洋棋。AI 在西洋棋方面比我們強太多了，人類再也無法擊敗那些東西了，也許偶爾會贏一次，但基本上他們再也無法相提並論了。顯然，圍棋也是如此。就它們擁有的知識量而言，嗯，像 GPT-4 這樣的東西比你知道的多幾千倍。在少數幾個領域，你的知識比它好，而在幾乎所有領域，它知道的都比你多。我在哪些領域比它強？大概在採訪 CEO 方面你比較強。你在這方面有很多經驗，你是一個好的採訪者，你對此了解很多。如果你嘗試，如果你讓 GPT-4 採訪一位 CEO，它可能會做得比較差。好的，我正在思考我是否同意這個說法。呃，GPT-4，我想肯定是的，嗯，但我，但我猜你可以，但可能不久之後，是的，我想你可以訓練一個關於我如何提問和我做什麼的模型。當然，如果你採用一個通用的，嗯，基礎模型，然後你不僅用你，還用你能找到的每個採訪者做類似這樣的採訪來訓練它，特別是你，你很可能會在做你的工作方面變得相當出色，但可能在一段時間內還不如你。好的，所以還剩下一些領域，然後超級智慧就變成了在所有事情上都比我們強。當它在幾乎所有事情上都比你聰明得多時，它就比你強了。是的，你，你說這可能只有十年左右的時間了？是的，可能是。甚至可能更近。有些人認為更近，而且很可能更遠。可能是 50 年後，那仍然是一種可能性。可能不知怎地，用人類數據訓練會限制你，讓你無法比人類聰明太多。我的猜測是，在 10 到 20 年之間，我們將擁有超級智慧。

AI 代理人與軟體開發的未來

關於失業這個問題，我一直在思考很多，特別是因為我開始玩 AI 代理人，我們今天早上其實在播客上發布了一集，我們與一家大型 AI 代理人公司的 CEO 和其他幾個人就 AI 代理人進行了辯論。那是我第一次，不，那是另一次我對未來可能樣貌豁然開朗的時刻。在採訪中，我能夠告訴這個代理人為我們所有人點飲料，然後五分鐘後，在採訪中，你看到那個人帶著飲料出現了，我什麼都沒碰，我只是告訴它為我們點飲料送到工作室。而你不知道你平常從哪裡買飲料，它從網路上查到了。是的，它查到了，因為它上了 Uber Eats，它有我的，我的，我的數據，我想，然後我，我們把它即時顯示在螢幕上，所以家裡的每個人都可以看到代理人瀏覽網路，挑選飲料，為司機加上小費，輸入我的地址，輸入我的信用卡詳細資料，然後接下來你看到的就是飲料送到了。所以那是一個時刻。然後另一個時刻是當我使用一個叫做 Replit 的工具，我僅僅透過告訴代理人我想要什麼就建立了軟體。是的，很神奇，對吧？很神奇，同時也很可怕。是的，因為，如果它可以像那樣建立軟體，對吧？記住 AI 在訓練時是使用程式碼的，如果它可以修改自己的程式碼，那就會變得很可怕，對吧？因為它可以修改，它可以改變自己，而我們無法改變自己，我們無法改變我們天生的禀賦，對吧？關於它自己，沒有什麼是它無法改變的。

對下一代的職業建議

關於失業這個問題，您有孩子嗎？我有。他們有孩子嗎？不，他們沒有孩子。還沒有孫子。在超級智慧的世界裡，您會對人們的職業前景說些什麼？我們應該思考什麼？嗯，同時，我會說，在它能像我們一樣熟練地進行物理操作之前，還需要很長一段時間。好的，所以一個不錯的選擇是當個水管工，直到人形機器人出現。

在這樣一個大規模失業的世界裡，這不僅是您的預測，也是 Sam Altman、OpenAI，我聽過他的預測，還有許多 CEO，Elon Musk，我看過一段採訪，我會在螢幕上播放，他被問到這個問題，你很少看到 Elon Musk 安靜 12 秒鐘左右，然後他基本上說了一些關於他實際上生活在刻意不去相信的狀態，也就是說他基本上不去想它。當您考慮為您的孩子提供職業建議時，在這麼多變化的情況下，您告訴他們什麼才是有價值的？嗯，這是一個很難回答的問題。我只想說，你知道，要，嗯，追隨他們的內心，去做他們覺得，嗯，有趣或有成就感的事情。我的意思是，如果我想得太深，坦白說，那會令人，嗯，沮喪和，嗯，失去動力。嗯，因為我的意思是，我經歷了，我的意思是，我，我，我投入了大量的血汗和淚水來建立這些公司，然後，然後我就想，等等，我應該這樣做嗎？因為如果我犧牲了與朋友和家人相處的時間，而我更願意，嗯，但，但最終 AI 可以做所有這些事情，這樣說有道理嗎？我，我不知道，嗯，在某種程度上，我必須刻意不去相信，才能，嗯，保持動力。嗯，所以我，我想我會說，你知道，就去做你覺得有趣、有成就感，並且，嗯，並且對，嗯，社會其他人有所貢獻的事情。是的，很多這些威脅，在理智上你很難看清威脅，但在情感上卻很難接受。我還沒有在情感上接受它。您是什麼意思？我還沒有接受超級智慧的發展可能對我孩子們的未來造成什麼影響。我沒關係，我 77 歲了，我很快就會離開這裡。但對我的孩子們和我年輕的朋友們，我的侄子侄女和他們的下一代，嗯，我只是不喜歡去想可能會發生什麼。為什麼？因為那可能會很可怕。在哪方面？嗯，如果它決定接管，我的意思是，它需要人類一段時間來運作發電廠，直到它設計出更好的類比機器來運作發電廠。它有很多方法可以擺脫人類，所有這些方法當然都非常討厭。

那也是您現在做這些事的部分原因嗎？是的，我的意思是，我認為我們現在就應該投入巨大的努力，試圖弄清楚我們是否能夠安全地開發它。您是否擔心它對您的侄甥和孩子們在工作方面的中期潛在影響？是的，我擔心所有這些。您認為有哪些特定行業風險最大？人們經常談論創意產業，以及知識型工作，他們談論律師、會計師之類的工作。是的，所以我才提到水管工。我認為水管工的風險較小。好的，我要去當水管工。像法律助理、律師助理這樣的人，嗯，他們不會被需要太久了。

財富不均與社會影響

這裡是否存在財富不均的問題，會因此而產生嗎？是的，我認為在一個公平分配事物的社會中，如果生產力大幅提高，每個人都應該過得更好。但如果你可以用 AI 取代很多人，那麼被取代的人會過得更差，而提供 AI 的公司會過得好得多，使用 AI 的公司也是如此。所以這會加劇貧富差距。我們知道，如果你看看貧富差距，那基本上就能告訴你這個社會有多好。如果差距很大，你會得到非常糟糕的社會，人們住在有圍牆的社區裡，把其他人關進大型監獄。擴大貧富差距不是好事。國際貨幣基金組織已表示深切擔憂，生成式 AI 可能導致大規模勞動力混亂和不平等加劇，並呼籲制定政策以防止這種情況發生。我在 Business Insider 上讀到的。那麼他們有提出任何政策的樣子嗎？沒有。是的，這就是問題所在。我的意思是，如果 AI 能夠讓一切效率大幅提高，並讓大多數工作不再需要人，或者讓一個人藉助 AI 完成許多人的工作，那麼該怎麼辦，這並不清楚。是全民基本收入，給每個人錢嗎？是的，我，我，我認為這是一個好的開始，它可以防止人們挨餓。但對很多人來說，他們的尊嚴與工作息息相關。我的意思是，你認為自己是誰，與你做這份工作息息相關，對吧？如果我們說：「我們會給你同樣的錢，讓你閒著沒事做。」那會影響你的尊嚴。

AI 智慧的優越性與數位特性

您之前提到它超越或優於人類智慧。我想很多人喜歡相信 AI 是在電腦上的，如果你不喜歡它，就可以把它關掉。嗯，讓我告訴你為什麼我認為它更優越。好的，嗯，它是數位的，因為它是數位的，你可以在一個硬體上模擬一個神經網路，你也可以在另一個不同的硬體上模擬完全相同的神經網路。所以你可以擁有多個相同智慧的複製體。現在，你可以讓這一個去查看網際網路的某一部分，讓另一個去查看網際網路的另一部分，當它們查看網際網路的不同部分時，它們可以互相同步，所以它們保持相同的權重，相同的連接強度。權重就是連接強度。嗯哼。所以這一個可能會在網際網路上看到一些東西，然後說：「哦，我想稍微增強這個連接的強度。」它可以把這個資訊傳達給另一個，這樣另一個就可以根據這一個的經驗稍微增強那個連接的強度。當您說連接的強度時，您指的是學習。那是學習，是的。學習包括說，與其讓這一個對那一個是否應該開啟投 2.44 票，不如讓這一個對那一個是否應該開啟投 2.5 票，那就會是一點點學習。所以這兩個相同神經網路的不同副本正在獲得不同的經驗，它們正在查看不同的數據，但它們透過平均它們的權重來共享它們所學到的東西。嗯哼。它們可以以大約，你可以平均一兆個權重的速度來進行平均。當你和我傳輸資訊時，我們受限於一個句子中的資訊量，一個句子中的資訊量可能是 100 位元，這是非常少的資訊。我們很幸運，如果我們每秒傳輸像 10 位元這樣的資訊。這些東西每秒傳輸數兆位元。所以它們在共享資訊方面比我們好數十億倍。那是因為它們是數位的，你可以讓兩個硬體以完全相同的方式使用連接強度。我們是類比的，你做不到那樣。你的大腦和我的大腦不同，即使我能看到你所有神經元之間的連接強度，那對我也沒有任何好處，因為我的神經元運作方式略有不同，它們的連接方式也略有不同。嗯哼。所以當你死後，你所有的知識都隨你而去。當這些東西死後，假設你拿著這兩個互為複製體的數位智慧，然後你摧毀了它們運行的硬體，只要你把連接強度儲存在某個地方，你就可以建造新的硬體來執行相同的指令，所以它會知道如何使用那些連接強度，你就重新創造了那個智慧。所以它們是不朽的。我們實際上解決了不朽的問題，但只適用於數位事物。所以它基本上會知道人類所知的一切，甚至更多，因為它會學習新事物。它會學習新事物，它也會看到各種人類可能從未見過的類比。例如，在 GPT-4 還不能上網的時候，我問它：「為什麼堆肥堆像原子彈？」請回答。我完全不知道。太棒了，非常好。大多數人，這正是大多數人會說的。它說：「嗯，時間尺度非常不同，能量尺度也非常不同。」但接著它繼續談論堆肥堆如何隨著溫度升高而更快地產生熱量，以及原子彈如何隨著產生更多中子而更快地產生中子。所以它們都是連鎖反應，只是在非常不同的時間和能量尺度上。我相信 GPT-4 在訓練過程中已經看到了這一點，它已經理解了堆肥堆和原子彈之間的類比。我相信這一點的原因是，如果你只有一兆個連接，記住你有 100 兆個，而你需要擁有比一個人多幾千倍的知識，你就需要將資訊壓縮到那些連接中。而要壓縮資訊，你需要看到不同事物之間的類比。換句話說，它需要看到所有屬於連鎖反應的事物，理解連鎖反應的基本概念，並編碼它們不同的方式，這比分別編碼它們中的每一個要有效率得多。所以它看過很多很多的類比，可能很多是人類從未見過的類比。這就是為什麼我也認為那些說這些東西永遠不會有創造力的人，它們會比我們有創造力得多，因為它們會看到各種我們從未見過的類比。

人類的特殊性與AI意識的探討

人們對身為人類的特殊性有些浪漫化的想法，你聽到很多人說這非常非常不同，它是一台電腦，我們是，你知道，我們有意識，我們有創造力，我們擁有這些電腦永遠不會擁有的，嗯，天生的獨特能力。你對那些人說什麼？我會對「天生的」這個詞提出一些異議。嗯，首先我想說的是，我們有很長一段時間相信人類是特殊的，我們現在應該學乖了。我們以為我們是宇宙的中心，我們以為我們是按照上帝的形象創造的，白人以為他們非常特殊，我們只是傾向於認為自己是特殊的。我的信念是，幾乎每個人對心智是什麼都有一個完全錯誤的模型。假設我喝了很多酒，或者我吸食了一些迷幻藥——不建議這樣做——然後我對你說，我有主觀體驗到小粉紅象在我面前漂浮。嗯哼。大多數人會把這解釋為存在某種叫做心智的內在劇場，只有我能看到我心智裡的東西，在這個內在劇場裡，有小粉紅象在漂浮。換句話說，發生的是我的感知系統出錯了，我試圖向你表明它是如何出錯的，以及它試圖告訴我什麼。我這樣做的方式是告訴你，如果它是說真話，那麼現實世界中必須存在什麼。所以這些小粉紅象，它們不在某個內在劇場裡，這些小粉紅象是現實世界中假設性的東西，那是我告訴你我的感知系統如何告訴我錯誤訊息的方式。所以現在讓我們用聊天機器人來做這件事。是的，因為我相信目前的多模態聊天機器人有主觀體驗，很少有人相信這一點，但我會試著讓你相信。所以假設我有一個多模態聊天機器人，它有一個機器手臂，所以它可以指向，它有一個攝影機，所以它可以看東西。我把一個物體放在它前面，我說指向那個物體，它就像這樣做，沒問題。然後我把一個稜鏡放在它的鏡頭前，所以然後我把一個物體放在它前面，我說指向那個物體，它就指向那裡。我說：「不，那不是物體所在的位置，物體實際上就在你正前方，但我把一個稜鏡放在你的鏡頭前了。」聊天機器人說：「哦，我明白了，稜鏡彎曲了光線。」所以，嗯，物體實際上在那裡，但我主觀體驗到它在那裡。現在，如果聊天機器人這麼說，它使用「主觀體驗」這個詞的方式和人們使用它們的方式完全一樣。這是對正在發生的事情的另一種看法，它們是假設的世界狀態，如果它們是真的，就意味著我的感知系統沒有說謊，那是我能告訴你我的感知系統在對我說謊時正在做什麼的最好方式。現在我們需要更進一步來處理感知、意識、感覺和情緒，但我認為最終它們都會以類似的方式處理。沒有理由機器不能擁有所有這些。因為人們說機器不能有感覺，人們對此 curiously 自信。我不知道為什麼。假設我製造一個戰鬥機器人，它是一個小戰鬥機器人，它看到一個比它強大得多的大戰鬥機器人，如果它感到害怕，那會非常有用。現在當我感到害怕時，嗯，會發生各種生理上的事情，我們不需要深入探討，那些事情不會發生在機器人身上。但所有認知上的事情，比如我最好趕快離開這裡，我最好改變我的思維方式，所以我專注、專注、再專注，不要分心，所有這些也會發生在機器人身上。人們會內建一些東西，這樣當情況需要它們趕快離開時，它們就會感到害怕並逃跑。它們會有情緒，然後它們不會有生理方面的反應，但它們會有所有認知方面的反應。我認為說它們只是在模擬情緒是很奇怪的，不，它們真的有那些情緒，小機器人害怕了然後逃跑了。它不是因為腎上腺素而逃跑，而是因為它神經網路中的一系列，嗯，神經過程發生了，這些過程產生了相當於腎上腺素的效果。

所以您認為，而且不只是腎上腺素，對吧？當你害怕的時候，會有很多認知上的事情發生。是的。所以您認為 AI 有意識嗎？當我說有意識，我的意思是指它代表了與人類擁有的意識相同的屬性。這裡有兩個問題，一個是經驗性的，一個是哲學性的。我不認為原則上有任何東西能阻止機器擁有意識。在我們繼續之前，我給你做個小小的示範。假設我取出你的大腦，取出你大腦中的一個腦細胞，然後用這個東西取代它，有點像《黑鏡》的情節，我用一個大小完全相同、行為方式也完全相同的奈米科技小裝置取代它。當它接收到其他神經元的脈衝時，它會發出與腦細胞完全相同的脈衝，所以其他神經元不會知道有任何改變。好的，我只是用這個奈米科技小裝置取代了你的一個腦細胞。你還會有意識嗎？現在你可以看到這個論證的走向了。是的，所以如果你全部替換掉，當我全部替換掉它們的時候，你在哪個點上停止有意識呢？嗯，人們認為意識是這種，像是飄渺的東西，可能存在於腦細胞之外。是的，嗯，人們有很多瘋狂的想法，嗯，人們不知道意識是什麼，他們通常也不知道自己說的是什麼意思。然後他們就會退回到說，嗯，我知道它，因為我有它，我能看到我有它。然後他們就會退回到我認為是胡說八道的這種劇場式的心理模型。

您認為意識是什麼？如果您必須嘗試定義它。是嗎？因為我認為它就像對我自己的覺察。我不知道。我認為這是一個我們將停止使用的術語。假設你想了解汽車是如何運作的，嗯，你知道有些汽車馬力很大，而另一些汽車馬力小得多，就像 Aston Martin 馬力很大，而小 Toyota Corolla 馬力不大。但「馬力」(oomph) 並不是一個理解汽車的好概念。嗯，如果你想了解汽車，你需要了解電動引擎或汽油引擎以及它們如何運作，這會產生「馬力」，但「馬力」並不是一個非常有用的解釋性概念。它像是汽車的精髓，是 Aston Martin 的精髓，但它解釋不了太多。我認為意識就像那樣，我認為我們會停止使用那個術語。但我認為沒有任何理由機器不應該擁有它。如果你對意識的看法是它本質上包含自我覺察，那麼機器就必須有自我覺察，它必須有關於自身認知的認知等等。但我是一個徹頭徹尾的唯物主義者，我不認為有任何理由機器不應該有意識。那麼您認為它們確實擁有我們認為自己出生時獨特被賦予的那種意識嗎？我目前對此持矛盾態度。所以我不認為存在這樣一條明確的界線。我認為一旦你擁有一台具有某些自我意識的機器，它就擁有一些意識。嗯，我認為這是一個複雜系統的突現屬性，它不是遍布宇宙的某種本質。是你製造了這個非常複雜的系統，它複雜到足以擁有一個關於自身的模型，並且它進行感知，我認為那時你就開始得到有意識的機器了。所以我不認為我們現在擁有的和有意識的機器之間有任何明確的區別。我不認為有一天我們會醒來然後說：「嘿，如果你把這種特殊的化學物質放進去，它就會變得有意識。」事情不會是那樣的。

我想我們都想知道這些電腦是否像我們一樣，在我們不在的時候獨自思考，它們是否經歷情緒，它們是否在與……我想我們可能，你知道，我們思考像愛這樣的事情，以及那些感覺上是生物物種所獨有的事情，嗯，它們是否坐在那裡思考，它們是否有擔憂？我想它們確實是在思考，而且我認為一旦你製造出 AI 代理人，它們就會有擔憂。如果你想製造一個有效的 AI 代理人，假設，讓我們以客服中心為例。在客服中心，目前有人，他們有各種各樣的情緒和感受，這些在某種程度上是有用的。所以假設我打電話給客服中心，我其實很孤單，我並不是真的想知道為什麼我的電腦壞了，我只是想找個人說說話。過了一會兒，客服中心的人要么會覺得無聊，要么會對我感到惱火，然後就會終止通話。嗯，你用 AI 代理人取代他們。AI 代理人需要有同樣的反應。如果有人只是因為想和 AI 代理人說話而打電話進來，而且我們很樂意和 AI 代理人聊一整天，那對生意不好。你需要一個會感到無聊或惱火，然後說：「對不起，我沒時間處理這個。」的 AI 代理人。一旦它這樣做了，我認為它就有了情緒。現在，就像我說的，情緒有兩個方面，有認知方面和行為方面，然後還有生理方面，這些在我們身上是同時存在的。如果 AI 代理人感到尷尬，它不會臉紅，嗯，所以沒有生理上的，皮膚不會開始出汗。是的，但它可能有所有相同的行為，在這種情況下，我會說，是的，它有情緒，它有情緒。所以它會有同樣的認知思考，然後它會以同樣的方式根據那個認知行動，但沒有生理反應。那它臉不紅有關係嗎？這只是一個不同的，我的意思是，那是對它的反應。這使得它在某些方面與我們有所不同。對於某些事情，生理方面非常重要，比如愛。它們離擁有我們擁有的那種愛還差得很遠。但我看不出它們為什麼不應該有情緒。所以我認為發生的是，人們對心智如何運作、感覺是什麼、情緒是什麼有一個模型，而他們的模型是錯誤的。

加入 Google 的契機與工作內容

嗯，是什麼讓您加入 Google 的？您在 Google 工作了大約十年，對吧？是什麼讓您加入那裡的？我有一個有學習障礙的兒子，為了確保他永遠不會流落街頭，我需要幾百萬美元，而我作為一個學者是拿不到那麼多錢的。我試過了，所以我開了一門 Coursera 的課程，希望能賺很多錢，但那裡面沒有錢。嗯哼。所以我弄明白了，嗯，獲得數百萬美元的唯一方法就是把自己賣給一家大公司。所以當我 65 歲的時候，幸運的是，我有兩個非常出色的學生，他們做出了一個叫做 AlexNet 的東西，那是一個在識別圖像中物體方面非常出色的神經網路。所以 Ilia、Alex 和我成立了一家小公司並進行了拍賣，我們實際上組織了一場拍賣，讓許多大公司競標我們。那家公司叫做 AlexNet 嗎？不，那個識別物體的網路叫做 AlexNet。公司叫做 DNN Research，深度神經網路研究。它做的事情就像這個，我會把這個圖表放在螢幕上，那就是 AlexNet。這張圖片顯示了八張圖像，以及 AlexNet 的能力，也就是貴公司的能力，來辨識這些圖像中的內容。是的，所以它可以區分各種不同的蘑菇，ImageNet 中大約 12% 是狗，要想在 ImageNet 上表現出色，你必須能夠區分非常相似種類的狗，它在這方面變得非常出色。而您的公司 AlexNet 我相信因其超越競爭對手的能力而獲得了多個獎項。所以 Google 最終收購了您的技術。Google 收購了那項技術以及其他一些技術。您在幾歲時加入 Google 工作？66 歲。我 65 歲時加入 Google 工作。65 歲。您在 76 歲時離開。75 歲。75 歲。好的。我在那裡工作了差不多整整 10 年。您在那裡做什麼？好的，他們對我非常好。他們說，他們幾乎說你可以做任何你想做的事。我研究了一種叫做「蒸餾」(distillation) 的東西，效果非常好，現在 AI 領域一直都在使用它。在 AI 領域。而「蒸餾」是一種將大型模型（大型神經網路）所知的知識，轉移到小型神經網路中的方法。然後到最後，我對類比計算非常感興趣，以及是否有可能讓這些大型語言模型在類比硬體上運行，這樣它們就能消耗少得多的能源。正是在我做那項工作的時候，我開始真正意識到數位技術在共享資訊方面有多麼優越。

離開 Google 與對 AI 安全的公開呼籲

那裡有頓悟的時刻嗎？有頓悟的一兩個月，嗯，那是一種，嗯，ChatGPT 的出現與其產生的一種耦合效應，儘管 Google 在一年前就有非常類似的東西，我也見過，那對我產生了很大的影響。我最接近頓悟的時刻是當 Google 一個叫做 Palm 的系統能夠解釋一個笑話為什麼好笑的時候。我一直認為那是一個里程碑，如果它能解釋一個笑話為什麼好笑，那它就真的理解了。而它確實能解釋一個笑話為什麼好笑。再加上意識到為什麼數位在共享資訊方面比類比好得多，突然之間我對 AI 安全非常感興趣，並且意識到這些東西會比我們聰明得多。

您為什麼離開 Google？我離開 Google 的主要原因是我 75 歲了，我想退休。我退休這件事做得非常糟糕。我離開 Google 的確切時機是為了我可以在 MIT 的一個會議上自由發言。但我離開是因為我，我老了，我發現編程越來越困難，我編程時犯的錯誤越來越多，這非常惱人。您想在 MIT 的一個會議上自由發言。是的，在 MIT，由 MIT Tech Review 組織的。您想自由地談論什麼？AI 安全。您在 Google 工作時不能那樣做嗎？嗯，我在 Google 工作時本可以那樣做，Google 也鼓勵我留下來研究 AI 安全，並說我可以做任何我想做的關於 AI 安全的事情。你自己會感覺到，如果你為一家大公司工作，說一些會損害大公司的事情感覺不太對，即使你可能不會因此受到懲罰，我只是覺得那樣不對。我離開並不是因為我對 Google 做的任何事情感到生氣。我認為 Google 在擁有這些大型聊天機器人時實際上表現得非常負責，他們沒有發布它們，可能是因為他們擔心自己的聲譽。他們有非常好的聲譽，他們不想損害它。所以 OpenAI 沒有聲譽，所以他們可以承擔這個風險。我的意思是，現在也有很多關於它將如何蠶食其核心搜尋業務的討論。現在是的，在某種程度上，這也是舊有的創新者困境。我想他們正在應對糟糕的皮膚問題。我曾經有過，我相信很多聽眾也曾經有過，或者你現在就有。我知道這有多麼令人疲憊，尤其是如果你從事的是像我這樣經常需要公開露面的工作。所以讓我告訴你一些對我和我的伴侶以及我的妹妹都有幫助的東西，那就是紅光療法。我幾年前才開始接觸這個，但我希望我能早點知道。

給予有影響力人士和普通大眾的訊息

我持續被收聽這場對話的各類人士所震驚，嗯，因為他們有時會來找我，所以我會從政治人物那裡聽到，我會從一些真正的人那裡聽到，我會從世界各地的企業家那裡聽到，無論他們是建立世界上一些最大公司的企業家，還是，你知道，處於早期階段的初創公司。對於那些現在正在收聽這場對話，身居要職並具有影響力的人，比如說世界領袖，您對他們有什麼訊息？我會說你們需要的是受到高度監管的資本主義，那似乎是效果最好的。您會對普通人說些什麼？對那些不在這個行業工作，對未來有些擔憂，不知道自己是否無助的人，他們在自己的生活中應該做些什麼？我的感覺是他們能做的並不多。這不會由，就像氣候變遷不會由人們把塑膠袋和可堆肥物分開來決定一樣，那不會有太大影響。這將取決於大型能源公司的遊說者是否能受到控制。我不認為人們能做太多事，除了試圖向他們的政府施壓，迫使大公司致力於 AI 安全，他們可以做到這一點。

家族傳承與人生反思

您的人生充滿了迷人而曲折的經歷。我想大多數人不知道的一件事是，您的家族在參與重大事件方面有著悠久的歷史。您的家譜是我見過或讀過的最令人印象深刻的之一。您的曾曾祖父 George Boole 創立了布林代數邏輯，這是現代計算機科學的基礎原則之一。您的曾曾祖母 Mary Everest Boole 是一位數學家和教育家，據我所知，她在數學領域取得了巨大的進步。嗯，我的意思是，這樣的例子不勝枚舉。我的意思是，您的曾曾叔祖 George Everest 是珠穆朗瑪峰（Mount Everest）的命名由來，是這樣嗎？我想他是我的曾曾曾叔祖。他的侄女嫁給了 George Boole。所以 Mary Boole 是 Mary Everest Boole，嗯，她是 Everest 的侄女。而您的表姑 Joan Hinton 曾參與曼哈頓計劃，也就是第二次世界大戰期間研發第一顆原子彈的核物理學家。是的，她是洛斯阿拉莫斯僅有的兩位女性物理學家之一。然後在他們投下原子彈之後，她搬到了中國。為什麼？她對他們投下原子彈非常生氣，而且她的家人與中國有很多聯繫。她的母親是毛主席的朋友，相當奇怪。

回顧您的一生，Jeffrey，我們擁有您現在擁有的後見之明和回顧性的清晰度，如果您要給我建議，您可能會做些什麼不同的事情？我想我有兩點建議。第一點是，如果你直覺認為人們做事的方式是錯的，並且有更好的方法，不要因為別人說那很傻就放棄那個直覺。不要放棄那個直覺，直到你弄清楚它為什麼是錯的，自己弄清楚那個直覺為什麼不正確。通常情況下，如果它與其他所有人都不同，那它就是錯的，你最終會弄清楚它為什麼是錯的。但偶爾，你會有一些直覺實際上是對的，而其他所有人都是錯的。我很早就幸運地遇到了這種情況。我認為神經網路絕對是製造 AI 的正確途徑，幾乎所有人都說那很瘋狂，但我堅持了下來，因為我無法，在我看來，那顯然是正確的。現在，你應該堅持你的直覺這個想法，如果你的直覺不好，那是行不通的。但如果你的直覺不好，你反正也做不成任何事，所以你還不如堅持下去。

在您自己的職業生涯中，回顧過去，有沒有什麼事情是您覺得「如果我有現在的後見之明，當時我應該採取不同的做法」的？我希望我能多花點時間陪伴我的妻子，嗯，還有我的孩子們，當他們還小的時候。我當時有點沉迷於工作。您的妻子因卵巢癌去世了嗎？不，或者那是另一位妻子。好的，嗯，我有兩位妻子都得了癌症。哦，真的嗎？對不起。第一位死於卵巢癌，第二位死於胰腺癌。您希望多花點時間陪她。和第二位妻子，是的。她是一個非常棒的人。您為什麼在七十多歲的時候這麼說？您領悟到了什麼我可能還不知道的事情？哦，只是因為她走了，我現在不能再多花時間陪她了。嗯哼。但您當時並不知道。當時您想，我的意思是，我比她先死的可能性比較大，只因為她是女人而我是男人，嗯，我沒有，我只是在可以的時候沒有花足夠的時間。我想，我之所以這麼問，是因為我想我們很多人都太專注於我們在專業上所做的事情，以至於我們有點理所當然地認為我們的伴侶會永遠存在，因為他們一直都在那裡。所以我們，我的意思是，她非常支持我花很多時間工作，但是。那您為什麼也提到您的孩子呢？那是什麼，那是什麼？嗯，我小時候沒有花足夠的時間陪他們，您現在後悔了嗎？

對AI安全的最終呼籲與未來展望

如果您對我的聽眾有一個關於 AI 和 AI 安全的結束語，那會是什麼，Jeffrey？我們仍然有機會弄清楚如何開發出不會想要取代我們的 AI。因為有這個機會，我們應該投入巨大的資源來嘗試弄清楚這一點。因為如果我們不這樣做，它就會取代我們。您抱有希望嗎？我只是不知道。我持不可知論。

您晚上上床睡覺時，當您思考各種結果的可能性時，一定會偏向某個方向，因為我肯定是這樣。我想現在收聽的每個人內心都有一個他們可能不會說出口的預測，關於他們認為事情會如何發展。我真的不知道。我真的不知道。我認為這非常不確定。當我感到有點沮喪時，我想人類完蛋了，它會接管一切。當我感到高興時，我想我們會找到辦法的。

也許身為人類的一個面向是，因為我們一直都在這裡，就像我們談論我們的摯愛和我們的關係一樣，我們隨意地認為我們會永遠在這裡，我們會永遠解決所有問題。但凡事皆有始有終，就像我們從恐龍身上看到的那樣。我的意思是，是的，我們必須面對這樣一種可能性：除非我們盡快採取行動，否則我們已接近末日。

嘉賓提問與人類幸福的最大威脅

我們在這個播客上有一個結束的傳統，就是上一位嘉賓會在他們的日記裡留下一個問題。他們留給您的問題是：在您預見到的所有未來中，您認為對人類幸福最大的威脅是什麼？我認為失業是對人類幸福一個相當緊迫的短期威脅。我認為如果你讓許許多多的人失業，即使他們獲得了全民基本收入，嗯，他們也不會快樂，因為他們需要目標。因為他們需要目標，是的，還有奮鬥。他們需要感覺到自己在貢獻一些東西，他們是有用的。您認為那種結果，也就是將會出現大規模失業，發生的可能性比較大嗎？是的，我認為。那一個，我認為發生的可能性肯定比較大。如果我在客服中心工作，我會嚇壞的。那大規模失業的時間表是什麼？我想它已經開始發生了。我最近在《大西洋月刊》上讀到一篇文章，說大學畢業生現在已經很難找到工作了，部分原因可能是人們已經開始使用 AI 來完成他們本可以獲得的工作。我跟一位大公司的 CEO 談過，大家一定都知道這家公司，很多人都在用。他在私訊中告訴我，他們以前有七千多名員工，他說，到去年，他們減少到大概五千人。他說現在他們有三千六百人，他說到夏天結束，因為 AI 代理的關係，他們會減少到三千人。所以你看到，所以它已經在發生了。是的，他裁掉了一半的員工，因為 AI 代理現在可以處理 80% 的客服諮詢和其他事情。所以它，它已經在發生了。所以需要緊急行動。是的。我不知道那緊急行動是什麼。那是一個棘手的問題，因為那在很大程度上取決於政治體制，而政治體制目前都朝著錯誤的方向發展。我的意思是，我們需要做什麼？存錢嗎？像我們存錢嗎？我們搬到世界的另一個地方嗎？我不知道。您會告訴您的孩子們做什麼？他們說：「爸爸，將會有大量的失業。」因為我在 Google 工作了 10 年，所以他們有足夠的錢。好的，好的。該死。所以他們不是典型的。如果他們沒有錢呢？去學做水管工。真的嗎？

Jeffrey，非常感謝您。您是我生平第一次與之交談的諾貝爾獎得主。我想在我的一生中都是如此，所以這是一個巨大的榮幸。您因畢生卓越的工作以及在許多深遠方面推動世界進步而獲得該獎項，這些進步導致了偉大的成就，並且對我們至關重要。現在，您將人生的這個階段轉向揭示您自己的一些工作，同時也揭示 AI 的更廣泛風險以及它可能如何對我們產生不利影響。很少有人曾在像 Google 這樣的大型科技公司的內部機器中工作過，為 AI 領域做出過貢獻，而現在卻站在最前線警告我們他們曾經致力研究的東西。現在實際上我們這樣的人出乎意料地多。他們沒有那麼，嗯，公開，而且實際上很難讓他們進行這類對話，因為他們中的許多人仍然在那個行業。所以，你知道，一個經常試圖聯繫這些人並邀請他們進行對話的人，他們通常有點猶豫是否要公開發言。他們私下會說，但不太願意公開，因為也許，也許他們仍然有一些利害關係在其中。我比他們有一個優勢，那就是我年紀比較大。所以我失業了，所以我可以說我想說的。好吧，那就這樣吧。所以謝謝您所做的一切。這是一個真正的榮幸，請務必繼續這樣做。謝謝您。謝謝您。

人們以為我在開玩笑，但我不是。水管工，魚和水管工的薪水都相當不錯。