原文連結： OpenAI 的 Sam Altman 在 TED2025 談 AI 的未來、安全與權力
OpenAI 的 Sam Altman 在 TED2025 談 AI 的未來、安全與權力
Sam 歡迎來到 TED。非常感謝你的到來。謝謝你。這是我的榮幸。你的公司感覺上幾乎每隔一週就在發布瘋狂得難以置信的新模型。嗯，我一直在玩其中幾個。我想給你看一下我玩的成果。所以 Sora，這是那個圖像和影片生成器。嗯，我問 Sora 這個：當你在 TED 這裡分享一些驚人內幕時，會是什麼樣子？想看看它是怎麼想像的嗎？你知道，我的意思是，還不錯吧？你會給它打幾分？每隻手都有五根手指。跟我穿的非常接近。你知道，我從沒見過你，我從沒見過你這麼活躍。你通常… 不，我不是那麼活躍的人。所以也許 B+。
但這一個，嗯，當我讓它想出一個圖表來顯示智慧和意識之間的區別時，它真的讓我震驚了。像是，你會怎麼做？這是它的成果。我的意思是，這非常簡單，但卻令人難以置信。是什麼樣的過程能讓——這顯然不只是圖像生成。它連結到了你們整體模型擁有的核心智慧。
是的，新的圖像生成模型是 GPT-4 的一部分。所以它具備了所有的智慧。嗯，我認為這就是它能夠做出這些人們真正喜愛的事情的原因之一。
我的意思是，如果我是一個管理顧問，玩著這些東西，我會想，喔喔，我的未來會是什麼樣子？
我，我的意思是，我認為有兩種看法你可以採取。你可以說：「哦天啊，它正在做我所做的一切。我會怎麼樣？」或者你可以說，就像歷史上每一次技術革命一樣，好吧，現在有了這個新工具，我可以做更多的事情。我將能夠做什麼？確實，嗯，我們對某個特定工作中人員的期望會提高，但能力將會如此顯著地提升，以至於我認為應對這種情況會很容易。
所以這個也讓我印象深刻。我讓它想像 Charlie Brown 認為自己是 AI。嗯，它想出了這個。我覺得這其實相當深刻。你覺得呢？嗯，我的意思是，一些新模型的寫作質量，不僅僅是在這裡，而且在細節上，真的達到了一個新的水平。
是的，我的意思是，這是一個令人難以置信的元答案 (meta answer)，但真的無法知道它是在思考這個，還是在訓練集中看到了很多次。當然，如果你無法分辨差異，你又有多在乎呢？
所以那真的很有趣。它不知道，我們不知道。嗯，不過難道沒有，嗯，乍看之下這像是智慧財產權盜竊。像是，你們沒有和 Peanuts 的資產管理人達成協議吧？嗯，你們可以盡情為此鼓掌。享受吧。嗯…
我，我必須說，我認為人類的創造精神是一件極其重要的事情，我們希望創造工具來提升它，讓新的人可以創造更好的藝術、更好的內容、寫出我們都喜歡的更好的小說。我深信人類將處於這一切的中心。嗯，我也相信我們可能確實需要圍繞創意產出的經濟學找出某種新的模式。嗯，我認為人們建立在他人的創造力之上已經有很長時間了，人們汲取靈感已經有很長時間了。嗯，但隨著創造力的獲取變得極其民主化，人們一直在彼此的想法基礎上進行建設，我認為有令人難以置信的新商業模式，我們和其他人都很興奮去探索。那具體會是什麼樣子，嗯，我不確定。像顯然有些是黑白分明的事情，比如你不能複製別人的作品，但你能從中汲取多少靈感？如果你說我想以這七個人的風格生成藝術，他們都同意了，你如何，像是，分配多少錢給每個人？這些都是大問題。但歷史上每一次，當我們把更好、更強大的技術交到創作者手中時，我認為我們整體上會得到更好的創意產出，人們會做出更令人驚嘆的事情。
我的意思是，一個更大的問題是當他們沒有同意的時候。在我們的開幕式上，Carol Cadwaladr，嗯，展示了，你知道，ChatGPT 以 Carol Cadwaladr 的風格做了一場演講，果然，它做了一場演講，雖然不如她本人講得好，但已經相當令人印象深刻了。而且，嗯，她說，好吧，這很棒，但我沒有同意。我們將如何處理這個問題？像是，難道沒有一種方法，難道不應該只有那些同意的人，或者難道不應該有一種模型，以某種方式規定，在提示詞中被點名、其作品被使用的任何個人，都應該為此獲得一些回報？
所以現在，如果你使用我們的圖像生成工具，然後說，你知道，我想要某位在世藝術家的風格的東西，它不會，它不會做那個。嗯，但如果你說我想要這種特定風格，或者這個工作室，或者這個藝術運動的風格，或者其他什麼，它會的。嗯，而且顯然，如果你像是，你知道，輸出一首像是複製某首歌的歌曲，它不會做那個。那個界線應該在哪裡，以及人們如何說，像是，這太過分了，這個問題。我們以前透過版權法和合理使用的界定來解決這個問題。再次強調，我認為在 AI 的世界裡，會有一個我們將會弄清楚的新模式。嗯，但是從這個角度來看，我的意思是，這個世界充滿了——創意人士是現在最憤怒的人之一，或者對 AI 最恐懼的人之一。感覺自己的作品被偷走、未來被偷走，和感覺自己的作品被放大、可以被放大，這兩種感覺是如此不同。如果，如果我們能夠轉向另一種，轉向第二種，那我認為這真的會改變整個人類擁抱這一切的程度。
嗯，再次強調，我會說一些創意人士非常沮喪。一些創意人士則像是：「這是史上最棒的工具。我正在做令人難以置信的新作品。」嗯，但你知道，像是，這絕對是一個變化，我對那些只是希望這種變化不要發生的人抱有很大的同情。這是，我喜歡以前的樣子。我喜歡，抱歉。
但原則上，你可以，你可以從任何給定的提示詞計算出應該有多少——應該有某種方法能夠計算出訂閱收入或其他收入的多大比例歸於每個答案。原則上，如果能把其餘規則弄清楚，這應該是可能的。
這顯然很複雜。你可以計算某種收入分成。是的。如果你是一位音樂家，你花了你的一生，你的整個童年，無論如何，聽音樂，然後你有了一個想法，你去創作一首受到你以前聽過的啟發但又是一個新方向的歌曲。你很難說，像是，「這麼多來自於我 11 歲時聽的那首歌，這麼多來自於我看到那個的時候。」
但，那是對的。但我們這裡談論的是有人在提示詞中特別點名某人的情況。
是的。所以我，嗯，再次強調，現在如果你試圖像是去生成一個以某個名字風格的圖像，我們只會說那個在世的我們不做。但我認為想出一個新模式會很酷，如果你說我想以這位藝術家的名義來做，他們選擇加入，那裡就有一個收入模式。那，好吧。我認為這是件好事需要解釋清楚。所以，所以我認為世界應該幫助你快速弄清楚那個模式，我認為這將會產生巨大的影響。實際上，我想快速轉換一下話題。嗯，你的模型和開源之間的戰鬥。Deepseek 的出現讓你有多震驚？
我認為開源有一個重要的位置。嗯，我們，我們實際上昨晚剛舉辦了我們的第一次像是社群會議，來決定我們的開源模型的參數。嗯，以及我們想如何塑造它。我，我們將會做一個非常強大的開源模型。嗯，我認為這很重要。我們將會做一些接近前沿的東西。我認為比現在任何現有的開源模型都要好。這不會是全部，像是有一些人會以這個房間裡某些人，也許是你或我不喜歡的方式來使用它。嗯，但開源模型作為這裡星座的一部分，將會有一個重要的位置。嗯，而且你知道，我認為我們在這方面行動晚了，但我們現在會做得非常好。
我的意思是，你花的錢似乎比 DeepSeek 據稱花的錢多一個甚至幾個數量級，雖然我知道這方面存在爭議。你是否確信真正更好的模型會被認可，或者你實際上像是，這在某種程度上對「是的，透過大規模投入、數百億美元的投資，我們可以保持令人難以置信的領先地位」這個概念構成了生存威脅嗎？
我整天都在打電話給人們，懇求他們給我們他們的 GPU。我們的資源極其受限。我們的增長像這樣發展。Deepseek 推出了，似乎並沒有影響它。還有其他事情正在發生。嗯…
跟我們談談增長情況。實際上，你在後台給了我一個驚人的數字。
我的意思是，我從未見過任何公司有這樣的增長，無論是我參與過的還是沒有的。嗯，像是 ChachiPT 的增長。這，這真的很有趣。我感到非常，非常榮幸，但經歷這一切真是瘋狂，我們的團隊筋疲力盡、壓力重重，我們正在努力維持運營。
你現在有多少用戶？
嗯，我想我們上次說的是 5 億每週活躍用戶，而且它增長非常迅速。像是，它如此…
我的意思是，你告訴我，我們在短短幾週內就翻了一番，像是在運算方面。
私下說的，但我想，哦，我記錯了。嗯，我很抱歉，我們可以在這裡把它剪掉。它增長非常快。嗯…
所以你很有信心，你看到它像火箭一樣起飛增長。你一直在發布令人難以置信的新模型。你現在在你最好的內部模型中看到了什麼，你還沒有與世界分享，但你很想在這個舞台上聽到？
所以，首先，你問到，你知道，我們是否擔心這個模型或那個模型。世界上將會有很多智慧模型。非常聰明的模型將會商品化，嗯，在某種程度上。我認為我們會擁有最好的，對於某些用途你會想要那個。但像是，老實說，這些模型現在非常聰明，以至於對於大多數人想要做的大多數事情來說，它們已經足夠好了。我希望隨著時間的推移這會改變，因為人們會提高他們的期望。但像是，如果你像一個標準用戶那樣使用 chat GPT，模型的能力非常聰明。但我們必須建立一個偉大的產品，而不僅僅是一個偉大的模型。所以將會有很多人擁有偉大的模型，我們將努力建立最好的產品，人們想要他們的圖像生成，一些 Sora 的例子用於早期的影片。嗯，他們想要與他們所有的東西整合。我們剛剛推出了一個新功能，叫做，嗯，仍然叫做記憶功能 (memory)，但它比以前的記憶功能好得多，這個模型將在你的一生中逐漸了解你。嗯，我們還有更多東西即將推出，來建立像這樣偉大的整合產品，你知道，那是，我認為人們會堅持使用那個。所以將會有許多模型，但我認為我們將，我希望，繼續專注於在這個領域建立最好的、定義性的產品。
我的意思是，在我看到你昨天宣布你現在，嗯，ChatGPT 將會知道你所有的查詢歷史之後，我輸入了「根據你所知道的一切，告訴我關於我的信息，ChatGPT」，我的下巴都掉了。所以，我的意思是，它很震驚，它知道我是誰，嗯，以及所有這些興趣，嗯，希望大部分都相當合適且可以分享，但是，嗯，這，這令人震驚。我感到一種真正的興奮感，有點不安，但主要是興奮，實際上，對於這將讓它對我有多麼有用。
我們的一位研究人員發推文說，你知道，大概是昨天今天早上，上傳是一點一點發生的。不是，你知道，不是你某天插上你的大腦，而是你將在你的一生中與聊天機器人交談。某天，也許如果你願意，它會整天聽你說話，並觀察你在做什麼，它會了解你，它會成為你自我的延伸，這個伴侶，這個只是試圖像是幫助你成為最好的、盡你所能做最好的事情。
在電影《Her》中，AI 基本上宣布，你知道，她讀了他所有的郵件，並認定他是一位偉大的作家，而且，嗯，寄送，你知道，說服了一家出版商出版他的書。那，那可能比我們想像的來得更快。
嗯，我不認為會完全像那樣發生，但是，是的，我認為在 AI 這個方向上，你不必只是像是去 chatgbt 或其他什麼地方說「我有一個問題，給我答案」，而是你會得到像是主動推送給你、幫助你、讓你變得更好等等的東西，那確實似乎很快就會到來。
那麼你看到了什麼即將在內部出現，你認為會讓人們大吃一驚？至少給我們一點提示，下一個令人瞠目結舌的大事是什麼？
我個人目前最興奮的事情是科學領域的 AI (AI for science)。我認為，我堅信，世界和人們生活變得越來越好的最重要的驅動因素是新的科學發現。我們可以用更少的資源做更多的事情，我們像是拓展了可能性的邊界。我們開始從科學家那裡聽到很多關於我們最新模型的反饋，說它們實際上只是讓他們比以前更有生產力，這實際上對他們能夠發現什麼產生了影響。
什麼是近期可能實現的發現？像是室溫超導體？
那將是一個偉大的…嗯，那可能嗎？
是的，我不認為那像是被物理定律所阻止。所以我應該是可能的。是的，但我們不能確定。嗯，我認為你會開始看到在 AI 輔助工具的幫助下，在對抗疾病方面取得一些有意義的進展。嗯，你知道，物理學也許需要更長一點的時間，但我對此抱有希望。嗯，所以那像是一個方向。另一個我認為很重要的方向是，很快就會開始，像是在未來幾個月內。軟體開發已經發生了相當大的轉變。像是現在創建軟體的過程與兩年前相比有多麼不同，真是令人驚嘆。但我預計在未來幾個月內會有另一個那麼大的進展，因為軟體工程真的開始發生了。
我聽說，我聽說工程師們說他們在使用一些新模型時，幾乎經歷了像是宗教般的時刻，突然之間他們可以在一個下午完成以前需要兩年才能完成的事情。
這，這，這，是的。是的。就像是令人難以置信，它真的像是，那一直是我感受到的 AGI 的重大時刻之一。
但是，但是談談你見過的最可怕的事情是什麼？因為像是，外面很多人想像你，你知道，你有機會接觸這些東西，我們聽到所有這些關於 AI 的謠言，就像是，哦我的天啊，他們看到了意識，或者他們看到了 AGI，或者他們看到了某種末日即將來臨。你有沒有看到，有沒有一個可怕的時刻，當你在內部看到某樣東西，然後想，喔喔，我們需要注意這個？
曾經有過像是敬畏的時刻，我認為隨之而來的總是像是，這將會發展到多遠？這將會變成什麼？但沒有像是，我們沒有秘密地擁有，你知道，我們沒有秘密地坐擁一個有意識的模型，或者能夠自我改進的東西，或者任何類似的東西。嗯，你知道，人們對於主要的 AI 風險將會是什麼有非常不同的看法。嗯，我自己對於我們將在哪裡看到這些風險的思考也在演變。但是，我，我繼續相信將會出現非常強大的模型，人們可能會以很大的方式濫用它們。人們談論了很多關於新型生物恐怖主義 (bioterror) 的潛力，模型可能帶來像是真正的網路安全 (cyber security) 挑戰，能夠以導致某種失控的方式進行自我改進的模型。嗯，所以我認為那裡存在巨大的風險。然後還有很多其他的事情，老實說，這有點像是，我認為很多人在談論虛假信息 (disinformation) 或模型說出他們不喜歡的話或類似事情時的意思。
堅持第一個，你在發布前會在內部檢查那個嗎？
當然。是的。所以我們有這個準備框架 (preparedness framework)，概述了我們如何做到這一點。
我的意思是，你安全團隊的一些人離職了。有多少人離職了？他們為什麼離開？
我們有，我不知道確切的數字。嗯，但顯然對於 AI 安全系統存在不同的看法。我，我真的會指向我們的往績記錄。會有人說各種各樣的話，你知道，現在世界上大約有 10% 的人經常使用我們的系統，我們對安全往績記錄感到非常自豪。
但往績記錄在某種程度上不是問題所在，因為我們談論的是，我們談論的是一種指數級增長的力量，我們擔心我們可能某天醒來，世界就結束了。所以這，這真的不是關於旅行。這是關於能夠令人信服地說，相關機制已經就位，如果我們看到危險，可以迅速關閉一切。
是的。是的。不，當然。當然那很重要。你不能，你不會像是某天醒來說：「嘿，我們沒有任何安全流程。現在我們認為模型非常聰明，所以現在我們必須關心安全了。」你必須在這整個指數曲線上一直關心它。當然，風險會增加，並且存在巨大的挑戰，但我們學習如何構建安全系統的方式是這個迭代過程：將它們部署到世界，在風險相對較低時獲得反饋，了解像是，「嘿，這是我們必須解決的問題」。我認為隨著我們進入這些代理系統 (agentic systems)，有一大類新的事物我們必須學會去解決。
所以讓我們談談代理系統以及它與 AGI 的關係。我認為外面存在困惑，我很困惑。所以通用人工智慧 (Artificial General Intelligence)。感覺上 ChatGPT 已經是一個通用智慧了。我可以問它任何事情，它都會給出一個智慧的答案。為什麼那不是 AGI？
它首先，你不能問它任何事情。那是非常客氣的說法，但有很多事情它仍然令人尷尬地糟糕。但即使我們修復了那些，希望我們能做到，嗯，它不會持續學習和改進。它不能去在它目前薄弱的方面變得更好。它不能去發現新的科學知識並更新它的理解並做到這一點。嗯，而且它也有點，即使我們降低標準，它也不能只是像是做任何你可以在電腦前做的知識工作。實際上，即使沒有那種在它還不知道的事情上變得更好的能力，我也許會接受那作為 AGI 的定義，但目前的系統，你不能說，像是，「嘿，去為我的工作完成這個任務」，然後它就去網上點擊、打電話給某人、查看你的文件並完成它。沒有那個，感覺肯定還差得遠。
我的意思是，你們內部對於 AGI 是什麼有一個明確的定義嗎？你認為我們什麼時候可能達到那個階段？
這是其中之一，就像那個笑話，如果你把 10 個 OpenAI 的研究人員關在一個房間裡，要求他們定義 AGI，你會得到 14 個定義。嗯…
那很令人擔憂，不是嗎？因為，因為那最初一直是使命。我們將成為第一個達到 AGI 的。我們會安全地做到這一點，但我們對它到底是什麼沒有一個明確的定義。
我正要說完答案。嗯，但我認為重要的是，人們想知道的不是，在哪裡是這個，你知道，我們完成了的魔法時刻，而是鑑於看起來將要發生的是，模型只會變得越來越聰明、越來越有能力，越來越聰明、越來越有能力，越來越聰明、越來越有能力，在這個漫長的指數曲線上。不同的人會在不同的點稱之為 AGI，但我們都同意它將會遠遠超越那個點，嗯，你知道，去到任何你想要稱呼這些比我們更有能力的系統的程度。重要的事情是，我們如何，我們如何談論一個在所有這些步驟中以及之後，當系統變得比我們更有能力時，當系統能做我們不完全理解的事情時，都是安全的系統。我認為比「AGI 什麼時候到來」以及「它的定義是什麼」更重要的是，認識到我們正處於這個令人難以置信的指數曲線上，你可以，你知道，說「這是我認為的 AGI」，你可以說你認為「這是你認為的 AGI」，其他人可以說超級智慧 (super intelligence) 在這裡，但我們將不得不應對並從這個令人難以置信的系統中獲得巨大的好處。所以我認為我們應該把對話從「什麼是 AGI 時刻」轉移到認識到，像是，這東西不會停止。它將遠遠超出我們任何人會稱之為 AGI 的程度。我們必須建立一個社會來獲得它的巨大好處，並弄清楚如何使其安全。
嗯，本週的對話之一是，真正的，嗯，變革時刻是，我的意思是，AGI 是一個模糊的東西，但清晰的是代理 AI (agentic AI)，當 AI 被釋放出來自主地執行專案並將各個部分組合在一起時。嗯，你實際上，嗯，你有一個叫做 Operator 的東西，開始做這個了，而且，嗯，我試用了一下。嗯，你知道，我想預訂一家餐廳，這有點令人難以置信，它有點可以繼續去做。但這就是它說的。有一個，你知道，這是一個有趣的過程，你知道，給我你的信用卡和其他一切。而且，嗯，我，我這次拒絕繼續下去。但我認為這就是，這就是人們將要面臨的挑戰。這有點像是，這是一種令人難以置信的超能力。這有點嚇人。而 Joshua Bengio 在這裡發言時說，代理 AI 是需要注意的事情。這就是當我們賦予 AI 權力去網上做事情時，一切都可能出錯的時候。我的意思是，走向互聯網在科幻故事中一直是那個時刻，你知道，逃脫發生了，潛在的事情可能會變得非常糟糕。你如何既發布代理 AI，又設置護欄 (guardrails) 以確保它不會走得太遠？
首先，顯然你可以選擇不做這個，然後說：「我不想要這個。我會像是打電話給餐廳，然後透過電話讀我的信用卡號碼。」
我可以選擇，但其他人可能會說：「哦，讓 ChatGPT 走向廣闊的互聯網，重寫互聯網，使其對人類更好，或者其他什麼。」
是的，我的意思是，我正要指出的觀點是，對於任何新技術，人們都需要一段時間才能適應。我記得，嗯，像是當我不會把我的信用卡放在互聯網上時，因為我的父母說服了我，像是有人會讀到號碼，你必須填寫表格然後打電話給他們，然後我們都有點說，好吧，我們會像是建立反欺詐系統，我們可以對此感到放心。我認為人們在很多方面會慢慢地適應代理 AI。但我也非常同意你所說的，即使有些人對此感到放心，有些人不放心，我們將會有 AI 系統在互聯網上點擊。我認為這是我們迄今面臨的最有趣、後果最嚴重的安全挑戰，因為你賦予 AI 訪問你的系統、你的信息、在你的電腦上點擊的能力，嗯，現在那些，你知道，當 AI 犯錯時，風險就高得多。嗯，這是大門。所以，我們之前談到了安全和能力。我，我有點認為它們越來越變成一維的了。像是一個好的產品就是一個安全的產品。如果你不相信它們不會像是清空你的銀行帳戶或刪除你的數據或天知道還有什麼，你就不會使用我們的 agent。所以人們想要使用他們真正可以信任、真正安全的 agent。我認為我們，我們的進展受到我們能力的限制，我們的能力去做那件事。但這是產品的一個基本組成部分。
但在一個代理無處不在的世界裡，而且，比如說，你知道，也許開源模型被廣泛分發，有人說，嗯，「好吧，AGI，我希望你走向互聯網，並且，你知道，盡你所能傳播一個迷因 (meme)，說 X 人是邪惡的，或者其他什麼。」這不必是一個個人的選擇。單個人就可以把那個 agent 放出去，而 agent 可能會決定，好吧，為了執行那個功能，我必須把自己複製到各處，而且你知道，像是，是否有，是否有你們內部明確劃定的紅線 (red lines)，你們知道危險時刻是什麼，以及我們不能放出可能超越這個界限的東西？
是的。所以這就是我們準備框架 (preparedness framework) 的目的。嗯，我們，我們會隨著時間的推移更新它，但我們試圖概述我們認為最重要的危險時刻是什麼，或者類別是什麼，我們如何衡量它，以及我們在發布之前如何緩解某些問題。嗯…
從對話中我可以感覺到，你希望 AI… 你不是一個 AI 的超級粉絲。
不，恰恰相反。我每天都使用它。我對它感到敬畏。我認為這是一個活著的令人難以置信的時代。我不會想活在任何其他時代，我迫不及待地想看看它會走向何方。但是，是我們一直在持有你…
我，我認為持有是必要的，像是你不能把人劃分成那些陣營。你必須對可能性抱有熱情的信念，但又不能被它過度誘惑，因為事情可能會變得非常糟糕。
不，不，我，我，我正要說的是，我完全理解那個。我完全理解看著這個然後說，這是一個令人難以置信的變化即將來到這個世界，而且你知道，也許我不想要這個，或者也許我喜歡它的某些部分。也許我喜歡和 Chad GPT 交談，但我擔心藝術會發生什麼。我擔心變化的速度。我擔心這些 agent 在互聯網上這裡點擊那裡點擊。而且，也許我，也許總的來說我希望這沒有發生。或者也許我希望它發生得慢一點。或者也許我希望它以一種方式發生，像是，我可以挑選進步的哪些部分將會發生。我認為，我認為恐懼是完全理性的。那種，那種焦慮是完全理性的。我們也都有很多。但是，A，將會有巨大的好處。嗯，顯然，你知道，你每天都用它，你喜歡它。嗯，B，我真的相信社會會隨著時間的推移，伴隨著一路上的某些重大錯誤，弄清楚如何正確運用技術。C，這將會發生。這就像是基礎物理學的發現，世界現在知道了，它將成為我們世界的一部分。我像是，我認為這次對話非常重要。我認為談論這些危險領域非常重要。談論新的經濟模式非常重要。但我們必須以像是謹慎而非恐懼的態度來擁抱它，否則我們將會被其他利用 AI 做得更好的人超越。
嗯，你實際上一直是最雄辯的，嗯，安全倡導者之一。你在參議院作證。我想你基本上說我們應該成立一個新的安全機構，對任何努力進行許可，即它將拒絕許可某些努力。你仍然相信那個，嗯，政策提議嗎？
我對政府如何運作了解得更多了。我不認為這完全是正確的政策提議。嗯…
什麼是正確的政策提議？
我，我確實認為，隨著這些系統變得更加先進並具有合法的全球影響力，我們需要某種方式，你知道，也許公司自己制定正確的框架或正確的某種模式，但我們需要某種方式，讓非常先進的模型接受外部安全測試，並且我們理解何時接近了其中一些危險區域。我仍然非常相信這一點。
我覺得諷刺的是，一個安全機構 (safety agency) 可能是我們想要的，然而代理 (agency) 本身卻是不安全的事物。這裡的語言有點奇怪。但無論如何，嗯，我試圖點擊幻燈片但它不動。嗯，所以我問了，我問了…
我可以再說一件事嗎？
是的，請講。
是的。我，我確實認為這個概念，我們需要為模型定義嚴格的測試，理解我們集體社會最想關注的威脅是什麼，並確保隨著模型變得更有能力，我們有一個系統，讓我們都能夠理解世界上正在發布什麼。我認為這非常重要。嗯，而且我認為我們離那些從這個意義上說將會引起巨大公眾興趣的模型不遠了。
所以 Sam，我問了你的，嗯，01 Pro 推理模型，它令人難以置信。謝謝你每月 200 美元。每月 200 美元。這，這，這個價格真是物超所值。我說：「我能問你的最一針見血的問題是什麼？」它思考了兩分鐘。兩分鐘。你想看看那個問題嗎？
我想看。
Sam，鑑於你正在幫助創造可能重塑我們整個物種命運的技術，是誰授予了你或任何人這樣做的道德權威？如果你錯了，你個人如何負責、如何問責？
它很棒。那令人印象深刻。在過去的半小時裡，你一直在問我這個問題的不同版本。你覺得呢？
我，我，但，但我會說的是，這是我的那個問題的版本。但沒有答案。
你對我的問題是什麼？是的。你會如何回答那個？站在你的立場上。是的。或者我不知道。
我，嗯，我對你感到困惑。我有點對你感到敬畏，因為你建造了那裡最令人驚嘆的事物之一。嗯，關於你有兩種敘述。一種是，你知道，你是這個令人難以置信的遠見卓識者，完成了不可能的事情，你用比 Google 少得多的人震驚了世界。你拿出了一些比你做過的任何事情都強大得多的東西。我的意思是，這，這真是令人驚嘆你所建立的。但另一種敘述是，你已經改變了立場，你已經從開放的 OpenAI，這個開放的東西，轉向了構建超級強大東西的誘惑，而且你知道，一些，你失去了一些關鍵人物。外面有這樣一種敘述。有些人認為你在這個領域不值得信任。我很想知道你是誰。你，你對自己的敘述是什麼？你，你的核心價值觀是什麼，Sam？那，那能給我們這個世界信心，相信在這裡擁有如此巨大權力的人有資格擁有它？
看，我想像其他人一樣，我是一個細微複雜的角色，不能很好地簡化為這裡的一個維度。所以，你知道，可能一些好的方面是真的，可能一些批評也是真的。我，就 OpenAI 而言，嗯，我們的，我們的目標是製造 AGI 並分發它，使其安全，為了人類的廣泛利益。我認為從各方面來看，我們在這方面做了很多。嗯，顯然我們的策略隨著時間的推移發生了變化。我認為我們長大後真的不知道我們會成為什麼。我們沒想到我們必須圍繞這個建立一家公司。嗯，我們學到了很多關於它是如何發展的，以及這些系統將從資本方面需要什麼的現實，但我認為我們在將極具能力的 AI 以高度的安全性交到很多人手中，並給予他們工具來像是做任何他們將要做的了不起的事情方面，我認為很難給我們打一個差評。嗯，我確實認為我們應該更多地開源是公平的。我認為出於你早些時候問的所有原因，當我們不確定這些系統將產生的影響以及如何使它們安全時，我們謹慎行事是合理的。我認為你早些時候的很多問題至少表明對我們那樣運作方式的一些同情。但現在我認為我們作為一個世界有了更好的理解，現在是時候讓我們把非常有能力的開放系統推向世界了。如果你明年邀請我回來，你可能會因為有人濫用了這些開源系統而對我大喊大叫，然後說：「你為什麼那樣做？那很糟糕。」你知道，你本不應該回到你的開放根源。但你知道，我們不會得到，我們所做的每件事都有權衡。而且，而且我們只是這場 AI 革命中的一個參與者，一個聲音。嗯，試圖盡我們所能，並以負責任的方式像是引導這項技術進入世界。我們肯定犯過錯誤。我們未來肯定會犯更多錯誤。總的來說，嗯，我認為我們在過去將近十年裡，現在已經是很長時間了，嗯，這，你知道，我們基本上做了我們著手要做的事情。我們面前還有很長的路要走。我們的策略未來會更多地轉變，但對那種使命以及我們試圖做的事情的堅持，我認為非常強烈。
嗯，你發布了這個… 嗯，好吧，所以這是《魔戒》裡的權力之戒 (Ring of Power)。嗯，你的，嗯，對手，我會說，嗯，目前不是你最好的朋友，Elon Musk 聲稱，你知道，他認為你已經被權力之戒腐蝕了。嗯，一個指控，順便說一句，一個指控，嗨 Steve，一個也可以應用於 Elon 本人的指控，你知道，公平地說。但是，但是，但是我很好奇，人們，你有…
我也許會回應。我正在考慮。我也許會說點什麼。
它，在每個人的腦海裡，當我們看到科技 CEO 變得更強大、更富有時，是他們能否應付得了，還是它變得不可抗拒？權力和財富是否使得有時候做正確的事情變得不可能，而你只能緊緊抓住那枚戒指？你怎麼看？我的意思是，你，你有時會感覺到那枚戒指嗎？你覺得我相對於其他獲得了很多權力並改變了行為方式或在世界上做了一堆事情的 CEO 們做得怎麼樣？
像你覺得怎麼樣？你，你擁有一個美麗的，嗯，你，你，你不是一個粗魯、憤怒、會站出來對別人說攻擊性話語的人。你不會…
我會那樣做。那是我的唯一惡習。
不，但是你，不，我，我，我認為，我認為在你個人行為方式上，這，這令人印象深刻。我的意思是，有些人會問的問題是，那是真實的你嗎，或者你知道，是否有其他事情在發生。但我，但我只是，你已經看到，你放出了那個索倫的權力之戒，或者不管那東西是什麼。
所以我會接受這個反饋。像是我做了什麼讓你認為我被權力腐蝕了？
我認為恐懼在於，僅僅是 OpenAI 向營利模式的轉變，嗯，是，你知道，有些人說，好吧，你看，你，你被對財富的渴望腐蝕了。你知道，你曾經一度，裡面不會有任何股權。你，它會讓你變得非常富有。順便說一句，我不認為那是你的動機，個人而言。我認為你想建造那些極其酷的東西，而我擔心的是你的，是你的競爭感覺，你看到其他人在做，這使得以正確的步伐發展變得不可能。但是，但是你告訴我。我只是，我，如果你，如果你不覺得那樣，像是，那，世界上很少有人擁有你所擁有的那種能力和潛力。我們不知道那是什麼感覺。那是什麼感覺？
令人驚訝地，和以前一樣。我想你一步一步地可以習慣任何事情。我想如果我像是從 10 年前一下子穿越到現在，會感覺非常迷失方向。但任何事情都會變成像是新的常態。所以感覺沒有任何不同。坐在這裡談論這個很奇怪，但像是，你知道，日常生活的單調，我的意思是最好的那種方式。嗯，感覺完全一樣。
你是同一個人。
我的意思是，我肯定在各種方面都不是了，但我不覺得有任何不同。
這，這是你發布的一件美好的事情。你的兒子。我的意思是，我，你最後說的那句關於「我從未感受過這樣的愛」，我認為房間裡的任何一位父母都知道那種感覺，那種人類擁有的狂野的生物學感覺，AI 永遠不會有，你的，你抱著你的孩子。我在想那是否，那是否改變了你如何，你如何思考事情。像是，如果你知道，比如說，這裡有一個紅盒子，這裡有一個帶有紅色按鈕的黑盒子。你可以按下那個按鈕，你給你的兒子很可能最難以置信的生活，但同時你也注入了 10% 的機率他會被摧毀。你會按下那個按鈕嗎？
在字面意義上的情況下，嗯，不。嗯，如果問題是，我是否感覺我的工作正在做那樣的事情。嗯，答案是我也不覺得那樣。有了一個孩子改變了很多事情。嗯，而且是迄今為止發生在我身上最神奇的事情。像是每個人說的一切都是真的。嗯，我的聯合創始人 Ilya 曾經說過的一句話是，我，我不知道這是不是轉述，像是，「我不知道生命的意義是什麼，但肯定與嬰兒有關。」這像是令人難以置信地準確。嗯，它，它改變了我願意像是花多少時間在某些事情上，而且像是，不和我的孩子在一起的代價簡直是高得離譜。嗯，而且我，但你知道，我以前真的關心像是不要毀滅世界。我現在真的關心它。我不需要一個孩子來關心那部分。嗯，我的意思是，我肯定會更多地思考像是未來對他來說會是什麼樣子，特別是。但，但我感覺像是責任，為未來為每個人盡我所能做最好的事情。
Tristan Harris 本週在這裡做了一個非常有力的演講，他在其中說，在他看來，關鍵問題在於，你和你在這些其他模型中的同行們基本上都覺得先進 AI 的發展是不可避免的，競賽已經開始，除了努力贏得那場競賽並盡可能負責任地去做之外，別無選擇。也許有一種情況是你的超級智慧 AI 可以作為對其他人 AI 的制動器或類似的東西。但正是每個人都相信它是不可避免的這一事實，意味著那，那是一條通往嚴重風險和不穩定的道路。你是否認為你和你的同行們確實覺得這是不可避免的？你能看到任何擺脫那種局面的途徑嗎？在那種途徑中，我們可以集體同意稍微放慢速度，讓整個社會稍微參與進來，然後說：「不，讓我們，你知道，我們不希望這發生得這麼快。這太具顛覆性了。」
首先，我認為人們一直在放慢速度，因為技術還沒有準備好，因為某些東西不夠安全，因為某些東西不起作用。嗯，有，我認為所有的努力，暫停事情，延遲事情，不發布某些能力。所以我認為這種情況會發生，而且，而且再次強調，像是，這就是我認為往績記錄確實重要的地方。如果我們倉促推出東西，並且出現各種各樣的問題，要麼產品不像人們期望的那樣工作，要麼存在真正的安全問題或其他問題。我會回到我們做出的一個改變。我認為你可以那樣做。大多數努力之間存在溝通，除了一個例外。我認為所有的努力都非常關心 AI 安全。嗯，而且我認為人們… 不打算說。嗯，而且，而且我認為人們真的非常用心想要把這件事做好。嗯，我，我認為把這描繪成只是像是一場瘋狂的競賽或衝刺或其他什麼的漫畫式描寫，嗯，忽略了人們試圖快速推出模型並為人們製造偉大產品的細微之處。但人們感受到了，這件事的影響是如此令人難以置信，以至於你知道，我認為如果像是，如果你能去 OpenAI 或其他公司的會議室坐一坐，你會像是，「哦，這些人真的在關心這個。」現在，我們最近確實對我們如何看待傳統上被理解為安全的一部分做了一個改變，那就是對於我們的新圖像模型，我們給予了用戶在我們傳統上認為的言論傷害 (speech harms) 方面更多的自由。嗯，你知道，如果你，如果你試圖被模型冒犯，模型會讓你被冒犯嗎？過去我們在這方面有更嚴格的護欄。嗯，但我認為模型對齊 (model alignment) 的一部分是遵循模型用戶希望它在社會決定的非常廣泛的界限內做什麼。所以如果你要求模型描繪一堆暴力或類似的東西，嗯，或者像是強化某種刻板印象，這裡就有一個它是否應該這樣做的問題。我們正在採取一種更寬容的立場。現在，有一個地方，那開始與現實世界的傷害相互作用，我們必須弄清楚如何劃定界限。但是，你知道，我認為，會有一些情況，公司說：「好吧，我們聽到了來自社會的反饋。人們真的不希望模型以他們認為沒有意義的方式審查他們。」那是一個公平的安全協商。
但就這是一個集體信念問題而言，解決這類問題的方法是將人們聚集在一起，在某個點上達成共識，並達成不同的協議。如果有一群人，比如說在這裡或外面的世界，願意主辦一個由最好的倫理學家、技術專家，嗯，但人數不要太多，規模小但，以及你和你的同行們參加的峰會，試圖破解全球範圍內可以達成一致的安全界限，你是否願意參加？你是否會敦促你的，你的同事們？
我對我們數億用戶作為一個整體想要什麼更感興趣。你知道，我認為像是，很多房間裡的決定歷來都是在小型精英峰會上做出的。關於 AI 的一個很酷的新事物是，我們的 AI 可以與地球上的每個人交談，我們可以像是了解每個人想要的集體價值偏好，而不是讓一群像是被社會祝福的人坐在一個房間裡做出這些決定。我認為那非常酷，而且，而且我認為你會看到我們在這方面做得更多。而且，而且當我們弄錯了事情，因為房間裡的精英對於人們想要的圖像生成護欄有不同的看法，不同於人們實際想要的，而且我們無法指出實際世界的傷害。所以我們做出了那個改變。我為此感到自豪。
我的意思是，數億人的行動導致意想不到後果的往績記錄很長，而且也有人，也有一百個人在一個房間裡做出…
對，而且數億人無法控制，他們不一定能看到下一步可能導致什麼。嗯…
我，我希望那是完全準確和完全正確的。我希望 AI 能幫助我們變得更明智，做出更好的決定，能和我們交談，如果我們說：「嘿，我想要 X 東樣，你知道，而不是像是讓人群把它搞起來。」嗯，AI 可以說：「嘿，完全理解那是你想要的。如果那是你在這次對話結束時想要的，你掌控一切。你選擇。但你是否從這個人的角度考慮過，或者它將對這些人產生的影響？」像是，我認為 AI 可以幫助我們變得更明智，做出比以前更好的集體治理決策。
好吧，我們時間已經大大超出了。Sam，我給你最後發言的機會。綜合考慮所有因素，你相信你的兒子將會成長到一個什麼樣的世界？
我記得，那是很久以前了，我不知道第一代 iPad 是什麼時候出來的？大概是 15 年前？類似那樣。我，我記得當時看過一個 YouTube 影片，關於，嗯，像是一個小幼兒坐在，你知道，一個醫生辦公室的候診室或什麼地方，那裡有一本雜誌，像那些老式的，你知道，光滑封面的雜誌，那個幼兒把手放在上面，像這樣滑動，有點生氣，對那個幼兒來說，那就像是一個壞掉的 iPad，他從未，她從未想過一個沒有，你知道，觸控螢幕的世界。而對所有觀看的成年人來說，這是一件令人驚嘆的事情，因為它像是，它太新了。它太神奇了。這是一個奇蹟。像是，當然你知道，雜誌是世界運作的方式。我的孩子，我的孩子們希望永遠不會比 AI 更聰明。他們永遠不會在一個產品和服務不是極其聰明、極其有能力的世界裡長大。他們永遠不會在一個計算機不只是有點理解你並做，你知道，對於你能想像的任何定義，任何你能想像的事情的世界裡長大。嗯，那將是一個物質極其豐富的世界。那將是一個變化速度極快、驚人新事物不斷發生的世界。那將是一個像是個人能力、影響力等等遠遠超出今天一個人所能及的世界。嗯，我希望我的孩子們和你們所有的孩子們回顧我們時會帶有一些像是憐憫和懷舊，然後說：「他們過著如此可怕的生活。他們如此受限。嗯，世界太糟糕了。」嗯，我認為那很棒。嗯…
你所建立的令人難以置信。真的。這難以置信。我認為在未來幾年裡，你將擁有最大的機遇、最大的道德挑戰、最大的決策要做，也許是歷史上任何人類中最大的。你應該知道，這裡的每個人都會為你做正確的事情而加油。
我們會盡力而為。
非常感謝你。謝謝你。謝謝你來到 TED。謝謝你，先生。謝謝你。非常感謝。享受它。謝謝。