原文連結： Yann LeCun: We Won't Reach AGI By Scaling Up LLMS
大型語言模型與人類級AI的距離
我們無法僅僅透過擴大LLMs的規模來達到人類級AI。這絕對不會發生。好的，那是你的觀點。絕無可能。好的，絕對沒門。而且無論你從我那些更具冒險精神的同事那裡聽到什麼，這在未來兩年內都不會發生。恕我直言，這絕對不可能。關於我們將在資料中心擁有「一個天才國度」的想法完全是胡說八道。這絕對不可能。我們可能會擁有的是在足夠大量資料上訓練的系統，任何理性之人提出的任何問題都能透過這些系統找到答案，感覺就像有一位博士坐在你旁邊，但它並不是真正的博士，而是一個擁有巨大記憶和檢索能力的系統，不是一個能夠發明解決新問題的系統。而這正是博士所做的事情。好的，這實際上與Tool發布的一篇貼文有關，它指出發明新事物需要一種你無法從Adams那裡獲得的技能和能力。
AI基礎設施投資與市場需求
因此，有一個大問題是，現在正在進行的投資不是為了明天，而是為了未來幾年，而Meta方面的大部分投資，至少是為了推論（inference）的基礎設施。好的。讓我們想像一下，到今年年底，也就是MAI真正的計畫，我們透過智慧眼鏡、獨立應用程式等等擁有了10億MAI用戶。你必須為這些人提供服務，這需要大量的計算。這就是為什麼你需要大量投資於基礎設施，才能夠在數月或數年內擴大並建立這個系統。因此，這就是大部分資金的去向，至少在像Meta、Microsoft、Google以及潛在的Amazon這樣的公司方面是如此。
那麼，市場上是否會有10億人經常使用這些東西，即使沒有典範轉移？答案很可能是肯定的。所以，即使新典範的革命沒有在三年內到來，這個基礎設施也將被使用，這幾乎是無庸置疑的。好的。因此，這是一項好的投資，而且建立資料中心和所有這些東西需要很長時間，你現在就需要開始，並規劃持續的進步，以便最終投資能夠被證明是合理的。如果你有現金，你無法不這樣做，因為那將是太大的風險。
當前AI應用的挑戰與企業部署困境
但讓我們回到你說的。今天的東西仍然存在嚴重缺陷，並且人們一直在質疑它是否會被使用。現在Meta正在進行這項消費者押注，對吧？消費者想要使用AI。這說得通。OpenAI有4億ChatGPT用戶。Meta有三、四十億。我的意思是，基本上如果你有手機，就有30多億Meta用戶，對吧？好的。比ChatGPT更多。是的，但是他們使用得沒有那麼頻繁，用戶沒有那麼活躍。但Meta能夠獲得10億消費者用戶的想法似乎是合理的。但問題是，很多這項投資都是基於這將對企業有用，而不僅僅是消費者應用程式。
這裡有一個問題，因為正如我們一直在討論的，它還不夠好。你看看深入研究，這是Bendic Deans提出來的。深入研究做得很好，但它可能只能讓你達到95%的程度，而其中5%可能會出現幻覺。所以，如果你有一份100頁的研究報告，其中5%是錯誤的，而你不知道是哪5%，那就會是個問題。同樣地，在今天的企業中，每個企業都在努力找出如何讓AI對他們有用，生成式AI對他們有用，以及其他類型的AI。但只有大約10%或20%的概念驗證（proof of concepts）能夠進入生產，因為它們要麼太昂貴，要麼容易出錯。
所以，如果我們現在正達到頂峰，你預計會發生什麼？對於所有這些預期會變得更好的投入，你預計會發生什麼？嗯，這又是一個時間線的問題，對吧？這些系統何時才能變得足夠可靠和智能，以便更容易地部署？但是，你知道，我的意思是，你所描述的情況，超越了令人印象深刻的演示，實際部署可靠的系統才是電腦和技術，尤其是AI在使用上容易失敗的地方。這不是新鮮事。這基本上就是為什麼我們在十年前就有超棒的自動駕駛演示。但我們仍然沒有第五級自動駕駛汽車，對吧？這就是所謂的「最後一哩路」，對於汽車來說非常困難。
這就是你所說的最後幾個百分點的可靠性，它使一個系統變得實用，以及你如何將它與現有系統整合等等，以及它如何讓用戶變得更有效率或更可靠等等。這就是困難所在。你知道，這就是為什麼如果我們回到幾年前，看看IBM Watson發生了什麼。好的。所以Watson曾經是IBM將要推動的，並透過讓Watson學習醫學，然後將其部署到每家醫院來產生大量收入的東西。但它基本上是徹底的失敗，並被拆分出售。這讓IBM付出了很多錢，包括執行長。實際情況是，在這些系統在可靠且真正幫助人們而不損害勞動力的自然保守性的情況下部署，這才是事情變得複雜的地方。
從歷史看AI的部署挑戰與AI冬季
我們現在看到的部署AI系統的困難過程並不是新鮮事。它在所有時候都發生過。這也是為什麼，也許你的一些聽眾還太年輕，不記得這件事，但在1980年代早期，AI領域曾出現一波巨大的興趣浪潮，圍繞著專家系統（expert systems）。你知道，1980年代最熱門的工作將是知識工程師，你的工作將是坐在一位專家旁邊，然後將專家的知識轉化為規則和事實，然後將其輸入到一個推論引擎中，該引擎將能夠推導出新的事實並回答問題等等。
一波巨大的興趣。日本政府啟動了一項名為「第五代電腦」的大型計畫。硬體將被設計來處理這一切等等。你知道，基本上是失敗的。這種興趣浪潮在90年代中期逐漸消退，你知道，一些公司取得了成功，但基本上只針對一小部分應用，對於這些應用，你可以將人類知識簡化為一堆規則，並且從經濟上來說這樣做是可行的。但它對整個社會和產業的廣泛影響並不存在。所以，這始終是AI的一個危險。我的意思是，信號很清楚，LLMs即使擁有所有花俏功能，仍然扮演著重要的角色，至少在資訊檢索方面。你知道，大多數公司都希望擁有某種內部專家，了解所有內部文件，以便任何員工都可以提出任何問題。我們在Meta就有一款，叫做Metamate。它非常酷。非常有用。
是的。是的，我不是說AI將會——現代AI或現代生成式AI沒有用，或者。我只是想問，有大量的資金投入，期望這些東西能有效地達到神級能力，而我們倆都在談論，你知道，這裡可能存在邊際效益遞減的問題，然後如果像你提到的那樣出現時間線不匹配會怎麼樣？這是關於這個問題我要問的最後一個問題，因為我覺得我們還有很多其他事情要談。但我覺得時間線不匹配可能對你個人來說是如此。你和我們第一次交談是在九年前，這現在聽起來很瘋狂，九年前。而且你知道，在早期你對AI應該如何架構有一個想法，但你甚至無法在會議上獲得一個席位。然後最終，隨著適量的計算能力到位，這些想法開始奏效，然後整個AI領域就基於你和Benio、Hinton等人共同研究的想法而騰飛。但是，為了效率起見，我們就說自己去查吧。
但說到那些時間線不匹配，當AI領域出現過度炒作的時刻，也許就像你剛才提到的專家系統，而它們沒有如人們預期般發展時，AI領域就會進入所謂的AI冬季。嗯，會有反彈。是的。沒錯。所以，如果我們潛在地正在接近這個時間線不匹配的時刻，鑑於投資的數額，你是否擔心現在可能會出現另一個冬季？鑑於用主要方式訓練這些東西可能會出現邊際效益遞減，也許我們可以補充一點，現在股市似乎正在經歷一點點低迷。這是一個變數，可能是我們正在討論的第三個最重要的變數，但它必須被納入考量。
邁向通用人工智慧（AGI）的道路
所以，是的，我認為，我的意思是，這裡當然有一個時機問題，但我認為，如果我們試圖深入一點，正如我之前說的，如果你認為我們將僅僅透過訓練更多數據和擴大LLMs的規模來達到人類級AI，那你就錯了。所以，如果你是一位投資者，你投資了一家告訴你他們將僅僅透過訓練更多數據和一些技巧就能達到人類級AI和博士級水平的公司，我不知道你是否會傾家蕩產，但那可能不是一個好主意。
然而，確實有一些關於如何向前發展並讓系統能夠做到每個智能動物和人類都能做到的事情的想法，而目前的AI系統卻做不到。我說的是理解物理世界，擁有持續記憶，以及能夠推理和規劃。這些是必須具備的四個特徵。這需要系統能夠獲取常識，能夠從自然感測器（如影片）而不是僅僅文字或人類生產的數據中學習。這是一個巨大的挑戰。我談論這個已經很多年了，並且一直在說這就是挑戰所在。這就是我們必須弄清楚的。我和我的團隊，或者說與我合作的人以及聽過我意見的人，都正在沿著這條線取得進展，例如可以訓練系統透過影片理解世界是如何運作的系統，以及可以使用物理世界運作的心智模型來規劃行動序列以達到特定目標的系統。
所以我們有了這類系統的早期結果，DeepMind也有人在做類似的事情，各種大學也有人在做這方面的工作。所以，問題是，這何時能從展示新能力和新架構的有趣研究論文，轉變為能夠規模化、適用於許多應用，並且無需訓練就能解決新問題等等的實用架構。這在未來三年內不會發生，但可能在三到五年內發生，這也大致符合我們在投資中看到的那種成長。
現在，至於其他方面，這是第一點。第二點重要的，是不會有某家公司或某個團隊會發明一個秘密法寶，一舉解決所有問題。這將是許多不同的想法、大量的努力，以及一些作為基礎的原則，其中一些人可能不會認同，並會走向一條最終被證明是死胡同的方向。所以，不會有某一天之前沒有AGI，之後我們就擁有AGI。這不會是一個事件。
這將是一個持續的概念性想法的過程，隨著時間的推移，這些想法將變得更大、更具規模，並且運作得更好。這不會來自單一實體。它將來自全球的整個研究社群。分享研究成果的人將比不分享的人進步更快。所以，如果你認為某個地方有家只有五個人的新創公司發現了AGI的秘密，並且你應該向他們投資50億美元，那你就犯了一個巨大的錯誤。