原文連結： 開源 AI 會超越封閉模型嗎？ Ft. Olama, Fireworks 與 Open Router
主持人：好的，現在我們歡迎 Sonia Hang 主持我們下一場關於開源的座談會，與談人有來自 Fireworks 的 Dimma。我們還有來自 OpenRouter 的 Alex Atala，當然還有 Olama 的 Jeffrey Morgan，他們將討論等式的另一面，也就是各位都可以使用、整合到你們的產品中並立即採用的開源未來。 請歡迎他們上台。
Sonia Hang：謝謝。呃，Alex、Dimma、Jeff，非常感謝你們的參與。今天早上我們聽到 Jensen 熱情洋溢地懇求，強調一個蓬勃發展的開源模型生態系統的重要性。我想在座的每個人都完全認同這個願景。所以，我很高興今天能有這個座談會。 呃，我們先來個快速的第一輪介紹。嗯，或許說一下你的名字，然後用一兩句話介紹你的公司做什麼。
開場介紹
Jeff：嗨，我是 Jeff。感謝邀請我。嗯，呃，我是 Olama 的創辦人。它是開始並運行開源 LLM 最簡單的方式，呃，這就是我。
Dimma：是的。嗨，我是 Dimma。我是 Fireworks 的共同創辦人，今天早上你們也在簡報中聽到了我的共同創辦人 Lynn 的發言。是的，正如你們早上聽到的，Fireworks 是建構和擴展這種生成式 AI 的最佳場所。所以我們幫助你們以非常快速和大規模的方式微調和提供模型服務，顯然我們是開源模型的忠實支持者，因為這就是我們正在做的事情，是的，我把棒子交給 Alex，我們也很高興成為 OpenRouter 上的供應商之一。
Alex Atala：我是 Alex Atala，OpenRouter 的執行長暨共同創辦人。我們是一個語言模型路由器和市集。呃，一個能讓你以單一服務獲得模型最佳定價、效能和正常運行時間的方式。我們與許多不同的供應商密切合作，但與 Fireworks 的合作尤其重要，以實現這一點。
Sonia Hang：好的。
開源的重要性
Sonia Hang：讓我們從 Jensen 今早為我們闡述的問題陳述開始。生態系統中的一些危言聳聽者正在推動對開源模型進行嚴格監管或禁止。嗯，顯然這個座談會上的人可能不同意這一點。嗯，你們是開源生態系統的擁護者。你們會怎麼說？你們如何闡述開源的重要性？
Alex Atala：我，嗯，你知道，我認為開源背後的一個基本原則是，人類的才華仍然可以來自世界任何地方，而將其集中在模型實驗室之後是非常危險的，而且這不是，這不是一個好的賭注，不像允許才華來自任何地方那樣具有高槓桿效益。我認為語言模型和生成式 AI 解鎖的是讓擁有獨特智慧（在其他任何地方都找不到）的人能夠創造一種服務，在任何人想要的時候按需生成它。我們只是，我認為我們現在正處於一個開源尚未獲勝的時期，它與閉源相比，在我們使用的 token 數量方面，大約佔推理的 20% 到 30%，嗯，而且對於許多公司來說，它也是最後一哩路的優化，或者像是你有一個客戶就是拒絕使用某些閉源模型供應商，而你無論如何都想為他們服務。嗯，但我認為，由於它的透明度，以及它與閉源模型相比具有非常非常高的槓桿效益，這意味著當今天的年輕一代長大後，真正思考在邊緣裝置上運行最先進的機器學習時，他們會先創造一些開源的東西，然後才會創造閉源的東西，因為他們將無法在模型實驗室工作。嗯，然後我們將開始看到真正瘋狂的事物發展起來。
Jeff：如果我可以補充一下，我的意思是，這是一個實用性的問題。所以有兩個方面，一個是，許多開源模型部署在非資料中心的硬體上，因此最終客戶無論如何都能接觸到它。 對於消費者來說，有個問題是，如果你要在他們的裝置上分發模型，他們實際存取它的難度有多大。嗯，有點像，你知道，也許是過去的 Photoshop，或是作業系統如何越來越多地對消費者免費。嗯，而且這些模型通常並非在資料、訓練和論文方面完全開放，但權重是存在的。所以如果你無論如何都要下載模型，你其實就得到了權重。在企業方面，嗯，許多這些企業對於客製化模型非常興奮，如果你知道這些東西被禁止，嗯，但企業仍然想要這個。或許有辦法可以讓這仍然行得通。嗯，但那樣你就會問，嗯，客戶並不會，你知道，真正擁有整個結果。而根據我們所學到的，這對客戶來說非常重要，當他們用自己的資料微調、訓練或提煉模型時，他們擁有整個模型，而不是某個，你知道，我不知道，一部分。呃，所以這是兩個我認為如果情況是這樣，我們必須解決的實際問題。
Dimma：此外，呃，我的意思是，基本上，如果你將 AI 視為像通用技術一樣，對吧，即使是從全球角度來看，為了造福社會，就像你可以嘗試規範電力或其他東西一樣，對吧？就像你可以嘗試規範應用程式以及市場如何運作，但你不應該禁止基礎技術。我覺得從這個角度來看，僅從科學進步的發展來看，它就是有用的。而且，是的，關於客製化這一點，我們也看到很多人想要客製化和調整，並實際建構以 AI 為優先的產品，這就像是開源軟體的同樣論點，如果你產品的核心部分是你想要客製化它，你想要控制它，你基本上想要。
Sonia Hang：實際上，關於這一點，請舉手示意，在座有多少人在現今的生產環境中使用開源模型？ 好的，相當多的人。嗯，Alex，我想深入探討你先前提到的一點，那就是開源模型或開放模型目前處於落後狀態。多談談這種動態，你認為這將如何發展？
Alex Atala：目前，我，我的意思是，我看到大多數大型模型實驗室試圖建立更通用、更強大的基礎模型，這些模型需要較少的微調，並且適用於更多的使用案例。嗯，我有點，如果我現在要做個預測，我想微調模型在未來一年左右可能會經歷一個疲軟期，因為這些強大的強化學習模型規模擴大，而微調帶來的邊際效益會被這樣做的過時風險所抵消。但是，嗯，正如今天每個人所說，我們仍處於大規模採用的初期階段，大多數企業甚至還沒有嘗試過任何東西。而當這股浪潮進一步發展時，嗯，我預計會發生與軟體非常相似的事情，人們只想要透明度和客製化能力。然後我們可能會看到，我不知道在那個未來它是否會被稱為微調，但我們可能會看到某種必須是開源類型的客製化出現，而開源社群可能會首先實現這一點。
誰將引領開源前沿？
Sonia Hang：你認為誰將成為那種前沿基礎模型供應的中堅力量？過去很長一段時間是 Meta 的 Llama。在那之前，我記得 Mistral 很強大。所以，第一，我很好奇你認為 Mistral 發生了什麼事。呃，現在看來 DeepSeek 正當紅。嗯，但你認為誰將會是那種與之相關的研究實驗室經濟引擎，推動開源方面許多前沿發展？這個問題問你們任何人。
Dimma：我想這有點難預測，因為涉及很多因素。就像開源的魔力在於，你基本上只需要在任何特定時間至少有一位參與者發布一個好的模型，對吧？以便在其基礎上建構。所以我認為，你知道，這個領域的領導者可能會改變，但整個市場產業將會持續下去。
Jeff：我認為 DeepSeek、阿里巴巴的 Quinn 模型以及 Meta 的 Llama 模型的共同點是，這些公司各自都在尋求解決一個不僅僅是分發和銷售模型的問題。嗯，你可能已經看到了 Meta 本週推出的應用程式，它實際上是一個社交網路。嗯，而且根據我與中國模型建構者相處的一些時間，他們也在尋求解決下一個偉大的消費者應用程式或消費者使用案例。因此，在實現這一目標的過程中，他們只是將這些模型開源。所以，你知道，我認為對於 DeepSeek，我們碰巧看到的是，他們在那條路上碰巧這樣做了，因為他們沒有理由將這些東西閉源。如果他們開源，他們會得到更多的回饋，嗯，他們可以在過程中開源，最終他們開源了一些很棒的東西。我認為很難預測一月份發生的 DeepSeek 時刻。
DeepSeek 的崛起
Sonia Hang：讓我們多談談 DeepSeek 的時刻。這究竟是如何發生的？而且，你知道，我們有 Zuck 將大量運算資源投入 Llama。嗯，我們是如何走到這一步的，一個中國模型不僅在排行榜上名列前茅，更重要的是，在開源世界中成為開發者心目中的首選？
Dimma：嗯，我的意思是，我認為就像模型本身一樣，他們做了非常好的工程。我想有一件事，你知道，我們也從之前的一些簡報中聽到了很多，那就是小團隊可以行動得非常快，而且你有點需要整合研究和像工程系統工程方面來訓練一個很棒的 LLM，我認為這是他們做得非常好的地方，是的，有時候在更大的環境中更難做到。
Alex Atala：我認為這是幾件事情的結合。首先，它是一個非常好的開源推理模型。我們之前還沒有過。其次，有一個使用者體驗的創新，你可以看到模型的思考過程，這是用 01 做不到的。而且，社群透過這樣做產生了各種茅塞頓開的時刻。它也讓人感覺更透明。所以，這與 DeepSeek 試圖建立的開源品牌非常契合。嗯，第三，他們無法處理推斷流量。所以，他們的伺服器完全癱瘓了。你甚至無法付錢給他們。他們在網站上封鎖了付款。因此，美國公司被迫想辦法擴展這個模型。而像 Fireworks 就做得非常出色。嗯，根據我們的指標，我認為在早期他們捕獲了大部分的推斷流量。而且，我們不僅看到美國公司對此非常感興趣，去中心化的推斷供應商也終於有了一個他們可以運行且人們真正想要的模型。我們在那裡看到了瘋狂的爆炸性成長，我認為 AI 領域的大多數人仍然沒有意識到這一點。
Sonia Hang：Dimma，你能否告訴我們，並非要把這變成 Fireworks 的廣告，我們不想這樣做，但請讓我們了解一下，你們做了什麼來優化模型，使其運作得如此出色。我很好奇一些細微之處，例如，我聽說我讀到，Perplexity 對 R1 進行了微調或後續調整，以移除該模型的一些呃呃獨特元素。嗯，請多談談任何你能說的關於這方面的事情。
Dimma：嗯，我的意思是，首先，關於擴展，是的，感謝提及，但是，是的，基本上，關於擴展，我的意思是，模型本身就像，它是第一個真正龐大且成功的開源專家混合模型，我的意思是，現在 Llama 也是一個專家混合模型，當有大型權重等等時。對於專家混合模型，有很多有趣的基礎架構問題，如何很好地擴展它，因為你有點進入了像多 GPU 多伺服器那種分散式推斷，而這正是我們做得非常好的地方。所以有很多有趣的工程技術投入其中，這樣你的伺服器就不會崩潰，你也不必拒絕客戶，而且正如你所說，我們確實看到了從聖誕節發布以來瘋狂的成長，就像，可能幾週後人們才意識到並跟上，我們看到現有客戶和新客戶在使用量上都有很大的成長。嗯，是的，我的意思是，關於你那個關於獨特元素的問題，是的，像我認為 Perplexity 和其他一些人做得很好，為特定行為對其進行了微調。我們也看到許多其他客戶實際上針對不同的任務對 DeepSeek 進行了微調。呃，所以它就像一個非常好的基於預訓練的模型，你可以改變你想要達到的目標，呃，是的，關於你之前那個關於對那些東西危言聳聽的觀點，就像在許多，我的意思是，在許多使用案例中，它並非直接適用，對吧？就像你實際上想要專注於某些特定的商業使用案例，像是人們在網路上發布的那種敏感元素，它們根本不會出現在產品中，在產品問題中，就像如果有人問你那個關於政治的使用模型，那個使用案例，你實際上不想要得到任何答案，對吧？你想要將其限制在狹窄的商業使用案例中，是的，像是針對特定商業使用案例的微調客製化，對於那些事情來說效果非常好。
Sonia Hang：很好。
Llama 4 的展望
Sonia Hang：你對 Llama 4 有什麼看法？你認為它未來會如何發展？你會推測我們最終會看到 Llama 反超 DeepSeek 嗎？
Dimma：這種可能性很大，我們當然也希望如此。但是，是的，我想，我的意思是，我認為基本上所有的要素都具備了，對吧，有高層的承諾，有 Meta 裡優秀的人才在工作，還有大量的運算資源，所以，是的，我認為有些事情可能在目前的版本中並不理想，其中一些可能實際上與基準測試有關，我的意思是，我認為目前 LLM 的公開通用基準測試有點達到了頂峰，很難評估什麼是好的，什麼是不好的，但我認為基本的要素是存在的。是的，對 Llama Next 充滿希望。
Jeff：是的，我想，你知道，我的意思是，當他們週六早上宣布時，有三個。嗯，有那個龐然大物和他們發布的兩個模型，Scout 和 Maverick。然後本週，Mark 談到了，你知道，Little Llama 或一個更小的模型，這是 Llama 第一次發布時沒有的。而且，你知道，活動上的很多回饋是客戶想要那個。我的意思是，那是 Llama 的價值主張之一。所以我不會把他們排除在外，因為他們擁有最大的模型，然後他們擁有最實用的，我想，還沒有發布的模型。我認為 DeepSeek 做得非常好的一件事是，他們顯然開源了這個龐大的模型，然後他們以非常便宜的價格託管它，對大多數消費者來說是免費的。嗯，但他們也發布了這些精簡版模型，我認為，你知道，從採用的實用角度來看，這非常強大，我認為，你知道，Llama 4 發生的事情與此恰恰相反。嗯，但我認為在未來的版本中，可能會，可能會類似於此，而且可能會更強大得多。呃，Mark 掌握了正確的要素，擁有大量的資源，而且，你知道，他正在解決如何利用這個來發展 Meta 業務的問題。嗯，這可能不是直接銷售模型，而可能是在他們的消費者應用程式中使用它。所以這感覺很像我們擁有 DeepSeek 時的那些要素。嗯，但這些事情很難說。
Alex Atala：我只想補充一點，對於許多開源專案來說，這一切都與學習率有關，而且，你知道，我認為 Llama 4 發生了很多學習。嗯，聽起來他們正在考慮這些因素。嗯，獎勵操縱和，你知道，像排行榜類型的基準測試。我認為我們將不得不調整，我們將不得不更好地評估模型以避免獎勵操縱。
Sonia Hang：好的。
未來五年開源與閉源模型的推理佔比
Sonia Hang：我們將以最後一個問題結束，這是一個量化問題。我不像我的同事 Constantine 那樣精通 Slido，但是，呃，如果你必須預測，五年後，通過閉源模型與開源模型運行的推理 token 的百分比會是多少？
Jeff：這是一個非常困難的問題，呃，有兩個原因。我會說 50/50，因為在這方面有很多很棒的研究，我想，嗯，呃，你知道，其中兩個很好的例子。一個是 route LLM，它討論了使用開源模型和大型模型並在兩者之間切換。還有一個是史丹佛大學的 Minions 專案，它實際上是將它們組合使用。嗯，所以，而且主要的工作負載是在小型模型上運行的。嗯，所以我認為我們將會看到很多工作在路由層完成。所以我很難知道，但可能 50%，這是我的猜測。
Dimma：我的意思是，我認為很難給出確切的數字。所以我可能也會選擇 50/50。但我認為，如果你要繪製出整體使用最多的模型，我想在閉源模型方面，可能仍然是少數幾個領先者，你知道，也許整體上有四分之一流向 X 公司或其他公司。我認為在開源方面，它不會是單一模型，它會更像是更多的家族、發明和客製化，是的，就像之前關於開源與閉源的問題。我認為，有一種情況是，如果收益僅來自預訓練，我認為閉源實際上具有某種優勢，因為是的，你只需要不斷建造那些價值數兆美元的資料中心或其他什麼。我們今天聽到了很多關於從預訓練轉向後訓練和強化學習的內容，其中有趣的部分是，配方似乎是有效的，你可以將其應用於許多問題，而且，如果你想嘗試建立一個對所有事情都好的模型，你需要花費大量的運算資源來訓練它解決所有可能的問題，但如果你採取客製化的方式，你可能花費較少的運算資源，但使用你獨特的資料和獨特的方式，例如你實際試圖解決哪個問題，什麼是正確的問題表述和環境表述，以較少的資本投資獲得非常好的結果，我認為考慮到這種轉變，我實際上認為，是的，開源作為一個整體比例將會成長，即使不一定會有單一模型主導一切超過 50%。
Alex Atala：Alex，你呢？五年是很長的時間。我想，我想，如果去中心化的供應商沒有出現，或者無法持續存在，那麼，嗯，我傾向於認為閉源模型可能會佔多數，嗯，你知道，直到類似這樣的事情發生，這只是我目前的看法。如果供應商找到了去中心化的方法，那麼我認為情況就會改變。我知道去中心化目前並非 AI 領域的熱門話題，但我確實認為它會徹底改變動態，它基本上將 AI 與某種金融系統聯繫起來，啟動一個冷啟動的飛輪效應，並幫助新人提供流量。嗯，而且目前所有現有的參與者都非常新。他們中的一些人有著瘋狂的激勵措施，例如我們路由到的一個，每天在激勵措施上賺取約 36 萬美元，這是一個很大的問題，他們是否能夠持續下去。
Sonia Hang：好的，加密貨幣小子，為去中心化帶來經濟引擎。太棒了。嗯，Alex、Dimma、Jeff，非常感謝你們今天的參與。
全體：謝謝。