Kevin Weil 你今天使用的 AI 模型，將是你餘生中用過最差的 AI 模型，當你真正理解這一點時，感覺有點瘋狂。在我之前工作過的任何地方，你大概知道你正在建立在哪種技術之上，但在 AI 領域完全不是這樣。 每兩個月，電腦就能做一些以前從未做過的事情，你需要完全重新思考你正在做的事情。
Lenny Rachitsky 你是目前可能是世界上最重要公司的首席產品官。我想聊聊身處風暴中心的感覺是怎樣的。
Kevin Weil 我們普遍的心態是，兩個月後，會有一個更好的模型出現，它將會突破目前所有的限制。我們也對開發者這樣說。 如果你正在開發的產品正好處於模型能力的邊緣，繼續前進，因為你做對了。再給它幾個月時間，模型將會變得非常棒，突然之間，你那個勉強能用的產品將會大放異彩。
Lenny Rachitsky 眾所周知，你在 Facebook 領導了一個名為 Libra 的計畫。
Kevin Weil Libra 可能是我職業生涯中最大的失望。它至今仍不存在於世界上，這讓我從根本上感到失望，因為如果我們能夠推出那個產品，世界會變得更好。我們試圖推出一個新的區塊鏈。最初它是一個貨幣籃子。它是整合到 WhatsApp 和 Messenger 中的。 我本可以在 WhatsApp 上免費發送給你 50 美分。它應該存在。老實說，現任政府對加密貨幣非常友好。Facebook 的聲譽也處於一個非常不同的境地。也許他們現在應該去把它建起來。
Lenny Rachitsky 今天我的嘉賓是 Kevin Weil。Kevin 是 OpenAI 的首席產品官，這家公司可能是目前世界上最重要、最具影響力的公司，處於 AI 和 AGI 的前沿，也許有一天會達到超級智慧。他曾是 Instagram 和 Twitter 的產品負責人。 他是 Facebook Libra 加密貨幣的共同創造者，我們也聊到了這一點。他還是 Planet 和 Strava 以及 Black Product Managers Network 和 The Nature Conservancy 的董事會成員。他也是一個非常好的人，有很多智慧可以分享。 我們聊了 OpenAI 如何運作，AI 的影響以及我們將如何工作和建立產品，AI 生態系統中的哪些市場，像 OpenAI 這樣的公司可能不會涉足，因此是新創公司可以佔據的好地方。 此外，為什麼學習撰寫評估（evals）的技藝正迅速成為產品開發者的核心技能，在 AI 時代哪些技能最重要，以及他教導孩子們專注於什麼，還有更多內容。這是一集非常特別的節目，我很高興能帶給你們。 如果你喜歡這個 podcast，別忘了在你的 podcast 應用程式或 YouTube 上訂閱和關注。如果你成為我電子報的年度訂閱者，你可以免費獲得一年的 Perplexity Pro、Linear、Notion Superhuman 和 Granola。請訪問 lennysnewsletter.com 並點擊 bundle 查看。接下來，我為您帶來 Kevin Weil。
本次節目由 Eppo 贊助。Eppo 是由 Airbnb 和 Snowflake 的前員工為現代增長團隊打造的下一代 A/B 測試和功能管理平台。像 Twitch、Miro、ClickUp 和 DraftKings 這樣的公司都依賴 Eppo 來支援他們的實驗。 實驗對於推動增長和理解新功能表現越來越重要，Eppo 幫助你提高實驗速度，同時以其他商業工具無法做到的方式解鎖嚴謹的深度分析。 當我在 Airbnb 工作時，我最喜歡的事情之一就是我們的實驗平台，我可以輕鬆設置實驗、解決問題並自行分析表現。 Eppo 不僅能做到所有這些，還提供了先進的統計方法，可以幫助你縮短數週的實驗時間，還有易於使用的 UI 用於深入研究表現，以及開箱即用的報告，幫助你避免煩人的冗長分析週期。Eppo 還讓你輕鬆與團隊分享實驗見解，為 A/B 測試飛輪激發新想法。 Eppo 支援各種使用案例的實驗，包括產品、增長、機器學習、變現和電子郵件行銷。請訪問 geteppo.com/lenny 查看 Eppo，將你的實驗速度提高 10 倍。網址是 geteppo.com/lenny。本次節目由 Persona 贊助，這是一個適應性強的身份平台，幫助企業打擊欺詐、滿足合規要求並建立信任。 當你正在收聽這個節目的時候，你怎麼知道你真的在聽我，Lenny 說話？如今，欺詐者竊取個人身份信息（PII）、面部和身份比以往任何時候都更容易。這就是 Persona 發揮作用的地方。Persona 幫助像 LinkedIn、Etsy 和 Twilio 這樣的領先公司安全地驗證全球的個人和企業。 Persona 的獨特之處在於其可配置性。每家公司根據其行業、使用案例、風險承受能力和用戶人口統計數據都有不同的需求。這就是為什麼 Persona 提供靈活的構建模塊，讓你可以構建量身定制的收集和驗證流程，最大限度地提高轉化率，同時最大限度地降低風險。 此外，Persona 的協調工具可以自動化你的身份流程，以便你可以應對快速變化的欺詐行為並滿足新的監管浪潮。無論你是新創公司還是企業級業務，Persona 都有適合你的計劃。請訪問 withpersona.com/lenny 了解更多信息。再次強調，網址是 withpersona.com/lenny。Kevin，非常感謝你來到這裡，歡迎來到這個 podcast。
Kevin Weil 非常感謝邀請我。我們已經討論要做這個很久了，我們終於實現了。
Lenny Rachitsky 我們做到了。我無法想像你的生活有多瘋狂，所以我真的很感激你抽出時間來做這個，而且我們實際上是在你們推出新圖像模型的那一週錄製的，這真是個巧合。我所有的社交媒體都被大家的生活、家庭照片等各種 Ghibli 化（吉卜力風格化）填滿了，所以做得好。
OpenAI ImageGen 的病毒式傳播
Kevin Weil 是的，我也是。我的妻子 Elizabeth 發給我一張她的 Ghibli 化照片，所以我跟你感同身受。
Lenny Rachitsky 我能問一下嗎，你們預料到會有這種反應嗎？感覺這是 AI 領域發生過的最具病毒式傳播的事情，自從，我不知道，ChatGPT 推出以來，這是一個很高的標準。就是說，你們預料到會這麼成功嗎？內部感覺如何？
Kevin Weil 在我的職業生涯中，有幾次當你在內部開發一個產品時，內部使用量會爆炸性增長。順便說一句，當我們在 Instagram 開發 Stories 時就是這樣。 比我職業生涯中任何其他時候都更能感覺到它會成功，因為我們內部所有人都在使用它，我們會出去度個週末。 在它發布之前，我們都在使用它，週末回來後，我們會知道發生了什麼，然後會說，“哦，嘿，我看到你去了那個露營旅行，怎麼樣？”你會覺得，“天哪，這東西真的有用。” ImageGen 絕對是其中之一，所以我們已經玩了它，我不知道，幾個月了，當它第一次在公司內部上線時，有一個小小的畫廊，你可以生成自己的圖片，也可以看到其他人正在生成的圖片，那裡一直熱鬧非凡。 所以是的，我們感覺到這會讓大家玩得很開心。
Lenny Rachitsky 那真的很酷。這應該作為衡量你正在發布的東西是否會成功的信心指標——內部每個人都為之瘋狂。
Kevin Weil 是的。尤其是社交類的東西，因為作為一個公司，你在社交上有一個非常緊密的網絡，所以你們彼此認識，而且你希望是自己產品的專家。所以從某種意義上說，如果你正在做一些社交方面的事情，而它在內部沒有火起來，你可能需要質疑你正在做的事情。
Lenny Rachitsky 是的，順便問一下，那個 Ghibli 的事情，是你們刻意引導的嗎？還是怎麼開始的？那是一個有意的例子嗎？
Kevin Weil 我認為這只是人們喜歡的風格，而且模型非常擅長模仿風格或者理解……它非常擅長遵循指令。這實際上是我認為人們……我開始看到人們通過它發現的東西，但你可以做非常複雜的事情。 你可以給它兩張圖片，一張是你的客廳，另一張是一大堆照片或紀念品或你想要的東西，然後你說，“告訴我你會如何佈置這些東西。” 或者你可以說，“我希望你向我展示，如果你把這個放在這裡，這個放在那個的右邊，這個放在這個的左邊，但在那個下面，這會是什麼樣子。”模型實際上會理解所有這些並做到。它非常強大。 所以我只是對人們將會發現的所有不同事物感到興奮。
AI 的定義與演變
Lenny Rachitsky 是的。好吧。幹得好。OpenAI 團隊幹得好。讓我們嚴肅點，把視角拉遠一點。在我看來，你可能是目前世界上最重要公司的首席產品官。 並不是要把標準定得太高，但你們正在引領 AI、某個時候的 AGI、某個時候的超級智慧。沒什麼大不了的。我對你的問題比對任何其他嘉賓都多。 實際上我在 Twitter、LinkedIn 和我的社群裡發起了一個徵集，就是“你想問 Kevin 什麼？”我收到了超過 300 個條理清晰的問題，我們將會逐一討論。所以讓我們開始吧。開個玩笑。
Kevin Weil 酷。
Lenny Rachitsky 我挑選了最好的，而且有很多我真正好奇的東西。
Kevin Weil 嗯，這裡現在是下午 1 點。天黑還早得很，所以我們開始吧。
Lenny Rachitsky 好的，開始了。好的，首先，我先在這裡做點筆記。AGI 什麼時候推出？12 月的什麼時候？
Kevin Weil 我的意思是，我們剛推出了一個不錯的 ImageGen 模型。那算嗎？
Lenny Rachitsky 快了。快了。
Kevin Weil 我喜歡一句話，那就是“AI 是任何尚未完成的事情”，因為一旦它完成了，當它有點奏效時，你就稱之為機器學習，一旦它變得無處不在，遍地都是，那它就只是一個演算法。 所以我一直很喜歡我們把那些還不太行的東西稱為 AI，然後等到它像是一個推薦你關注的 AI 演算法時，哦，那只是一個演算法，但是這個新東西，比如自動駕駛汽車，那才是 AI。 我認為在某種程度上，我們總是會處於那種狀態，下一個事物總是 AI，而我們每天使用並已成為生活一部分的當前事物，那是一個演算法。
Lenny Rachitsky 這很有趣，因為在灣區，你會看到自動駕駛汽車四處行駛，現在這已經很正常了，而四年前、三年前，你看到這個會覺得，“我的天啊，這是什麼……我們在未來。”而現在我們卻如此習以為常。
Kevin Weil 我的意思是，幾乎所有事情都像這樣。如果我給你看……當 GPT-3 推出時，我還不在 OpenAI。我只是一個用戶，但那令人震驚。如果我現在給你 GPT-3，我把它接入你的 ChatGPT，你開始使用，你會說，“這是什麼東西？”就像一團糟。
Lenny Rachitsky 失敗品，失敗品。
Kevin Weil 當我第一次坐進 Waymo 時，我也有同樣的經歷，你的第一次乘坐，至少我的第一次乘坐，我在 Waymo 裡的前 10 秒，它開始行駛，你會想，“哦我的天，小心那輛自行車。”你會抓住任何你能抓住的東西。 然後五分鐘後，你平靜下來了，你意識到你正在沒有司機的情況下被載著在城市裡穿梭，而且它運行良好。你會想，“哦我的天，我現在就生活在未來。” 然後又過了 10 分鐘，你感到無聊了，你在手機上處理電子郵件，回覆 Slack 消息，突然之間，這個人類發明的奇蹟就成了你生活中理所當然的一部分。我們所有人適應 AI 的方式真的有點像這樣。 這些奇蹟般的事情發生了，電腦能做一些以前從未做過的事情，它在集體上讓我們震驚一週，然後我們就，“哦，是的。哦，現在它只是機器學習，正在變成演算法的路上。”
Lenny Rachitsky 你剛才分享的最瘋狂的事情實際上是，我不知道，ChatGPT，現在感覺很糟糕。3.5 是幾年前的事了，想像一下幾年後的生活會是什麼樣子。我們會談到這個，事情的發展方向，你認為下一個重大飛躍會是什麼。
加入 OpenAI 的故事
Lenny Rachitsky 但我想從你在 OpenAI 的旅程開始。所以你曾在 Twitter 工作，曾在 Facebook 工作，曾在 Planet 工作，Instagram 工作。在某個時刻，你被招募去 OpenAI 工作。我很好奇加入 OpenAI 擔任 CPO 的招募過程是怎樣的故事。 有什麼有趣的故事嗎？
Kevin Weil 如果我沒記錯時間線的話，我們在 Planet 宣布我將離開，我本打算休息一段時間。我不會停止工作，但我也很樂意休個暑假。這大概是四月左右。我當時想，太好了，我將和我的孩子們一起過暑假。 我們會去 Tahoe 或其他地方，我真的可以和他們一起玩，而不是像我通常那樣來回奔波之類的。然後 Sam 和我認識了好幾年，關係不深，他總是參與很多有趣的事情，比如建造核融合的公司等等。 所以他一直是我偶爾會打電話的人，如果我開始考慮我的下一份工作，因為我喜歡從事大型的、技術前瞻的、有點下一波浪潮那樣的事情。所以我打電話給他，我想 Vinod 也幫忙讓我們再次聯繫上。 這次他沒有說，“哦，你應該去和那些搞核融合的人談談。”他說，“實際上，我們正在考慮一些事情，你應該來和我們談談。”我當時想，“好的，聽起來太棒了。我們談談吧。”事情進展得非常快，真的非常非常快。 我在很短的時間內，幾天之內，見了大部分管理團隊成員，他們告訴我，“看，我們基本上想多快就多快。如果你和每個人都談過，每個人都喜歡你，你就可以準備開始了。” Sam 來我家吃晚飯，我們度過了一個很棒的晚上，只是聊 OpenAI 和未來，並更好地了解彼此。最後我當時想，我第二天要去參加一輪更大範圍的面試，Sam 說，“嘿，進展很順利。我們真的很興奮。” 我說，“好的。那我該如何看待明天？”他說，“哦，你會沒事的。別擔心。如果進展順利，我們基本上就定了。”所以我第二天去了，見了很多人，玩得很開心。我真的很喜歡我見到的每一個人。 在任何面試中，你總是可以事後諸葛亮，比如，“哦，我不該說那句話”或者“那個問題我回答得不好，我希望能重來一次”，但我離開時感覺，我覺得進行得相當順利。 我本以為那個週末基本上就能收到消息，因為他們大概設定了期望，如果這次順利，我們就準備好了。但我什麼也沒聽到。然後到了週一、週二、週三，我仍然什麼也沒聽到，我聯繫了 OpenAI 方面的人幾次，仍然沒有消息。 我當時想，“哦我的天，我搞砸了。我不知道在哪裡搞砸了，但我完全搞砸了。真不敢相信。”我回去跟 Elizabeth，我的妻子說，“我做了什麼？你覺得我在哪裡……”變得非常抓狂，然後還是沒有消息。 最終大概是九天後，他們終於回覆我了，原來內部發生了很多事情，這樣那樣的事情，簡直有上百萬件事情在發生。他們終於說，“哦是的，那次進行得很好。我們就這麼做吧。” 我當時想，“哦，好的，酷，我們做吧。”但那是九天的煎熬，而他們只是超級忙於一些內部事務，我就在那裡每天憂心忡忡，一遍又一遍地回想我們的面試過程的每一句話。
Lenny Rachitsky 這讓我想起當你和某人約會，你給他們發了短信卻沒有回音時，你會假設出了什麼問題。
Kevin Weil 是的，完全是。
Lenny Rachitsky 他們可能只是很忙。
Kevin Weil 我到現在還對此耿耿於懷。
Lenny Rachitsky 太瘋狂了。我很高興事情最終成功了。我想這裡的教訓是不要草率下結論。
Kevin Weil 是的。放輕鬆一點。
在 OpenAI 工作的不同之處：步調與技術基礎
Lenny Rachitsky 說到這個，我想聊聊身處風暴中心的感覺。再次強調，你在很多，可以說是傳統公司工作過，儘管它們並非那麼傳統，Twitter、Instagram、Facebook 和 Planet，而現在你在 OpenAI 工作。 我很好奇，在 OpenAI 的日常工作中，事情的運作方式最顯著的不同是什麼？
Kevin Weil 我想大概是步調。也許有兩件事。一是步調。第二是，在我之前工作過的任何地方，你大概知道你正在建立在哪種技術之上。所以你會花時間思考你要解決什麼問題？你在為誰而建？你將如何讓他們的生活變得更好？ 你將如何……這個問題是否足夠大，以至於你能改變習慣？人們關心這個問題被解決嗎？所有那些好的產品方面的事情。但是你賴以建立的基礎是相對固定的。 你在談論資料庫之類的東西，我敢打賭你今年使用的資料庫可能比你兩年前使用的資料庫好 5%，但在 AI 領域完全不是這樣。 就像每兩個月，電腦就能做一些以前從未做過的事情，你需要完全重新思考你正在做的事情。這其中有些根本性的有趣之處，讓這裡的生活充滿樂趣。 還有一些事情，我們也許稍後會談到評估（evals），但它也確實，在這個世界裡……我們習慣的電腦的一切都是關於給電腦非常明確的輸入。例如，如果你看 Instagram，有一些按鈕做特定的事情，你知道它們做什麼。 然後當你給電腦明確的輸入時，你會得到非常明確的輸出。你確信如果你做同樣的事情三次，你會得到同樣的輸出三次。LLMs（大型語言模型）則完全不同。它們擅長處理模糊、微妙的輸入。然後是人類語言和交流的所有細微差別，它們處理得相當好。 而且它們也不會真的給你相同的答案。對於相同的問題，你可能會得到精神上相同的答案，但肯定不會每次都是相同的詞語組合。所以你更像是，輸入更模糊，輸出也更模糊。 當你在開發產品時，這真的很重要，是否有某個你想圍繞建立的使用案例。如果模型有 60% 的時間做對，你開發的產品會與模型有 95% 的時間做對，或模型有 99.5% 的時間做對時，完全不同。 所以還有一些事情，你必須真正深入了解你的使用案例和評估等方面，才能理解要建立哪種正確的產品。所以這從根本上是不同的。如果你的資料庫工作一次，它每次都會工作。但在這個世界裡並非如此。
Evals 的重要性：衡量與引導 AI 模型
Lenny Rachitsky 我們實際上可以沿著這條關於評估（evals）的線索繼續討論。我肯定想談談這個。我們在 Lenny & Friends 高峰會上有一個傳奇的小組討論。是你、Mike Krieger 和 Sarah Guo 主持。
Kevin Weil 那很有趣。
Lenny Rachitsky 非常有趣。我聽到的那次小組討論中讓人印象深刻的事情是你的一個評論，你說撰寫評估將成為產品經理的核心技能，我覺得這可能不僅適用於產品經理。很多人知道評估是什麼。 很多人完全不知道我在說什麼。所以你能簡單解釋一下什麼是評估，然後為什麼你認為這對於未來建立產品的人來說如此重要？
Kevin Weil 是的，當然。我認為最簡單的理解方式幾乎就像是給模型做的小測驗，一個測試來衡量它對某組主題材料的了解程度，或者它在回答某組問題方面的表現如何。 所以就像你上微積分課，然後有微積分考試來檢驗你是否學到了你應該學的東西。你有評估來測試模型在創意寫作方面有多好？模型在研究生水平的科學方面有多好？模型在競爭性程式設計方面有多好？ 所以你有這些評估集，基本上作為衡量模型有多聰明或多有能力的基準。
Lenny Rachitsky 把它想成模型的單元測試（unit tests）是一種簡單的理解方式嗎？
Kevin Weil 是的，單元測試，廣義上的模型測試。完全是。
Lenny Rachitsky 很好，很好。好的。那麼對於那些不太明白評估到底是什麼的人來說，為什麼這如此重要？為什麼這對於建立 AI 產品如此關鍵？
Kevin Weil 嗯，這又回到了我剛才說的。你需要知道你的模型是否會……有些事情模型會以 99.95% 的準確率做對，你可以完全放心。有些事情它們會有 95% 的準確率，還有一些事情它們會有 60% 的準確率。 如果模型在某件事情上有 60% 的準確率，你就需要完全不同地構建你的產品。順便說一句，這些事情也不是靜態的。所以評估的一個重要部分是，如果你知道你正在為某個使用案例構建。 讓我們以我們的深度研究（deep research）產品為例，這可能是我發布過的最喜歡的東西之一。這個想法是，對於那些沒有用過的人來說，通過深度研究，你現在可以給 ChatGPT 一個任意複雜的查詢。它不是要從搜索查詢中返回答案，我們也可以做到這一點。 而是這樣一個問題，如果你要自己回答，你會去網上閱讀兩個小時，然後你可能需要閱讀一些論文，然後你會回來開始寫下你的想法，並意識到你的思考中有一些空白。 所以你會出去做更多的研究。你可能需要花一個星期的時間來寫出對這個問題的 20 頁答案。你可以讓 ChatGPT 為你工作 25、30 分鐘。 這不是你習慣的即時答案，但它可能會工作 25、30 分鐘，完成那些本來需要你一個星期才能完成的工作。 所以當我們在構建那個產品時，我們在思考這個產品將如何運作的同時也在設計評估，我們試圖找出一些典型的使用案例。這是一個你想能夠問的問題。這是對那個問題的一個很棒的答案。 然後將這些轉化為評估，然後在這些評估上進行爬山演算法（hill climbing）。所以這不僅僅是模型是靜態的，我們希望它在一組特定的事情上表現良好，你可以教導模型。你可以讓這成為一個持續學習的過程。 因此，當我們為深度研究微調我們的模型以使其能夠回答這些問題時，我們能夠測試它在這些我們認為是衡量產品工作情況重要指標的評估上是否變得更好？ 當你開始看到這一點，並開始看到評估表現上升時，你開始說，“好吧，我想我們這裡有一個產品了。”
Lenny Rachitsky 你沿著同樣的思路，圍繞評估發表了一個評論，即 AI 的驚人程度幾乎受限於我們在評估方面的能力。這是否引起共鳴？對此還有更多想法嗎？
Kevin Weil 我的意思是，這些模型是智慧體，而智慧從根本上是多維度的，所以你可以說一個模型在競爭性程式設計方面非常出色，但這可能與該模型擅長前端程式設計不同—— ……可能與該模型擅長前端程式設計或後端程式設計不同，或者擅長將一大堆用 COBOL 編寫的程式碼轉換成 Python 也不同。而這僅僅是在軟體工程領域內。 所以我認為在某種意義上，你可以將這些模型視為極其聰明、非常了解事實的智慧體，但世界上大部分的數據、知識、流程都不是公開的。它們隱藏在公司、政府或其他機構的圍牆之後。 同樣地，如果你要加入一家公司，你會花前兩週的時間進行入職培訓。你會學習公司特定的流程。你會獲得公司特定數據的訪問權限。模型足夠聰明，你可以教它們任何東西，但它們需要有原始數據來學習。 所以在某種意義上，我認為未來真的將是擁有極其聰明、基礎廣泛的模型，這些模型會根據公司特定或使用案例特定的數據進行微調和定制，以便它們在公司特定或使用案例特定的事情上表現得非常好。你將使用自定義評估來衡量這一點。 所以我指的是，就像這些模型真的非常聰明，如果數據不在它們的訓練集中，你仍然需要教它們一些東西，而且有大量的使用案例不會在它們的訓練集中，因為它們只與一個行業或一家公司相關。
AI 新創的機會：OpenAI 不會涉足的領域
Lenny Rachitsky 我會繼續沿著你引導我們的思路走，但我會回來的，因為我對其中一些事情還有更多問題。所以你提到了一個很多 AI 創辦人都在思考的領域，那就是，未來 OpenAI 不會來碾壓我的領域在哪裡？ 或者其他基礎模型之一。對於很多人來說，這很不清楚，就像，“我應該在這個領域創辦一家公司嗎？”你有沒有什麼建議或者指導，關於你認為 OpenAI，或者說一般的基礎模型，可能不會涉足的領域，以及你有機會建立公司的領域？
Kevin Weil 這是 Ev Williams 以前在 Twitter 常說的一句話，一直讓我印象深刻，那就是：“無論你的公司變得多大，無論員工多麼出色，你圍牆之外的聰明人總是比圍牆之內的多得多。” 這就是為什麼我們如此專注於建立一個優秀的 API。我們有 300 萬開發者使用我們的 API。無論我們多麼雄心勃勃，我們成長得多麼龐大，順便說一句，我們不想變得超級龐大，世界上有如此多的使用案例和地方，AI 可以從根本上改善我們的生活。 我們不會有足夠的人手。我們不會有足夠的專業知識來建立這些東西的大部分。而且我認為，就像我說的，數據是行業特定的，使用案例特定的，隱藏在某些公司圍牆之後，諸如此類。 在世界上每一個行業和每一個垂直領域，都有巨大的機會去建立基於 AI 的產品，以改進現有技術水平。我們自己根本不可能做到所有這些。我們也不想。 即使我們想，我們也非常興奮能為 300 多萬開發者以及未來更多的開發者提供支持。
OpenAI 如何快速迭代：產品哲學與團隊運作
Lenny Rachitsky 回到你之前關於技術不斷變化且速度加快的觀點，不太確定在你推出產品時，模型的能力會達到什麼程度。我很好奇是什麼讓你們能夠快速、持續地推出如此出色的產品？ 聽起來一個答案是自下而上、賦權的團隊，而不是一個為期一個季度規劃好的、非常自上而下的路線圖。有哪些因素讓你們能夠如此頻繁、快速地推出如此出色的產品？
Kevin Weil 是的。我的意思是，我們試圖弄清楚我們想要達到的目標，為自己設定一個方向，這樣我們就能大致保持一致。從主題上講，我一秒鐘都不相信，我們確實進行季度路線圖規劃。我們制定了一年的策略。 我一秒鐘都不相信我們在這些文件中寫下的東西就是我們三個月後實際會發布的東西，更不用說六個月或九個月了。但沒關係。我想這就像 Eisenhower 的一句名言，“計劃是無用的。規劃是有幫助的”，我完全贊同這一點，尤其是在這個世界裡。這真的很有價值。 例如，如果你考慮季度路線圖規劃，停下來反思一下是非常有價值的，“好的。我們做了什麼？什麼奏效了？什麼進展順利？什麼進展不順利？我們學到了什麼？現在我們認為接下來要做什麼？”順便說一句，每個人都有一些依賴關係。 你需要基礎設施團隊做以下事情，這裡需要與研究部門合作。所以你想花點時間檢查你的依賴關係，確保你準備就緒，然後開始執行。我們試圖讓這個過程非常輕量級，因為它不會是完全正確的。 我們會在中途把它扔掉，因為我們會學到新的東西。所以規劃的時刻是有幫助的，即使它只是部分的。 所以我認為只要預期你會非常敏捷，並且制定一個三個月的路線圖毫無意義，更不用說一年的路線圖了，因為技術在你腳下變化得如此之快。我們確實非常努力地嘗試自下而上地進行，以符合我們整體的方向性一致。我們有優秀的人才。 我們有工程師、產品經理、設計師和研究人員，他們對自己正在構建的產品充滿熱情，對其有強烈的見解，並且也是構建它們的人。所以他們對能力也有真正的了解，這非常重要。所以我認為在這種方式下，你希望更加自下而上。 所以我們是這樣運作的。我們樂於犯錯。我們一直都在犯錯。這是我非常欣賞 Sam 的一點。他非常努力地推動我們快速前進，但他也明白，快速前進伴隨著，我們沒有完全做對這個或那個，或者我們推出了這個東西，它沒有成功。 我們會把它撤回。看看我們的命名。我們的命名很糟糕。
Lenny Rachitsky 那是很多人問你的問題。模型名稱，是的。
Kevin Weil 這絕對是糟糕透頂，我們知道這一點，我們會在某個時候解決它，但這不是最重要的事情，所以我們不會花很多時間在上面。
Lenny Rachitsky 但這也顯示了這並不重要。再次強調，ChatGPT 是歷史上最受歡迎、增長最快的產品，它是排名第一的 AI、API 和模型。所以顯然這並不是那麼重要。
Kevin Weil 而我們給東西命名像 o3 mini high。
Lenny Rachitsky 老兄，我喜歡這個。好的。所以你談到了路線圖和自下而上，我真的很好奇，是否有一個節奏或儀式來與你或 Sam 保持一致，或者你審查所有正在發布的東西？是否有每週或每月的會議，你們會看到正在發生的事情？
Kevin Weil 關於關鍵專案。所以我們會進行產品審查之類的事情，就像你預期的那樣。沒有固定的儀式，因為沒有……我永遠不希望我們因為等待我或 Sam 的審查而延遲發布某個東西，如果我們無法達成一致的話。 如果我在旅行或者 Sam 很忙或者其他原因，那不是我們不發布的壞理由。所以顯然對於最大、最高優先級的事情，我們有相當密切的關注，但坦率地說，我們真的盡量不這樣做。我們希望賦予團隊快速行動的能力，我認為發布和迭代更重要。 所以我們有這個理念，我們稱之為迭代部署（iterative deployment），這個想法是我們都在一起學習這些模型。所以有一種真實的感覺，就是發布一些東西，即使你不知道全部功能，然後在公開場合一起迭代要好得多。 當我們了解這些事物以及它們在哪裡不同、哪裡好、哪裡壞、哪裡奇怪時，我們與社會其他部分共同進化。我非常喜歡這種理念。我認為最終成為我們產品理念一部分的另一件事是模型最大化（model maximalism）的感覺。模型並不完美。 它們會犯錯。你可以花很多時間圍繞它們建立各種不同的支架（scaffolding）。 順便說一句，有時我們確實會這樣做，因為有時存在某些你就是不想犯的錯誤，但我們不會花那麼多時間圍繞那些不符合這個標準的部分建立支架，因為我們普遍的心態是，兩個月後會有一個更好的模型，它將會突破目前所有的限制。 所以如果你正在開發，我們也對開發者這樣說，如果你正在開發，而你正在開發的產品正好處於模型能力的邊緣，繼續前進，因為你做對了，因為再給它幾個月時間，模型將會變得非常棒，突然之間，你那個勉強能用的產品將會大放異彩。 這就是你確保自己真正突破界限並建立新事物的方式。
Lenny Rachitsky 我邀請了 Bolt 的創辦人上這個 podcast，公司名字是 StackBlitz，他分享了這個故事，他們秘密開發這個產品七年了，一直失敗。什麼也沒發生。 然後突然之間，抱歉提到競爭對手，但是 Claude 出現了，或者 Sonnet 3.5 出現了，突然之間一切都奏效了，他們一直在構建，最終成功了。 我在 YC 經常聽到這樣的故事，就像那些以前從不可能的事情，現在隨著模型的更新，每隔幾個月就變得可能了。
Kevin Weil 是的，絕對是。
模型競爭與 ChatGPT 的領先地位
Lenny Rachitsky 讓我問這個問題，我本沒打算問，但我很好奇你是否有任何快速的想法，就是為什麼 Sonnet 在編碼方面如此出色，以及你對自己的東西在實際編碼方面變得同樣出色甚至更好的看法？
Kevin Weil 是的。我的意思是，向 Anthropic 致敬。他們構建了非常好的編碼模型。毫無疑問。我們認為我們也能做到同樣的事情。也許到這個 podcast 發布時，我們會有更多要說的，但無論如何，所有的功勞都歸於他們。 我認為智慧真的是多維度的，所以我認為模型提供商……過去 OpenAI 擁有巨大的模型領先優勢，比其他所有人都領先 12 個月左右。現在情況不同了。我傾向於認為我們仍然領先。我會爭辯說我們確實領先，但肯定不是巨大的領先。 這意味著在不同的地方，Google 的模型會非常出色，或者 Anthropic 的模型會非常出色，或者我們會非常出色，而我們的競爭對手會說，“我們必須在那方面做得更好。” 而且一旦有人證明某件事是可能的，要在那方面做得更好實際上比在叢林中開闢一條道路並做一些全新的事情更容易。 所以我認為舉個例子，就像沒有人能在 4 分鐘內跑完一英里，然後最終有人做到了，第二年就有 12 個人做到了。 我認為這種情況隨處可見，這只意味著競爭非常激烈，消費者將會獲勝，開發者將會獲勝，企業將會因此大獲全勝。這也是這個行業發展如此之快的部分原因，但對其他大型模型提供商表示所有敬意。 模型正在變得非常好。我們將盡可能快地前進，我認為我們有一些好東西即將推出。
Lenny Rachitsky 令人興奮。這也讓我想起，在很多方面，其他模型在某些事情上做得更好，但不知何故 ChatGPT 是……如果你查看所有的知名度和使用數據，就好像無論你們在排名中處於什麼位置，人們似乎都把 AI 和 ChatGPT 幾乎等同起來。 你認為你們做對了什麼，至少在目前這個階段，贏得了消費者的心智和世界範圍內的知名度？
Kevin Weil 我認為先發優勢有幫助，這也是我們如此專注於快速行動的原因之一。我們喜歡率先推出新功能。像深度研究（deep research）這樣的東西。我們的模型，它們可以做很多事情。 所以它們可以接收實時視頻輸入，你可以進行語音對語音，你可以進行語音轉文本和文本轉語音。它們可以進行深度研究。它們可以在畫布上操作，它們可以編寫程式碼。所以 ChatGPT 可以成為這個一站式商店，所有你想做的事情都是可能的。 隨著我們不斷前進，我們有了更多像 Operator 這樣的代理工具，它為你在網上瀏覽並為你做事，越來越多地，你將能夠來到 ChatGPT 這個地方，給它指令，讓它為你在世界上完成真實的事情。 這其中有根本性的價值。所以我們對此思考很多。我們試圖非常快速地行動，以便我們始終是人們最有用、最願意來的地方。
從 AI 中學到的反直覺之事：像人一樣思考
Lenny Rachitsky 在開發 AI 產品或在 OpenAI 工作後，你學到的最反直覺的事情是什麼？有什麼讓你覺得，“我完全沒想到？”
Kevin Weil 我不知道，也許我本該預料到，但對我來說有趣的一件事是，在很大程度上，當你試圖弄清楚某個產品應該如何與 AI 協同工作，甚至為什麼某個 AI 現象會發生時，你通常可以像推理另一個人一樣去推理它，而且是有效的。 舉幾個例子。當我們首次推出我們的推理模型時，我們是第一個建立能夠推理的模型的公司，它能夠，而不是對你問的每個問題都立刻給出一個快速的系統一（system one）答案，比如它是神聖羅馬帝國的第三位皇帝，這是一個答案。 你可以問它困難的問題，它會進行推理。就像如果我讓你做一個填字遊戲，你不能立刻啪地一下填滿所有空格。你會說，“嗯，好的。關於這個橫向的，我認為可能是這兩個中的一個，但這意味著這裡有一個 A。 所以那個必須是這個，走開，回溯，從你所在的位置一步步建立起來。”就像你回答任何困難的後勤問題、任何科學問題一樣。所以這個推理的突破是巨大的，但這也是模型第一次需要坐下來思考。這對於一個消費產品來說是一個奇怪的範式。 你通常不會遇到在你問完問題後可能需要等待 25 秒的情況。所以我們試圖弄清楚，這個的用戶界面（UI）是什麼？ 對於深度研究，模型有時會去思考 25 分鐘，這實際上並不難，因為你不會坐著看它 25 分鐘。你會去做別的事情。 你會切換到另一個標籤頁或者去吃午飯之類的，然後你會回來，它已經完成了。當它需要 20、25 秒或 10 秒時，等待時間很長，但又不足以讓你去做別的事情。 所以你可以想，如果你問我一件需要思考 20 秒才能回答的事情，我會怎麼做？我不會就這樣靜音，什麼也不說，停頓 20 秒，然後再回來。所以我們不應該那樣做。我們不應該只是放一個滑塊在那裡。那很煩人。 但我也不會把我腦子裡閃過的每一個想法都喋喋不休地說出來。所以我們可能不應該在模型思考時就把整個思路鏈都暴露出來，但我可能會說，“這是個好問題。好吧。”我可能會這樣開始，然後思考。 你可能會給出一些小小的更新，這實際上就是我們最終發布的版本。 你也會遇到類似的情況，有時你會發現，讓一組模型都試圖解決同一個問題，然後再讓一個模型查看它們所有的輸出並進行整合，最後給你一個單一的答案，這樣能得到更好的思考結果。 我的意思是，這聽起來有點像腦力激盪。當我和其他人一起在房間裡進行腦力激盪時，我當然會有更好的想法，因為他們的思考方式與我不同。 所以總之，在所有這些情況下，你實際上可以像對待一群人或一個單獨的人那樣進行推理，而且是有效的，這我不知道，也許我不該感到驚訝，但我確實感到驚訝。
Lenny Rachitsky 這太有趣了，因為當我看到這些模型運作時，我從未想過你們會設計那樣的體驗。對我來說，感覺就像這就是 LLM 所做的。它只是坐在那裡告訴我它在想什麼。 我喜歡你提出的這一點，即讓它感覺像一個人在操作，那麼，一個人是如何操作的呢？嗯，他們只是大聲說出來。他們思考，這是我應該探索的事情。我喜歡深度序列（deep sequence）將這一點推向極致，他們就像，“這是我正在做和思考的一切。” 而且人們似乎也喜歡那樣。這對你來說是否令人驚訝，“也許那樣也行。人們似乎喜歡一切？”
Kevin Weil 是的。我們實際上從中學到了東西，因為當我們第一次推出它時，我們給了你模型正在思考的副標題，但沒有更多內容。然後 deep seek 推出了，內容很多，我們當時想，我不知道是否每個人都想要那樣。看到模型真正在思考什麼，有一種新奇效應。 我們在內部審視它時也有同樣的感覺。看到模型的思路鏈很有趣，但它不是……我認為在 4 億人的規模上，你不想看到模型喋喋不休地說一堆東西。所以我們最終做的是以有趣的方式對其進行總結。 所以你不是只得到副標題，而是得到一兩句關於它如何思考的句子，你可以從中學習。所以我們試圖找到一個我們認為對大多數人來說是有意義的體驗的中間地帶，但是向每個人展示三段文字可能不是正確的答案。
Lenny Rachitsky 這讓我想起了你在峰會上說的另一件事，那句話深深地印在了我的腦海裡，這個想法是，聊天，人們總是嘲笑聊天不是我們與 AI 互動的未來介面，但你提出了一個非常有趣的觀點，可能會支持另一方，那就是，作為人類，我們通過交談進行互動，人類的智商可以從非常低到非常高，與他們交談都行得通，聊天也是一樣，它可以適用於各種智力水平。 也許我剛才已經分享了，但我猜關於為什麼聊天最終會成為 LLM 如此有趣的介面，還有什麼想法嗎？
Kevin Weil 是的。我不知道，也許這是我相信而大多數人不相信的事情之一，但我實際上認為聊天是一個了不起的介面，因為它用途如此廣泛。人們傾向於說，“聊天。是的。我們會想出更好的東西。”我認為它之所以具有難以置信的普遍性，是因為這就是我們說話的方式。 我可以像我們現在這樣口頭和你交談。我們可以互相看到並互動。我們可以在 WhatsApp 上交談，互相發短信，但所有這些都是這種非結構化的交流方式，這就是我們的運作方式。 如果我在我們說話時被允許使用一些更僵化的介面，我能和你談論的事情就會少得多，這實際上會阻礙我們擁有最大的交流帶寬。所以這裡有一些神奇之處。 順便說一句，過去它從未奏效，因為沒有一個模型能夠很好地理解人類語言的所有複雜性和細微差別，而這正是 LLM 的魔力所在。所以對我來說，它就像一個完全契合這些事物力量的介面。 這並不意味著它總是必須像……我不一定總是想打字，但你確實想要那種非常開放、靈活的交流媒介，也許是我們在說話，模型在回覆我，但你仍然想要那種最低的共同標準，沒有限制的互動方式。
Lenny Rachitsky 這太有趣了。那真的改變了我對這些東西的看法，即聊天對於與超級智慧交談這個非常具體的問題來說實在太好了。
Kevin Weil 順便說一句，我認為也不僅僅是聊天。 如果你有高頻率的使用案例，這些案例更加規範化，你實際上不需要完全的通用性，那麼在許多使用案例中，擁有一個不那麼靈活、更規範化、針對特定任務更快的東西會更好，那些也很棒，你可以建立各種各樣的此類應用。 但你仍然希望聊天作為一個基線，用於處理任何超出你碰巧正在為之構建的垂直領域的東西。它就像一個萬能的接盤俠，可以處理你想向模型表達的任何可能的事情。
Lenny Rachitsky 我很高興能與 OneSchema 的創辦人 Christina Gilbert 聊天，她是我們長期的 podcast 贊助商之一。嗨，Christina。
Christina Gilbert 是的。謝謝你邀請我上節目，Lenny。
Lenny Rachitsky OneSchema 最近有什麼新動態？我知道你現在與我最喜歡的一些公司合作，比如 Ramp、Vanta、Scale 和 Watershed。我聽說你剛推出了一個新產品，幫助產品團隊從特別棘手的系統（如 ERP）導入 CSV 檔案？
Christina Gilbert 是的。所以我們剛剛推出了 OneSchema FileFeeds，它允許你在 15 分鐘內與任何系統建立整合，只要你能將 CSV 匯出到 SFTP 資料夾。 我們經常看到我們的客戶卡在各種權宜之計和變通方法中，而與我們合作的產品團隊不必因為客戶的系統太難整合而拒絕潛在客戶。我們允許我們的客戶提供數千個整合，而完全不需要他們的工程團隊參與。
Lenny Rachitsky 我可以告訴你，如果我的團隊必須建立這樣的整合，能夠將這個任務從我的路線圖中移除，轉而使用像 OneSchema 這樣的工具，不僅是建立它，而且是永遠維護它，那該有多好。
Christina Gilbert 當然，Lenny。我們聽過太多關於僅僅因為少數幾個廣告記錄就導致多天停機的可怕故事。我們專注於整合的可靠性，幫助團隊結束所有因整合而產生的干擾。 我們有一個內建的驗證層，可以阻止任何不良數據進入你的系統，並且 OneSchema 會立即通知你的團隊任何看起來不正確的數據。
Lenny Rachitsky 我知道導入不正確的數據會給你的客戶帶來各種痛苦，並迅速失去他們的信任。Christina，感謝你加入我們。如果你想了解更多信息，請訪問 oneschema.co。網址是 oneschema.co。
研究與產品團隊的協作
Lenny Rachitsky 我想回到你談到的研究人員及其與產品團隊的關係。 我想像很多創新來自於研究人員，他們只是有了一個想法，然後建立了一些驚人的東西並發布它，而有些想法來自於產品經理和工程師。這些團隊是如何協作的？每個團隊都有產品經理嗎？是否有很多由研究主導的東西？ 給我們講講想法和產品主要來自哪裡。
Kevin Weil 這是一個我們正在不斷發展的領域。坦白說，我對此感到非常興奮。我想如果你回顧幾年前 ChatGPT 剛開始的時候，顯然，我當時不在 OpenAI，但是……顯然我當時不在 Open AI，但是……我們當時更像是一家純粹的研究公司。 Chat GPT，如果你還記得的話，是一個低調的研究預覽版。
Lenny Rachitsky 很多年了。
Kevin Weil 是的。團隊推出它的時候並沒想著它會成為一個如此巨大的產品。
Lenny Rachitsky 哦，Chat GPT。是的。
Kevin Weil 這只是我們讓大家玩耍和迭代模型的一種方式。所以我們主要是一家研究公司，一家世界級的研究公司，隨著 ChatGPT 的發展以及我們建立我們的 B2B 產品和我們的 API 以及其他東西，現在我們比以前更像是一家產品公司了。 我仍然認為我們不能……Open AI 永遠不應該是一家純粹的產品公司。我們需要既是世界級的研究公司，又是世界級的產品公司，兩者需要真正協同工作，這正是我認為我們在過去六個月裡做得越來越好的地方。 如果你分開處理這些事情，研究人員去做驚人的事情並建立模型，然後它們達到某個狀態，然後產品和工程團隊去接手並用它們做一些事情，我們實際上只是我們自己模型的 API 消費者。 然而，最好的產品將會是，就像我談到深度研究時說的那樣，是大量的迭代反饋。 是理解你試圖銷售的產品或你試圖解決的問題，為它們建立評估（evals），使用這些評估去收集數據並微調模型，使它們在你尋求解決的這些使用案例上表現得更好。要做好這件事需要大量的反覆溝通。 我認為最好的產品將是工程、產品、設計和研究作為一個單一團隊合作，共同構建新穎的事物。所以這實際上是我們嘗試運營任何我們構建的東西的方式。 這對我們來說是一個新的肌肉，因為我們作為一家產品公司還比較新，但這是人們真正興奮的事情，因為我們看到每次我們這樣做，我們都會構建出很棒的東西，所以現在每個產品都像那樣開始。
OpenAI 的產品經理：特質與角色
Lenny Rachitsky 在 Open AI 有多少產品經理？我不知道你是否分享這個數字，但如果你分享的話。
Kevin Weil 實際上並不多。我不知道，25 個。也許比那多一點。我個人的信念是，作為一個組織，你通常希望產品經理（PM）的比例相對較低。我這樣說帶著愛意，因為我就是一個 PM，但是太多的 PM 會導致問題。我們會讓世界充滿簡報（decks）和想法，而不是執行。 所以我認為，當你有一個 PM 可能與稍微過多的工程師合作時，這是一件好事，因為這意味著他們不會介入並進行微觀管理。你會把大量的影響力和責任留給工程師來做決策。 這意味著你希望有非常注重產品的工程師，我們很幸運擁有這樣的工程師。我們有一個極其注重產品、自主性強的工程團隊。 但是當你有這樣的情況時，你有一個感覺超級被賦權的團隊，你有一個試圖真正理解問題並溫和地引導團隊一點，但又因為事情太多而無法過於深入細節的 PM，最終你就能夠非常快速地行動。 所以這基本上就是我們採取的理念。我們希望產品工程領導和產品工程師貫穿始終。我們不希望有太多的 PM，但希望有非常出色、高質量的 PM，到目前為止，這似乎運作得相當不錯。
Lenny Rachitsky 我想像在 Open AI 擔任 PM 對很多人來說是夢寐以求的。同時，我也想像這並不適合很多人。這裡有研究人員參與，有非常注重產品思維的工程師。 你對在那裡招聘的 PM 有什麼要求？對於那些覺得，“也許我不該去那裡工作。我甚至不該考慮那個”的人。
Kevin Weil 我想，我已經說過幾次了，但是高自主性（high agency）是我們真正尋找的特質，那些不會進來等待其他人允許他們做某事的人，他們只是看到問題就去解決它。這只是我們工作方式的核心部分。 我認為那些對模糊性（ambiguity）感到自在的人，因為這裡存在大量的模糊性，這不是那種地方，我們有時會因為這個原因在更初級的 PM 身上遇到困難，因為這裡根本不是有人會進來說，“好的，這是情況，這是你的領域，我希望你去做這件事”的地方。 而這正是你作為早期職業 PM 想要的。我的意思是，這裡沒有人有時間，問題太不清晰，我們都在邊做邊摸索。所以高自主性，非常適應模糊性，準備好進來幫助執行並快速行動。這基本上就是我們的秘訣。 而且我認為還要樂於通過影響力來領導，因為……我的意思是，作為一個 PM，這很常見，人們不向你匯報，你的團隊不向你匯報，等等，但你還有研究職能的複雜性，這更加是自我導向的，與研究團隊建立良好的關係非常重要。 我認為情商（EQ）方面對我們來說也非常重要。
Lenny Rachitsky 我知道在大多數公司，PM 進來時會被質疑，“我們為什麼需要你？”作為 PM，你必須贏得信任，幫助人們看到價值，我覺得在 Open AI，這可能是這種情況的一個非常極端的版本，他們會想，“我們為什麼需要這個人？ 我們有研究人員、工程師，你在這裡能做什麼？”
Kevin Weil 是的，我認為如果做得好，人們會欣賞它，但你需要引導人們。我認為 PM 能做好的一件最重要的事情就是果斷（decisive）。所以這裡有一條非常微妙的界線。 你不想做……我的意思是，這有點像，我不總是喜歡 PM 是產品 CEO 的幻覺，但就像 Sam 在他的職位上，如果他在他參加的每一次會議上都做出每一個決定，那他就會犯錯誤。 如果他在他參加的任何會議上都不做任何決定，那他也會犯錯誤，對吧？這是理解何時將權力下放給你的團隊，讓大家創新。 以及何時需要做出一個決定，而人們或者覺得不舒服，或者覺得沒有權力去做，或者一個決定有太多不同的利弊分散在一個大群體中，需要有人果斷地做出決定，這是一個 CEO 非常重要的特質。 這是 Sam 做得很好的事情，這也是 PM 在更微觀層面上一個非常重要的特質。 所以因為有如此多的模糊性，在很多情況下答案並不明顯，所以有一個能夠進來……順便說一句，這不一定需要是 PM，如果是其他人我也完全樂意，但我有點期望 PM 能夠說，如果存在模糊性並且沒有人做決定，你最好確保我們做出決定並向前邁進。
AI 如何改變工作流程：Vibe Coding 與未來展望
Lenny Rachitsky 這觸及了我做過的幾篇文章，就是關於 AI 將在哪些方面取代我們的工作，以及在哪些方面幫助我們完成各種工作？所以讓我從另一個角度來探討這個問題，即 AI 如何影響產品團隊和招聘等方面。 首先，有很多關於 LM 為我們編寫程式碼的討論，90% 的程式碼將在一年內由 AI 編寫。Anthropic 的 Dario 是這麼說的。同時，你們都在瘋狂招聘工程師，瘋狂招聘 PM。每個職能部門都死了，但你們仍然在招聘每一個。 我想首先，讓我問這個，你和團隊，比如工程師、PM，在工作中是如何使用 AI 的？是否有什麼特別有趣的事情，或者你認為人們在日常工作中使用 AI 方面忽略了什麼？
Kevin Weil 我們用得很多。我的意思是，我們每個人都在 Chat GPT 裡，一直用它來總結文件，用它來幫助撰寫帶有 GPT 的文件，這些 GPT 可以寫產品規格說明書之類的東西，所有你能想到的東西。 我的意思是，談到編寫評估（evals），你實際上可以使用模型來幫助你編寫評估，而且它們做得相當不錯。 儘管如此，我對我們自己，實際上是指我自己，仍然有點失望，因為，如果我把我五年前領導產品的自我傳送到我的日常工作中，我仍然會認出它。 我認為我們應該處於一個世界，當然一年後，可能甚至現在就更應該是這樣，我幾乎認不出它，因為工作流程如此不同，我如此大量地使用 AI，但我今天仍然認得出來。所以我認為在某種意義上，我做得還不夠好。 舉個例子，為什麼我們不應該隨處進行 vibe coding 演示呢？與其在 Figma 中展示東西，我們應該展示原型，人們在 30 分鐘內通過 vibe coding 來闡述概念驗證並探索想法。這在今天完全是可能的，但我們做得還不夠。 實際上，我們的首席人事官 Julia 前幾天告訴我，她 vibe code 了一個她以前工作時用過的內部工具，她非常想在 Open AI 這裡也擁有它，她打開了，我不知道，Windsurf 之類的，然後 vibe code 了它。這有多酷？ 如果我們的首席人事官都在這樣做，我們沒有理由不更多地這樣做。
Lenny Rachitsky 那真是個很棒的故事。有些人可能沒聽過 vibe coding 這個詞。你能描述一下那是什麼意思嗎？
Kevin Weil 是的，我想這是 Andrej 的術語。
Lenny Rachitsky Karpathy。是的。
Kevin Weil Andrej Karpathy。是的。所以你有像 Cursor、Windsurf 和 GitHub Copilot 這樣的工具，它們非常擅長建議你可能想寫的程式碼。所以你可以給它們一個提示（prompt），它們會寫程式碼，然後當你去編輯它時，它會建議你可能想做什麼。 大家開始使用這些東西的方式是，給它一個提示，讓它做事，你去編輯它，給它一個提示，你基本上一直在和模型來回互動。 隨著模型變得越來越好，人們越來越習慣它，你可以稍微放開方向盤。當模型建議東西時，就像，點擊，點擊，點擊，點擊，點擊。繼續。是的，是的，是的，是的，是的。 當然模型會犯錯，或者它做了些無法編譯的事情，但當它無法編譯時，你把錯誤貼進去，然後說，走，走，走，走，走。 然後你測試它，它做了一件你不希望它做的事情，所以你輸入一個指令說，走，走，走，走，走，你就讓模型做它的事情。 並不是說你今天會對需要非常嚴謹的生產程式碼這樣做，但是對於這麼多事情，你試圖達到一個概念驗證，你達到一個演示，你可以真正放開手，模型會做得非常出色，這就是 vibe coding。
Lenny Rachitsky 那真是個很棒的解釋。我認為它的專業版本，也就是我認為 Andrej 甚至描述它的方式，是你說話，有一個像 whisper 或 super whisper 或類似的步驟，你在和模型說話，甚至不是打字。
Kevin Weil 是的，完全是。
Lenny Rachitsky 哦，天哪。所以讓我問一下，我想，當你展望未來的產品團隊時，你談到你們應該更多地這樣做，用原型代替設計，你認為產品團隊的結構或構建方式可能發生的最大變化是什麼？ 你認為未來幾年事情會走向何方？
產品團隊的未來：整合研究與微調模型
Kevin Weil 我認為你肯定會生活在一個每個產品團隊都內建研究人員的世界裡。我甚至不只是指基礎模型公司，因為我認為未來……實際上，坦率地說，我對我們整個行業感到有點驚訝的一件事是，微調（fine-tuned）模型的使用還不夠廣泛。 很多人……這些模型非常好，所以我們的 API 在很多方面都做得很好，但是當你有特定的使用案例時，你總是可以通過微調模型使其在特定使用案例上表現更好。這可能只是時間問題。大家還不太習慣在每種情況下都這樣做。 但對我來說，毫無疑問，這就是未來。 模型將無處不在，就像晶體管無處不在一樣，AI 將成為我們所做一切的結構一部分，但我認為將會有大量的微調模型，因為你為什麼不想更具體地針對特定使用案例定制模型呢？ 所以我認為你會希望在幾乎每個團隊中都加入類似準研究人員/機器學習工程師類型的人，因為微調模型將成為構建大多數產品的核心工作流程的一部分。 所以這是你可能開始在基礎模型公司看到的一個變化，隨著時間的推移，它將會傳播到更多的團隊。
Lenny Rachitsky 我很好奇是否有一個具體的例子能讓這變得真實，當你說話的時候，我想到了一個例子，那就是，當你看 Cursor 和 Windsurf 時，我從那些創辦人那裡學到的一件事是，他們使用了 Sonnet，但他們也有一堆自定義模型在邊緣輔助，這些模型使得特定的體驗，不僅僅是生成程式碼，甚至更好，比如自動完成和預測接下來的走向。 所以那是一個例子嗎？或者還有其他例子……什麼是微調模型？你認為團隊會和他們團隊中的這些研究人員一起構建什麼？
Kevin Weil 是的。我的意思是，當你是一個模型時，你基本上是給模型一堆你希望它做得更好的事情的例子。所以就是，“這是一個問題，這是一個好答案。這是一個問題，這是一個好答案，”或者，“這是一個問題，這是一個好答案，重複一千次或一萬次。” 突然之間，你就在教導模型在那件特定的事情上比它剛開始時做得好得多。我們在內部到處都使用它。我們在內部使用模型的集成（ensembles）比人們想像的要多得多。所以不是，“我有 10 個不同的問題。我就問基礎的 GPT 4 oh 關於這些問題。” 如果我們有 10 個不同的問題，我們可能會使用 20 個不同的模型調用來解決它們，其中一些使用了專門的微調模型，它們使用了不同大小的模型，因為對於不同的問題，你可能有不同的延遲要求或成本要求。它們可能對每個問題都使用了自定義提示（prompts）。 基本上，你希望教導模型非常擅長……你希望將問題分解為更具體的任務，而不是一些更廣泛的高級任務。然後你可以非常具體地使用模型，在每個單獨的事情上都做得非常好。然後你有一個集成來處理整個事情。 我認為今天很多好公司都在這樣做。我仍然看到很多公司給模型單一的、通用的、廣泛的問題，而不是分解問題，我認為未來會有更多地分解問題，針對特定事物使用特定模型，包括微調。
Lenny Rachitsky 所以在你的案例中，因為這真的很有趣，是你使用了不同級別的 Chat GPT，比如 1 0 3 以及更早的版本，因為它更便宜。
Kevin Weil 我們內部堆疊的某些部分會這樣。我給你舉個例子。客戶支援，我們每週有超過 4 億活躍用戶，所以我們收到大量的入站工單。 我不知道我們有多少客戶支援人員，但不是很多，30、40 個，我不確定，比任何同等規模的公司都要少得多，這是因為我們自動化了很多流程。 我們利用內部資源、知識庫、關於如何回答問題的指南、什麼樣的個性等等，解決了大多數問題。 你可以教模型這些東西，然後讓它自動完成很多回答，或者當它沒有完全信心回答某個特定問題時，它仍然可以建議一個答案，請求人工查看，然後那個人的答案實際上就是對模型的一種微調數據。 你在特定情況下告訴它正確的答案。我們在不同的地方使用……在某些地方，你希望多一點推理，對延遲不那麼敏感，所以你希望多一點推理，我們會使用我們的 O 系列模型之一。 在其他地方，你希望快速檢查某件事，所以你用四 oh mini 就可以了，它超級快而且超級便宜。總的來說，就像是針對特定目的使用特定模型，然後你把它們集成在一起解決問題。 順便說一句，再次強調，這與我們人類解決問題的方式並無不同，一個公司可以說是一個模型的集成，這些模型都根據我們在大學裡學到的東西以及我們在職業生涯中學到的東西進行了微調。 我們都被微調以擁有不同的技能組合，你以不同的配置將它們組合在一起，集成的輸出遠比任何單個個體的輸出要好得多。
Lenny Rachitsky Kevin，你讓我大開眼界。這聽起來完全正確。而且，不同的人，你付給他們較少的錢，與他們交談的成本更低，有些人需要很長時間才能回答，有些人會產生幻覺。這是……
Kevin Weil 我告訴你。這是一個心智模型，但在思考時確實有效……
Lenny Rachitsky 哦，對。是的。這太棒了。有些人是視覺型的，他們想畫出他們的想法，有些人想口頭表達。哇，這真是個好比喻。 所以再次回到你的建議，因為我喜歡我們繞回了這一點，你找到了一種非常好的思考方式來設計優秀的 AI 體驗和 LM，我想，具體來說就是思考一個人會如何做這件事。
Kevin Weil 嗯，也許答案不總是思考一個人會怎麼做，但有時為了獲得如何解決問題的直覺，你會思考一個等效的人在那些情況下會做什麼，並利用這一點至少從不同的角度看待問題。
Lenny Rachitsky 哇，這太棒了。
Kevin Weil 因為其中一些確實是在與模型交談。有很多先例，因為我們一直都在與其他人類交談，並在各種不同的情況下遇到他們，所以從中可以學到很多東西。
AI 時代的必備技能與教育的未來
Lenny Rachitsky 好的，說到人類，我想聊聊未來。所以你有三個孩子，一個社群成員問了我這個搞笑的問題，我認為很多人都在思考這個問題。這是 Patrick [聽不清 01:04:47]。我在 Airbnb 和他一起工作過。 他說問問你鼓勵孩子們學習什麼來為未來做準備。我擔心我 6 歲的孩子到 2036 年時，想要進入頂尖的屋頂或管道工程項目會面臨很多競爭，需要一個備用計劃。
Kevin Weil 這很有趣。所以我們的孩子，我們有一個 10 歲的孩子和一對 8 歲的雙胞胎，所以他們還很小。他們對 AI 的原生程度令人驚訝。對他們來說，有自動駕駛汽車是完全正常的。他們可以整天和 AI 交談。他們與 Chat GPT、Alexa 和其他一切進行完整的對話。 我不知道，誰知道未來會怎樣？我認為像程式設計技能這樣的東西會在很長一段時間內保持相關性，誰知道呢？ 但我認為如果你教你的孩子保持好奇心，保持獨立，保持自信，你教他們如何思考，我不知道未來會怎樣，但我認為這些技能在未來的任何配置中都將是重要的。 所以並不是說我們有所有的答案，但這就是 Elizabeth 和我如何看待我們的孩子。
Lenny Rachitsky 你是否發現 AI……有很多關於 AI 輔導的討論。這是你們正在做的事情嗎？我知道他們在使用 Chat GPT，我喜歡你發布的所有照片，他們在玩提示（prompts）之類的，但我猜在這方面你是否有在嘗試什麼，或者你認為會變得非常重要？
Kevin Weil 這是……這可能是 AI 能做的最重要的事情。也許這是一個宏大的說法。AI 能做很多重要的事情，包括加速基礎科學研究和發現的步伐，這也許實際上是 AI 能做的最重要的事情。 但最重要的事情之一將是個性化輔導。這有點讓我難以置信的是，仍然……我知道外面有一些不錯的產品。Khan Academy 做得很棒。他們是我們很棒的合作夥伴。 Vinod Khosla 有一個非營利組織，在這個領域做一些非常有趣的事情，並且正在產生影響。 但我有點驚訝的是，還沒有一個面向 20 億兒童的 AI 個性化輔導的東西，因為模型現在已經足夠好可以做到了，而且所有做過的研究似乎都表明，當你擁有……就像，教育仍然很重要，但是當你將其與個性化輔導相結合時，學習速度會有多個標準差的提高。 所以這是無可爭議的，對孩子有好處，它是免費的。Chat GPT 是免費的，你不需要付費，而且模型足夠好。 我仍然有點難以置信，竟然沒有一個了不起的東西在那裡，讓我們的孩子和你的未來孩子，以及世界各地各種地方不像我們的孩子那麼幸運能夠擁有這種內建的、紮實的教育的人們使用。再次強調，Chat GPT 是免費的。 人們到處都有 Android 設備。我真的認為這可以改變世界，我很驚訝它還不存在，我希望它存在。
Lenny Rachitsky 這有點觸及了我想花點時間討論的事情，那就是很多人也非常擔心 AI，擔心它的發展方向，他們擔心它會取代工作，他們擔心未來超級智慧會碾壓人類。 你對此有何看法？以及人們需要聽到的樂觀情況是什麼？
Kevin Weil 我的意思是，我是一個技術樂觀主義者。我認為如果你回顧過去 200 年，也許更長時間，技術驅動了很多進步，使我們成為了今天的世界和社會。它推動了經濟進步，推動了地緣政治進步，生活質量，壽命的進步。 我的意思是，技術幾乎是所有事情的根源，所以我認為很少有例子表明從長遠來看這不是一件好事。這並不意味著沒有…… …從長遠來看是一件好事。 這並不意味著沒有暫時的混亂，或者沒有個體受到影響，這也很重要。所以不能僅僅是平均水平好。你還必須考慮如何盡可能地照顧好每一個人。 這是我們經常思考的事情，當我們與政府合作，當我們制定政策時，我們盡力提供幫助。我們在教育方面做了很多工作。這裡的一個好處是，ChatGPT 也許是你可能想要的最好的再培訓應用程式。它知道很多事情。 如果你有興趣學習新事物，它可以教你很多東西。這些都是非常現實的問題。我對長遠前景非常樂觀，我們作為一個社會需要盡一切努力，確保我們盡可能優雅、盡可能得到良好支持地完成這次轉型。
AI 增強創造力：從影像到寫作
Lenny Rachitsky 為了讓大家了解事情可能的發展方向。這是很多人腦海中的一個大問題。所以有人問了這個我喜歡的問題，那就是，“AI 已經在很多不同方面改變了創意工作，寫作、設計和編碼，你認為下一個重大飛躍是什麼？ 我們應該認為 AI 輔助創意領域具體的下一個重大飛躍是什麼？然後更廣泛地說，你認為未來幾年事情會走向何方？”
Kevin Weil 是的。這也是我非常樂觀的一個領域。例如，如果你看看 Sora。我的意思是，我們之前談到了 ImageGen 以及人們在 Twitter、Instagram 和其他地方釋放出的絕對的創造力源泉。我是世界上最糟糕的藝術家，就像最糟糕的那種。 也許我唯一比藝術更差勁的是唱歌。給我一支鉛筆和一本畫紙，我畫得不會比我們八歲的孩子好。但是給我 ImageGen，我可以思考一些有創意的想法，把一些東西輸入模型，突然之間就能得到我自己根本不可能做到的輸出。那太酷了。 即使你看那些真正有才華的人。 我最近和一位導演談論 Sora，他導演過我們都知道的電影，他說，對於他正在做的一部電影，舉個例子，某種科幻風格的，想想星球大戰，你有一個場景，一架飛機衝向某個類似死星的東西。 所以你有飛機俯瞰整個星球的鏡頭，然後你想切換到一個場景，飛機大概在地面高度，突然之間你看到了城市和其他一切。我們將如何處理那個切換鏡頭？以及那個過渡？ 他說，“在兩年前的世界裡，我會付給一家 3D 特效公司十萬美元，他們會花一個月時間，他們會為我製作這個切換鏡頭的兩個版本。我會評估它們。我們會選擇一個，因為你還能做什麼？ 再付五萬美元再等一個月。我們就會將就著用它。而且效果會不錯。電影很棒。我喜歡它們。而且一直以來……”顯然，我們用我們擁有的技術可以做出偉大的事情，但你現在看看用 Sora 能做什麼。 他的觀點是，“現在，我可以使用 Sora，我們的視頻模型，我可以得到這個切換鏡頭的 50 個不同變體，只需要我把想法輸入提示（prompt），模型再和我一起進行一點腦力激盪。我就有了 50 個不同的版本。然後當然，我可以基於這些進行迭代和改進，採納不同的想法。 現在我仍然會去找那家 3D 特效工作室來製作最終版本，但我會帶著經過腦力激盪、更具創意的方法去，最終的結果會好得多。而這是由 AI 輔助完成的。” 我個人對創造力的普遍看法是，沒有人會……你不會在 Sora 裡輸入，“給我製作一部偉大的電影。”它需要創造力、獨創性和所有這些東西，但它可以幫助你探索更多。它可以幫助你達到更好的最終結果。 所以，再次強調，我傾向於在大多數事情上保持樂觀，但實際上，我認為這裡有一個非常好的故事。
Lenny Rachitsky 我知道 Sam Altman，我想是他最近發推文說，你們正在做的創意寫作部分，它……他在寫創意東西方面很差，他分享了一個例子，實際上寫得非常好。我想像那是另一個投資領域。
Kevin Weil 是的，內部正在進行一些令人興奮的事情，使用一些新的研究技術。我們會在某個時候對此有更多要說的。但是是的，Sam 有時喜歡展示一些即將到來的東西，這很聰明。順便說一句，這非常能說明這種迭代部署的理念。 我們不會有了某個突破就永遠秘而不宣，然後在某一天將其賜予世界。我們傾向於只是談論我們正在做的事情，在可能的時候分享，儘早、經常地發布，然後在公開場合進行迭代。我非常喜歡這種理念。
AI 進步的速度：今天是你未來將用到最差的模型
Lenny Rachitsky 我喜歡所有這些關於即將到來的幾件事情的暗示。我知道你不能說太多。你談到在不久的將來可能會有一個編碼方面的飛躍，也許到這個節目播出時。還有什麼是人們應該考慮的，可能在不久的將來會發生的嗎？ 有什麼你可以預告的有趣、令人興奮的事情嗎？
Kevin Weil 老兄，這些對你來說還不夠嗎？
Lenny Rachitsky 除了每天一切都在變得更好之外，沒別的了。
Kevin Weil 是的。我當時想，老兄，我希望我們能在節目播出前把這些東西弄出來，這樣——
Lenny Rachitsky 這是你的新時間限制。
Kevin Weil …我才不會惹惱大家。對我來說，令人驚奇的事情是，我們之前談到模型在短短幾年內取得了多大的進步。如果你回到 GPT-3，你會對它有多糟糕感到厭惡，儘管兩年前的 Lenny 對它們有多好感到震驚。 很長一段時間裡，我們每六到九個月迭代一次新的 GPT 模型。就像 GPT-3、GPT-3.5、4，現在有了這個 o 系列的推理模型，我們的速度更快了。大約每三個月，也許四個月，就有一個新的 o 系列模型，每一個都在能力上有所提升。 所以這些模型的能力正在以驚人的速度增長。隨著規模的擴大，它們也變得更便宜。看看我們僅僅幾年前的情況。我想最初的，我不知道，是什麼，GPT-3.5 還是什麼，成本大概是今天 API 中 GPT-4o mini 的 100 倍。 幾年時間，智慧程度高得多，成本下降了兩個數量級。所以我不知道世界上還有哪裡有像這樣的趨勢系列。模型變得更聰明，它們變得更快，它們變得更便宜，而且它們也變得更安全。每一次迭代，它們產生幻覺的情況都更少。 所以摩爾定律和晶體管變得無處不在。那是一個關於晶片上晶體管數量每 18 個月翻一番的定律。如果你談論的是每年增長 10 倍的東西，那是一個指數級增長陡峭得多的曲線。它告訴我們未來將與今天大不相同。 我試圖提醒自己的是，你今天使用的 AI 模型，將是你餘生中用過最差的 AI 模型。當你真正理解這一點時，感覺有點瘋狂。
Lenny Rachitsky 我其實也想說同樣的話，這也是我每次看這個東西時一直縈繞在我腦海的事情。你在談論 Sora，我想像很多聽到這個的人會說，“不，不。它還沒準備好。它還不夠好。 它不會像我在電影院看到的電影那麼好。”但重點正是你剛才說的，這是它最糟糕的狀態。它只會變得更好。
Kevin Weil 是的，模型至上主義（model maximalism）。只要繼續為那些幾乎實現的能力而構建，模型就會趕上來並變得驚人。
Lenny Rachitsky 滑向冰球將要去的地方。
Kevin Weil 是的。
Lenny Rachitsky 這讓我想起，我前幾天在用……我在複製（duplifying）所有東西，我當時就在想，“為什麼花了這麼長時間。”
Kevin Weil 正如人們所做的那樣。
Lenny Rachitsky 就像削減……那是什麼？
Kevin Weil 我說，正如人們所做的那樣。
Lenny Rachitsky 正如如今人們所做的那樣。我當時就在想，“生成我家人這張以這種驚人方式呈現的圖片花了一分鐘。”拜託，怎麼花了這麼長時間。你就是這麼習慣了魔法在你面前發生。
Kevin Weil 是的，完全是。
Libra 計畫的回顧與反思
Lenny Rachitsky 好的，最後一個問題。這將走向一個完全不同的方向。很多人問到這個。眾所周知，你在 Facebook 領導了一個名為 Libra 的項目，現在叫做 Novi。很多人一直想知道，“那裡發生了什麼？那真是個很酷的想法。” 我知道有些人感覺到有監管方面的挑戰，諸如此類。我不知道你是否經常談論這個。所以我想，你能否簡單地向大家總結一下 Libra 是什麼？這個你正在做的項目，以及到底發生了什麼，你對此感覺如何？
Kevin Weil 是的。我的意思是，David Marcus 領導了它，我很高興為他工作並與他共事。我認為他是一位有遠見的人，也是一位導師和朋友。老實說，Libra 可能是我職業生涯中最大的失望。當我想到我們正在解決的問題時，那些是非常現實的問題。 例如，如果你看看匯款領域，人們向其他國家的家人匯款，這可能是……我的意思是，這是極其倒退的，對吧？那些沒有錢可花的人不得不支付 20% 的費用才能把錢寄回家給家人。 如此離譜的費用，需要好幾天時間，你還得去取現金……一切都很糟糕。而我們這裡有 30 億人遍布世界各地使用 WhatsApp，每天互相交談，尤其是朋友和家人，正是那種會互相匯款的人。 為什麼你不能像發送短信一樣即時、廉價、簡單地匯款呢？當你坐下來思考這件事時，它就是那些理應存在的事情之一。這就是我們著手嘗試做的事情。現在，我不認為我們打好了所有的牌。 如果我能回到過去重新來過，有很多事情我會做得不同。我們試圖一次性完成所有事情。我們試圖推出一個新的區塊鏈。最初它是一個貨幣籃子。 它是整合到 WhatsApp 和 Messenger 中的，我認為整個世界都有點像，“哦我的天，這一次的改變太大了。”而且它恰好也發生在 Facebook 聲譽處於絕對最低谷的時候。所以那沒有幫助。 它也不是人們希望進行這種改變的信使。我們在開始之前就知道所有這些，但我們還是去做了。 我認為有很多方法可以做到這一點，可以更溫和地引入改變，也許仍然能達到同樣的結果，但一次引入的新事物更少，並且一次只引入一件新事物。誰知道呢？那些是我們一起做出的決定。所以我們都對其負責。 當然，我對其負責。但它至今仍不存在於世界上，這讓我從根本上感到失望，因為如果我們能夠推出那個產品，世界會變得更好。我本可以在 WhatsApp 上免費發送給你 50 美分。它會立即結算。每個人都會在他們的 WhatsApp 帳戶中有餘額。 我們會進行交易……我的意思是，它應該存在。我不知道。老實說，現任政府對加密貨幣非常友好。Facebook 的聲譽，Meta 的聲譽處於一個非常不同的境地。也許他們現在應該去把它建起來。
Lenny Rachitsky 我查了一下它的歷史，顯然，他們把技術賣給了某家私募股權公司，賣了 2 億美元。
Kevin Weil 是的，是的，而且——
Lenny Rachitsky 他們不得不把它買回來。
Kevin Weil 有幾個現有的區塊鏈是建立在這項技術之上的，因為這項技術從一開始就是開源的。Aptos 和 Mistin 是兩家建立在這項技術之上的公司。所以至少我們所做的所有工作並沒有消亡，而是活在這兩家公司中，而且它們都做得很好。 但是，我們仍然應該能夠在 WhatsApp 中互相匯款，而今天我們做不到。
Lenny Rachitsky 說得對，說得對。嗯，謝謝你分享那個故事，Kevin。在我們進入非常激動人心的閃電問答環節之前，你還有什麼想分享的，或者也許是最後的逆向建議或見解嗎？
Kevin Weil 哦，閃電問答環節。我們直接開始吧。
閃電快問快答
Lenny Rachitsky 我們開始吧。接下來，Kevin，我們來到了非常激動人心的閃電問答環節。準備好了嗎？
Kevin Weil 是的。
Lenny Rachitsky 開始吧。好的。你發現自己最常向他人推薦的兩三本書是什麼？
Kevin Weil Ethan Mollick 的《Co-Intelligence》，一本關於 AI 以及如何在日常生活中作為學生、作為老師使用它的非常好的書。他非常有思想。順便說一句，在 Twitter 上也是一個非常值得關注的人。Peter Zion 的《The Accidental Superpower》。 如果你對地緣政治以及塑造動態的力量感興趣，這本書非常好。然後我真的很喜歡《Cable Cowboy》，我不知道作者是誰，但那是 John Malone 的傳記。非常引人入勝。 如果你喜歡商業，特別是如果你想深入了解……我的意思是，那個人是一位令人難以置信的交易撮合者，塑造了現代有線電視行業的很多方面。所以那是一本很好的傳記。
Lenny Rachitsky 這些都是第一次被提及，這總是很好。
Kevin Weil 哦，好的。
Lenny Rachitsky 下一個問題。你有沒有最近發現的非常喜歡的電影或電視劇？
Kevin Weil 我希望我有時間看電視劇，所以我——
Lenny Rachitsky 只有 Sora 的影片。
Kevin Weil 是的，沒錯。我不知道。我小時候讀過《時光之輪》（The Wheel of Time）系列，現在 Amazon 把它拍成了電視劇，他們正在拍第三季，所以我想看那個。我還沒看。Top Gun 2 是一部很棒的電影。我想那已經不算新了。
Lenny Rachitsky 那顯示了你上次看電影是什麼時候。
Kevin Weil 但我喜歡這個想法。我想要更多的美國精神（Americana）。我想要更多為強大而自豪的感覺。我認為 Top Gun 2 在這方面做得非常好。自豪感和愛國主義，我認為美國可以多一些這個。
Lenny Rachitsky 除了你們都可以使用的內部超級智能工具之外，你最近有沒有發現什麼非常喜歡的產品？開個玩笑。
Kevin Weil 沒錯。內部 AGR。
Lenny Rachitsky 是的，沒錯。
Kevin Weil 嗯，我認為用像 Windsurf 這樣的產品進行 vibe coding 非常有趣。我玩得很開心。我仍然很喜歡我們的首席人事官 vibe code 了一些工具。也許另一個是 Waymo。每次有機會，我都會乘坐 Waymo。 這只是一種更好的出行方式，而且仍然感覺像是未來。所以他們做得非常出色。
Lenny Rachitsky 太棒了。順便說一句，我邀請了 Windsurf 的創辦人上這個 podcast。可能在這個節目之前或之後播出。還有 Cursor 的 CEO 也會來這個 podcast，可能在這個節目之前或之後。
Kevin Weil 哦，酷。我對那些傢伙正在做的事情非常敬佩。那些都是很棒的產品。
Lenny Rachitsky 只是改變了每個人建立產品的方式。沒什麼大不了的。
Kevin Weil 是的。
Lenny Rachitsky 還有幾個問題。你有沒有經常對自己重複、在工作或生活中覺得非常有用的座右銘？
Kevin Weil 是的。所以實際上，這很有趣，它更像是一種哲學，但後來我認為 Zuck 在一次 Facebook 的財報電話會議上將其概括了。所以我實際上把這個做成了一張海報。它放在我的房間裡。但是有人在問 Mark。 這確實是在一次財報電話會議上，所以就像是一位分析師在財報電話會議上問他。那是 Facebook 增長很多的某個季度。我想那是 2010 年代的某個時候。但他問，“所以你做了什麼？你推出了什麼？ 是什麼單一因素為你帶來了所有這些增長？”他大概說了這樣的話，“有時候並不是任何單一的事情，只是長期持續地做好工作。”這句話一直讓我印象深刻。我認為確實如此。我的意思是，我跑超馬。就像，這就是關於堅持不懈。 我認為人們太常尋找靈丹妙藥，而很多生活和很多卓越實際上是日復一日地出現，做好工作，每天進步一點點，你可能在一周甚至一個月內注意不到。 然後很多人就會灰心喪氣而停止。但實際上，你繼續做下去。收益會不斷複利增長。在一兩年、五年的時間裡，它會瘋狂地累積起來。所以，長期持續地做好工作。
Lenny Rachitsky 我喜歡這個。我現在得把這個做成海報了。那是——
Kevin Weil 我們會給你弄一個。
Lenny Rachitsky 我非常認同這一點。好的，我接受。那太好了。好的，最後一個問題。我會問你是否有任何提示（prompting）技巧，我會先鋪墊一下。但是想一想你是否有一個技巧可以推薦給人們，以更好地提示 LLM。 我邀請了一位嘉賓 Alex Komorowski 上這個 podcast。他來自 Stripe，撰寫他對世界動態的每週反思。其中很多與 AI 相關。他曾經將 LLM 描述為所有人類知識的 zip 文件。 所有的答案都在裡面，你只需要弄清楚問什麼正確的問題，基本上就能得到每個問題的答案。所以這讓我想起提示工程（prompt engineering）和知道如何良好提示是多麼重要。你經常提示 ChatGPT。 你有沒有發現什麼一個技巧，能幫助你得到你想要的？
Kevin Weil 嗯，我首先要說，我想扼殺你必須成為一個優秀提示工程師的想法。我認為如果我們做好我們的工作，那就不再是真的了。這只是模型的一個銳利邊緣，專家可以學習。但是，隨著時間的推移，你根本不需要知道所有這些。 就像你過去必須深入了解，“你在 MySQL 中的存儲引擎是什麼？你用的是 InnoDB 4.1 嗎？”如果你處於 MySQL 性能的深度邊緣，仍然有這種使用案例。但大多數人不需要關心。 如果 AI 真的要被廣泛採用，你就不應該需要關心提示的微小細節。但今天，我們還沒有完全做到。順便說一句，我認為我們在這方面正在取得進展。我認為現在需要的提示工程比以前少了。 但是與我談到的微調（fine-tuning）以及提供例子的重要性一致，你可以通過在提示中包含你可能想要的東西以及一個好答案的例子，來進行有效的窮人版微調。所以就像，“這是一個例子，這是一個好答案。 這是一個例子，這是一個好答案。現在，去為我解決這個問題。”模型真的會傾聽並從中學習。不如你進行完整的微調那麼好，但比你不提供任何例子要好得多。我認為人們這樣做得還不夠頻繁。
Lenny Rachitsky 太棒了。我聽說過一個技巧，我很好奇這是否有效，就是你告訴它，“這對我的職業生涯非常非常重要。”讓它真正明白，就像，“如果你不正確回答我，會有人死掉。”那樣有用嗎？
Kevin Weil 這真的很奇怪。這可能有一個很好的解釋。但你也可以說一些話。所以，是的，我認為這有一定的道理。你也可以說一些話，比如，“我希望你是愛因斯坦。現在，為我回答這個物理問題，”或者，“你是世界上最偉大的行銷人員，世界上最偉大的品牌行銷人員。 現在這裡有一個命名問題。”確實有一些東西，它似乎能將模型轉換到某種心態，這實際上可能非常積極。
Lenny Rachitsky 我一直都在用那個技巧。我總是……當我為採訪想問題時，我偶爾會用它來想出一些我沒想到的東西，我真的會輸入，“你是世界上最好的 podcast 採訪者。”
Kevin Weil 對。
Lenny Rachitsky 我邀請了 Kevin Weil 來……是的，它真的有用。
Kevin Weil 順便說一句，回到我們之前幾次提出的另一個觀點。你有時確實會對人這樣做。你有點把他們……你設定框架，你讓他們進入某種心態，答案就完全不同了。所以我認為再一次地，這裡有人類的類比。
Lenny Rachitsky Kevin，這真是太不可思議了。我剛才在想如何結束這個。我的感覺是……我覺得你不僅處於未來的最前沿。你和團隊實際上就是創造未來的那個前沿。 所以能邀請你來這裡，和你交談，聽聽你對未來走向的看法以及我們需要思考什麼，是我的榮幸，所以謝謝你來到這裡，Kevin。
Kevin Weil 哦，非常感謝邀請我。我能和世界上最棒的團隊一起工作，所有的功勞都歸於他們，但真的非常感謝你邀請我上節目。超級有趣。
Lenny Rachitsky 我忘了問你最後兩個問題。如果大家想聯繫你，可以在哪裡找到你？以及聽眾如何能對你有用？
Kevin Weil 我幾乎在所有平台上都是 @kevinweil，K-E-V-I-N-W-E-I-L。這麼多年過去了，我仍然是 Twitter 的日活躍用戶（DAU）。我想現在是 X 的 DAU，LinkedIn，等等。我認為我最希望從大家那裡得到的是，給我反饋。大家都在使用 ChatGPT。告訴我它在哪裡對你來說運作得非常好，以及你希望我們在哪些方面加倍努力。 告訴我它在哪裡失敗了。我在 Twitter 上非常活躍和投入。我喜歡聽到人們的意見，哪些有效，哪些無效，所以不要害羞。
Lenny Rachitsky 我發現關注你可以幫助你了解所有你正在發布的東西。你分享每天、每週、每月發布的所有事情，所以這也是一個好處。順便說一句，4 億周活躍用戶都給你發郵件反饋。開始吧。
Kevin Weil 是的，我們開始吧。
Lenny Rachitsky 結果會很棒的。好的。嗯，謝謝你，Kevin。謝謝你來到這裡。
Kevin Weil 好的，老兄，非常感謝。回頭見。