原文連結: 20Product: How Scale AI and Harvey Build Product | Why PMs Are Wrong: They are not the CEOs of the Product | How to do Pre and Post Mortems Effectively and How to Nail PRDs | The Future of Product Management in a World of AI with Aatish Nayak

Aatish Nayak 產品經理(PM)有時會有主角症候群,認為自己必須是產品的 CEO,成為產品的代言人。你首先要做的是,我所做的每件事對公司來說真的是最好的嗎?領域專家正在推動更多的產品決策。你需要彌合模型和使用者體驗(UX)之間的差距,以及如何實際將其應用於特定專業。那些想法,領域專家將會更加重要。我們最近做了這些評估,特別是 Claude 3.7 在法律推理方面,它擅長長篇法律推理和草擬長篇輸出。

Harry Stebbings 這裡是 20product,我是 Harry Stebbings。20product 是一個月度節目,我們會邀請一位頂尖的產品領導者,討論他們如何啟動、擴展和管理最優秀的產品團隊。今天加入我們的是 Aatish Nayak,Harvey 的產品負責人,這是矽谷最熱門的新創公司之一,他在那裡負責產品願景、策略、設計、分析、行銷和支援。這也是他經歷的第三家高速成長的 AI 獨角獸公司,之前曾在 Scale AI(從 40 人增長到 800 人)和 Shield AI(從 20 人增長到 100 人)擔任產品領導職位。

Aatish Nayak 您現在已到達目的地。

Harry Stebbings Atish。

Harry Stebbings 我非常期待這次訪談。我聽到了很多好評。我們剛才還在聊 HubSpot,我之前和 Katie 聊過。所以非常感謝你加入我。

Aatish Nayak 是的,我很興奮能來到這裡,而且今天倫敦的天氣很適合做這個 podcast。

Harry Stebbings 老兄,這太特別了。

Harry Stebbings Stuart 親自來了。我想從我跟一些我們共同的朋友聊天時聽到的事情開始,聽說你早期決定從工程轉到產品。我想從這裡開始。你為什麼做出這個決定?這個決定如何引導你給予可能做同樣事情的其他人的建議?

從工程到產品的轉變

Aatish Nayak 我一直以來優化的一件大事是技能組合的成長。你需要知道哪些技能?我擅長哪些技能?我想在哪方面做得更好?而不是我的職位是產品經理,還是軟體工程師。所以技能組合的成長非常重要。我想當時有一件事是,你比現在更容易被歸類到不同的角色中。所以要專注於技能組合的成長。早期我想我讀過 Sam Altman 關於如何成功的文章。這是在 Sam Altman 成為 Sam Altman 之前。其中讓我印象深刻的一點是努力工作,專注於你擅長的事情。並且不斷精進,隨著時間的推移會產生巨大的複利效應。他在那篇文章中說,你要努力爭取成為你所做領域的前 1%,當然不是每個人都能做到。但如果你有那種心態,你就會達到目標。所以我審視了自己,問自己,我到底想做什麼?我擅長什麼?我對什麼有知識上的興趣?當然,軟體工程。我在 CMU 拿到了 CS 學位。我在軟體工程方面可能高於平均水平。但我意識到我並不想變得更好,而是想在商業觸覺、領導力、產品感覺、激勵他人、用戶探索等方面做得更好,這些都是更傳統的產品經理會做的事情。所以我最終加入了 Shield,在那裡我可以讓自己有機會去運用這些技能組合,並在這些技能組合上做得更好,而沒有我是軟體工程師還是產品經理的壓力。

Harry Stebbings 這太有趣了,讓我想起了 Scott Galloway。他說,不要做你熱愛的事。那一刻你會想,什麼?每個人都這麼告訴我。不,不,不,做你擅長的事。

Atish Nayak 是的。

Harry Stebbings 然後它會產生複利效應。

Atish Nayak 是的。

Harry Stebbings 然後通常你擅長的事情,你也會。你也會非常熱愛它,因為你擅長它。

Atish Nayak 是的,沒錯。

Harry Stebbings 這就是為什麼我認為早期的父母鼓勵如此重要。因為當你告訴孩子他們在某方面很棒時,他們往往會熱愛它,然後會投入更多時間,變得越來越好。我認為這是一個非常重要的開始。我必須問。Scale 在很多方面是一家劃時代的公司。剛剛以 250 億美元的估值融資。今年年底將達到 20 億。真是太瘋狂了。做得好,Alex。你在那裡待了大約四年半。你在 Scale 的經歷如何塑造了你對產品的看法?

從 Scale AI 學到的經驗

Aatish Nayak 是的,我想也許有幾點可以談談。首先,我認為 Scale 在過去五六年裡處於許多不同 AI 運動的前沿。我認為我們做得非常好的一件事是傾聽前沿客戶的聲音,那些處於我們所推動領域前沿的客戶。因為我們每次都恰好處於新市場的風口浪尖,所以與這些客戶深入交流非常有益,因為你可以確信他們基本上會定義市場,他們想要的一切,你知道,其他人最終都會跟進。所以,你知道,早期在自動駕駛領域,Neuro 在很多光達(lidar)和很多非常困難的,所謂的行人工作,比如行人標註工作方面,都非常非常早。所以我們最終為 Neuro 做了很多客製化的事情,與他們深入合作。然後,不出所料,其他所有人都開始要求同樣的東西。我認為,每當你處於這些尖端市場時,而且,你知道,今天的世界絕對是這樣的情況。找到那些在他們所做的事情上非常擅長的客戶,然後,你知道,追隨他們,甚至對他們過度擬合(overfit)。只要你確信,你知道,其他人最終都會跟進。

Harry Stebbings 我能插句話嗎?創辦人常常被告知不要做任何客製化的事情,因為那樣就不適用於更廣泛的客戶群。然後你就只是在為一個客戶打造。

Atish Nayak 是的。

Harry Stebbings 考慮到你的經驗,你在多大程度上同意這個說法?

Aatish Nayak 是的。所以我確實認為有這樣一種「難纏客戶」的概念。那些要求苛刻、想要各種新奇客製化東西的難纏客戶。我認為確實需要極大的紀律性來判斷,他們要求的哪些東西你認為會非常非常針對他們自己,哪些東西是其他人也會想要的?我認為你真的必須把這兩者區分開來,並利用這些客戶作為推動你想前進的事情的驅動力,同時對那些可能過於客製化的事情說不。

另一個例子是 Scale 很早就與 OpenAI 合作,在 ChatGPT 出來之前。這是在 RLHF(從人類反饋中學習強化學習)非常早期的時候,當時他們試圖根據 Reddit 的段落來調整模型以更好地進行摘要。這是基於 GPT2 的,這實際上是我在 Scale 的第一個專案之一。我們最終做了一些超級客製化的東西,為標註 Reddit 段落建立了一個客製化產品。然後大概兩年後,OpenAI 遙遙領先。兩年後,每個人都開始要求很多這樣的東西和很多類似的需求。所以也許 OpenAI 非常早,也許我們也非常早,但當每個人都意識到 RLHF 的好處時,我們最終再次利用了很多當時的成果。所以情況比這更微妙,你需要把它們區分開來。

Harry Stebbings 所以如果說與客戶緊密接觸並真正傾聽是其中一點。還有其他的嗎?

Aatish Nayak 是的。另一個是,我認為你必須縮短客戶需求和編寫程式碼之間的距離。這意味著什麼?隨著公司的發展,你最終會在客戶和執行程式碼的工程師之間增加很多層級。比如有產品經理,有銷售人員,有創辦人,有設計師,你知道,所有這些人在中間。最終,當客戶請求到達工程師那裡時,可能你,你知道,因為人類之間的信息傳遞是非常有損耗的,所以會失去很多細微差別。就像你告訴我某件事,你無法捕捉到客戶所說的一切,他們的情緒,他們的語氣。對吧。對我們來說,縮短這個距離非常重要。這意味著把工程師直接放在客戶面前,無論是像 Neuro 這樣的客戶,還是那些實際在做工作的貢獻者,也就是標註員。所以我們甚至會把工程師空運到世界各地的培訓中心,去親身觀察人們如何使用標註產品和不同的 Scale 產品,並在現場進行原型設計和建構。

Harry Stebbings 隨著客戶和工程師之間鴻溝的縮小,在那個世界裡,PM 的角色是什麼?

產品經理的角色:WD40 而非膠水

Aatish Nayak 是的,好問題。我經常被問及關於 PM 的建議,人們會說,嘿,我試圖在組織中扮演黏合劑的角色,我要做這個,我要做那個,從創辦人那裡,我從客戶、工程師等各方面得到很多信號。我認為,你可能應該有的框架是,你不是膠水,你是 WD40。你聽說過 WD40 嗎?

Harry Stebbings 是的,我聽過。

Aatish Nayak 它就像一種工業潤滑劑,對吧。所以在一家公司的引擎中,在一個高速成長的新創公司中,如果你是膠水,那真的很糟糕,因為事情會崩潰。你會成為單點故障。你的團隊會成為單點故障。相反,你希望確保其他人都能發光發熱,做好他們擅長的事情,你知道,潤滑軌道,或者你想怎麼稱呼它都行。這可能意味著把工程師放在客戶面前,因為客戶想和工程師談話,工程師也想和客戶談話,這給了他們信心。

Harry Stebbings 如果我是一個 PM,目前認為自己是膠水,聽了你的話,我想成為 WD40。我能做些什麼來成為 WD40,而不是像以前那樣做膠水?

Aatish Nayak 是的。我認為這始於接受你不必成為焦點。我犯過這個錯誤。有時可能仍然會犯。PM 有時會有主角症候群,認為他們必須是產品的 CEO,成為產品的代言人。你首先要做的就是,我所做的每件事對公司來說真的是最好的嗎?這始於此。聽起來可能很簡單,可能很基礎。就是給別人機會,讓他們在自己擁有的技能上發光發熱。然後,正如我所說,把設計師、工程師放在客戶面前,給他們空間提出想法,和房間裡的每個人一起腦力激盪,以及很多戰術性的事情。但這真的始於說,我不必成為主角。我只需要讓產品和公司成功。

Harry Stebbings 太有趣了。你剛才說到關於主角的事。我總是在節目中聽到 PM 是產品的 CEO。我總覺得這很有趣。你知道我覺得有趣的是什麼嗎?

Atish Nayak CEO 才是產品的 CEO。

Harry Stebbings 沒錯。

這太有趣了。我邀請過 Shopify 的 CPO 上節目,他們說,我不是 CPO。

Harry Stebbings Toby 才是 CPO。

Harry Stebbings 我的意思是,我的職位是 CPO,但實際上不是。我覺得這絕對引人入勝。

Harry Stebbings 好的,所以我們把這些作為要點。

市場的重要性

Harry Stebbings 如果我們思考建立像 Scale 這樣令人難以置信的公司所需的核心要素。你之前對我說過,市場是唯一重要的事情。作為一個思考市場、人才、吸引力和價格的風險投資者,老實說,我這個歐洲人,美國人在價格上毫無紀律可言。恕我直言,一點都沒有。

Atish Nayak 我們可以討論這個。

Harry Stebbings 我的意思是,一點都沒有。這使得向你們融資很有趣,但是市場是唯一重要的事情。引人入勝,為什麼?你能為我解釋一下嗎?

Aatish Nayak 是的。所以我認為如果你找不到一個好市場,你就會被扼殺。例子比比皆是。自動駕駛就是一個很好的例子,五、六、七年前你可以說,哦天哪,好市場。每個人都會有機器人計程車。但資本效率極低或效率低下。你必須預先投入大量資金才能做到。有很多監管障礙。如果你實際看看那些做得好的公司,那就是,我的意思是,Tesla 和 Waymo,基本上是這樣,而且他們擁有近乎無限的數據和近乎無限的資本。還有許多公司最終失敗的墳場。你不能說,哦,創辦人不好。不,創辦人都很聰明。他們中的每一個人現在可能都在某個地方,要麼在研究 LLM,要麼在 Waymo 或 Tesla 或其他地方。但我認為在你太晚之前找到一個巨大的市場真的很重要。所以我認為這是一件事。

Harry Stebbings Scale 的市場很棒。比如數據標註作為一個市場。那是個好市場嗎?

Atish Nayak 是的。所以我認為數據標註,任何類型的人工智慧數據導入都是一個巨大的市場。我認為 Alex 和我們做得很好的是能夠在恰當的時機轉向不同的領域。當那個領域在數據需求方面爆發的時候。

Harry Stebbings 因為這一直是對 Scale 的批評,就是說它只是一個自動駕駛汽車數據標註服務。

Atish Nayak 我認為,我們再次做得很好的是,當然有自動駕駛。我們從 3D 自動駕駛開始,然後我們轉向 2D 自動駕駛。所以是圖像、影片,所有這些。然後這引導到機器人技術,比如倉庫機器人和其他類型的機器人。然後又轉向政府,如果你還記得 2019 年,Project Maven 當時很熱門,國防部(DoD)開始加強他們的人工智慧投資。所以當時的情況是,Scale 如何真正地,你知道,如何不斷找到這些數據標註和數據需求如此巨大的新市場?

Harry Stebbings 當你從一個輔助領域轉移到另一個輔助領域時,產品需求在多大程度上是相同的?對於領導產品的你來說,跨越多個不同垂直領域的可塑性有多容易?

Atish Nayak 是的,我得說這很難。我認為對於視覺方面,比如 3D 和 2D,相對直接一些。你知道,Scale 的運營性很強,所以你必須調整運營來確保質量。對於倉庫機器人與自動駕駛相比,那是相當不同的。但是當我們開始涉足視覺以外的領域時,我們必須打造全新的產品。比如我創立了 Scale 的電子商務團隊,我們標註來自 Meta、Instacart、Doordash 等的電子商務數據。那是一個與核心的 2D 和 3D 完全不同的產品。所以是的,你確實需要打造產品。但我認為這要歸功於 Alex 和他的韌性,他能夠說,夥計們,我們必須做,沒關係,這會給我們帶來很多混亂,但外面有這些巨大的市場。關於市場,我還想補充一點,反過來說,好的市場可以掩蓋執行問題。一個例子是 Uber。當時有刪除 Uber 的運動。Uber 內部有很多混亂。我 2016 年在 Uber 實習過,那是很久以前了,看到當時的情況非常有趣,那時正是他們的鼎盛時期,TK 和所有人都非常活躍。到了 2019 年左右,出現了刪除 Uber 的運動,有很多混亂。但 Uber 屹立不倒,並且盈利了。而且,你知道,顯然要歸功於 Dara,但市場太瘋狂了。比如機器人或者就是按需計程車,誰不想要呢?當這個可能性被揭開後,每個人都在要求它。

對。所以我確實認為好的市場可以,你知道,掩蓋一些問題。

經銷通路 vs. 產品:國王與總統

Harry Stebbings 你之前說了些很棒的話。我非常非常相信專注於經銷通路(distribution)。我認為沒有足夠多的人這樣做。這是第一次創業者和第二次創業者之間的一大區別。但你說如果經銷通路是國王,那麼產品就是總統。

我當時想,給這個人一個 podcast 節目吧。

你能解釋一下如果經銷通路是國王,那麼產品就是總統嗎?

Aatish Nayak 是的。所以我認為經銷通路可以透過純粹的蠻力帶來很多早期的吸引力。如果你看看貴族、國王和王國,他們引進士兵、軍隊、財富,佔領和征服土地。但僅僅是,僅僅是純粹的蠻力,沒有太多的外交手段。我的意思是,總的來說,涉及很多蠻力。你也可以對新創公司做同樣的事情。比如,你可以做創辦人主導的銷售,你可以做品牌,你可以做行銷,擴大整個,你知道,銷售團隊,真正取得領先,遙遙領先。但是,你知道,問題在於它可以讓你走得很遠,但如果你後面沒有實質內容跟上,它最終不會持久。人們會意識到國王沒穿衣服。你知道,人們會看到這裡的虛假。所以你確實必須用產品來跟進,為什麼產品是總統,因為民主國家的總統是為人民服務,由人民選舉產生的。而產品,你最終想要傾聽你的用戶。我們所做的所有承諾,你想要確保我們兌現。到目前為止,希望民主國家能夠持續很長時間,並且總體上更穩定,帶來更多財富,所以產品會持續很長時間。經銷通路可以讓你非常快地到達那裡。

AI 時代產品的持久性

Harry Stebbings 產品在 AI 領域能持續很長時間嗎?在這個世界裡,我們看到產品和程式碼庫以極快的速度被商品化。你知道,大型模型在幾週內就被蒸餾(distillation)出來。而這些是一些最複雜的模型,坦率地說,被複製。產品是否還真的有這樣的保存性或持久性?

Atish Nayak 這取決於你所說的產品是什麼以及你關注的焦點。我不認為基礎模型是產品。你現在可以從 OpenAI 身上看到這一點。他們更傾向於轉型為一家產品公司。Satya 甚至也說過,那個 Image Studio Ghibli 的東西之所以爆紅,是因為他們有一個已經深入人心的行動應用程式,那就是一個產品。所以我認為這取決於你何時關注產品。最終我認為,一些,特別是對我們來說,一些更長期的護城河是你圍繞產品打造的使用者體驗(UX),就像 ChatGPT 那樣。

Harry Stebbings ChatGPT 透過消費者期望使其成為預設。你認為聊天是正確的介面嗎?

聊天介面的侷限

Aatish Nayak 絕對不是。它是這個新領域的命令列起點。就像很久以前的 MS-DOS 一樣。我認為有幾點關於我的看法。我認為一是聊天非常線性且非常一次性。你輸入一些東西,然後得到一個答案,然後當然,你可以跟進並在上面提問,但真正的工作,你需要收集大量信息才能實際產出一些工作成果,對吧?你可能需要從那些你甚至不知道擁有數據或背景信息的人那裡獲取數據,等等。所以我們在打造產品時使用的一個原則叫做「IKEA 效應」。IKEA 效應是指當 IKEA 開始瘋狂流行和壯大時,他們讓組裝家具變得超級簡單、美好和令人愉快。這建立了一種品牌親和力,即「這是我組裝的,我對此負責」。你知道,當然現在人們會雇人來組裝東西,但這確實創造了像 IKEA 這樣狂熱的追隨者。所以對我們來說,你如何開始改變聊天 UX,比如,AI 如何能要求更多信息,或者說,「嘿,我寫了某個東西的初稿,在我繼續之前給我一些回饋」。就像一個真正的同事,一個好的同事會做的那樣。所以是的,我認為聊天只是剛剛開始,我認為這需要像我們和 Harvey 這樣的應用層公司,以及 OpenAI 等公司進行大量的實驗,才能找出什麼是正確的介面。

Harry Stebbings 我能問你一下嗎,當你擁有經銷通路並且產品是總統時,你就會獲得高速成長,你會吸引到優秀的客戶,你會在某些圈子裡看到病毒式傳播。這就是為什麼我實際上非常喜歡垂直軟體,因為我認為在那些領域,由於品牌的存在,你更容易獲得病毒式傳播。當你進入產品團隊的高速成長期時,最先崩潰的是什麼?

高速成長的挑戰

Aatish Nayak 是的,很多事情會崩潰。所以也許定義一下高速成長(Hypergrowth)是指每三到六個月,假設你的收入增長超過 1.5 倍、1.2 倍。你的員工人數增長超過 1.5 到 2 倍。就像每個季度,或者說每半年,公司就變了個樣。所以一些會崩潰的事情是:一,變得超級難以知道到底該優先處理什麼。根據定義,你會得到很多客戶和很多需求,人們會要求很多不同的東西。你不知道該往哪個方向走。這影響到工程師,影響到創辦人,PM,等等,你就是不知道。如果你不提供那種清晰度,那麼你就會做很多錯誤的事情。我認為這是其一。然後通常你要嘛有太多人做決定,要嘛沒有足夠多的人做決定。你會遇到很多「公地悲劇」(tragedy of the commons)的情況。有些事情出了問題,卻沒人知道誰該負責。例如,銷售團隊的產品賦能(product enablement),誰負責?沒人真正考慮過那麼多。

當你在發展銷售團隊的同時也在發展產品團隊時,Winston 把這個任務交給了我,所以現在我正在解決這個問題。但我認為確實有很多事情會崩潰,而且沒有負責人。所以我認為創辦人提供關於什麼是重要的、優先級是什麼、為什麼我們應該在特定時間做某些事情的清晰度,是非常重要的,然後 PM 和工程團隊將這些清晰度轉化為行動計劃和執行。

與創辦人溝通和反饋

Harry Stebbings 你在多大程度上會反駁創辦人?

Atish Nayak 我認為反駁創辦人非常重要,老實說,即使只是為了辯論。當然,這取決於創辦人。對於早期的產品領導者來說,與創辦人建立非常非常好的關係真的很重要。也許這很明顯,但說清楚這一點很重要,好吧,你為什麼雇用我?或者你為什麼想雇用我?你到底想讓我做什麼?對於有產品思維的創辦人,他們可能會說,我只想讓你執行。我知道策略,你應該做執行,確保一切都發生。這沒問題,你可以從中學到很多。但進行關於你到底希望這個角色是什麼樣的對話非常重要。我見過產品領導者、產品經理最終陷入困境,因為他們沒有進行那樣的對話。然後創辦人不想放手,事情就會變得很困難。

決策模式:獨裁或討論?

Harry Stebbings Spotify 的 CPO 曾經在節目上說過,談話是廉價的,所以我們應該多談談。現在,我不同意這一點。我坦率地相信獨裁統治。我認為它們效率高得多,在一個速度就是一切的世界裡,它們允許一個更有效率和更快速的過程。你在多大程度上同意產品決策的獨裁性質,或者你實際上認為腦力激盪和討論很重要?

Atish Nayak 所以我相信仁慈的獨裁統治(benevolent dictatorships)。以新加坡為例,我完全同意。我認為非常重要的是,你要有非常,你知道,清晰的願景和來自高層的執行力,否則你最終會陷入公地悲劇。所以說,「嘿,我們落後於這個競爭對手,做 X」或者「我們需要拿下這類客戶,做 Y」,這樣的指示非常明確,對創辦人來說非常有幫助。但我認為你,特別是當你高速成長時,如果你不讓你的團隊參與整個過程,你最終會遇到很多困惑,或者細節最終可能不會如你所願。我認為我從中學到了很多教訓,看著 Scale。你知道,在 Harvey,我們絕對還沒有掌握好這一點,但是你做錯了什麼?所以我認為特別是在 Harvey 的早期,我們實行了獨裁統治。我和 Winston 就像是,我們要做 X、Y 和 Z,然後衝衝衝。我認為,再次強調,當你高速成長時,你會假設每個人都和你擁有相同的背景信息,但事實並非如此。

他們並不在所有的對話中,他們不在投資者會議中。他們看不到模型在六個月後會做什麼。所以這引起了團隊的混亂,看這個的人可能會同意我的觀點。我認為解釋你為什麼做某些事情非常重要,即使最終你說的是,「請聽我的,請相信我」,因為你需要與你的團隊和公司的每個人建立相互尊重。如果你在招聘優秀人才方面做對了,優秀的人才希望被告知,我們為什麼這樣做。然後,你知道,99% 的情況下,如果你的推理是正確的,如果不是,你應該進行辯論。如果你的推理是正確的,他們會同意你。但是僅僅分享這些背景信息,寫備忘錄,進行腦力激盪討論,歡迎辯論,我認為是至關重要的,只要它不會拖慢速度,讓你辯論七個星期。

產品備忘錄與 PRD

Harry Stebbings 當你考慮撰寫那些產品備忘錄時,從流程和執行方式來看,它是什麼樣子的?

Atish Nayak 是的,所以你可以寫不同層級的產品備忘錄。

Harry Stebbings 太好了。你能和我深入探討一下嗎?

Atish Nayak 是的。所以最高層級是,我們作為一家公司要專注於什麼?比如,什麼才是真正重要的?這不是功能。這更像是,我們在 Harvey 有一個框架是「獲取(Land)、擴展(Expand)、鎖定(Lock in)」。我們可以建立/做些什麼來幫助我們獲取新客戶?我們可以做些什麼來幫助我們擴展和增加使用量?然後第三是,我們如何讓自己建立護城河並與客戶保持高度黏性?這是 Winston 撰寫和定義的,處於最高層級。然後你如何決定?好吧,假設我們真的需要專注於鎖定。那你如何決定要建構什麼,以及營運節奏應該是怎樣的?這是我寫的,我們的工程領導寫的,關於,好吧,你應該如何思考做決策?我們為什麼做決策?這既有關於流程的元(meta)層面,比如快速行動或快速迭代或快速原型設計,以及與之相關的哲學。然後還有一些具體的東西,比如 UX 應該是什麼樣的?以及應該投入多少精力來清理技術債務等等。這些是兩種不同類型的備忘錄、思考和推理。但我認為這裡有多個層次,有點像分形(fractal)的性質。

Harry Stebbings 當你考慮寫作作為產品人員的一項技能時,對於產品人員來說,成為一個好的寫作者是最重要的技能嗎?

Atish Nayak 我認為最重要的技能是溝通你的想法。無論是以書面形式發生,無論是以,可能人們喜歡投影片,無論是以投影片形式發生,無論是以,你知道,現在你可以非常快速地構建原型並溝通你的想法。比如我團隊的 PM 經常使用 Cursor 或 Claude 來創建原型以展示他們的想法。所以我認為溝通想法,非常清晰地說明你為什麼想做某些事情並進行溝通是非常重要的。

設計與原型製作

Harry Stebbings 在一個無縫原型製作的世界裡,任何有一定能力的人都可以很快地搭建一個原型,我們不必在設計預原型階段花費很長時間,我們會失去設計階段嗎?

Atish Nayak 簡短的回答是,不,我不認為你會失去設計功能或者失去設計師。我認為你實際上會得到更好的設計,因為你可以更快地進行原型設計。尤其是在 AI 的幫助下。

我實際上總是說,在 PRD(產品需求文檔)之前先做原型,無論你有什麼想法,無論是工程師、設計師、PM,還是其他人,你都應該先做原型,因為你不會真正知道如何構建產品或者確切的 UX 應該是什麼樣的。特別是,再次強調,對於 AI,當這些新的模式正在建立時,如果沒有實際操作,讓一些內部客戶試用,你知道,無論是什麼,你就無法知道。然後當你進行整個正式的 PRD 設計流程等時,你最終會編寫 PRD 等等,並進行適當的設計。但是因為你已經在原型設計方面做了所有這些前期工作。你實際上可以節省很多週期,最終更快地行動,並最終獲得更好的結果。

什麼是好的 PRD?

Harry Stebbings 什麼造就了一份他媽的偉大的 PRD?

Aatish Nayak 是的,好問題。我將 PRD 視為對齊文件(alignment docs)。它不是關於某件事應該如何運作或發生的聖經。它是一個對齊或啟動文件。我認為一份真正好的 PRD 解釋了你為什麼要做某些事情。動機,最好有數據或客戶引述或一些證據證明我們為什麼做我們正在做的事情。然後它還包括像一個初步的用戶旅程(strawman user journey),比如,用戶應該一步步做什麼,它將如何運作。最好包括不同的用戶畫像(Personas)。然後另一個非常重要的大事是,所有熱門問題和激烈爭論的問題是什麼?我認為一個好的 PM 應該有預見未來的直覺。工程部門會怎麼說?為什麼這很複雜?或者客戶會對這個小功能有什麼看法?你要確保在 PRD 的底部列出所有房間裡的大象(明顯但被忽略的問題)和所有的爭論點,這樣當你啟動時,你可以很早就開始達成一致並向前看。再次強調,這需要你在你的組織中實踐。向前看,當你真正開始構建時,當你開始推出時,會有哪些陷阱,會有哪些隱患?在 PRD 的末尾真正指出這些是非常非常重要的。

PRD 流程

Harry Stebbings 我只想盡可能深入地了解你今天建立的流程。所以當你考慮到這一點,我寫好了一份 PRD,現在我該怎麼做?別笑。我是做風險投資的。所以如果你告訴我,我是提交給你,然後我們在會議上討論,誰來參加?那是如何運作的?

Aatish Nayak 是的。所以一個普遍的原則,再次強調,這實際上來自於在 Scale 的大量學習經驗。你想避免的一件事是「功能工廠」(feature factories)的概念。這意味著想像一個像傳送帶系統一樣的工廠。你有,好的,客戶說了些什麼,然後 PM 寫 PRD,然後設計師做模型,然後模型交接給工程師。然後工程師交接給 QA,然後 QA 交接回給 PM,然後 PM 去做賦能(Enablement),然後交給銷售。就像你有這樣一個非常線性的過程,這就是你製造非常糟糕產品的方式。這就是你打擊整個團隊積極性的方式,因為沒有人想僅僅被困在他們,你知道,這個特定的環節。所以當你寫完 PRD 後,最重要的事情是把所有將要參與其中的人,甚至只是會接觸到它的人,都召集到一個房間裡,進行辯論,進行討論。這就是為什麼問題如此重要,因為你想說,我哪裡錯了?你擔心什麼?什麼會導致問題,或者什麼實際上會令人愉悅?我們如何讓它令人愉悅?並且真正首先進行這個,我們每週在一小時的環境中進行 PRD 審查、ERD(工程需求文檔)審查,任何人都可以帶來任何文件,我們進行辯論,我們與房間裡所有甚至會接觸到產品或就產品被諮詢的人一起討論。所以這不是 PM 應該在後面的房間裡自己做的事情,然後說,我們要做這個、這個和這個,然後交接給工程部門。

把每個人壓縮在一起是非常重要的。

優先級排序:新功能 vs. 技術債

Harry Stebbings 你在新功能和技術債之間是如何設定優先級的?我採訪了 Microsoft 的 CTO,他說基本上他對 AI 今天和未來的最令人興奮的應用是 AI 將如何被用來基本上消除技術債。在多大程度上?你如何看待新功能和收入增長或產品增長或使用量增長,與減少技術債作為替代方案之間的平衡?

Aatish Nayak 是的,你可以想像,工程師候選人一直問我這個問題,因為他們想知道負責人可能如何看待清理程式碼。所以我要說的好消息是。

Harry Stebbings 我們的程式碼庫有多髒?到底有多少債務?

Aatish Nayak 如果你成長得非常快,事情就會崩潰,工程師必須接受這一點。重要的是,如果某件事崩潰了,或者出了問題,或者因為你必須重構某個東西而導致速度比必要的慢,而它在某種程度上沒有起作用,那麼對此進行事後檢討(postmortem)並說,我們本可以做些什麼來避免這種情況,這非常重要。如果答案是,哦,我們本可以在兩個衝刺(sprint)前花一周時間說,讓我們在做這件事之前清理一下這個,那就太好了,因為那樣你實際上想要技術債影響收入、影響客戶結果的證據,並且你想要彙編這些證據,因為否則,如果你沒有證據,或者你只是把它稱為整體上的技術債,那就像你可以永遠清理技術債,說實話。所以我認為,找出清理某個東西本可以避免以後問題的例子非常重要。當你說,好吧,我們因為 X、Y 和 Z 的原因要處理技術債時,你必須非常非常清晰地說明結果是什麼樣的。是寫了一堆測試嗎?是你打算花兩週時間重構某個東西嗎?你想給它設定時間限制,就像對待任何其他功能一樣,否則工程師會很樂意永遠清理程式碼。顯然你可以做的還有更多。

Harry Stebbings 與工程師相比,工程師更願意清理程式碼而不是寫新程式碼。

Aatish Nayak 我的看法是,我認為在新創公司中,工程師更願意清理程式碼,而不是寫全新的東西。

Harry Stebbings 哇。

事後檢討 (Postmortems)、回顧 (Retros) 與事前檢討 (Premortems)

Harry Stebbings 關於事後檢討(postmortems),我只想問你,每週是否有固定的時間進行事後檢討,比如你說週一下午 5 點我們做事後檢討?還是臨時安排的?那看起來是怎樣的?

Aatish Nayak 所以有回顧(retros)和事後檢討(postmortems)。

Harry Stebbings 什麼是回顧,什麼是事後檢討?

Aatish Nayak 是的。所以回顧是。你想回顧一段時間,然後說,這是我們做得好的地方,這是我們做得不好的地方。回顧應該是更常規的。比如每個月,在月底你說,這個月我們完成了什麼?哪些地方本可以做得更好?下個月我們應該做什麼。事後檢討是指當發生事故、問題或者我們做出了錯誤的決定時。你想評估那個非常具體的決定或發生的事件。如果發生了事故,我們的應用程式宕機了 X 分鐘,你要確保做事後檢討,看看為什麼會發生,我們是如何解決的?我們本可以如何預防它?所以事後檢討是更臨時性的。我們開始更多地做一件事,這又是我在 Harvey 作為產品領導者學習到的,那就是事前檢討(pre-mortems)。事前檢討是指在你開始某個像大型專案或重大計劃之前,你想和你的團隊坐下來說,成功是什麼樣子的?什麼會阻止我們實現它?什麼會出錯?把你所有的擔憂都告訴我。我通常是一個非常焦慮、偏執的人。當我在運營時,我假設一切都會出錯。所以也許對我來說,說「夥計們,我認為這會發生,這會發生,會出錯」是一種自我治療。但我認為我們已經做了一些這樣的事,我認為它確實有助於緩解焦慮,有助於達成一致,這樣人們就不會對成功的樣子感到困惑。

Harry Stebbings 被認定為導致問題的事情,有多大比例確實是導致問題的原因?這就像 Mike Tyson 被打臉之類的。你永遠預料不到,不管那句我現在要被痛罵的名言是什麼。

但你有多大程度能預測實際情況,而不是一些你從未預料到的事情?

Aatish Nayak 是的,通常情況下,被指出的事情就是出錯的事情。如果你說我們測試速度不夠快,然後你沒有為此指定一個負責人,比如一個負責人來確保測試更快,那麼它就會失敗,因為沒有人在考慮這個問題。我不認為通常會有很多超出預料的事情會出錯。當然也有像未知的未知,比如客戶 Covid。是的。或者客戶不會喜歡這個功能,或者一個新的模型會出來,它會打亂我們所有的計劃。

Harry Stebbings 在事後檢討方面。你如何快速知道一個新產品或功能不起作用,而不是它只是需要時間融入客戶行為和採用中?

如何判斷新功能是否失敗

Aatish Nayak 這是我經常思考的問題,特別是對於我們的用戶群體,因為律師事務所不喜歡快速行動,或者對變革持規避態度。至少,行政 IT 團隊對變革持規避態度,所以我們可以推出一個產品,但它可能要過幾個月才能全面(GA)並推廣給 100% 的用戶,因為人們只是慢慢地採用它。所以我認為你需要讓它發酵,這取決於客戶群體。理想的做法是,我們將用戶測試擴展到同心圓,同心圓越來越大。我們構建某樣東西時做的第一件事是,我們內部有大量擔任各種角色的律師。我們把產品交給這些律師,他們進行測試並給出反饋和迭代。然後我們有選定的設計合作夥伴,他們對大多數功能來說是固定的,在外部。我們把產品交給他們,他們感覺自己是過程的一部分,這很好,他們給出反饋。然後有一個更廣泛的 beta 測試者名單,比如 beta 客戶。我們把產品交給他們進行迭代。然後是整個公眾。所以這可能適用於大多數產品和大多數企業團隊,那就是你要確保你更頻繁地以這種方式進行測試,並採用不斷擴大的圈子。

使用者測試的常見錯誤

Harry Stebbings 你在使用者測試中犯過的最大錯誤是什麼,或者你看到其他人犯的最大錯誤是什麼?

Aatish Nayak 我認為其中之一是引導使用者去想你希望他們認為的東西。用一個例子來說明可能最有用。去年六月左右,我們開發了一個名為 Vault 的產品。它的核心功能是允許你對文件進行大規模提取。比如你有一堆租賃協議、信貸協議,你想從每份文件中提取 10、20、50 個交易點,它會為你創建一個完整的網格。我們構建它的方式是,當你上傳一堆文件時,你說,嘿,我想要這 10 樣東西。然後 Harvey 會分解你最初的提示並建議,好的,這是 10 樣東西。我走對方向了嗎?然後勾選、勾選、勾選。然後你啟動它。它的演示效果非常好,因為它接收你的提示,然後轉換它並顯示一個小東西。當我們向人們展示時,他們會說,哦,我的天哪,哇,太棒了。然後我們並沒有真正把它交到人們手中用於實際事務、實際用例。我們只是展示了它,他們就像,哦,我的天哪,酷。這是一個演示。它正在解釋我的意圖。我們在那裡做錯的事情是,實際上人們只想在網格本身中創建那些術語。人們不希望 AI 去轉換它。他們只想說,對於至少 10,000 份協議,我只想在網格本身中創建這一個東西。他們希望對每個術語的含義進行非常精確的定制,而不是讓 AI 猜測所有 10 個術語。你有時會陷入自己的想法中,你會引導你的使用者,把它們交給他們用於真實用例,然後你就會陷入這些陷阱中。

最大的產品錯誤

Harry Stebbings 你犯過的最大的產品錯誤是什麼?你是如何從中學習的?

Aatish Nayak 是的,所以有幾件事。也許我會挑一個。一個是我剛才說的關於 Vault 和進行提取的那個。另一個我們正在做的是,同樣是在 Harvey,因為這是最近發生的。去年第四季度,我們正在改造我們的核心 Assistant 產品。我們基本上在 Assistant 中引入了兩種模式。一種是輔助模式(assist mode),用於做問答和分析。另一種是草擬模式(draft mode),幫助你起草合同、條款、電子郵件,你知道,律師做的任何事情。當時的想法是,你想給律師一些選擇,比如,好吧,我正在做什麼?然後為這項工作選擇正確的用戶界面和模型,因為這是兩種不同的模型和用戶界面。再次強調,這就是用戶測試的樂趣所在。我們對此沒有進行足夠多的用戶測試。我們應該多做一點。我們當時只是想快速行動並推出一些東西。當我們構建它時,我們啟動了它,推出了它,幾乎每個人都對何時使用哪個感到非常困惑,他們不知道何時使用 Assisted Draft。他們只是,我想也許是律師,也許是別的原因。他們就是不知道。嘿,當我,你知道,創建對投訴的回應時,我應該使用 Draft 還是 Assist?這就像每個人都有這個抱怨,然後,你知道,我們開始通過賦能(enablement)來解決這個問題,說明這個模型因為這個原因而好,UX 因為這些原因而好。所以這是你在這裡應該做的事情。其中一些抱怨平息了下來。

但這主要是因為人們普遍厭倦了抱怨。然後顯然他們開始使用這個產品,他們說,哦,草擬模式是這樣運作的,比輔助模式更具法律術語。但這是一個例子,說明正確的用戶體驗是。AI 應該直接為你選擇。AI 應該知道用戶的查詢和意圖是什麼,或者它應該問你問題以更好地理解它,然後應該將你引導到最適合這項工作的系統,而不是讓用戶思考他們應該做什麼。

模型選擇與評估

Harry Stebbings 我認為我們選擇模型這件事很荒謬。每當我在 Anthropic 上時,我就會想,這他媽的是什麼?他們有那些荒謬的名字,我完全不知道它們是什麼。Grok 也有它們。我就是覺得,這。我認為這很荒謬。五年後你絕對不會有這種情況。你將無法選擇哪個模型。對嗎?

Atish Nayak 是的,沒錯。

Harry Stebbings 使用者選擇是好的嗎?如果你考慮選擇的悖論,使用者在有太多選擇時會感到困惑。如果你只是被告知,我認為人類是懶惰的,只要告訴他們哪個就行。

Atish Nayak 平均而言,人類是懶惰的,只需要被告知什麼對他們最好。整個模型選擇。再次強調,我們也掉進了這個陷阱。我認為整個模式是為矽谷或科技界的觀眾創造的,因為每個人都喜歡玩弄像 01 vs GPT 4.0 vs 這些模型。

我們仍然沒有完全弄清楚這些模型擅長什麼,以至於你可以適當地進行路由。這些模型最大的問題,我們也有這個問題,就是能力非常受評估(eval)的限制。你並不確切知道哪個模型更適合這項工作。有時是使用者的偏好。我們做了很多並排測試。有時仍然不是非常清楚。所以我認為整個行業整體上都陷入了這個陷阱。把所有東西都放在下拉選單中,給使用者一堆選擇。

Harry Stebbings 你們的評估與公開的基準評估在多大程度上是相同的?我最近邀請了 Glean 的 CPO 兼總裁 Tamar 上節目,她說實際上他們的評估與公開展示的基準評估非常非常不同。

你們的評估是相關的還是截然不同?

Atish Nayak 是的,所以我們的評估非常不同。很多公開的法律基準測試,甚至像 Scale 的人文學科期末考試(Humanities Last Examination)之類的東西,它們都是選擇題。如果法律工作是選擇題,我會很高興,但任何律師都會告訴你,你可以做的事情有一百萬種選擇。所以,第一,選擇題是不對的。因此我們創建了這個名為 Big Law Bench 的基準測試,它包含了我們最大的客戶和大型律師事務所的律師每天都在做的真實可計費工作任務。這些任務的性質是它們非常開放式。開放式任務的問題在於,你如何在不同任務之間一致地評估它們?如果你說,Harvey,生成一個年表,這與起草一份簡易判決動議(motion for summary judgment)非常不同,這是另一個訴訟任務,那麼我們必須做的是為每個任務創建評分標準(rubrics)。這些標準變得非常具體。基本上我們有數百個不同的任務,現在每個任務都有一個評分標準。我們的優勢在於,你知道,我們從一開始就設計好的,是我們有很多從大型律所(Big Law)引進的律師,與我們的 AI 團隊、工程產品團隊合作,他們並肩坐在一起說,法律工作實際上是這樣進行的。因為我不是律師,我來自 AI 領域。我不知道好的標準通常是什麼樣的。對於你不知道好的標準是什麼樣的事情來說,做產品管理有時真的很難。

所以依靠領域專業知識非常重要。然後另一件事是我們選擇的模型目前是 OpenAI。

Harry Stebbings 這有改變嗎?

Atish Nayak 所以他們從一開始就是我們的投資者。我們很早就獲得了 OpenAI 模型的早期訪問權限。我們與他們構建了一些定制解決方案。在大多數情況下,情況仍然如此。我們現在看到 Claude 和其他模型在某些任務上表現更好。所以現在我們正在探索。

Harry Stebbings 我能問一下,為什麼 Claude 比 OpenAI 好?

Atish Nayak Claude?所以我們最近做了這些評估,特別是 Claude 3.7,在法律推理方面,它在長篇法律推理和起草長篇輸出方面表現更好。例如,合併協議的整個部分,並使其保持高度一致性,它在這方面做得非常好。然後是像提取這樣的事情,從 SPA(股權購買協議)中提取某些條款是非常細微的,因為答案並非協議中的逐字文本。這有點涉及到法律的細節。但是如果你要獲取股權購買協議中的賠償上限(indemnification cap),你必須對四到五個不同的條款進行推理,因為這個上限在交易中並不是一個命名的東西。你必須對該協議中四個不同條款的依賴關係進行推理,然後將其提取出來,對於某些這種類型的提取。Claude,特別是 3.7 版本,開始變得更好。自 Harvey 成立以來,每一次 OpenAI 或其他競爭對手發布的模型,我們都進行了基準測試,而 3.7 版本是我們真正開始看到某些性能優於 OpenAI 的地方。

模型市場的未來

Harry Stebbings 當你思考模型領域的價值和使用分佈時,你認為三到五年後會是什麼樣子?

Atish Nayak 是的,我認為模型公司將不得不開始更多地成為產品公司。

Harry Stebbings 你不認為他們已經是了嗎?如果你看看像 Bunny,你有 OpenAI,這是刻意選擇的。它現在將成為一家消費產品公司。收入 129 億美元。消費產品公司,我認為非常清楚。是的,我認為 Anthropic,不像它他媽的應該的那樣,但非常明確地選擇成為一家開發者優先和 API 公司。

Atish Nayak 是的,但我認為更多這樣的實驗室應該開始思考他們想要交付的終端產品是什麼。而雲端公司,它們將會運行最好的軟體,它們將會,你知道,把利潤壓到最低。因此,隨著時間的推移,在推理方面與雲端公司競爭非常困難。因此,如果你所有的收入都來自推理和開發者,那不是一個理想的處境。相反,你想要工作,你想要打造產品,也許與像 Harvey 這樣特定的應用層公司合作,端到端地交付你的產品。

Cursor vs. Codeium

Harry Stebbings 你正在打造矽谷當今最熱門的 AI 產品之一。我很想聽聽你對此的看法。Cursor 是天之驕子。還有 Codeium。Cursor 的鎖定效應有多大?在你心目中,這兩者如何比較?

Atish Nayak 我認為就像 UX 非常重要一樣。我聽過一些工程師說他們更喜歡 Cursor 的 Agent 模式而不是 Windsurf。有些人則持相反意見。所以問題是,什麼是最令人愉悅的 UX?當然,也許你可以複製 UX,但我認為這有點微妙。然後是數據和治理,特別是在企業中,模型的好壞取決於你給它的上下文。因此,任何這些產品是否能真正利用企業擁有的關於其程式碼、產品、架構的知識,並以更有幫助的方式使用這些知識來定制工程師編寫的輸出。我知道 Codeium 一直非常注重獲取大量企業數據、企業對現有程式碼庫的理解,並確保知識架構非常好。

Harry Stebbings 作為使用者,你更喜歡哪個?

Atish Nayak 我目前實際上使用 Claude 進行原型設計,因為我實際上不想處理 Windsurfer 或 Cursor 那些非常細微的東西。所以我最終使用 Claude,而且我實際上也一直在使用 Replit Agent 模式。原因是因為 Replit 為你處理部署。就像,我不想擺弄部署、前端、後端伺服器,所有這些。它有一個很好的介面,因為你可以給它一些任務,比如給我一個法律聊天機器人應用程式或其他什麼,它會說,這是我的計劃,這是額外的功能,我認為會有用。你可以勾選、勾選、勾選,然後它開始構建它,然後你可以在它構建時看到它,然後你當然可以看到程式碼並修改它。所以像,再次強調,對於我的目標受眾,像 Agent、Replit、Agent 模式、lovable、Bolt 這樣的東西比一些 ID(集成開發環境)更具吸引力。

Harry Stebbings 你的團隊更喜歡 Codeium 還是 Cursor?

Atish Nayak 我相信他們更喜歡 Cursor,這是最新的情況。我認為這主要是因為我們還沒有採購 Windsurf。

Harry Stebbings Cursor 有更好的開發者品牌嗎?

Atish Nayak 他們有,他們有。在矽谷,大家都會交流。所以很多 Cursor 的人是我們團隊很多人的好朋友和人脈,所以他們傾向於更喜歡 Cursor。但再次強調,我認為時間會證明一切。

產品管理的未來

Harry Stebbings 最後一個問題,在我們進入快問快答之前。當我們審視 AI 時,它極大地改變了產品領導和產品管理的角色。關於產品的未來,有哪些我們不知道的事情,是你今天在你的領導角色中經常思考的?

Atish Nayak 在一個原型製作和想法實際執行成本低得多的世界裡,想法將變得更加重要,以及你如何整合獨特的知識將變得更加重要。比如領域專業知識,也許未來是律師、醫生、領域專家推動更多他們的產品決策,因為你需要彌合模型和 UX 之間的差距,以及如何實際將其應用於特定專業。那些想法,領域專家將比現在更加重要。我認為我們已經看到了讓律師在公司內部, буквально 坐在工程師旁邊的好處。

AGI 與人類瓶頸

Harry Stebbings 最後一個問題,是關於 AGI 的未來。但你說了一些非常有趣的評論,我必須在快問快答中提及。你說人類是 AGI 的瓶頸。為什麼?

Atish Nayak 是的,矽谷的每個人都認為 AGI,它就會發生。你會看到大量的 GDP 增長,每個人都會從此過上幸福的生活。UBI(全民基本收入),隨便什麼。我認為現實地說,你會遇到文化、法律和類似監管的障礙,阻礙 AI 的實際大規模應用,就像逐一分解一樣。如果你最終,再次強調 AGI,你假設它可以完成非常高級的任務,比如就合併提供建議,作為董事會成員提供建議,擔任 CEO。監管一家由 AGI 運營的公司的治理框架是什麼?目前還沒有人知道。這需要時間來實現。我之所以關注法律,是因為我實際上向我們的合作夥伴和客戶問了很多這個問題,關於會發生什麼,每個人的反應都是,比如我們將需要所有這些不同事物的賠償責任,如果 AI 自主性開始在世界上採取行動,會發生什麼,誰負責?我認為在文化方面,就像,人類真正希望 AI 參與的最後領域是什麼?舉個例子,在矽谷,我和我的許多朋友實際上會和 Claude 或 Chachmiti 交談,尋求類似治療或情感建議,比如,我正在思考這個問題。這真的,你知道,很難。

Harry Stebbings 你這樣做?

Atish Nayak 是的,沒錯。這就是我家鄉朋友的反應。

Harry Stebbings 嗯,那是因為我是歐洲人,所以我們實際上擅長與其他人交談,而不是像你們矽谷野獸那樣的交易性質。所以你也會和他們談論情感方面的事情。

Atish Nayak 是的。

Harry Stebbings 他們給出的回饋好嗎?

Atish Nayak Claude 會。ChatGPT 不會。它沒有那麼有同理心。

Harry Stebbings 那真的很有趣。

Atish Nayak Grok 也會,實際上。Grok 給出的建議非常好。

Harry Stebbings 我也許可以試試。

Atish Nayak 是的,你應該試試。所以這是另一個例子,我覺得每個人都應該有 AI 治療師。這可能在某個時候會發生。實際上最近有一項研究,有人做了一項研究,他們讓一群參與者與一個基於 OpenAI 或類似東西的機器人交談尋求建議。我認為大約 60% 到 70% 的人在這樣做了四五個月後,報告了更高的情緒和更多的幸福感,與對照組相比,後者主要與人類交談。這是因為人們不想被其他人評判。即使你有一個在安全空間或其他地方的治療師。

Harry Stebbings 是的。我認為當你和 LLM 交談時,你敞開心扉的意願可能會大得多。

為何 Agent 比人類更需要人類?

Harry Stebbings 最後一個問題。為什麼 Agent 比人類更需要人類?

Atish Nayak 關於 GenAI 有一件有趣的事情。

誰是產品或服務或正在創造的工作的消費者?誰是它的生產者?這裡的例子有,在建築領域,是客戶對比創造設計的建築師,或者是行銷人員對比內容的品牌人員。或者是客戶對比律師。你最終會採用哪種模式?你是幫助生產者將他們的產出提高 10 倍,讓他們更有效率,還是直接面向消費者?很多人認為他們可以直接面向消費者,說這是一堆潛在客戶,或者這是一堆法律工作,等等。但最終我認為,人類並不總是只信任 AI,他們信任使用 AI 的其他人類。我認為,再次強調,根據領域的不同,更可能的情況是 Agent 與工作的生產者合作,為消費者提供服務。

Harry Stebbings 我不認為有人懷疑我們會擺脫律師事務所,為消費者提供直接面向消費者的法律服務,對吧?我的意思是,那不是一個想法。這就像說我們要擺脫會計師,因為我們將讓 AI 為你做會計一樣。

Atish Nayak 不,你會驚訝於有些人持有這種觀點的程度。

Harry Stebbings 哇。

Atish Nayak 那些不熟悉技術的人,行銷方面也是如此。

Harry Stebbings 也許像非常非常低階的。我需要一份一居室公寓的租賃協議。這是地址。一頁,請。完成。你知道我的意思嗎?

Atish Nayak 是的,是的。再次強調,另一件事是,如果你在預訂航班。當然。讓 Agent 來做。這很容易。或者你在訂晚餐或其他什麼。如果你在做一些更複雜的事情,比如建築圖紙,比如法律工作,稅務工作,Agent 將需要大量的人類背景信息才能真正完成這項工作,無論是來自消費者,還是來自生產者。因此它將不得不問你一堆問題,甚至是企業所做的更複雜的知識工作。我認為人們只是有這樣一種假設,即 Agent 會自動完成所有事情,而且是黑盒子,一切都會好起來。但人們不信任黑盒子。有一些獨特的人類元素,比如背景信息,比如情感,是你需要考慮進去的。所以我思考的不僅僅是像預訂航班的 Agent。我思考的是更像做非常複雜工作的 Agent。

快問快答

Harry Stebbings 老兄,我想和你做個快問快答,因為我可以和你聊一整天。

Atish Nayak 是的。

Harry Stebbings 你持有什麼最具爭議的觀點,是很多人不同意的?是的。我的觀點是,我認為我們應該廢除教育部。

Atish Nayak 那正在發生,對吧?

Harry Stebbings 嗯,我的意思是,在英國不是。

是的,是的,那是真的。文化部和體育部。我的意思是,搞什麼鬼?

Atish Nayak 是的,是的。

Harry Stebbings 我的意思是,荒謬。

Atish Nayak 是的。我實際上有一份這樣的清單,其中一些我不知道是否應該大聲說出來。

Harry Stebbings 嗯,你有一份你的爭議觀點清單。

Atish Nayak 我有,是的。

Harry Stebbings 哇。

Atish Nayak 是的。

Harry Stebbings 在筆記裡還是像。

Atish Nayak 是的,是的,在筆記裡。如果你說可以,我可以把它調出來。是的。

Harry Stebbings 我很好奇。

那太酷了。我以前從未聽說過。

Atish Nayak 這是因為我。每當我有觀點時,我就把它寫下來,然後我大腦中的回憶記憶不太好。所以我只需要把所有東西都寫下來。

Harry Stebbings 不,我不這樣做。我的意思是,我有。我的做法是晚上床邊放著筆和紙,因為我躺在床上時經常會有想法,我就把它草草記下來。

Atish Nayak 是的,是的。

Harry Stebbings 或者我會在凌晨 2 點把它發在主題行裡給我的 EA,就像,新節目,像。

Atish Nayak 好的,是的,我有一個可以大聲說出來的。我會說。其他的不能錄音。

Harry Stebbings 是的。

那麼,最具爭議的觀點是什麼?

Atish Nayak 是的,我認為人們普遍歡迎穩定,但我認為要真正快樂,要真正感到滿足,我認為你需要擁抱混亂,你需要擁抱不穩定,因為那讓生活更有趣。我認為總是有,我要安定下來,過得很好,退休。然後放鬆。

你可以那樣做。但我認為通往那裡的道路上,你應該積極擁抱衝突,你應該積極擁抱不適,因為隨著時間的推移,你會對生活拋給你的任何事情更具韌性。

Harry Stebbings 你擁抱過的最不舒服的事情是什麼?

Atish Nayak 所以在我生命的不同階段有幾件事,也許在大學裡,我自願選修了可能是 Carnegie Mellon 最難的課程之一,操作系統。你必須從頭開始構建操作系統。我本不必選修那門課。我可以在沒有它的情況下完成我的學位。我只是聽說了很多瘋狂的事情,有人為了它連續熬了兩個通宵。我當時就想,那就做吧。為什麼不呢?

另一件事是大學畢業後,像很多 CMU 的畢業生一樣,我們都收到了大公司的 offer,Microsoft、Palantir、Stripe 等等。我決定不那樣做,搬到了洛杉磯,加入了我朋友的公司,結果那家公司一年後就倒閉了,但就是一些不走尋常路的事情。我什麼時候還能住在洛杉磯呢?所以我最終那樣做了,然後在初創公司中輾轉,而不是選擇去大公司。

Harry Stebbings 給今天進入新 AI 勞動力世界的畢業生的最大建議是什麼?

Atish Nayak 是的,所以我認為這回到了我一開始說的。專注於你想學習的技能組合。我認為我仍然遇到這種情況,很多工程師會說,我想成為一名產品經理。而事實是,你擁有的最有價值的事情之一是你的編碼能力,如果你是一名工程師的話,假設是這樣。我希望我能堅持得更久,但我認為至少堅持下去非常重要,因為現在有了 vibe coding 或其他什麼東西,情況好多了。然後。不要害怕嘗試很多事情。我認為人們期望他們在 20 歲出頭就必須把所有事情都弄清楚。事實並非如此,尤其是在現在有了 AI 的情況下。你不知道當你 26 歲時什麼是有價值的,當你 22 歲時。所以我認為嘗試一堆事情,實驗,看看你喜歡什麼,不喜歡什麼。

Harry Stebbings Harvey 的程式碼有多少是 AI 寫的?

Atish Nayak 這是個好問題。我的意思是,我認為可能,不是很多。可能大概是 20%。

Harry Stebbings 20%?這在今天是正常的嗎?

Atish Nayak 我猜是的。我認為我們可能比現在可以更多地使用 AI。

Harry Stebbings 你如何在你尚未採用的方式中使用 AI?

Atish Nayak 單元測試?

我認為可以透過 AI 實現更高程度的自動化。

個別工程師仍然會多少使用 AI 來編寫他們自己的單元測試,但整個單元測試層應該完全由 AI 來完成。

Harry Stebbings 在你的職位上,你最想做什麼,但由於決策或資源的原因而無法做到?

Atish Nayak 上 podcast 節目?不,我已經在做了。

我認為我想做的是。

所以有 Harvey,像我們今天擁有的生產力套件,這是核心產品,然後還有 Harvey,它與律師事務所和企業合作完成大量的端到端工作。而這是企業願意支付數百萬美元來做的事情。

我只想解決那個問題。那項工作還很遙遠。你需要做研究,你需要 UX 實驗。所以我們會做到那一步。但現在我們必須專注於 Harvey 這個生產力套件,律師使用的軟體,而不是那個端到端完成工作的 Harvey。

Harry Stebbings 我說在倫敦建立一家 AI 公司比在舊金山更容易。每個人都哇哇哇哇。但事實是,我們擁有來自一些頂尖機構和大學的 AI 人才供應,但關鍵是,我們沒有人才流失(churn)。

舊金山的 AI 人才流失是否像從外部看起來那樣殘酷?

Atish Nayak 你說的流失是什麼意思?

Harry Stebbings 比如員工流失,人們跳槽到其他熱門公司,因為 OpenAI 給了你最好的工程師 200 萬美元,或者 Codeium 或 Windcurster 或其他公司。

Atish Nayak 是的。是的。

我認為人才流失非常真實。我認為人才戰爭,我認為,非常真實。我的意思是,這不僅僅是在 AI 領域。

世界上一些最優秀的高管都住在灣區那個狹小的半島上。特別是如果你是成長階段的公司,需要引進有經驗的人才,有經驗的高管,他們都集中在那裡,有家庭,他們所有這些人都只想待在那裡。所以,當然,你可以在其他地方擁有大量的早期人才,但我認為你在那裡得到的思想碰撞,你得到的經驗,我認為是首屈一指的。

Harry Stebbings 你認為現在哪家公司對頂尖人才來說最熱門?

Atish Nayak 我的意思是,OpenAI 和 Anthropic?我認為我可能六個月前會說是 OpenAI,但我認為 Anthropic 真的開始吸引越來越多的人。

Harry Stebbings 最後一個問題,在過去的 12 個月裡,除了 Harvey,你對哪家公司最近的產品策略印象最深刻?

Atish Nayak 是的,當然。

我本來想說下面的,但我喜歡這個。

Harry Stebbings 對我來說,實際上是像 Canva,我認為 Canva 在模板方面做得非常聰明,以及他們如何開創了一種市場式的動態,你可以坦率地借用、添加、借給任何人的創意奇想,以一種非常酷的方式。它真正解決了冷啟動問題。

Atish Nayak 是的。好吧,我會說我確實認為 Perplexity 老實說做得非常好。我對那個團隊和他們前進的速度非常敬佩。

當然你可以說,哦,他們現在做了很多事情,但我認為他們專注於核心體驗,即讓答案非常非常非常快,並排除其他一切干擾,我認為是首屈一指的。這實際上是一個產品為王的例子。

我的意思是,當然他們有經銷通路之類的東西,但人們採用它,即使是消費者,人們採用它也是因為產品實在太好了。我認為他們現在開始專注於某些垂直領域,比如購物、旅遊、金融,這些領域你需要大量的網路知識。我認為這個策略非常聰明。

Harry Stebbings 作為 Perplexity 的投資者,我很高興聽到這個。我認為 Aravind 很了不起。

聽著,我非常享受這次訪談。非常感謝你忍受了有點隨性的日程安排,但你表現得非常棒。

Atish Nayak 是的,非常感謝,很高興能有所幫助。