ChatGPT關鍵技術Transformer的8位作者，現在都在做什麼？

2017年，Google以一篇劃時代論文《Attention Is All You Need》，替今日的AI風潮打下基礎。

論文中的語言模型Transformer，是ChatGPT、語言模型GPT背後的關鍵架構。Transformer最重要的突破，除了語言模型的運作流程之外，就是「平行化」，讓很多處理工作可以在同一時間完成，讓算力有了用武之地。史丹佛大學研究人員在2021年一篇論文中點出了Transformer模型的重要性：「它不僅推動了AI領域的典範轉移，更擴大了對AI可能性的想像。」

Transformer AI模型 Google在2017年一篇劃時代研究論文《Attention Is All You Need》中，介紹了他們開發的Transformer語言模型，此模型透過強大神經網路，能夠學習文字、影像資料間的連續關係和深層意義，總而言之，它讓AI更像了一個真正的「人」。 Google《Attention Is All You Need》

而在該篇論文中共有8名作者，在Transformer問世後至今6年的時間，他們都在做些什麼？

開發Transformer模型的人陸續離開Google，成為新生代矽谷創業家

論文《Attention Is All You Need》的作者，現在都在做什麼？開發Transformer的工程師們，幾乎都紛紛出走Google、自立門戶，直至今日，他們創立的新創募資總金額來到10億美元，在矽谷發揮著舉足輕重的影響力。 Meet 創業小聚

撰寫《Attention Is All You Need》這篇論文的8位工程師和科技專家，幾乎都陸續離開了Google，朝向下一個目標邁進。

1. Illia Polosukhin轉向區塊鏈發展，創辦NEAR Protocol

Illia Polosukhin離開Google後，創辦了去中心化平台NEAR Protocol。Illia Polosukhin深刻體會到，如果引領科技的組織，全面掌控了網路時代的數據，那麼人們就可能無法再自由取得、使用資料，這也是他毅然決然離開Google的原因。

為了讓網際網路的生態保持創新，他打造了以區塊鏈為基礎的去中心化平台NEAR Protocol，讓大眾都可以在這個平台上自由的開發應用程式，揮灑創意。

2. Aidan Gomez以對抗壟斷為目標，開發大型語言模型API公司Cohere

2019年9月，Aidan Gomez創辦了Cohere，Cohere也以對抗大型科技公司壟斷AI研究為目標，建立了幫助企業建構大型語言模型的API，它還在2022年啟動一間Cohere For AI的非營利性研究實驗室，致力讓大眾享有AI技術服務。根據《路透社》報導，Cohere估值已經來到60億美元。

3. Jakob Uszkoreit投入生技領域，創辦Inceptive

而被許多人視為是開發Transformer的主要工程師Jakob Uszkoreit，則在2021年辭職投入了生技領域，他所創辦的Inceptive，透過深度學習技術設計核糖核酸（RNA）分子，用以開發新興藥物，目前已募集了2,000萬美元的資金。

4. Niki Parmar和Ashish Vaswani共同創辦了AI新創Adept

Niki Parmar和Ashish Vaswani也在2021年底相繼離開Google，共同創辦了Adept。Niki Parmar曾在《財富》的採訪中透漏，只有創業才能真正讓她實踐開發產品與科學研究的理想。

而Adept建構的ACT-1，正是基於他們先前研究的Transformer進一步優化的大型模型，能學習人們瀏覽網頁和使用軟體的方式，替人們把文字指令轉換為一系列動作。Adept現階段估值已來到10億美元，總募資額高達4.15億美元。

5. Noam Shazeer要讓虛擬人物有靈魂，創辦Character.ai

在Google工作20年的Noam Shazeer，同樣選擇在2021年底創業，和同為Google工程師的朋友一起打造了對話式AI平台Chracter.ai，這個平台能讓使用者和AI合作一同編寫對話，並且生成角色扮演式的文字回覆。它近日也剛以10億美元的估值獲得了1.5億美元的投資金。

6. Lukasz Kaiser跳槽加入OpenAI，Llion Jone則繼續留在Google

其餘兩人，Lukasz Kaiser和Llion Jone，前者在2021年時跳槽加入OpenAI，後者則選擇繼續待在Google，他是目前8位撰文的研究成員中，唯一還待在Google的工程師。

總結來說，開發Transformer的8位工程師，自立門戶的並不在少數。直至今日，他們創立的新創募資總金額來到10億美元，在矽谷發揮著舉足輕重的影響力。這些新創們的重要成績，似乎有一點2000年「PayPal 黑幫」（PayPal Mafia）的影子。

從PayPal到Google，矽谷下一個黑幫會是誰呢？

矽谷黑幫，指的是企業中的重要人才離開後，把過往的人脈、經驗、技術、資源投入到新的項目中，創造出更廣闊的網絡。

例如PayPal創辦人Peter Thiel現在成立了大數據分析公司Palantir，還投資培育了Facebook創辦人祖克柏等年輕新秀，其他PayPay核心成員如Keith Rabois、Reid Hoffman等則分別是FinTech新創Square的營運長、LinkedIn的創辦人等等。

其實，Google在2010年前後，也曾出現不同於PayPal創業形式的黑幫現象，《富比士》將它稱作「高階主管的Google黑幫」。當時，Google內部各個高階主管紛紛跳槽到像Facebook、Twitter以及Yahoo等科技公司，或離職成為專業新創投資人，劇烈的成員變動同樣為當時的科技業帶來影響與熱議。

現在，以《Attention Is All You Need》論文作者們為首的創業潮，又出現了另一個黑幫的影子，他們就像是為科技產業引入生成式AI的引導者，讓基於Transformer模型而生的生成式AI新創在矽谷遍地開花。

但是，真正讓這波生成式AI風潮成形的並不是Google，而是另一個透過ChatGPT將AI發揚光大的修行者——OpenAI。

OpenAI將催生下一波AI黑幫

因ChatGPT備受關注的OpenAI，在過去5年裡，迎來30多位高層、工程師和研究員離職潮，他們多數都創辦了自己的公司，這些新創募資金額總計也超過了10億美元。或許我們正見證OpenAI黑幫成形的過程。

舉例來說，幫OpenAI開發了GPT-2和GPT-3模型的前研究副總監Dario Amodei，以及安全與政策副總監Daniela Amodei，就帶領OpenAI將近10位核心員工，另外創辦了以研究為導向的新創Anthropic，強調AI的安全性和共享性，發表了AI研究的基礎規則。

OpenAI前研究科學家Peter Chen也離開了OpenAI，他和加州大學柏克萊分校教授Pieter Abbeel等人聯手創辦Covariant，專注在創造新型AI機器人解決方案。而OpenAI前工程總監David Luan，也是和Google前研究員Niki Parmar和Ashish Vaswani共同創辦Adept的成員之一。