ChatGPT 全球爆紅,但大眾只認識阿特曼,卻對另一位創始人AI天才科學家伊爾亞·蘇茲克維瞭解不多

2023-12-5 21 12/5
ChatGPT 全球爆紅,但大眾只認識阿特曼,卻對另一位創始人AI天才科學家伊爾亞·蘇茲克維瞭解不多

ADVERTISEMENT

ChatGPT 已經在全球爆紅,但大眾在兩周之前似乎更熟悉山姆·阿特曼(Sam Altman),而對另一位創始人 伊爾亞·蘇茲克維(Ilya Sutskever) 卻瞭解不多。

直到前幾天因為OpenA眼花繚亂的政權爭奪大戲,OpenAI 的首席科學家伊爾亞·蘇茲克維的名字逐漸被世人所知。 

伊爾亞·蘇茲克維在科學和工程實現上為ChatGPT的誕生做出了巨大貢獻,可謂是ChatGPT的發明人。然而,也許是因為山姆·阿特曼是負責融資和商業化的CEO,這使得阿特曼被冠上了「ChatGPT之父」的稱號。 

那麼究竟誰才是真正的ChatGPT之父呢? 

其實少了伊爾亞·蘇茲克維和山姆·阿特曼任何一人,都沒有現如今的 ChatGPT 和OpenAI,但如果沒有伊爾亞·蘇茲克維在AI領域中的諸多突破與成就,一定不會有現在ChatGPT 的出現。 

今天,我們先不談阿特曼,而是著重回顧 伊爾亞·蘇茲克維的故事。看看他是如何憑藉著他的聰明才華一步步從普通人成為 AI 界的一代傳奇人物!

  • 延伸閱讀:OpenAI真正想要的是什麼?

ChatGPT 全球爆紅,但大眾只認識阿特曼,卻對另一位創始人AI天才科學家伊爾亞·蘇茲克維瞭解不多

  • 延伸閱讀:人工智慧3次震驚世界,都由美國主導卻都和俄國人有關

1986—2002年:早年生活和教育 

伊爾亞於 1986 年出生在蘇聯,5 歲時搬到耶路撒冷生活,自幼對電腦產生濃厚興趣,從 7 歲時就開始自學程式設計。之後,在以色列開放大學學習了一段時間後,16 歲那年再次搬家去了加拿大,轉而在多倫多大學讀書,據說他在新家的第一件事就是去多倫多公共圖書館找一本關於機器學習的書。 

從那時起,伊爾亞對人工智慧的熱情日益加深,他決定將構建通用人工智慧(AGI)設定為自己的主要目標。 

2003年:拜入深度學習之父辛頓門下 

在學術生涯中,伊爾亞影響最大的人莫過於他的老師:傑佛瑞·辛頓(Geoffrey Hinton)——被譽為深度學習之父的男人。

ChatGPT 全球爆紅,但大眾只認識阿特曼,卻對另一位創始人AI天才科學家伊爾亞·蘇茲克維瞭解不多

 

2003年,還在就讀大學的 伊爾亞每天都會敲辛頓的門,希望能被接納進實驗室。在讀了幾篇論文後,他在深度學習領域的思考與 辛頓教授的思想發生了碰撞,引起了辛頓教授對伊爾亞獨特之處的認識:他有能力發現那些其他人可能需要數年才能發現的東西。 

儘管當時正值人工智慧領域的寒冬,研究者們對人工智慧的興趣逐漸下降,但 辛頓 教授還是決定接納伊爾亞進入他的實驗室。 

2005 年,伊爾亞在多倫多大學獲得數學學士學位,2007 年獲得電腦科學碩士學位,2013 年獲得電腦科學博士學位。 

2012年:圖像辨識領域的革命—— AlexNet 

或許你聽說過AlexNet與辛頓或Alex的關係,但你可能沒有注意到它與伊爾亞之間也有著關聯。 

當時正值人工智慧的低谷期,辛頓的神經網路理念並沒有被同期的 AI 研究者們廣泛接受,這讓他們面臨了巨大的壓力。然而,他們並沒有因此而退縮,反而更加堅定了他們的信念。 

2012 年,ImageNet 大賽為他們提供了證明自己的機會——看誰能設計出最優秀的圖像辨識演算法,成功辨識出更多的圖像。 

辛頓帶著他的兩位學生 伊爾亞·蘇茲克維和亞歷克斯·克里澤夫斯基(Alex Krizhevsky)在這次大賽中發明了AlexNet,他們摒棄了傳統的手工設計解決方案,而是使用了深度神經網路並在 GPU 上訓練它們。

ChatGPT 全球爆紅,但大眾只認識阿特曼,卻對另一位創始人AI天才科學家伊爾亞·蘇茲克維瞭解不多

 

  • 延伸閱讀:ChatGPT歷史溯源:從1950年代講起,談聊天機器人的前世今生

AlexNet 突破了75% 的準確度,遠遠超越了所有競爭對手,向大家展示了深度學習的巨大潛力,也標誌著深度學習革命的開端。

由他們三人共同撰寫的 AlexNet 論文至今引用量已超過 6 萬次,成為電腦科學領域引用最多的論文之一,而當時的伊爾亞才只有 26 歲。

ChatGPT 全球爆紅,但大眾只認識阿特曼,卻對另一位創始人AI天才科學家伊爾亞·蘇茲克維瞭解不多

2013年:從 DNNResearch 到加入Google 

在這場競賽後,三人共同創辦了一家名為 DNNResearch 的公司,然而,該公司並沒有推出任何產品,也沒有明確的發展計畫。隨後,包括百度、Google、微軟和 DeepMind 在內的四家公司參與了競標收購。僅僅過去了4個月,Google在 2013 年 3 月以 4400 萬美元的金額收購了 DNNResearch,並聘請伊爾亞擔任 Google Brain 的研究科學家。 

在 Google Brain 工作期間,伊爾亞參與了許多後來驚豔世人的工作,比如與 Demis Hassabis 和 David Silver 等人共事,參與AlphaGo的核心工作。

ChatGPT 全球爆紅,但大眾只認識阿特曼,卻對另一位創始人AI天才科學家伊爾亞·蘇茲克維瞭解不多

 

此外,他還積極參與了 TensorFlow 的開發,造福了眾多深度學習研究人員。 

曾一起共事的同事稱,「伊爾亞是個無所畏懼的人。」 

在這個階段,伊爾亞的願景變得更加宏大——開始堅信通用人工智慧(AGI)近在咫尺。 

2014年:機器翻譯的革命—— Sequence-to-Sequence 

在Google工作期間,伊爾亞發明了一種用於將英語翻譯成法語的變體神經網路。他提出的序列到序列學習方法捕捉輸入的時序結構(如英語句子)並將其映射到具有時序結構的輸出(如法語句子)。 

當時的研究者們並不相信神經網路能夠進行翻譯工作,但他的發明擊敗了表現最佳的翻譯器,並促使谷歌翻譯重大升級,讓機器翻譯領域從此煥然一新,也自此引起了自然語言領域的研究新熱潮。 

沒錯,這背後的就是序列到序列學習(Sequence-to-Sequence Learning)演算法。

ChatGPT 全球爆紅,但大眾只認識阿特曼,卻對另一位創始人AI天才科學家伊爾亞·蘇茲克維瞭解不多

這對後來Transformer 的誕生也做出了重要貢獻。 

  • 延伸閱讀:OpenAI出大絕招,讓構建ChatGPT應用的成本暴降95%以吸引開發者

2015年:聯合創建OpenAI,開啟新篇章 

Google在 AI 領域一直處於領先地位,而伊爾亞作為備受重視的研究人員,有天收到了一封來自山姆·阿特曼的邀約。他赴約去與 山姆·阿特曼、格雷格·布羅克曼(Greg Brockman)和 伊隆·馬斯克(Elon Musk)等人共同討論人工智慧的未來,暢想未來可能發生的事情,以及他們是否能夠採取一些積極措施來影響人工智慧的發展。 

就在這場聚會中,OpenAI 的創始理念首次被明確提出——「利用人工智慧造福全人類,並以負責任的方式推動人工智慧的發展」,這激發了所有參與者的期待和激情。然而,當時伊爾亞還在Google工作,對於是否加入 OpenAI 的問題猶豫不決。最終,在多次思考和馬斯克等人的勸說下,伊爾亞決定放棄在谷歌數百萬美元的工作機會,成為非營利組織 OpenAI 的聯合創始人,並擔任研究總監。

ChatGPT 全球爆紅,但大眾只認識阿特曼,卻對另一位創始人AI天才科學家伊爾亞·蘇茲克維瞭解不多

OpenAI 的早期發展並不順利,作為非營利組織,尋找投資人成為一項艱巨的任務。然而,馬斯克等人決定向該項目投入 10 億美元,這使得 OpenAI 能夠聘用領域內的優秀人才,並取得了一些重要突破。但是這些發展也付出了昂貴代價——每個月需要在雲端運算上花費數百萬美元,而且還需要從其最大的競爭對手谷歌那裡租用運算能力。 

馬斯克曾是OpenAI 的董事會成員,在 2018 年因與特斯拉發生利益衝突而選擇離開,這一度使得 OpenAI 面臨嚴重的資金問題。在如此困境下,Sam 試圖利用他的人脈尋找新投資者,但由於 OpenAI 是個非營利組織,需要的資金過多,幾番嘗試並未成功。他們必須迅速找到解決方案,否則所有努力都將付諸東流。 

在這個關鍵時刻,微軟的 CEO 同意與他們會面,會議結果改變了 OpenAI 的窘境。山姆成功說服了微軟投資 10 億美元,並獲得了使用 Azure 雲端運算平臺的許可權。這樣,OpenAI 就不再需要向Google支付費用,而微軟轉而成為他們的重要合作夥伴。 

2018-2020:GPT-1~3 的發展 

GPT 模型的每一次反覆運算都代表了自然語言處理領域的重大進展: 

GPT-1(2018):這是該系列的首個模型。其關鍵創新之一是採用了無監督的預訓練方法,經過對大規模網際網路文本資料集的訓練,透過學習根據前面的單詞上下文來預測句子中的單詞,使模型能夠深入理解語言結構並生成類似於人類的文本。GPT-2(2019):在 GPT-1 的成功基礎上構建,採用更大的資料集訓練,生成更為強大的模型。GPT-2 的一項重大進展是其能夠在各種主題上生成連貫而流暢的段落文本,使其成為無監督語言理解和生成任務中的關鍵參與者。GPT-3(2020):在規模和性能上都取得了顯著突破。GPT-3 擁有當時震驚世人的 1750 億參數,在眾多語言任務上取得了最先進的性能,在問答、機器翻譯和摘要生成等能力上可以媲美人類水準。此外,它還展示了執行簡單程式寫作任務、撰寫連貫新聞文章甚至是詩歌的能力。

ChatGPT 全球爆紅,但大眾只認識阿特曼,卻對另一位創始人AI天才科學家伊爾亞·蘇茲克維瞭解不多

 

在微軟的支持和伊爾亞等人的領導下,OpenAI 的研究人員在 2018 年創建了原始的 GPT 模型。一年後,他們又發表了 GPT-2,這個新模型展示了大型語言模型的巨大潛力,但同時也引發了 AI 社區的不滿,因為 OpenAI 不再是一個非營利實體,而且開源作品越來越少。 

然而,儘管面臨爭議,OpenAI 仍取得了顯著的研究成果。2020 年,他們發表了GPT-3,使得OpenAI到達一個重要轉捩點。儘管 GPT-3 的性能出色,但它並沒有引起太多關注。為了讓更多的人能夠使用 GPT-3,Sam 說服了另外兩位創始人,提出了使用者友好介面的想法。 

2021年: 對 DALL-E 1 的研究 

伊爾亞總是走在創新尖端,2020 年 6 月,OpenAI 提出了新概念—— Image GPT,旨在利用神經網路依據使用者的文本指令生成新的高品質圖片,而 DALL-E 便是實現了該想法的傑作。

ChatGPT 全球爆紅,但大眾只認識阿特曼,卻對另一位創始人AI天才科學家伊爾亞·蘇茲克維瞭解不多

 

在伊爾亞的領導下,OpenAI 團隊創造出了由AI驅動的圖像生成模型 DALL-E,採用與 GPT 模型類似的架構和訓練過程,可以根據使用者的文本輸入生成各種風格的圖像。 

DALL-E 的發展與設計過程對後來的模型(如 DALL-E 2 和 MidJourney)都具有指導作用,它的成功為推動多模態領域的研究和創新奠定了基礎。 

  • 延伸閱讀:ChatGPT之父 Sam Altman 帝國是怎麼誕生的?除了OpenAI的工作他還有哪些計畫?

2022年:ChatGPT 的誕生與發展 

隨後,OpenAI 的研究團隊對 GPT-3 模型進一步改進,並將新模型命名為 GPT-3.5,採用了最簡單的使用者介面。由此,語言模型的不斷發展促使了 ChatGPT 在 2022 年 11 月 30 日誕生。如今,又衍生出升級版本 GPT-4,再次將生成式人工智慧的成就推向一個新高度。

ChatGPT 全球爆紅,但大眾只認識阿特曼,卻對另一位創始人AI天才科學家伊爾亞·蘇茲克維瞭解不多

 

正如山姆的先前所說的那樣,這一切引發了世界範圍內的 AI 變革。在短短的五天內,ChatGPT 吸引了逾百萬使用者註冊使用,創下了產品史上使用者增長最快的記錄。包括 ChatGPT 的創造者在內,所有人都對這一產品的成功感到震驚。 

在 OpenAI 的發展過程中,伊爾亞不僅關心技術創新,而且認真對待潛在的風險,他格外關注人工智慧的安全性,並在公司內積極為人工智慧系統的安全性分配更多資源。他領導著公司的 Superalignment 團隊,專注於管理人工智慧帶來的潛在風險。為實現這一目標,將公司運算能力 20% 的資源用於解決與人工智慧安全性相關的問題。 

這又將我們帶回了他與山姆的衝突上,伊爾亞的謹慎立場顯然與山姆更為激進的做法產生了分歧,後者傾向於更快地推進開發強大的人工智慧,事態隨後發展到 OpenAI 董事會成員策劃撤職山姆·阿特曼,用似乎更為穩重的艾米特·希爾(Emmett Shear)替代他。但隨之另一位聯合創始人格雷格也宣佈辭職,同時 700 多名員工聯名聲討董事會,僅僅幾天後,山姆又回到了 OpenAI……

總結 

在看熱鬧之餘,拋開 ChatGPT 的誕生與成長來說,伊爾亞對整個人工智慧領域也有著重要影響。 

在過去的十多年裡,伊爾亞立足於人工智慧變革的尖端,其每個階段的成果都可能是我們一生也無法企及的高度。 

伊爾亞參與或主導的工作一度改變了電腦視覺領域、機器翻譯甚至自然語言處理領域的研究進程,其研究工作被引用超過 42.7 萬次,成為引用量最多的電腦科學家之一。在 2015 年,MIT還將他列為全球 35 位最重要的創新者之一,時代雜誌也將他評為最具影響力的人物之一。 

或許有朝一日,當AGI真正改變世界的時候,伊爾亞將會被譽為歷史上最重要的科學家之一,在人工智慧領域的貢獻也將會被所有人熟知。 

資料來源:

  • Ilya Sutskever: The brain behind ChatGPT
  • Ilya Sutskever: The Man Building AGI
  • Who is Ilya Sutskever, the AI scientist ousted from OpenAI board and why he is cynical about AGI
  • Who Is Ilya Sutskever? & Drama Behind OpenAI's Chief Scientist