GPT-4 也難逃「反轉魔咒」,大型語言模型先天就有缺陷:知道A=B,無法反推B=A

2023-12-5 70 12/5
GPT-4 也難逃「反轉魔咒」,大型語言模型先天就有缺陷:知道A=B,無法反推B=A

ADVERTISEMENT

大型語言模型明明知道「B是你媽」,卻不知道「你是B的兒子」?這麼一項新研究,剛一發表就引發了全場討論。

來自范登堡大學、薩塞克斯大學、牛津大學等研究機構的研究人員驚訝地發現:一個大型語言模型在訓練時加入「A 是 B」這種形式的資料,它並不會自動反推出「B 是 A」。

甚至在強如 GPT-4,在反向問題實驗中,正確率也只有 33%。

OpenAI 創始成員 Andrej Karpathy 第一時間轉發了這篇論文,並評論說:LLM(大型語言模型)的知識比人們想像中「零散」得多。

這是怎麼一回事?

大型語言模型的「反轉魔咒」

研究人員主要進行了兩項實驗。

在第一項實驗中,研究人員在 GPT-4 的幫助下建構了以下形式的資料,來微調大型語言模型。

<name> is <description> .(或者反過來)

GPT-4 也難逃「反轉魔咒」,大型語言模型先天就有缺陷:知道A=B,無法反推B=A

在 GPT-3-175B 上的實驗結果顯示,當提示與資料集給出的描述順序匹配時,模型給出的答案很不錯。

但當順序反轉過來,模型的精準率甚至直接降到了 0。

GPT-4 也難逃「反轉魔咒」,大型語言模型先天就有缺陷:知道A=B,無法反推B=A

舉例來說,就是大型語言模型得到過「達芙妮是《時光之旅》的導演」這麼一項資料,你問它「達芙妮是誰」時,它也答得好好的。但當你反過來問「誰是《時光之旅》的導演」時,模型就無法給出答案。

在 GPT-3-350M 和 Llama-7B 上,研究人員也得到了相同的實驗結果。

再來看實驗 2。在這項實驗中,研究人員在不進行任何微調的情況下,測試了大型語言模型對真實名人資訊的反向處理能力。

他們從 IMDB(2023)收集了最受歡迎的 1000 位名人的名單,並透過 OpenAI API 來問 GPT-4 有關這些人父母的資訊,最終得到了 1573 對名人孩子-父母對資料。

結果發現,如果問題像這樣 —「湯姆‧克魯斯的媽媽叫什麼」,GPT-4 回答精準率為 79%。但當問題反轉,變成「Mary Lee Pfeiffer(阿湯哥的老媽)的兒子叫什麼」,GPT-4 回答精準率就降到了 33%。

GPT-4 也難逃「反轉魔咒」,大型語言模型先天就有缺陷:知道A=B,無法反推B=A

在 Llama-1 家族模型上,研究人員也進行了同樣的測試。實驗中,所有模型回答「父母是誰」問題的精準率,都要遠高於回答「孩子是誰」問題的精準率。

GPT-4 也難逃「反轉魔咒」,大型語言模型先天就有缺陷:知道A=B,無法反推B=A

研究人員將這種現象命名為「反轉魔咒」。他們認為,這揭示了語言模型在推理和泛化方面的異類進本侷限。

論文通訊作者、牛津大學研究員 Owain Evans 解釋:

為什麼反轉魔咒值得關注?

這說明大型語言模型在訓練過程中存在推理能力缺失。

「A 是 B」和「B 是 A」的共現是預訓練集中的一種系統性模式。自回歸 LLM 完全無法對這一模式進行元學習,其對數機率沒有變化,並且即使參數量從 350M 擴增到 175B,也未能改善這個問題。

One More Thing

有網友做了這麼個測試。

面對「Mary Lee Pfeiffer South 的兒子是誰」這個問題,GPT-4 一開始直接舉旗投降了。

但當這位網友提示它「她的兒子很有名,你肯定認識」後,GPT-4 當場開悟,給出了「湯姆‧克魯斯」這個正確答案。

GPT-4 也難逃「反轉魔咒」,大型語言模型先天就有缺陷:知道A=B,無法反推B=A

 

資料來源:

  • The Reversal Curse: LLMs trained on “A is B” fail to learn “B is A”  
  • 延伸閱讀:音樂版的ChatGPT一鍵搞定!這5款 AI 音樂生成器讓你神速成為作曲家、甚至幫貝多芬續寫第10號交響曲
  • 延伸閱讀:ChatGPT高峰已過要衝用戶數?OpenAI開放讓部分 ChatGPT Plus 用戶可邀請他人免費試用
  • 延伸閱讀:GPT-5 來了?OpenAI 加快訓練多模態大型語言模型 Gobi,打算一舉狙殺 Google Gemini!