斯坦福曼寧教授主題演講

EMNLP頂會落下帷幕，各種獎項悉數頒出。

最佳長論文獎被北大微信AI團隊收入囊中，由北大孫栩老師和微信周杰、孟凡東合作指導。

他們發現了大模型中關鍵能力——上下文學習背後的工作機制。

通過理解這一機制，還提出一系列方法來提高其性能。

除此之外，斯坦福Christopher Manning教授做了最後的主題演講，告訴那些正在爲大模型而感到焦慮的NLP博士生們，還有很多有意義的方向可以做。

EMNLP最佳長論文

上下文學習(in-context learning, ICL)是大語言模型的一個重要能力，通過提供少量示範示例，讓模型學會執行各種下游任務，而無需更新參數。

目前ICL內在工作機制仍尚無定論，但缺乏對ICL過程的理解會限制能力進一步提升。

基於這一背景，北大&微信AI團隊首次從信息流這一角度來探索。此前相關分析研究主要從輸入作用和梯度角度進行分析。

首先，他們利用執行ICL的GPT模型，將標籤詞之間的注意力互動模式（即信息流）可視化。

“淺層”或“第一層”指的是離輸入較近的層，而“深層”或“最後一層”指的是離輸出較近的層。

初步觀察表明，標籤詞在淺層聚合信息，並在深層分發信息。

爲了清晰描述這一現象，研究人員提出了一個假設：
標籤詞是ICL中聚合和分發信息的錨點。（Label Words are Anchors）

具體而言：

• 在淺層，標籤詞收集演示信息，爲深層形成語義表徵。
• 在深層，模型從標籤詞中提取信息，形成最終預測。

爲了驗證這一假設，他們設計了兩個實驗，使用GPT2-XL和GPT-J在多個文本分類基準中驗證：

1、阻斷某些層中標籤詞的信息聚合路徑，結果發現在淺層隔離會顯著影響性能，這表明標籤詞在淺層中的前向傳播過程中收集了有用的信息。

2、目標位置標籤詞的注意力分佈與模型最終預測結果的關係，結果表明兩者之間存在很強的正相關性。

基於這樣的發現，他們提出了三種改進ICL的方法：一種重新加權方法來提高ICL性能；一種上下文壓縮技術來加速推理以及一種用於診斷 GPT2-XL 中 ICL 錯誤的分析框架。

其他情況

除此之外，最佳短論文、最佳主題論文、最佳論文Demo等各種獎項也全都揭曉。

其中
基於置信度的剪枝更快的最小貝葉斯風險解碼
，花落劍橋大學計算機系研究團隊，一作是華人博士生Julius Cheng。

忽略這個標題和HackAPrompt:通過全球即時黑客競賽暴露llm的系統性漏洞

(忽略此標題and HackAPrompt：通過全球黑客大賽揭露大模型的系統漏洞)

還有最佳論文Demo則是由艾倫AI研究所、MIT、UC伯克利、華盛頓大學等研究團隊獲得，他們提出了PaperMage，處理、表示和操作視覺豐富的科學文檔統一工具包。

值得一提的是，斯坦福Christopher Manning教授完成了EMNLP最後一場主題演講是，現場座無虛席。

主題是大模型時代下NLP的學術研究：Nothing but blue skies！

他告訴正面臨「生存危機」的NLP博士生們：

航空學的學生不會爲了他們的博士論文而製造波音飛機。他們做更小的模型，但仍然做出有意義的貢獻。我們也有很多這樣的機會。

(航空專業的學生不會爲他們的博士論文建造波音飛機。他們製造較小的模型，但仍然做出了有意義的貢獻。我們也有很多這樣的機會。)

隨後他又詳細地介紹了下有哪些機會可研究之，主要包括系統、待解決問題/數據驅動、機器學習、語言等層面。

• 系統：
   極端量化的小模型；加速。
• 問題/數據驅動：
  尋找有效的評估方法；如何用哪個很少語言數據來建立NLP模型。
• 機器學習：
  如何實現持續學習；如何跟人類一樣能從少樣本事實中學習。
• 語言
  ：較少數據獲得系統概括性更強的模型。

參考鏈接：

[1]https://twitter.com/emnlpmeeting/status/1733758625792016597

[2]https://x.com/annargrs/status/1733732418992160854?s=20