語言是人類獨特的認知工具，它在組織思維、推理邏輯、表達創意和交流觀點方面起著重要作用。正如柏拉圖所言：“思想的靈魂，就是語言。”語言的重要性不言而喻。那么，大腦是如何編碼語義的呢？

(相關資料圖)

如何量化語義？

由于單詞或概念本身是離散的，要想用正交基來定義語言是極其困難的。然而，它們之間又存在著復雜的關聯結構，比如提到“端午”，接下來可能會出現“安康”“粽子”等與端午相關的內容。這就表明短語之間具有連接性。根據分布式語義模型，如Word2Vec模型，計算語言學家們可以利用大量的文本和上下文詞頻的統計，將每個單詞量化為高維空間中的向量，一般稱為詞向量或詞嵌入。將詞向量的乘積視為變量，大腦活動視為應變量，便可研究不同語義會激活腦皮層的哪些區域。

利用這種方法，在2016年Alexander G. Huth等人構建了一個大腦的詞匯地圖，并發現大腦并不存在一個單一的區域來編碼這些詞匯。相反，語義表征在大腦的多個分布式高級區域中進行。

隨著性能出色的大語言模型相繼出現，詞向量或語義空間的表征得到不斷優化，從而支持更多更好的下游任務，如翻譯、推理、分類和對話等。這為我們提供了更強大的工具來量化語義空間，并用它來研究大腦如何編碼語義。即使是最簡單、較早期的Word2Vec模型，其表征空間也具有非常有趣的性質：語義關系可以被視為線性算子。這個性質使得Word2Vec空間的幾何結構更易于分析和解讀。

構建神經編碼模型

為了分析語義類別和語義關系的神經編碼，基于語義與大腦活動聯系的方法和“語義關系可以被視為線性算子”的性質，張博士構建了一種神經編碼模型。

構建過程如下：首先，收集來自19位健康被試者的fMRI數據；接下來，被試者聽取6個大約10分鐘的英語故事，其中一些故事涵蓋了常用詞匯；然后，將這些故事的文本輸入到已經訓練好的Word2Vec模型中。每個故事對應于一個在300維空間上的軌跡，該軌跡描述了所有詞義隨時間的變化；隨后，構建了一個線性回歸的預測模型。將300維空間上的軌跡視為自變量，而不同腦區的神經活動作為應變量。

通過擬合預測模型，就可以得到從Word2Vec詞空間到腦部空間活動的線性映射。這個線性映射也就是我們接下來要使用的神經編碼模型。

神經編碼模型的性能及應用

基于這個神經編碼模型，張博士用一個全新的英文故事測試了該模型的預測性能。結果顯示，盡管不同區域的大腦活動模式看起來差異很大，但這些區域的真實大腦活動與模型的預測結果高度吻合。這個結果表明，通過簡單的線性回歸模型，我們是可以建立一個相對準確的從語義空間到大腦活動的映射。

并且，大腦對語義的編碼是分布式的，而不是集中式的，不同區域在這個過程中可能承擔著不同的功能。

神經編碼模型可以視為連接AI模型和大腦活動之間的橋梁，利用該模型可以將語義類別映射為腦圖。比如輸入3萬個英文單詞到神經編碼模型中，我們就可以得到3萬個不同的腦圖。另外，根據這些詞的語義將它們分成9個大類，會發現這9個大類并不是單獨存在于一個腦區，而是分布在整個大腦中（見圖一）。

同時，研究還觀察到，相對于具體的詞語更多地分布在左腦，而相對于抽象的詞語，尤其是涉及情感的詞語，更多地在右腦中表達。

?圖一：語義分類的皮層表征。圖源：由張逸真博士提供

語義關系與大腦活動

在前面的研究中，我們已能通過神經編碼模型將語義與大腦活動聯系起來。而在語言中，除了語義本身，語義關系也很重要。通過語義關系，我們能很容易地將已經學到的知識遷移到新的概念中，類似于類比推理學習。那語義關系如何映射到大腦皮層中呢？

語義關系有很多種類，張博士著重介紹了整體-部分的語義關系（如手與手指）是如何映射大腦活動的。

首先，找到上百個符合這種整體部分關系的單詞，然后對它們的詞向量的差取平均。這樣就保留了抽象的語義關系，即整體與部分的關系。利用訓練好的神經編碼模型，就可以把這些向量差對應成一個大腦活動（見圖二）。結果顯示，越是黃色的區域，就越傾向于表達整體的概念，而越是藍色的區域，就越傾向于表達部分的概念。

?圖二：語義關系的皮層表征。圖源：由張逸真博士提供

大腦學習語言與文本

前面所構建的神經編碼模型，以及一些大語言模型只接收語料中上下文的統計分布信息（即一些文本信息）來進行訓練。而人類學習語言不僅僅是接收文本的信息，還有來自五感的信息（見圖三）。受此啟發，張博士開展了一項工作：通過跨模態對比學習將視覺認知接入語言模型。

?圖三：人腦認知香蕉的過程。圖源：由張逸真博士提供

將視覺認知接入語言模型

簡單來說，就是參照大腦的語言網絡和視覺網絡構建一個雙流模型，并且用三步來訓練（見圖四）。

第一步，單獨訓練語言流和數視覺流，這里使用的是預訓練好的BERT模型和VGG模型。

第二步，用對比學習來配對圖像和語言描述，通過該訓練，視覺信息就接入到了語言模型的訓練中。

第三步，讓模型進一步學習圖像中各物體之間的關系。這一步中匹配的不是圖像和它的語言描述，而是圖像中的物體間關系。在這一步訓練之后，強化了語義空間的結構，使得它不僅能夠反映物體的內容，還能反映它們之間的關系。

?圖四：物體關系的視覺定位。圖源：由張逸真博士提供

模型驗證

為理解這樣的學習過程是不是能學到信息量更豐富、更具可解釋性、更接近神經語言學知識的語義空間，研究還使用了語言流模型進行探究。

值得注意的是，這個模型的參數在訓練過程中已經受到了視覺信息的影響。隨后提取這個語言流的詞向量，并進行了很多組的評估實驗。用主成分分析發現，在訓練過程中加入視覺信息，詞向量空間的可解釋性大大提高。

另外，研究還用顏色編碼了三個主成分激活不同腦區的程度。結果顯示，擁有相似特性的詞，也就是相近顏色的塊總是被編碼在相近的區域。這就表明大腦編碼的是一個詞的語義特征或者性質。

除此之外，對這個模型進行評估和測試后，研究發現在視覺信息的輔助訓練下，我們可以學習到一個更好的語義空間，這個語義空間可以支持簡單的詞義組合和推理。

類腦語言學習模型的發展為我們理解和應用語言提供了新的視角和可能性。利用類腦語言學習模型，我們能夠實現更準確、更細致的語義表示。這將有助于提升計算機對語義的理解，進一步拓展人機交互的可能性，為人類創造出更智能、更自然的語言交流環境。

參考文獻：

[1] A. G. Huth, W. A. de Heer, T. L. Griffiths, F. E. Theunissen, and J. L. Gallant.Natural speech reveals the semantic maps that tile human cerebral cortex, Nature, 532(7600), 2016.[2] Y. Zhang, K. Han, R. Worth, and Z. Liu.Connecting concepts in the brain by mapping cortical representations of semantic relations, Nature Communications, 11, 1877, 2020.[3] Y. Zhang, M. Choi, K. Han, and Z. Liu. Explainable Semantic Space by Grounding Language to Vision with Cross-Modal Contrastive Learning, in Advances in Neural Information Processing Systems, 2021, 34, 18513–18526.

關鍵詞：