人工神經網絡(ANN)是在計算機上構建的復雜網絡算法,它模擬了生物神經系統(tǒng)中神經元之間的連接和信息傳遞,但它們之間是否具有更深層次的相似性,我們尚未可知。
比如,它們是否正在以相似的方式處理輸入信息?
“長期以來,人們一直爭論著人工神經網絡是否像人類一樣學習?!?/strong>
【資料圖】
——俄勒岡大學的語言學家維謝沃德·卡帕辛斯基(Vsevolod Kapatsinski)
而最近的一項新研究證實,自然神經網絡和人工神經網絡在語言學習上具有相似之處。這項研究由加州大學伯克利分校的計算語言學家加什珀·貝古什(Ga?per Begu?)領銜,他將人類聽取簡單聲音時的腦電波與人工神經網絡分析相同聲音所產生的信號進行了比較后發(fā)現(xiàn),二者竟出奇的相似。他表示,“因聲音刺激所產生的腦電波和ANN信號,是迄今為止報道的最相似的腦電波和ANN信號。”
研究人員還測試了由通用型神經元(適用于各種任務)構建的網絡,發(fā)現(xiàn)即使是非常通用,且沒有為語音或任何其他聲音進化出偏好的人工神經網絡,依舊呈現(xiàn)出了它與人類神經元編碼的對應關系。研究者表示,這些結果不僅有助于解開神經網絡學習的神秘面紗,還暗示著人類大腦其實并沒有為語言產生特化的結構。
研究人員為14名英語使用者和15名西班牙語使用者連續(xù)播放了一個音節(jié)“bah”,每次播放時長為8分鐘,共進行了兩組實驗。在聲音播放過程中,研究人員記錄到每位聽者腦干(處理聲音的第一個部位)的神經元的平均電活動。研究人員還將相同的“bah”聲音輸入到兩組不同的神經網絡中,一組經過英語聲音數據集訓練,另一組經過西班牙語聲音數據集訓練。研究人員記錄了神經網絡的處理活動,其重點關注神經網絡中首次分析聲音的卷積層(與腦干活動相對應)。結果發(fā)現(xiàn),其中的信號與人腦電波高度匹配。
?圖注:輸入“bah”后,人工神經網絡與人類大腦產生信號的比較
大家知道,人類腦電的采集和監(jiān)測是容易實現(xiàn)的。那么,要如何讓人工智能“聽”到聲音并收集它“大腦”的反饋信號呢?在實驗中,研究者選擇了一種被稱為生成對抗網絡(GAN)的神經網絡結構作為人工神經網絡的被試,其最初于2014年用于生成圖像。GAN由兩個競爭的神經網絡組成,分別是鑒別器(discriminator)和生成器(generator)。生成器創(chuàng)建一個樣本,可以是圖像或聲音。鑒別器則用于確定該樣本與訓練樣本的接近程度并提供反饋,而生成器會再次嘗試生成樣本,直到GAN能夠輸出所需的結果。
在這項研究中,鑒別器最初是在一組英語或西班牙語聲音集合上進行訓練的。生成器(從未聽過這些聲音)必須找到一種產生這些聲音的方法。它開始時會產生隨機的聲音,但經過大約40000輪與鑒別器的交互后,生成器逐漸改進,最終能夠產生正確的聲音。由于這種訓練,鑒別器也變得更擅長區(qū)分真實聲音和生成的聲音。在鑒別器完全訓練之后,研究人員再向其播放“bah”的聲音,成功測量了人工神經元平均活動水平的波動。正如上文介紹的那樣,這些波動產生了與人類腦電波非常相似的信號。
這個實驗還揭示了人類和機器之間的另一個有趣的相似之處。腦電波顯示,說英語和說西班牙語的參與者聽到“bah”聲音的方式不同(西班牙語使用者更多地聽到了“pah”聲),而生成對抗網絡的信號也顯示出,在處理聲音時,經過英語訓練的網絡與經過西班牙語訓練的網絡略顯不同。
“而且,這些差異的方向是相同的”研究者補充道。說英語的人的腦干對“bah”聲的響應比說西班牙語的人稍早一些。對相同聲音的響應而言,經過英語訓練的生成對抗網絡也比經過西班牙語訓練的模型稍早一些。人類和機器在時間上的差異幾乎完全相同,大約是一秒的千分之一。由此可見,人類和人工網絡很可能以相似的方式進行信息處理。
語言學家諾姆·喬姆斯基(Noam Chomsky)曾在1950年代提出,人類天生具有理解語言的獨特能力,是因為人類大腦的特定結構。然而,此次的研究結果卻支持了與此相反的觀點——處理語言實則并不需要特殊內在機制和獨特的人類特征。
當然,很多人認為一項證據還遠遠不夠印證這個觀點。因此,研究者正在進一步探索人腦和神經網絡之間的相似之處,例如,通過測試大腦皮層(在腦干完成其任務后進行聽覺處理的區(qū)域)產生的腦電波是否與GAN深層產生的信號相對應。同時,他們也希望開發(fā)一個可靠的語言學習模型,用來描述機器和人類如何學會語言,從而利用該模型進行人類被試無法參與的實驗。
“我們可以創(chuàng)造一個不良環(huán)境(類似于被忽視的嬰兒),然后觀察模型是否會出現(xiàn)類似語言障礙的情況。當然,我們還需要更多的工作來擴大和增強我們的計算架構使得人工神經網絡達到人類的水平。而即使在目前相對早期的階段,我們仍對人類和人工神經網絡這兩個系統(tǒng)之間內部運作的相似性感到驚訝。”研究者說道。
:https://www.quantamagazine.org/some-neural-networks-learn-language-like-humans-20230522/
關鍵詞: