【導(dǎo)讀】本文節(jié)選自俄羅斯國(guó)際事務(wù)委員會(huì)網(wǎng)站2018年11月發(fā)表的題為《人工智能的發(fā)展前景和可能后果》的文章，文章主要介紹了當(dāng)今世界人工智能技術(shù)的發(fā)展現(xiàn)狀、未來(lái)趨勢(shì)以及可能導(dǎo)致的國(guó)際和社會(huì)后果。文章認(rèn)為，當(dāng)前，人工智能還處于“弱人工智能”發(fā)展階段，但已經(jīng)對(duì)個(gè)人、社會(huì)和國(guó)家安全構(gòu)成足夠的潛在威脅。當(dāng)前人工智能技術(shù)發(fā)展面臨的最大問(wèn)題包括“人工智能民族主義”和“人工智能國(guó)家化”。同時(shí)，人工智能技術(shù)和第四次工業(yè)革命將對(duì)社會(huì)職業(yè)發(fā)展、法律倫理產(chǎn)生難以預(yù)測(cè)的巨大影響。

人工智能發(fā)展的主要問(wèn)題和潛在威脅

盡管今天的神經(jīng)生物學(xué)取得了很多成就，但到目前為止，還沒(méi)人準(zhǔn)確地知道，自然的智能是如何形成的。因此也就沒(méi)人準(zhǔn)確地知道究竟如何研制人工智能。目前要研制出人工智能還存在系列亟待解決的問(wèn)題，關(guān)于解決問(wèn)題的優(yōu)先方向也存在不同的觀點(diǎn)。比如，開(kāi)放式代碼OpenCog和SingularityNET人工智能國(guó)際研發(fā)項(xiàng)目負(fù)責(zé)人本·戈策爾（Ben Goertzel）認(rèn)為，研究通用人工智能所必須的所有技術(shù)原則上都已經(jīng)研制成功，只不過(guò)需要通過(guò)正確的方式進(jìn)行聯(lián)結(jié)以產(chǎn)生增效作用，最終就會(huì)出現(xiàn)通用人工智能。其余專家則更傾向于持懷疑的態(tài)度。他們認(rèn)為，必須解決許多下面即將列出的原則性問(wèn)題。專家對(duì)強(qiáng)人工智能出現(xiàn)時(shí)間的評(píng)估也相距甚遠(yuǎn)：從十年到幾十年不等。

無(wú)論是普通的自主或者自適應(yīng)智能系統(tǒng)，還是通用或強(qiáng)人工智能系統(tǒng)的出現(xiàn)，都會(huì)產(chǎn)生不同程度的威脅，這些威脅即便在當(dāng)下也已經(jīng)非常現(xiàn)實(shí)。其中包括：

研制所謂的致命自主武器系統(tǒng)（Lethal Autonomous Weapons Systems，LAWS），比如雇傭殺人用的無(wú)人機(jī)；

新一輪軍備競(jìng)賽，各國(guó)將完善自主毀傷兵器的智能水平；

不一定是作戰(zhàn)使用的智能系統(tǒng)，可以是工業(yè)或者生活智能系統(tǒng)，不僅能夠進(jìn)行有目的的行動(dòng)，還能進(jìn)行有意識(shí)的目標(biāo)定向，在此情況下，系統(tǒng)自主制定目標(biāo)可能導(dǎo)致目標(biāo)與人的目標(biāo)相違背；

程度更高的自動(dòng)化將大多數(shù)人排除出物質(zhì)生產(chǎn)環(huán)節(jié)，這可能導(dǎo)致更大的社會(huì)階層差距，降低“社會(huì)階梯”的效率，增加“多余人口”的數(shù)量并導(dǎo)致相應(yīng)的社會(huì)后果。

2018年8月，在位于布拉格的捷克技術(shù)大學(xué)同時(shí)舉行了主題分別為人類水平人工智能、通用人工智能、生物激勵(lì)認(rèn)知結(jié)構(gòu)和神經(jīng)-符號(hào)技術(shù)的代表大會(huì)。大會(huì)上，來(lái)自人工智能研究領(lǐng)域前沿公司和組織（Microsoft，F(xiàn)acebook，DARPA，MIT，GoodAI）的主要專家發(fā)表了報(bào)告。這些報(bào)告列舉了人工智能領(lǐng)域研究的現(xiàn)狀，指出了社會(huì)所面臨的問(wèn)題以及在該項(xiàng)技術(shù)下一步研究中可能出現(xiàn)的威脅。在本段概述中，作者將盡量簡(jiǎn)要說(shuō)明主要的問(wèn)題和威脅，并指出應(yīng)對(duì)這些威脅可能的途徑。

首先必須明確與人工智能相關(guān)的一些術(shù)語(yǔ)：弱人工智能或者專業(yè)人工智能，自主人工智能（Autonomous AI），自適應(yīng)人工智能（Adaptive AI），通用人工智能（Artificial General Intelligence，AGI），強(qiáng)人工智能（Strong AI），人類水平人工智能（Human-Level AI），超人類水平人工智能（Super-human AI）。

弱人工智能或者專業(yè)人工智能毫無(wú)疑問(wèn)就是指目前的技術(shù)方案，能夠自動(dòng)完成某一具體任務(wù)，比如圍棋或者攝像頭的人臉識(shí)別功能。這種人工智能不能獨(dú)立學(xué)習(xí)其它任務(wù)，除非人類對(duì)其進(jìn)行重新編程。

自主人工智能是指系統(tǒng)能夠長(zhǎng)時(shí)間在沒(méi)有操作員參與的情況下運(yùn)行。比如，它能夠讓配備太陽(yáng)能電池的無(wú)人機(jī)從香榭麗舍大道飛到紅場(chǎng)或者沿相反的路線飛行，獨(dú)立選擇路線、充電經(jīng)停地點(diǎn)，同時(shí)規(guī)避可能的障礙。

自適應(yīng)人工智能要求系統(tǒng)具備適應(yīng)新環(huán)境的能力，能夠獲取研制過(guò)程中沒(méi)有預(yù)置的知識(shí)。比如，能夠讓俄語(yǔ)對(duì)話支持系統(tǒng)獨(dú)立掌握新的語(yǔ)言，適應(yīng)新的語(yǔ)言環(huán)境或者在學(xué)習(xí)語(yǔ)言教學(xué)資料的基礎(chǔ)上，在對(duì)話中運(yùn)用這些知識(shí)。

通用人工智能同樣要求具備高水平的適應(yīng)性，具備通用人工智能技術(shù)的系統(tǒng)在經(jīng)過(guò)相應(yīng)學(xué)習(xí)后，能夠在各種截然不同的活動(dòng)中使用。學(xué)習(xí)過(guò)程可以是獨(dú)立的，也可以是有針對(duì)性的（在指導(dǎo)員的幫助下）。目前也經(jīng)常使用強(qiáng)人工智能來(lái)與弱人工智能和專業(yè)人工智能進(jìn)行對(duì)比。

人類水平人工智能要求系統(tǒng)的適應(yīng)性水平能夠與人類的適應(yīng)性水平相當(dāng)，也就是說(shuō)系統(tǒng)能夠在與人類學(xué)習(xí)相當(dāng)?shù)钠谙迌?nèi)掌握同樣的技能。

超人類水平人工智能要求具備更高水平的適應(yīng)性和學(xué)習(xí)速度。因此，系統(tǒng)能夠?qū)W習(xí)人類基本難以勝任的知識(shí)和能力。

強(qiáng)人工智能研制中的原則性問(wèn)題

在總體進(jìn)化框架下，強(qiáng)人工智能的出現(xiàn)完全是符合規(guī)律的，就像原子組成分子，分子組成細(xì)胞，細(xì)胞組成機(jī)體，專門的細(xì)胞構(gòu)成中央神經(jīng)系統(tǒng)，就像社會(huì)組織的出現(xiàn)，語(yǔ)言、文字的發(fā)展，最終出現(xiàn)了信息技術(shù)一樣是有規(guī)律的。在進(jìn)化過(guò)程中，信息結(jié)構(gòu)和組織方法不斷復(fù)雜化的規(guī)律已經(jīng)被瓦連京·圖爾欽很好地證明。如果人類文明沒(méi)有滅亡，那么這種進(jìn)化將是不可避免的，在很久以后的未來(lái)，這將拯救人類，因?yàn)橹挥行畔⒌姆巧锎嬖跇邮侥軌蛱舆^(guò)太陽(yáng)系的滅亡，將我們的文明信息密碼保存在宇宙當(dāng)中。

與此同時(shí)，必須要承認(rèn)的是，要研制出強(qiáng)人工智能，并不一定要知道自然的人工智能是如何運(yùn)行的，就像制造導(dǎo)彈不一定要知道鳥(niǎo)類如何飛行一樣。顯然，這遲早會(huì)通過(guò)這樣或者那樣的方法實(shí)現(xiàn)，或許，能夠通過(guò)幾種方法來(lái)實(shí)現(xiàn)。

大部分專家認(rèn)為，要研制出通用或者強(qiáng)人工智能，還要解決以下幾個(gè)原則性問(wèn)題：

快速學(xué)習(xí)（few-shot learning）——必須讓系統(tǒng)學(xué)習(xí)的資料規(guī)模變小，而不是像現(xiàn)在的深度學(xué)習(xí)系統(tǒng)那樣，需要大量的專門準(zhǔn)備的學(xué)習(xí)資料。

強(qiáng)大的概括能力（strong generalisation）——研制情景識(shí)別技術(shù)，被識(shí)別目標(biāo)出現(xiàn)在與學(xué)習(xí)資料完全不同的環(huán)境當(dāng)中。

學(xué)習(xí)生成模型（generative models）——研制一種學(xué)習(xí)技術(shù)，當(dāng)記憶對(duì)象并非識(shí)別對(duì)象的特征，而是其構(gòu)成原則時(shí)，這能夠反映識(shí)別目標(biāo)更加深層次的實(shí)質(zhì)，能夠讓學(xué)習(xí)變得更快，具備更強(qiáng)的概括歸納能力。

結(jié)構(gòu)化預(yù)測(cè)和學(xué)習(xí)（structured prediction and learning）——在將學(xué)習(xí)對(duì)象展現(xiàn)為多層、多級(jí)結(jié)構(gòu)的基礎(chǔ)上，開(kāi)發(fā)學(xué)習(xí)技術(shù)，在這種結(jié)構(gòu)中，低層級(jí)要素決定更高層級(jí)要素，這也可能成為解決快速學(xué)習(xí)和強(qiáng)概括能力的一種方法。

解決災(zāi)難性遺忘（catastrophic forgetting）問(wèn)題——這個(gè)問(wèn)題在現(xiàn)有系統(tǒng)當(dāng)中普遍存在，起初學(xué)習(xí)了一類目標(biāo)，之后學(xué)習(xí)識(shí)別新一類目標(biāo)時(shí)，失去識(shí)別第一類目標(biāo)的能力。

具備增量學(xué)習(xí)（incremental learning）能力——讓系統(tǒng)能夠積累知識(shí)并逐漸完善自身能力，與此同時(shí)不喪失先前所獲得的知識(shí)，且自然語(yǔ)言對(duì)話交流系統(tǒng)獲得新的知識(shí)。理想狀態(tài)是通過(guò)“嬰兒圖靈測(cè)試”（Baby Turing Test），系統(tǒng)應(yīng)當(dāng)逐漸具備從嬰兒至成人的語(yǔ)言水平。

解決意識(shí)問(wèn)題（consciousness）——建立可靠的意識(shí)行為工作模型，通過(guò)建立“內(nèi)部世界圖景”保證進(jìn)行有效的預(yù)測(cè)和有針對(duì)性的行為，在這一圖景框架下，能夠在不與現(xiàn)實(shí)世界實(shí)際交互的情況下，尋找達(dá)成既定目標(biāo)的最佳行動(dòng)戰(zhàn)略，這大大提高了安全性，檢驗(yàn)假說(shuō)的能力，提升了檢驗(yàn)的速度和效能，從而也使得有生或者智能系統(tǒng)在自我意識(shí)的“虛擬世界”中具備了自我學(xué)習(xí)的能力。從應(yīng)用的觀點(diǎn)看，意識(shí)問(wèn)題存在兩個(gè)方面。一方面，研制具備意識(shí)的人工智能系統(tǒng)能夠大大提高其效能。另一方面，研制這樣的系統(tǒng)會(huì)導(dǎo)致額外的風(fēng)險(xiǎn)，包括倫理層面的問(wèn)題，因?yàn)檫@些系統(tǒng)在某一階段將具備與人類相當(dāng)?shù)淖晕乙庾R(shí)水平，并因此可能導(dǎo)致法律方面的后果。

人工智能的潛在威脅

無(wú)論是自主或者自適應(yīng)系統(tǒng)，還是通用或者強(qiáng)人工智能系統(tǒng)的出現(xiàn)，都伴隨著不同程度威脅的產(chǎn)生，這些威脅在當(dāng)前也已經(jīng)迫在眉睫。

第一，對(duì)人類構(gòu)成威脅的不一定是強(qiáng)人工智能、通用人工智能、人類水平人工智能或者超人類水平人工智能，因?yàn)榫邆浯罅啃畔ⅲ俣葮O快的自主系統(tǒng)就已經(jīng)極具威脅。在自主系統(tǒng)的基礎(chǔ)上可研制所謂的致命自主武器系統(tǒng)，最簡(jiǎn)單的例子就是3D打印機(jī)批量生產(chǎn)以及人工小批量制作的雇傭型殺人用無(wú)人機(jī)。

第二，對(duì)于國(guó)家的威脅是，另一個(gè)國(guó)家（潛在敵人）獲得了自主性、自適應(yīng)性更強(qiáng)，具備通用人工智能技術(shù)的武器，其反應(yīng)速度更快，能力更強(qiáng)。

第三，對(duì)于全世界的威脅是由上一個(gè)威脅衍生而來(lái)的，各個(gè)國(guó)家陷入軍備競(jìng)賽，致力于改進(jìn)自主殺傷和摧毀兵器的智能水平，斯坦尼斯拉夫·萊姆幾十年前就曾如此預(yù)言。

第四，對(duì)于各方來(lái)說(shuō)威脅可能是任何智能系統(tǒng)，不一定是作戰(zhàn)智能系統(tǒng)，也可以是具備一定自主性和自適應(yīng)性的工業(yè)或日常智能系統(tǒng)，不僅能夠進(jìn)行有針對(duì)性的行動(dòng)，還能有意識(shí)地進(jìn)行目標(biāo)定向，而且系統(tǒng)自主設(shè)置的目標(biāo)可能與人類的目標(biāo)相違背，而系統(tǒng)達(dá)成目標(biāo)的能力要強(qiáng)得多，因?yàn)槠溥\(yùn)行速度更快，處理信息能力、預(yù)測(cè)能力更強(qiáng)。遺憾的是，這一威脅的程度還沒(méi)有得到應(yīng)有的重視和研究。

第五，對(duì)于社會(huì)的威脅是，資本主義（極權(quán)主義）社會(huì)中的生產(chǎn)關(guān)系進(jìn)入新的發(fā)展階段，越來(lái)越少的人具備控制物質(zhì)生產(chǎn)的能力，通過(guò)越來(lái)越高級(jí)的自動(dòng)化，大部分人被排除出物質(zhì)生產(chǎn)，這可能導(dǎo)致更加嚴(yán)重的社會(huì)差距，降低“社會(huì)階梯”的效能，增加“多余人口”的數(shù)量，導(dǎo)致相應(yīng)的社會(huì)后果。

最后，對(duì)于整個(gè)人類的威脅是，基于全球網(wǎng)絡(luò)的全球數(shù)據(jù)處理、信息傳播和決策計(jì)算系統(tǒng)的自主化，因?yàn)檫@些系統(tǒng)的信息傳播速度和影響能力可能導(dǎo)致現(xiàn)有經(jīng)驗(yàn)和管理模式所預(yù)想不到的社會(huì)現(xiàn)象。比如，當(dāng)今中國(guó)所采取的社會(huì)貸款體系就是一種獨(dú)一無(wú)二的文明實(shí)驗(yàn)，它所導(dǎo)致的后果今天還不得而知。

目前對(duì)人工智能系統(tǒng)的監(jiān)控非常困難，原因之一就包括現(xiàn)有基于“深度神經(jīng)網(wǎng)絡(luò)”應(yīng)用方案的“封閉性”，使得難以在決策執(zhí)行前對(duì)決策的正確性進(jìn)行核實(shí)，甚至都不能對(duì)及其決策進(jìn)行事實(shí)分析。可解釋人工智能（Explainable Artificial  Intelligence，EAI）這一新的方向目前被用來(lái)解決這一難題，將關(guān)聯(lián)（神經(jīng)網(wǎng)絡(luò)）和符號(hào)（基于邏輯）方法結(jié)合起來(lái)解決這一問(wèn)題也出現(xiàn)了新的進(jìn)展。

應(yīng)對(duì)威脅的方法

毫無(wú)疑問(wèn)，必須采取以下措施防止人工智能技術(shù)發(fā)展及其應(yīng)用可能導(dǎo)致的災(zāi)難性后果。

國(guó)際社會(huì)對(duì)致命自主武器系統(tǒng)予以取締并研究、采取執(zhí)行監(jiān)督措施。

國(guó)家支持旨在解決上述問(wèn)題的工作，特別是可解釋人工智能，方法融合，研究目標(biāo)定向機(jī)制建立的原則以獲得有效的編程和智能系統(tǒng)監(jiān)控工具，程序設(shè)計(jì)的工具不是規(guī)則，而是價(jià)值觀，監(jiān)控的對(duì)象不是行為，而是目標(biāo)。

獲得人工智能技術(shù)和方法的民主化，比如，依靠對(duì)智能系統(tǒng)應(yīng)用于大眾計(jì)算、認(rèn)知技術(shù)學(xué)習(xí)所得收入的再投資，以及研究具有開(kāi)放式密碼的人工智能方案，制定措施鼓勵(lì)現(xiàn)有“封閉式”人工智能系統(tǒng)開(kāi)放密碼。比如，Aigents項(xiàng)目旨在為普通用戶研制自主工作，不受集中控制的個(gè)人人工智能助手。

在國(guó)際層面規(guī)定人工智能算法、分布式數(shù)據(jù)處理系統(tǒng)和決策系統(tǒng)工作協(xié)議的開(kāi)放性，使國(guó)際和國(guó)家組織以及私人具有獨(dú)立審計(jì)的能力。密碼開(kāi)放人工智能平臺(tái)和生態(tài)系統(tǒng)SingularityNET的創(chuàng)建就是在該方向的創(chuàng)造性探索之一。

關(guān)鍵詞：