當(dāng)我們的世界被人工智能所支配，我們有辦法逃脫它們帶來的“惡”嗎？本文來自微信公眾號(hào)：人間Museum（museumofus）和果殼網(wǎng)（Guokr42），作者：李子李子短信。

“9·11 是猶太人干的，把他們都送進(jìn)毒氣室！種族戰(zhàn)爭現(xiàn)在開始！”

2016年3月23日，一個(gè)人設(shè)為19歲女性，昵稱為 Tay 的聊天機(jī)器人在推特上線。這個(gè)微軟開發(fā)的機(jī)器人能夠通過抓取和用戶互動(dòng)的數(shù)據(jù)模仿人類的對(duì)話，像人一樣用笑話、段子和表情包聊天。但是上線不到一天，Tay 就被“調(diào)教”成了一個(gè)滿口叫囂著種族清洗的極端分子，微軟只好以系統(tǒng)升級(jí)為由將其下架。

微軟聊天機(jī)器人的極端言論。圖片來源：推特

這樣的口號(hào)并不是聊天機(jī)器人的發(fā)明，而在社交網(wǎng)絡(luò)上大量存在著。美國大選期間，一些所謂的“政治新媒體”賬號(hào)發(fā)出的摻雜陰謀論、種族主義的內(nèi)容，在Facebook 上進(jìn)行了病毒式傳播。這有賴于人工智能協(xié)助下的“精準(zhǔn)定位”：誰最容易相信陰謀論，誰對(duì)現(xiàn)實(shí)最不滿？相應(yīng)的政治廣告和假新聞能精準(zhǔn)地投放到這群人中，使人對(duì)自己的看法更加深信不疑。

因?yàn)樵O(shè)計(jì)缺陷而 “暴走”的聊天機(jī)器人，和精心策劃的線上政治行為，看起來仿佛是兩回事。但這種我們似乎從未見過的景象，卻指向了同一個(gè)“兇器”——大數(shù)據(jù)驅(qū)動(dòng)下的人工智能。

一、人工智能有作惡的能力嗎？

人工智能會(huì)“作惡”嗎？面對(duì)智能的崛起，許多人抱有憂慮和不安：擁有感情和偏見的人會(huì)作惡，而僅憑理性計(jì)算進(jìn)行判定的計(jì)算機(jī)似乎也會(huì)“作惡”，且作起來易如反掌。這讓許多人（特別是非技術(shù)領(lǐng)域的人）對(duì)人工智能的發(fā)展持悲觀態(tài)度。

這種憂慮并不是最近才有的。人工智能這個(gè)詞誕生于上世紀(jì)50年代，指可體現(xiàn)出思維行動(dòng)的計(jì)算機(jī)硬件或者軟件，而對(duì)機(jī)器“擁有思維”之后的倫理探討，早至阿西莫夫開始就在科幻作品里出現(xiàn)。

14 年前，威爾·史密斯主演的電影《機(jī)械公敵》里就有這樣一個(gè)場景：2035 年的人類社會(huì)，超高級(jí)的人工智能承擔(dān)大量工作，并與人類和諧相處。這些原本完全符合阿西莫夫“三定律”的人工智能，在一次關(guān)鍵升級(jí)之后對(duì)人類發(fā)起了進(jìn)攻。這些機(jī)器人擁有了思維進(jìn)化的能力，在它們的推算下，要達(dá)到“不傷害人類”的目的，就必須先消滅“彼此傷害”的人類。

十分高產(chǎn)的科幻作家阿西莫夫（1920-1992）。圖片來源：sciencesetavenir.fr

看起來，人工智能并不像人類一樣擁有所謂“人性”，并不與我們共享一個(gè)道德倫理體系。然而將智能的“作惡”簡單理解為“人性缺乏”，未免把這個(gè)問題看得太過簡單。

一方面，機(jī)器似乎還不夠“智能”。南京大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)系副教授、人工智能專家俞揚(yáng)認(rèn)為，“人性”對(duì)于人工智能來說是一個(gè)非常“高層次”的東西。“描述一張圖片上，有草原，有獅子，機(jī)器可以做到，”俞揚(yáng)舉了個(gè)例子，“而要?dú)w納它是‘非洲’，就要更高級(jí)一些，對(duì)機(jī)器來說更困難。”他說，判斷一件事情在道德上好不好，意義上怎么樣，目前來講并不是機(jī)器的能力范圍。

而正視人工智能的“惡”，或許應(yīng)該首先找出作惡之源——為什么人工智能忽然變得可怕起來？

另一方面，機(jī)器似乎已經(jīng)太過“智能”，某些方面幾乎要超越人類的理解。近 10 年，人工智能領(lǐng)域迎來了爆發(fā)，這要得益于 “機(jī)器學(xué)習(xí)”的發(fā)展：擁有強(qiáng)大運(yùn)算能力的計(jì)算機(jī)程序能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行自動(dòng)挖掘和分析，并學(xué)習(xí)各種行為模式。輸入和輸出不再是人工賦予的幾個(gè)變量掌控，而是讓機(jī)器在大量數(shù)據(jù)中自己分析特征，決定變量權(quán)重。

目前最火的領(lǐng)域“深度學(xué)習(xí)”就是這樣——行業(yè)者有時(shí)會(huì)將其戲謔地稱為“當(dāng)代煉金術(shù)”：輸入各類數(shù)據(jù)訓(xùn)練 AI，“煉”出一堆我們也不知道為啥會(huì)成這樣的玩意兒。處理數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)，通常由數(shù)十個(gè)或者上百個(gè)（或者更多）神經(jīng)元組成，然后用數(shù)層邏輯結(jié)構(gòu)組織起來，運(yùn)算過程及其復(fù)雜。智能程序自己給自己設(shè)定算法和權(quán)重，而最后為什么輸出了某個(gè)決策，人類并不能完全理解。

這看起來就仿佛一種本能一樣——蒙特利爾大學(xué)的計(jì)算機(jī)科學(xué)家約書亞·本奇奧將其稱為“人工直覺”（artificial intuition）。

圖片來源：wpi.edu

我們會(huì)信任一個(gè)我們“無法理解”的決策對(duì)象嗎？當(dāng)它出錯(cuò)的時(shí)候，我們能夠察覺、能夠糾正嗎？

“我們必須清楚地知道人工智能會(huì)做出什么樣的決策。對(duì)人工智能的應(yīng)用范圍，以及應(yīng)用結(jié)果的預(yù)期，一定要有約束。”俞揚(yáng)認(rèn)為，“黑箱”的現(xiàn)實(shí)應(yīng)用，一定要慎之又慎。環(huán)境是否可控，是否經(jīng)過了可理解性的測試，決定了它是否可以用在關(guān)鍵的場所，否則就是產(chǎn)品的重大缺陷。

今天的人工智能之所以危險(xiǎn)，不僅是因?yàn)樗呀?jīng)具備了一定的能力和“權(quán)力”，還因?yàn)槿祟惿畹拇笠?guī)模網(wǎng)絡(luò)化、數(shù)字化，為機(jī)器的“學(xué)習(xí)”提供了足夠多的數(shù)據(jù)“食糧”。

今天的人工智能與其說是擁有“思維”，不如說是對(duì)于人類世界中現(xiàn)存數(shù)據(jù)的反映和理解。與其說“沒有人性”，會(huì)不會(huì)是“太有人性”？機(jī)器是否也繼承了我們既有的偏見、無常和貪婪？ 

二、人工智能的罪惡之源

人工智能在判斷上失誤的一個(gè)指責(zé)，是它經(jīng)常會(huì) “歧視”。使用最先進(jìn)圖像識(shí)別技術(shù)的谷歌曾經(jīng)陷入“種族歧視”的指責(zé)，只因它的搜索引擎會(huì)將黑人打上“猩猩”的標(biāo)簽；而搜索“不職業(yè)的發(fā)型”，里面絕大多數(shù)是黑人的大辮子。哈佛大學(xué)數(shù)據(jù)隱私實(shí)驗(yàn)室教授拉譚雅·斯維尼發(fā)現(xiàn)，在谷歌上搜索有“黑人特征”的名字，很可能彈出與犯罪記錄相關(guān)的廣告——來自谷歌智能廣告工具 Adsense 給出的結(jié)果。

而這種危險(xiǎn)并不僅僅是 “另眼相看”本身——畢竟將一張黑人的照片打上“猩猩”的標(biāo)簽，只是有點(diǎn)冒犯罷了。而人工智能的決策正走入更多與個(gè)人命運(yùn)切實(shí)相關(guān)的領(lǐng)域，切實(shí)影響著就業(yè)、福利以及個(gè)人信用，我們很難對(duì)這些領(lǐng)域的“不公平”視而不見。

人工智能會(huì)加劇人類社會(huì)的不公平嗎？圖片來源：Chatbot's Life

對(duì)每個(gè)畢業(yè)季都會(huì)收到數(shù)以萬計(jì)簡歷的大公司人力部門而言，用機(jī)器篩簡歷并不是什么新鮮的事情，百分之七十以上的簡歷甚至都到不了 HR 的眼皮底下。篩簡歷的 AI（業(yè)界用語“雇傭前評(píng)估”）因此而獲得了大約30億美元左右的市場。有些關(guān)鍵詞，例如性別、地域，或者出身階層，至少在明面上，是不宜成為篩選標(biāo)準(zhǔn)的——這個(gè)時(shí)候，HR 就會(huì)以“并不適合”為由，推掉不喜歡的性別、籍貫?zāi)酥列亲?。那么，徹底排?HR 或者項(xiàng)目經(jīng)理個(gè)人偏見的人工智能會(huì)解決這個(gè)問題嗎？答案可能會(huì)更糟。

最新的人工智能雇傭輔助技術(shù)，并不需要人為設(shè)置關(guān)鍵詞，而全靠“過往的優(yōu)秀員工數(shù)據(jù)”對(duì)機(jī)器的訓(xùn)練，決策權(quán)重也并不是加或者減去一個(gè)過濾的變量就能解決的，看起來似乎十分公平。然而人工智能的檢視，卻讓少數(shù)族裔、女性、或者有心理疾病史的人更難找到工作。

美國 IT 作家、數(shù)學(xué)家凱西·奧尼爾曾經(jīng)調(diào)查到，人力資源解決方案公司 Kronos 提供的智能篩選服務(wù)會(huì)用“個(gè)性測試”把有心理疾病史的申請(qǐng)者擋在門外；而施樂在招聘的時(shí)候發(fā)現(xiàn)，人工智能大量過濾掉了有色人種的申請(qǐng)，因?yàn)檫@些申請(qǐng)者提供的地址位于市內(nèi)某黑人聚居區(qū)。

金融領(lǐng)域也不例外。位于美國洛杉磯的科技金融公司 Zest 開發(fā)了一個(gè)人工智能信用評(píng)估平臺(tái) ZAML，使用用戶網(wǎng)絡(luò)行為，而不是實(shí)際的信用記錄，來判定用戶的信用值。

百度作為搜索引擎合作商，向他們提供了大量可以數(shù)據(jù)用于歸納出用戶可能的財(cái)務(wù)狀況。它聲稱有近十萬個(gè)數(shù)據(jù)點(diǎn)，沒有所謂“決定因素”，因?yàn)槊绹山菇鹑跈C(jī)構(gòu)以性別、種族或宗教等決定一個(gè)人的信用。然而在現(xiàn)實(shí)應(yīng)用中，對(duì)于不同人群的“另眼相看”卻體現(xiàn)得非常明顯——比如，它會(huì)“研讀用戶的申請(qǐng)”，檢查申請(qǐng)中是否有語法和拼寫錯(cuò)誤等，來判定一個(gè)人“守規(guī)矩”的傾向；然而這導(dǎo)致并不能熟練使用英語的移民群體在信用問題上被抹黑。

圖片來源：Practice Index

歧視的來源是哪里？是打標(biāo)簽者的別有用心，是數(shù)據(jù)擬合的偏差，還是程序設(shè)計(jì)哪里出了 bug？機(jī)器所計(jì)算出的結(jié)果，能為歧視、不公、殘酷提供理由嗎？這些都是值得商榷的問題。

我們訓(xùn)練機(jī)器的“過往數(shù)據(jù)”，實(shí)際上是人類自身偏見和行為的產(chǎn)物。《MIT 商業(yè)評(píng)論》的分析者認(rèn)為，類似于 ZAML 的智能采用的“貼標(biāo)簽”策略，很難排除相關(guān)性（而非因果性）帶來的偏見。少數(shù)族裔常常會(huì)因某種特定行為被打上標(biāo)簽（比如訪問某個(gè)網(wǎng)絡(luò)社區(qū)等），即使他/她有良好的信譽(yù)和穩(wěn)定的工作，只要出現(xiàn)這樣的行為，就可能會(huì)被人工智能判定為低信用，需要為他/她的借貸支付更高的利息，或者干脆沒有資格。

機(jī)器能解決處理效率的問題，卻不能避免“過往數(shù)據(jù)”本身造成的缺陷。一個(gè)公司過去10年男員工工資比女員工高，有可能源自某個(gè)高層的性別歧視；智能篩選卻能把對(duì)于此群體的偏見刻印在對(duì)于個(gè)體的判斷上，這跟人類的刻板印象如出一轍。問題在于，機(jī)器的抉擇往往被包裝上“科學(xué)”“客觀”的外衣，此類解決方案往往能夠因?yàn)槠淇萍监孱^而賣出高價(jià)，殊不知只是用“科學(xué)結(jié)果”對(duì)現(xiàn)有的偏見進(jìn)行的“大數(shù)據(jù)洗白”。

三、資本驅(qū)動(dòng)的數(shù)據(jù)世界

如果說“過往數(shù)據(jù)”的積累是機(jī)器作惡的基礎(chǔ)的話，那么資本力量的驅(qū)動(dòng)則是更深層次的原因。

如同開篇提到的那樣，2016 年美國大選期間，一家叫劍橋分析（Cambridge Analytica）的公司使用人工智能技術(shù)，針對(duì)任意一個(gè)潛在選民的“心理特征”投放付費(fèi)政治廣告；而投什么樣的廣告，取決于一個(gè)人的政治傾向、情緒特征、以及易受影響的程度。很多虛假的消息在特定人群中能夠迅速傳播、增加曝光，并潛移默化地影響人們的價(jià)值判斷。技術(shù)主使克里斯托弗·威利最近向媒體揭發(fā)了這個(gè)人工智能技術(shù)的“食糧”來源——以學(xué)術(shù)研究為名，有意攫取的 5000 多萬用戶數(shù)據(jù)。

劍橋分析CEO亞歷山大·尼克斯（Alexander Nix）。圖片來源：wikipedia

劍橋分析并不是一個(gè)孤例。澳洲一個(gè) Facebook 的廣告客戶透露，F(xiàn)acebook 的人工智能會(huì)分析其用戶特征和所發(fā)的內(nèi)容，給出諸如“有不安全感的年輕人”“抑郁、壓力大”等標(biāo)簽，然后有針對(duì)性地投放游戲、癮品和甚至虛假交友網(wǎng)站的廣告，從中獲取巨大利益。

即使不存在數(shù)據(jù)泄露問題，對(duì)用戶數(shù)據(jù)的所謂“智能挖掘”也很容易游走在“合規(guī)”但“有違公平”的邊緣。例如，電商能夠根據(jù)一個(gè)人的消費(fèi)習(xí)慣和消費(fèi)能力的計(jì)算，對(duì)某個(gè)人進(jìn)行針對(duì)的、精密的價(jià)格歧視。購買同樣的商品，用 iPhone X 手機(jī)的用戶很可能會(huì)比用安卓“千元機(jī)”的用戶付更多的價(jià)錢，因?yàn)樗麄?ldquo;傾向于對(duì)價(jià)格不敏感”。而我們所經(jīng)常談?wù)摰?ldquo;大數(shù)據(jù)殺熟”——比如攜程老用戶訂旅館的價(jià)格會(huì)更高——也建立在用戶行為數(shù)據(jù)的基礎(chǔ)上。

數(shù)據(jù)的收集本身也值得商榷。前百度人工智能首席科學(xué)家吳恩達(dá)（Andrew Ng）就曾公開表示，大公司的產(chǎn)品常常不是為了收入而做，而是為了用戶的數(shù)據(jù)而做；在某一個(gè)產(chǎn)品上收集的數(shù)據(jù)，會(huì)用于在另一個(gè)產(chǎn)品上獲利。在智能面前，沒有所謂的個(gè)人隱私和行蹤，也很難確定數(shù)據(jù)收集的邊界在哪里，尤其是個(gè)人隱私與公共信息、主動(dòng)提供與被動(dòng)提供的邊界。

總而言之，在以商業(yè)利益為目標(biāo)的人工智能眼里，并沒有“人”或者“用戶”的概念，一切都是可以利用的數(shù)據(jù)。劍橋大學(xué)互聯(lián)網(wǎng)與社會(huì)研究中心教授朔沙娜·祖博夫?qū)⑦@種人工智能和資本“合體”的現(xiàn)狀，稱之為“監(jiān)控資本主義”（Surveillance Capitalism）——在大數(shù)據(jù)和人工智能的協(xié)助下，通過對(duì)每個(gè)人的監(jiān)控和信息的榨取，實(shí)現(xiàn)資本的最大化。

業(yè)界對(duì)此的態(tài)度很曖昧。AI 作為當(dāng)下最熱門、來錢最快的行當(dāng)之一，這些動(dòng)輒年薪50萬美元的工程師很少得閑來思考“形而上”的問題。 一位不愿具名的研究人員在與我的微信私聊中表達(dá)了他的“個(gè)人看法”：“現(xiàn)在的技術(shù)離‘通用人工智能’還很遠(yuǎn)，對(duì)社會(huì)倫理方面的影響沒有那么大，更多還是從繁瑣的重復(fù)勞動(dòng)中解脫出來。”

作者試圖找到行業(yè)內(nèi)人士對(duì)此評(píng)論，谷歌（中國）和百度自動(dòng)駕駛部門的人工智能相關(guān)人員均表示，探討 AI 的社會(huì)問題，牽涉到公司利益和形象，比較敏感，不便評(píng)論。

“人工智能作為一個(gè)工具，如何使用，目前來看決定權(quán)依然在人。”俞揚(yáng)說道 ，“系統(tǒng)的設(shè)計(jì)者和商業(yè)（應(yīng)用）的提供人員需要對(duì)此負(fù)責(zé)。”

如何負(fù)責(zé)？這或許需要我們正視人工智能對(duì)整個(gè)社會(huì)關(guān)系的挑戰(zhàn)。

四、人工智能作惡之后

2018年3月 19 日，一輛自動(dòng)駕駛的優(yōu)步（Uber）在美國亞利桑那州惹上了麻煩。面對(duì)路中出現(xiàn)的一個(gè)推著自行車的女性，這輛車速 38 mph（約61km/h）的沃爾沃在昏暗的光線條件下并沒有減速，徑直撞了上去，受害者被送往醫(yī)院之后不治身亡。這是自動(dòng)駕駛第一例行人致死的事故。

電視臺(tái)對(duì)自動(dòng)駕駛優(yōu)步車禍的報(bào)道。圖片來源：abc電視臺(tái)

事故發(fā)生之后，有不少人將矛頭指向了自動(dòng)駕駛的人工智能是否足夠安全上，或者呼吁優(yōu)步禁止自動(dòng)駕駛。然而更關(guān)鍵的問題在于，亞利桑那有著全美國幾乎最開放的自動(dòng)駕駛政策，事故發(fā)生地坦佩市（Tempe）是實(shí)行自動(dòng)駕駛最火的“試驗(yàn)田”之一；事故所在的街區(qū)早已做過路線測試，并被自動(dòng)駕駛的智能采納。但是在事故發(fā)生之后，對(duì)于責(zé)任的認(rèn)定依然遇到了困難。

因?yàn)槿说氖韬鲈斐傻能嚨湐?shù)不勝數(shù)，人們?cè)缫蚜?xí)慣了如何處理、怎樣追責(zé)；然而機(jī)器出錯(cuò)了之后，人們忽然手足無措。人工智能會(huì)出錯(cuò)嗎？當(dāng)然會(huì)。只是我們?cè)谶@個(gè)問題上一直缺乏認(rèn)知。就如同上文提到的“隱性歧視”，深度學(xué)習(xí)的“黑箱”，現(xiàn)有的法律法規(guī)很難對(duì)這些錯(cuò)誤進(jìn)行追究，因?yàn)椴灰f普通人，就連技術(shù)人員也很難找出出錯(cuò)的源頭。

當(dāng)人工智能的決策在人類社會(huì)中越來越重要時(shí)，我們也不得不考慮，智能為什么會(huì)犯錯(cuò)，犯錯(cuò)了怎么辦；若要讓智能擺脫被商業(yè)或者政治目的支使的工具，真正成為人類的“伙伴”，需要怎么監(jiān)管、如何教育，才能讓人工智能“不作惡”。

人工智能的監(jiān)管問題亟待解決。圖片來源：Getting Smart

對(duì)此，現(xiàn)有的法律框架內(nèi)很難有清晰的、可操作的實(shí)施方案。歐盟率先在數(shù)據(jù)和算法安全領(lǐng)域做出了立法的嘗試，2018年5月即將生效的新法規(guī)規(guī)定，商業(yè)公司有責(zé)任公開“影響個(gè)人的重大決策”是否由機(jī)器自動(dòng)做出，且做出的決策必須要“可以解釋”（explainable）。但法條并沒有規(guī)定怎么解釋，以及細(xì)到什么程度的解釋是可以接受的。

另外一個(gè)重要的問題是，讓機(jī)器求真求善，需要人類自己直面決策中的黑暗角落。在 Atari 游戲智能的測試中，游戲中的人工智能 bot 可以用最快的速度找到漏洞開始作弊，而游戲玩家又何嘗不是呢？不管是帶有歧視的語義分析，針對(duì)少數(shù)族裔進(jìn)行的“智能監(jiān)視”和跟蹤，或者把已婚未育女性的簡歷扔掉的智能簡歷篩選，都長期以各種形式存在于人類社會(huì)中。

人工智能不是一個(gè)可預(yù)測的、完美的理性機(jī)器，它會(huì)擁有人類可能擁有的道德缺陷，受制于人們使用的目標(biāo)和評(píng)估體系。至少目前，機(jī)器依然是人類實(shí)然世界的反應(yīng)，而不是“應(yīng)然世界”的指導(dǎo)和先驅(qū)。對(duì)機(jī)器的訓(xùn)練同樣少不了對(duì)人性和社會(huì)本身的審視——誰在使用，為了什么而使用，在我們的世界中扮演著怎樣的角色？數(shù)據(jù)是誰給的，訓(xùn)練的目標(biāo)是誰定的？我們期望中的機(jī)器，會(huì)繼承我們自己的善惡嗎？

谷歌中國人工智慧和機(jī)器學(xué)習(xí)首席科學(xué)家李飛飛認(rèn)為，要讓機(jī)器“不作惡”，人工智能的開發(fā)需要有人本關(guān)懷。“AI 需要反映我們?nèi)祟愔悄苤懈顚拥牟糠郑?rdquo;李飛飛在《紐約時(shí)報(bào)》的專欄中寫道，“要讓機(jī)器能全面地感知人類思維……知道人類需要什么。”她認(rèn)為，這已經(jīng)超越了單純計(jì)算機(jī)科學(xué)的領(lǐng)域，而需要心理學(xué)、認(rèn)知科學(xué)乃至社會(huì)學(xué)的參與。

未來，人工智能進(jìn)入更多的領(lǐng)域、發(fā)揮更強(qiáng)的功能，是無可爭辯的事實(shí)。然而，我們的生產(chǎn)關(guān)系能否適應(yīng)人工智能帶來的生產(chǎn)力，這句馬克思政治經(jīng)濟(jì)學(xué)的基本原則值得我們認(rèn)真思考一番。我們并不想看到未來的“機(jī)器暴政”將我們的社會(huì)綁在既有的偏見、秩序和資本操縱中。