2020年6月9日,伟德这个平台怎么样大數據和人工智能法律研究中心成功舉辦了“大數據和人工智能法律前沿問題”系列講座第十期。本場講座以“《黑鏡》中的社會信用評分”為主題,是“科幻與法律專題”系列講座的第二場。
本場講座的主講人為上海交通大學凱原伟德这个平台怎么样教授、交大人類倫理委員會委員鄭戈老師,鄭戈老師近年來專攻人工智能、區塊鍊和基因工程等前沿科技領域的法律和倫理研究,此次講座主題便是結合科技倫理熱劇《黑鏡》,讨論近期因健康碼、支付寶/微信信用分而飽受關注的社會信用評分制度。中國人民大學伟德这个平台怎么样未來法治研究院副教授、副院長丁曉東老師,清華大學伟德这个平台怎么样副教授、清華大學智能法治研究院副院長劉晗老師,上海師範大學法政學院副研究員吳玄老師,作為本場講座的與談嘉賓。研究中心主任沈偉偉老師擔任本場講座主持人。本次講座通過線上方式展開,吸引了将近兩百名聽衆。
主講環節
講座一開始,鄭戈老師首先從人的社會屬性出發,來闡明現代社會評價機制的重要性。結合社會學家戈夫曼、莫斯、福柯的研究,鄭戈老師分析了權利本位的法律觀試圖将個人理解為孤零零地面對整個世界的個體,但我們個人身份的認同實際上是由我們想讓别人如何看待自己以及我們如何向别人呈現自己決定的。在《黑鏡》中,個人生活在智能算法所營造的“強化現實”中,通過人與人之間的虛拟交往形成自己的社會身份。每個人都戴着植入眼内的智能眼鏡,其中的算法與智能手機和其他可攜帶智能設備實時同步,使得個人通過以顯示屏為媒介的自我呈現和再現來經曆社會世界,而這個顯示屏及其背後的算法會給每個人一個從0到5的分數。分數越高,一個人的社會地位越高,越能享受到租車、租房、出行、找工作、交友、選擇婚配對象等方面的折扣和便利。而無論是劇中的自拍,還是我們當下的發朋友圈,都是這種評分文化的日常驅動機制。而劇中女主角故事所呈現的,恰恰就是一位“屌絲之上,名媛未滿”的4.2分這一糾結的生存狀态。
接着,鄭戈老師闡述了隐私權的概念及其演變。自十九世紀末布蘭戴斯著名的“隐私權”文章以來,傳統的隐私權概念已拓展為“獨處、親密關系、秘密和自治”四個向度。它以個人的人身為圓心劃出一個個同心圓,保護個人私人空間和私密關系的秘密性。但這種基于空間想象的秘密模式随着技術的發展而遭受了颠覆性挑戰——信息技術的發展使得個人主義的“隐私孤島”與現實脫節。在通信和電話時代,公與私的邊界是相對明确和固定的。但随着互聯網進入物聯網階段,即使在家裡獨處,個人所使用的手機,佩戴的電子設備,乃至家用電器均在随時随刻将個人同網絡鍊接起來,向服務器傳送着各種信息。1983年,德國憲法法院提出了“信息自主權”概念,多年之後又在2008年的判決中提出了“信息系統中的信任與整全性權利”。再之後2018年,歐盟GDPR将個人數據定義為“關于任何已被識别出(identified)或者可被識别出(identifiable)的自然人的任何信息”。該條例強化了個人對涉及自身的個人數據的自主控制權,同時,個人數據具有可攜帶性,數據主體可以将個人數據從一個平台完整地帶到另一個平台,平台服務商不得施加不合理的限制。為了使隐私權和個人數據保護的成本降低,許多國家和地區也設立了專門的行政機構或法定獨立機構,以簡便快捷的程序來處理公民的隐私權訴求。
随後,鄭戈老師在社會治理層面闡述了社會信用評分問題。在人工智能時代,對人口和财産進行統計、認證、分類和評分是國家治理的基礎,其中的認證能力被學者稱為“國家基礎能力的基礎”。現代社會人、财、物的快速流動給認證帶來了很大的挑戰,同一個人在不同的場景會以不同的假名、行為方式和表達方式而出現,乃至有人戲稱“在互聯網上沒人知道你是一條狗。”但人工智能技術為互聯網時代的“編戶齊民”提供了新的技術手段,使“社會計算化”成為可能。所謂“社會的計算化”,是指随着互聯網的普及,越來越多的社會活動都通過互聯網進行,人類因此而在互聯網上留下海量而且相互關聯的數據足迹,基于這些數據足迹,大量原本不可追蹤、檢索、彙編、計量和運算的社會活動,變得可以追蹤、檢索、彙編、計量和運算。與過去由政府主導的認證工作不同,如今的社會計算化主要是由商業力量推動和控制的,這給治理工作帶來了新的問題。政府一方面需要與平台企業合作來獲取數據、購買産品和服務,另一方面又需要作為企業與消費者之間的中立第三方來對企業進行監管。而且政府獲取的數據質量和能力,并不一定比企業強。此外,機器學習也在很大程度上助力實現社會信用評分機制。機器學習的“推理”方式是基于統計學方法的歸納推理,目前的智能算法善于從海量數據中找出規律和模式。如果再由人工給不同的行為模式貼上标簽,比如反社會傾向、潛在恐怖主義分子或者政治上激進等等,就可以由機器來針對某種标簽所代表的人或行為進行監控、預測、甚至自動采取“行動”(比如斷網、斷電、列入某類服務的“黑名單”等等)。智能算法還可以根據平台用戶的搜索記錄、購物記錄、點贊記錄等等對用戶進行評分,授予不同的VIP等級和相應權限。而政府也可以利用政府信息平台上的可得信息來對個人進行社會信用評級,确定需要重點監控的對象,甚至剝奪某些失信者的特定民事權利和自由(比如乘坐飛機動車)。
階層固化是當代社會面臨的首要社會問題之一,鄭戈老師認為,“高端人口”不僅壟斷着資本,而且日益壟斷着社會資本、文化資本乃至文化的再生産機制(教育)。大數據時代的來臨強化着這種壟斷,使社會流動日益困難。由于人認識到自己的局限性,所以在設計規則的時候所考慮的都是所謂常人标準,即以具有中等智力和體力水平的正常人作為規則可行性的判斷标準。而且,為了形成穩定的社會秩序,法律往往還會設置比常人标準更低一些的安全線。從這個意義上講,法律是一種保守的社會力量,不以滿足具有創新能力的人士的追求“更快、更高、更好”的野心為目的。在技術發展和社會-經濟結構變化緩慢的農業社會和早期工業化社會,這種保守傾向使法律發揮了很好的維持社會穩定的作用。但在人工智能時代,它卻使法律滞後于技術和經濟的發展,使那些把握先機的人獲得了巨大的邊際回報。比如,互聯網金融和電子商務在中國的迅猛發展就是在相關法律缺位的情況下發生的,等到立法者開始制定規則來規範這個領域,法律所約束的隻是後來者,并且自然地鞏固了先占者的壟斷地位。同時,先占者又利用已經積累起來的經濟、技術和資源(數據)優勢開始搶占未被法律規制的新領域。如此層層遞進,最終使得循規蹈矩、永遠在法律規定的範圍内活動的人們與他們之間的差距越來越大。
在現代社會,個人也日益成為量化的自我。個人臉上戴着谷歌眼鏡,手上拿着蘋果手機,手腕上戴着蘋果手表或Fitbit手環,腳上穿着耐克智能運動鞋,大部分醒着的時間都在上網,即使在沒有上網的時候,可穿戴設備們也在上網,把你的位置、運動狀态乃至心跳、脈搏都傳送到某個服務器。個體成了一個個量化的自我,一個被設備和網絡監控、測量和管理的人。人們生活在一個智慧城市,可能感到生活極其便利,然而總覺得有哪裡不對。因為你經常接到陌生人的電話,他們了解你的個人信息,并向你推銷量身定制的産品。你生活中不願意被人知道的事情有時突然出現在網上,被陌生人和熟人圍觀。這一切之所以可能,是因為互聯網信息技術已經發展到“大數據”和“物聯網”時代。連接到因特網的不再隻是個人電腦和服務器,而是各種各樣的物品,小到智能手環,大到整個住宅。這些物品會把測度到的相關數據通過網絡上傳到存儲裝置。而雲存儲和雲計算的出現又大大降低了存儲和處理數據的成本。
上述的種種變革正在沖擊着現有的法律概念和法律思維方式,呼喚着法律和規制上的範式轉換。鄭戈老師指出,迄今為止的整個法律概念體系都起源于農業社會,工業化和城市化雖然帶來了一些概念和原則變化,但改變也是局部的。法律總體上還是假定責任源自于過錯,過錯損害了法律确定要保護的權利和利益,導緻了損害結果,有損害就要有法律救濟。基于這種原理,法律總是滞後于損害的,隻有當行為造成了實際損害之後,法律才能介入,介入的目的也是恢複此前的狀态。互聯網的出現和普及改變了人們之間的交流和互動方式,而大數據技術的發展則使互聯網的潛能發揮到了一個新的量級。大數據科技與認知科學和人工智能的結合使行為主義很可能變為明日黃花。預測性和引導性數據分析可以通過個人化的識别、分析和幹預“植入”意向和行為動機,從而改變法律的作用場域。從法律的角度看,大數據改變着個人與政府、個人與企業、個人與個人的權力關系格局,挑戰着法律回應社會問題的方式。第一,個人意圖的邊界以及相應的主觀過錯概念變得模糊不清。第二,數據的實際占有者與使用者之間的界限也越來越難以判定。第三,正因為如此,過錯的判斷越來越困難,當明顯的損害結果發生後,要追溯到最初的過錯,往往需要經過無數個環節,每一個環節上都可能産生“蝴蝶效應”,幾何級數地放大損害結果。第四,過錯與損害結果之間的因果關系越來越難以确定。由于數據傳播渠道的多元性和複雜性,判定因果關系越來越不可能。第五,大數據存儲和處理使得政府和其他大數據擁有者能夠更準确地作出預測,從而防患于未然,采取非懲罰性的幹預措施改變事情的發展軌迹。第六,最重要的是,大數據技術的發展正在使孔德在一個半世紀前試圖建立的“社會物理學”成為可能。
鄭戈老師最後得出結論,算力是當下社會最常見的一種權力類型,具有遍及性、滲透性、不可見性等特征。傳統的公私法分野和權利保護模式已不足以馴服算力,大數據和人工智能時代的來臨,呼喚新的法律和治理模式。鄭戈老師最後也給大家呈現了幾個信用評分的場景限定型應用方案方面的典型案例。首先是分布式信用評分,如:乘客與出租車司機之間的互評;餐廳客戶與服務員之間的互評。這些互評,隻影響客戶和商品/服務提供着在特定平台上的信用,而不影響該場景之外的社會信用評分。其次是集中式信用評分,比如金融征信方面的中國人民銀行征信中心,企業信用方面的國家企業信用信息公示系統和北京市企業信用信息網,社會信用方面的中國信用網、中國執行信息公開網和聯合懲戒機制,以及健康信息方面的健康碼系統。
與談環節
在與談中,丁曉東老師首先從數據和隐私方面談了自己的見解。丁老師認為,評分機制其實一直存在,朋友圈點贊便是一種社會化評分機制,而社會化評分實質上即是一種信用的傳遞。在社會化評分當中,嚴格的隐私保護已經成為社會共識,但也需要認識到,人們既有保護隐私的渴求,也存在獲取更多信息的渴望。就像阿倫特所說的,隐私其實是表達的是一種匮乏,因為在古希臘的含義裡面是覺得公共生活比起私人生活具有意義。因此,個人信息保護與流通邊界地劃定,是一個值得關注的重要問題。正如人們既有被人了解的渴望,同時也不願意被人了解過多信息而受到支配,同樣在互聯網環境中,人們一方面不希望商家了解自身的大量信息,另一方面又希望享受大數據給生活帶來的便利。比如同學們大一選課的時候,同學們希望看看哪個老師課最好,希望選到像戈叔這樣的好老師,但是其實同學們是一無所知的;對戈叔來說一樣,面對大一新生,他其實是一無所知的。這個例子體現了信息自由流通和個人信息保護相互之間的緊張關系。在某些情況下,可能并非社會評分機制存在問題,而是傳統的社會評分機制在現代社會中還有待進一步完善,法律也尚未及時對其進行有效規制。時代在變,社會評分機制同樣需要做出調整和改變。接着,丁老師就算法對法律的挑戰,提出了自己的兩點思考。如果說機器人的算法是一個黑箱,那麼人腦是否也是一種黑箱?而人之為人,究竟是因為純粹的理性還是因為包含了各種情感因素的主觀意志?
劉晗老師首先接續了丁曉東老師有關人的本質這一問題。劉晗老師認為,某種程度上,人的本質就是社會評價,八卦便是社會評價的一種表現形式。傳統社會中,社會評價通過口耳相傳,而在現代社會而通過平台采集數據後形成的用戶畫像表現出來。據此,劉老師提出了一個“高清社會”的概念,它是相對于傳統“低清社會”而言,大數據環境下,人的行為能夠更加輕易的被采集、上傳和分析,在大數據中,個體的行為基本無處躲藏,仿佛高清電影般可以被還原到具體細節。傳統社會中,關于人的社會評價總有一個來自組織的客觀标準,而在現代社會,個體的社會評價來自于形形色色的網絡平台和平台背後的算法,人的存在愈發依賴于這種平台和算法中形成的社會評價。這就引出了和法律直接相關的、鄭戈老師指出的困境:在社會信用評分下的“高清社會”中,傳統的法律思維受到沖擊和挑戰。第一,在傳統“低清社會”中,法律看到的可能是一個模模糊糊的抽象人,“法律面前人人平等”,更容易保證法律的公平性,但是在“高清社會”,人的具體細節無處躲藏,法律的公平是否能夠得到保證?第二,在“高清社會”中,通過算法加持,法律的針對性更強,針對某些群體的偏見增強(比如機票購買中的價格歧視),這就使得“法律的普遍性”理念受到挑戰。算法背後是否真的依照數理邏輯運行?是否存在人的意志因素進行操控?第三,“高清社會”使得正義女神摘掉那層蒙眼布,而蒙眼布恰恰是正義女神作出公正裁決的要件。那麼,留給大家的問題是,“高清社會”中,法律公正是否還有可能?
吳玄老師認為,個人的社會評價體系包括道德标準和生活習慣等諸多方面。個人處于社會交往中,社會評價無可避免,但這種評價往往是隐形的,個體無法得知其影響究竟有多深。事實上,早在19世紀末,美國已經逐步建立起平台為主體的商業評價體系,以方便商業合作,即使是美國首富,如果不主動融入社會信用評價體系,在商業活動中也寸步難行。換言之,整個我們今天所讨論的社會信用評價體系,是跟商業社會的運作密不可分的。另一方面,我國現在大力推動征信體系的建設,其背後的動因在于,失信懲戒相對于法律來說也是一種社會治理的軟力量,社會中的有些數據和信息也隻有具備主體性優勢的政府可以獲得,這種政府公共數據的再利用方式,如果管理得當,可以有效發揮大數據的潛力。當然,這種情況下如何對政府權力進行有效規制從而保證政府更好履行職責,也成為值得關注的重點問題。
結語
本期講座繼續透過科幻作品中呈現的社會現象,分析現實中各國在大數據和人工智能時代面臨的社會治理問題。如各位老師均認同的,《黑鏡》已經超越了科幻片的範疇,是一部超現實主義、反烏托邦作品,其中幾乎每一個場景都可以我們的生活中找到對應物。通過《急轉直下/Nosedive》故事情節,各位老師為聽衆們呈現了一場精彩的讨論,從人的自我意識、社會屬性到當下社會結構面臨的變化、各國的治理實踐等多個視角,反思算法控制之下個人社會評價的問題,并相應地引發了對法律和社會治理模式未來出路的讨論。本場講座延續了科幻照進現實的風格,相信鄭戈、丁曉東、劉晗、吳玄老師厚積薄發的講授和深入淺出的交流将為聽衆們對“社會信用評分”這個時下熱門議題産生帶來更多的思考和共鳴。