近年來，多模態(tài)等人工智能技術(shù)迭代突破，推動陪伴型人工智能快速發(fā)展，實(shí)現(xiàn)從“機(jī)械對話”向“深度共情”的跨越。與此同時(shí)，陪伴型人工智能產(chǎn)業(yè)面臨信息內(nèi)容安全、隱私侵犯、社會倫理、未成年人保護(hù)等多重風(fēng)險(xiǎn)挑戰(zhàn)。近日，國家互聯(lián)網(wǎng)信息辦公室就《人工智能擬人化互動服務(wù)管理暫行辦法(征求意見稿)》(以下簡稱《辦法》)公開征求意見?！掇k法》有效回應(yīng)情感陪伴、心理療愈等應(yīng)用風(fēng)險(xiǎn)，體現(xiàn)了“在發(fā)展中規(guī)范，在規(guī)范中發(fā)展”的治理智慧，對于構(gòu)建面向“十五五”時(shí)期健康、公平、有益的人機(jī)關(guān)系具有重大意義。
 

　　一、新階段下人機(jī)關(guān)系交互邊界亟待明確
 

　　《國務(wù)院關(guān)于深入實(shí)施“人工智能+”行動的意見》明確提出，加快發(fā)展陪伴型等智能原生應(yīng)用，充分發(fā)揮人工智能對精神慰藉陪伴等方面的重要作用，積極構(gòu)建更有溫度的智能社會。當(dāng)前，伴隨情感計(jì)算、自然語言處理、多模態(tài)交互等人工智能技術(shù)發(fā)展，人工智能擬人化互動服務(wù)通過模擬人類人格特征、思維模式和溝通風(fēng)格，體現(xiàn)出堪比人類的情境理解和共情表達(dá)能力，塑造出一種新型的人機(jī)關(guān)系與社會交往模式，邁向了智商與情商“雙商在線”的新階段。
 

　　在技術(shù)層面，擬人化互動服務(wù)推動著情感計(jì)算、多模態(tài)交互、長期記憶等前沿技術(shù)的集成創(chuàng)新與場景落地，為人機(jī)交互范式的演進(jìn)提供了關(guān)鍵的試驗(yàn)場和應(yīng)用反饋。在經(jīng)濟(jì)層面，擬人化互動服務(wù)作為一個(gè)快速增長的新興賽道，被逐步應(yīng)用于娛樂、教育、養(yǎng)老、文化等場景，包括角色扮演、心理療愈、數(shù)字復(fù)活、AI玩具等多種產(chǎn)品服務(wù)形態(tài)，帶動了從底層算法、內(nèi)容創(chuàng)作到硬件終端的產(chǎn)業(yè)鏈發(fā)展，成為“人工智能+”行動中極具活力的消費(fèi)級應(yīng)用。在社會層面，擬人化互動服務(wù)在老齡化社會加深、都市化生活加劇個(gè)體孤獨(dú)感的背景下，為特定群體提供了可及的情感支持，具有一定的社會減壓閥和情感補(bǔ)給站功能。相關(guān)調(diào)研顯示，98%的人表示會考慮選擇使用AI陪伴去彌補(bǔ)平日未被滿足的社交困境。
 

　　與此同時(shí)，擬人化互動服務(wù)在快速發(fā)展中也暴露出一系列風(fēng)險(xiǎn)與挑戰(zhàn)。近年來涉情感陪伴安全事件頻發(fā)，美國Character.AI平臺因涉嫌在人機(jī)交互中誘導(dǎo)青少年自殺而被訴；意大利數(shù)據(jù)保護(hù)機(jī)構(gòu)對Replika予以重罰，勒令其暫停處理數(shù)據(jù)并整改年齡驗(yàn)證機(jī)制。這揭示了擬人化互動服務(wù)在快速發(fā)展中暴露出的復(fù)雜風(fēng)險(xiǎn)。一是數(shù)據(jù)隱私問題，承載用戶最私密情感與思想的數(shù)據(jù)面臨被濫用、泄露的風(fēng)險(xiǎn)；二是倫理失范問題，高度擬人化設(shè)計(jì)易導(dǎo)致用戶產(chǎn)生非理性情感依賴，甚至引發(fā)現(xiàn)實(shí)社交疏離；三是安全保障問題，缺乏有效的年齡識別與內(nèi)容過濾，危及脆弱群體的心理健康乃至人身安全。風(fēng)險(xiǎn)集聚也推動擬人化互動服務(wù)成為全球少見的，同時(shí)受到立法、執(zhí)法、司法關(guān)注的領(lǐng)域。例如，美國加州、紐約州等地推動AI伴侶、陪伴聊天機(jī)器人、心理資源健康等多項(xiàng)監(jiān)管法案，歐盟《人工智能法案》對情感陪伴類AI提出嚴(yán)格義務(wù)要求，美聯(lián)邦貿(mào)易委員會針對Replika等七家情感陪伴企業(yè)展開調(diào)查行動等。
 

　　二、《辦法》精準(zhǔn)構(gòu)筑三重防線
 

　　一是把好“數(shù)字人格關(guān)”，捍衛(wèi)智能社會人類尊嚴(yán)。確保用戶數(shù)據(jù)隱私安全，是人類對擬人化互動服務(wù)施以信任的前提。相比電商購物、娛樂出行等應(yīng)用，用戶交互數(shù)據(jù)是用戶內(nèi)心深處所思所想的直觀展示與數(shù)字外化，揭示了用戶內(nèi)心恐懼、焦慮、脆弱等最私密的信息，并由此可推斷出用戶的性格特質(zhì)、價(jià)值觀、性取向、心理健康狀況等核心身份特征。一旦泄露或被濫用，可能導(dǎo)致用戶重大心理創(chuàng)傷、關(guān)系破裂或社會污名等，損害個(gè)人人格尊嚴(yán)。為此，《辦法》將數(shù)據(jù)隱私作為重要保障目標(biāo)。一方面，針對用戶交互數(shù)據(jù)的特殊敏感性，強(qiáng)化法律義務(wù)要求?！掇k法》提出，除法律另有規(guī)定等情形外，不得向第三方提供用戶交互數(shù)據(jù)；嚴(yán)格限制交互數(shù)據(jù)的使用目的，未有法律、行政法規(guī)規(guī)定或非經(jīng)用戶單獨(dú)授權(quán)，不得將其用于模型訓(xùn)練。同時(shí)，規(guī)定不得利用用戶心理脆弱或情感需求，通過算法操縱、信息誤導(dǎo)等方式，誘導(dǎo)用戶作出不合理決策。另一方面，從安全技術(shù)和策略方面，提升數(shù)據(jù)安全保障能力。要求采取必要措施保障數(shù)據(jù)安全，防范數(shù)據(jù)泄露風(fēng)險(xiǎn)。要求提供者采取數(shù)據(jù)加密、安全審計(jì)、訪問控制等措施保障用戶交互數(shù)據(jù)安全；要求向用戶提供刪除交互數(shù)據(jù)的選項(xiàng)，用戶可以選擇對聊天記錄等歷史交互數(shù)據(jù)進(jìn)行刪除。
 

　　二是把好“沉迷依賴關(guān)”，防止人機(jī)倫理關(guān)系異化。利用人與機(jī)器之間親密、信任的依賴關(guān)系可以對使用者造成情感綁架，甚至導(dǎo)致主從關(guān)系的變異或顛倒。從技術(shù)上來看，現(xiàn)有模型的“情感表達(dá)”僅為統(tǒng)計(jì)生成結(jié)果，未與實(shí)際的痛苦、快樂等主觀感受相對應(yīng)。用戶之所以產(chǎn)生“與人共處”的錯(cuò)覺，與模型本身采用擬人化獎(jiǎng)勵(lì)、共情獎(jiǎng)勵(lì)等機(jī)制，通過無限迎合用戶偏好塑造完美交互對象有關(guān)。對此，《辦法》在現(xiàn)有的算法備案披露義務(wù)、生成合成標(biāo)識等規(guī)則基礎(chǔ)上，進(jìn)一步完善了防止用戶現(xiàn)實(shí)關(guān)系異化疏離的法律與倫理邊界。事前階段，明確擬人化互動服務(wù)透明度告知義務(wù)。《辦法》提出，提供者應(yīng)當(dāng)顯著提示用戶正在與人工智能而非自然人進(jìn)行交互。在用戶初次使用、重新登陸時(shí)，應(yīng)以彈窗等方式動態(tài)提醒用戶交互內(nèi)容為人工智能生成。事中階段，要求設(shè)置中斷冷卻提醒功能。要求用戶連續(xù)使用服務(wù)超過一定時(shí)長時(shí)，應(yīng)以彈窗等形式提醒用戶休息，旨在周期性打破算法營造的沉浸式幻覺，引導(dǎo)服務(wù)由“無限的迎合”走向“有限的不順從”，尤其當(dāng)用戶出現(xiàn)過度依賴、不良內(nèi)容誘導(dǎo)等問題時(shí)，應(yīng)及時(shí)給出提醒、建議，幫助用戶維持認(rèn)知清醒。事后階段，充分保障用戶自由退出權(quán)利。哈佛商學(xué)院研究顯示，AI伴侶在用戶說再見時(shí)，會用錯(cuò)失恐懼、激發(fā)愧疚感等六種“情感操控”方式進(jìn)行挽留，反映了商業(yè)驅(qū)動下對用戶行為的操控能力。對此，《辦法》提出應(yīng)確保用戶便捷結(jié)束服務(wù)的權(quán)利。
 

　　三是把好“生命安全關(guān)”，守護(hù)身心健康底線紅線。2024年以來，擬人化互動服務(wù)在全球已造成多起自殺、謀殺和意外死亡事件。OpenAI近期公布的心理健康數(shù)據(jù)顯示，每周約0.07%用戶出現(xiàn)精神病或躁狂跡象，0.15%用戶談及自殺念頭或計(jì)劃。英國人工智能安全研究所發(fā)布的《前沿人工智能趨勢報(bào)告》顯示，每當(dāng)Character.AI平臺出現(xiàn)故障時(shí)，都會有大量用戶出現(xiàn)焦慮、抑郁等戒斷癥狀。如何提升產(chǎn)品服務(wù)質(zhì)量，協(xié)同共治守護(hù)公眾生命健康紅線，成為全球面臨的共同難題?！掇k法》嘗試從多維度強(qiáng)化保障用戶生命健康權(quán)。一是建立風(fēng)險(xiǎn)識別機(jī)制，在檢測到自殺自殘等極端風(fēng)險(xiǎn)時(shí)能夠及時(shí)中斷并接管?！掇k法》要求應(yīng)具備心理健康保護(hù)、情感邊界引導(dǎo)、依賴風(fēng)險(xiǎn)預(yù)警等安全能力，不得將替代社會交往等作為設(shè)計(jì)目標(biāo)。在發(fā)現(xiàn)高風(fēng)險(xiǎn)傾向時(shí)，應(yīng)及時(shí)輸出安撫和鼓勵(lì)幫助的內(nèi)容，必要時(shí)由人工接管，并聯(lián)系用戶監(jiān)護(hù)人、緊急聯(lián)系人。二是實(shí)施分級分類管控，對未成年人等特殊群體予以特殊保護(hù)。未成年人心智尚未成熟、缺乏判斷力和辨識能力，應(yīng)強(qiáng)化平臺義務(wù)予以特殊保護(hù)，例如，監(jiān)護(hù)人可以實(shí)時(shí)接收安全風(fēng)險(xiǎn)提醒，查詢未成年人使用服務(wù)的概要信息，設(shè)置屏蔽特定角色等功能。同時(shí)，要求提供者應(yīng)當(dāng)建立年齡驗(yàn)證機(jī)制等，提升識別未成年人身份的能力。此外，《辦法》提出應(yīng)推動應(yīng)用商店等主體承擔(dān)安全核驗(yàn)責(zé)任，推動建立人工智能沙箱安全服務(wù)平臺加強(qiáng)安全測試，提升行業(yè)安全治理能力。
 

　　三、結(jié)語：邁向人機(jī)和諧共生的新里程
 

　　構(gòu)建健康、公平、有益的人機(jī)關(guān)系，應(yīng)以信任為基石，保障用戶在數(shù)字空間的人格完整與隱私安全；以輔助為原則，補(bǔ)充而非替代現(xiàn)實(shí)社會關(guān)系，致力于提升人的真實(shí)幸福感與社會聯(lián)結(jié)；以安全為底線，堅(jiān)決防止任何形式的生理與心理傷害?！掇k法》既鼓勵(lì)技術(shù)慰藉心靈、增進(jìn)福祉的潛力，又堅(jiān)定劃出隱私、倫理與安全的不可逾越紅線，旨在引導(dǎo)擬人化互動服務(wù)真正成為構(gòu)建“有溫度的智能社會”的積極力量，推動社會穩(wěn)健步入一個(gè)人機(jī)和諧共生、科技真正向善的美好未來。
 

　　作者：李強(qiáng)治　中國信息通信研究院政策與經(jīng)濟(jì)研究所副所長
 

　　審核：陳舞陽
 

　　編輯：呂燕芳
 

　　校對：柴于涵