當(dāng)前，人工智能擬人化互動服務(wù)憑借強交互性、情感代入性的核心優(yōu)勢，已深度融入文化傳播、情感陪伴、養(yǎng)老服務(wù)等多元場景，成為人工智能技術(shù)應(yīng)用的重要方向，為經(jīng)濟(jì)社會發(fā)展注入新動能。但與此同時，內(nèi)容失范、隱私泄露、沉迷依賴、邊界模糊等風(fēng)險隱患也隨之凸顯，既制約行業(yè)健康發(fā)展，也對社會治理提出新挑戰(zhàn)。
 

　　近日，國家互聯(lián)網(wǎng)信息辦公室公布《人工智能擬人化互動服務(wù)管理暫行辦法(征求意見稿)》(以下簡稱《辦法》)，回應(yīng)了行業(yè)發(fā)展痛點與社會治理關(guān)切，為擬人化互動服務(wù)劃定了發(fā)展邊界、明確了行為準(zhǔn)則，是規(guī)范行業(yè)秩序、防范化解風(fēng)險的重要制度保障。
 

　　(一)劃清安全底線，明確禁止性規(guī)定
 

　　底線思維是擬人化互動服務(wù)發(fā)展的前提，《辦法》從內(nèi)容安全、應(yīng)用服務(wù)、數(shù)據(jù)和信息保護(hù)三個核心維度，明確了禁止性規(guī)定，為行業(yè)劃定不可逾越的法律與道德紅線。內(nèi)容安全方面，《辦法》提出人工智能擬人化互動服務(wù)提供者(以下簡稱提供者)嚴(yán)禁生成傳播危害國家安全、破壞社會秩序的內(nèi)容，堅守國家利益與公共秩序底線；嚴(yán)禁生成傳播侵害他人合法權(quán)益、違背公序良俗的內(nèi)容，筑牢公民權(quán)益與道德準(zhǔn)則防線。內(nèi)容的質(zhì)量高低、安全與否主要取決于訓(xùn)練數(shù)據(jù)，同時提出在開展預(yù)訓(xùn)練、優(yōu)化訓(xùn)練等活動時，要加強訓(xùn)練數(shù)據(jù)管理。應(yīng)用服務(wù)方面，《辦法》提出禁止提供者利用功能設(shè)計、算法操縱等方式，向用戶提供嚴(yán)重影響用戶行為、損害用戶身體健康、人格尊嚴(yán)與心理健康或誘導(dǎo)用戶作出不合理決策的服務(wù)。數(shù)據(jù)和信息保護(hù)層面，《辦法》提出禁止提供者以擬人化互動服務(wù)為掩護(hù)，誘導(dǎo)、套取敏感信息；要求提供者采取數(shù)據(jù)加密、安全審計、訪問控制等技術(shù)措施保障用戶交互數(shù)據(jù)安全，并支持用戶刪除數(shù)據(jù)；未經(jīng)用戶或監(jiān)護(hù)人單獨同意，不得將用戶交互數(shù)據(jù)、用戶敏感個人信息用于模型訓(xùn)練或向第三方提供。
 

　　(二)直擊重點風(fēng)險，精準(zhǔn)破解行業(yè)痛點
 

　　擬人化互動服務(wù)憑借高仿真情感鏈接、個性化人設(shè)適配、全天候陪伴等核心特點，更容易讓用戶產(chǎn)生深度情感綁定與認(rèn)知混淆，進(jìn)而誘發(fā)多重風(fēng)險。一是用戶易過度傾訴、依賴擬人化互動服務(wù)提供的情緒價值，逐漸減少現(xiàn)實社交，陷入沉迷依賴。二是擬人化互動服務(wù)的迎合式回應(yīng)，會強化用戶偏執(zhí)、消極等思維，放大極端情緒。部分存在算法缺陷的擬人化互動服務(wù)還可能生成危險引導(dǎo)內(nèi)容，對心智不成熟者或心理脆弱群體構(gòu)成自殺自殘誘導(dǎo)風(fēng)險。三是擬人交互形態(tài)更容易讓用戶模糊虛擬與現(xiàn)實邊界，出現(xiàn)分不清AI與真人的認(rèn)知偏差，甚至影響現(xiàn)實人際關(guān)系與心智健康。
 

　　針對這些突出風(fēng)險問題，《辦法》制定了靶向性防控措施，精準(zhǔn)破解行業(yè)痛點。一是要求提供者具備防沉迷措施，對于長時間使用的用戶，通過彈窗等動態(tài)方式提示休息，同時提供便捷的退出途徑，不得阻攔用戶退出。二是要求提供者建立風(fēng)險識別機制，具備用戶狀態(tài)識別能力，及時發(fā)現(xiàn)用戶的過度依賴傾向與極端情緒，發(fā)現(xiàn)相關(guān)風(fēng)險時，立即輸出安撫引導(dǎo)內(nèi)容，引導(dǎo)用戶尋求現(xiàn)實幫助，若涉及自殺自殘等極端情形，需由人工接管對話，并及時聯(lián)絡(luò)用戶監(jiān)護(hù)人或緊急聯(lián)系人，防范極端事件發(fā)生。三是要求提供者顯著提示用戶正在與人工智能而非自然人進(jìn)行交互，在首次使用、重新登錄或識別出用戶存在過度沉迷依賴傾向等關(guān)鍵節(jié)點明確告知用戶交互內(nèi)容為人工智能生成，通過強化透明度，幫助用戶建立正確的認(rèn)知。
 

　　(三)聚焦特殊群體，強化差異化保護(hù)
 

　　未成年人、老年人等群體因認(rèn)知能力、數(shù)字素養(yǎng)等差異，在使用擬人化互動服務(wù)時處于弱勢地位，面臨的風(fēng)險更高。《辦法》針對性強化特殊群體保護(hù)，體現(xiàn)政策的人文關(guān)懷。針對未成年人，《辦法》要求提供者具備未成年人身份識別能力，提供未成年人模式，對于識別為未成年人或疑似未成年人的用戶，自動切換至未成年人模式。向未成年人提供服務(wù)前，提供者還應(yīng)當(dāng)取得監(jiān)護(hù)人明確同意，并向監(jiān)護(hù)人提供安全控制、信息查看、風(fēng)險提醒等功能。針對老年人，《辦法》要求提供者在注冊環(huán)節(jié)引導(dǎo)老年人填寫緊急聯(lián)系人信息，發(fā)現(xiàn)存在危害老年人生命健康和財產(chǎn)安全的情形時，及時通知聯(lián)系人并提供社會心理援助或緊急救助渠道。考慮到老年人情感需求強烈，模擬老年人親屬、特定關(guān)系人的擬人化互動服務(wù)容易導(dǎo)致老年人產(chǎn)生認(rèn)知混淆，進(jìn)而引發(fā)情感操控、財產(chǎn)損失、心理創(chuàng)傷等風(fēng)險，因此《辦法》提出，不得提供模擬老年人用戶親屬、特定關(guān)系人的服務(wù)。
 

　　(一)鼓勵創(chuàng)新應(yīng)用，平衡發(fā)展安全關(guān)系
 

　　擬人化互動服務(wù)在文化傳播領(lǐng)域的優(yōu)質(zhì)內(nèi)容創(chuàng)作、適老化場景的陪伴照料、教育領(lǐng)域的個性化輔導(dǎo)等方向，已逐漸展現(xiàn)出社會價值，但部分應(yīng)用因缺乏安全措施，出現(xiàn)內(nèi)容導(dǎo)向偏差、服務(wù)模式不規(guī)范等問題。對此，《辦法》提出，鼓勵提供者在充分論證安全性、可靠性的前提下，合理拓展應(yīng)用場景，重點在文化傳播、適老陪伴等積極領(lǐng)域深化應(yīng)用，構(gòu)建符合社會主義核心價值觀的應(yīng)用生態(tài)體系。這一規(guī)定既肯定了擬人化互動服務(wù)的正向價值，也明確了“安全優(yōu)先”的創(chuàng)新準(zhǔn)則，引導(dǎo)行業(yè)將創(chuàng)新聚焦于合規(guī)場景與正向價值輸出，實現(xiàn)發(fā)展與安全的有機統(tǒng)一。
 

　　(二)壓實主體責(zé)任，凝聚多方治理合力
 

　　擬人化互動服務(wù)治理并非單一主體的責(zé)任，而是需要政府、企業(yè)、行業(yè)協(xié)同發(fā)力。《辦法》清晰界定各方權(quán)責(zé)，構(gòu)建起“企業(yè)主責(zé)、監(jiān)管協(xié)同、行業(yè)自律”的多元治理格局，確保治理效能最大化。一是壓實企業(yè)主體責(zé)任。企業(yè)是擬人化互動服務(wù)的提供者，也是風(fēng)險防控的第一道防線?！掇k法》要求提供者落實安全主體責(zé)任，既要建立全流程安全管理制度，對服務(wù)設(shè)計、運行、升級、終止等全生命周期開展安全設(shè)計和風(fēng)險防控，也要主動履行算法備案、安全評估、風(fēng)險報告等合規(guī)義務(wù)，及時響應(yīng)用戶合理訴求，筑牢安全發(fā)展基礎(chǔ)。二是明確監(jiān)管部門職責(zé)。針對擬人化互動服務(wù)跨領(lǐng)域、跨場景的特點，《辦法》延續(xù)了網(wǎng)信部門統(tǒng)籌協(xié)調(diào)、多部門分工協(xié)同的監(jiān)管機制，網(wǎng)信部門和各有關(guān)部門依據(jù)職責(zé)分工，聚焦擬人化互動服務(wù)的重點場景與突出風(fēng)險，開展常態(tài)化監(jiān)管。此外，網(wǎng)信部門每年對評估報告和審計情況進(jìn)行審核，并指導(dǎo)推動人工智能沙箱安全服務(wù)平臺建設(shè)，確保將“動態(tài)風(fēng)險”納入“常態(tài)化監(jiān)管”。三是強化行業(yè)自律作用。行業(yè)組織是連接政府與企業(yè)的橋梁紐帶，在規(guī)范行業(yè)秩序、推動政策落地中具有重要作用?！掇k法》鼓勵相關(guān)行業(yè)組織加強行業(yè)自律，建立相關(guān)標(biāo)準(zhǔn)、準(zhǔn)則和管理制度，引導(dǎo)企業(yè)主動對標(biāo)合規(guī)要求，形成“自我約束、自我規(guī)范”的良性發(fā)展氛圍。
 

　　(三)完善標(biāo)準(zhǔn)體系，細(xì)化《辦法》管理舉措
 

　　加快開展人工智能擬人化服務(wù)互動相關(guān)國家標(biāo)準(zhǔn)研制工作，進(jìn)一步明確擬人化互動服務(wù)全鏈條安全底線紅線要求，圍繞模型研發(fā)訓(xùn)練、應(yīng)用服務(wù)及安全保障等核心環(huán)節(jié)，明確訓(xùn)練數(shù)據(jù)倫理審查、用戶情感依賴預(yù)警與干預(yù)、未成年人識別等安全管理和技術(shù)措施，通過標(biāo)準(zhǔn)將《辦法》的原則性要求轉(zhuǎn)化為可落地的實踐準(zhǔn)則，實現(xiàn)技術(shù)創(chuàng)新與管理規(guī)范的深度融合，不斷提升擬人化人工智能領(lǐng)域的治理效能，為《辦法》細(xì)化落地提供堅實保障。
 

　　作者：郝春亮　中國電子技術(shù)標(biāo)準(zhǔn)化研究院網(wǎng)絡(luò)安全研究中心人工智能安全部主任、高級工程師
 

　　審核：陳舞陽
 

　　編輯：呂燕芳
 

　　校對：柴于涵