隨著人工智能技術(shù)的深入發(fā)展和廣泛應(yīng)用，具備擬人化互動(dòng)能力的智能應(yīng)用日益普及，深刻改變著人們的交流方式和生活方式。從智能客服到虛擬陪伴，從教育輔導(dǎo)到心理咨詢(xún)，人工智能擬人化互動(dòng)服務(wù)已經(jīng)深度融入經(jīng)濟(jì)社會(huì)發(fā)展各領(lǐng)域。然而，技術(shù)進(jìn)步在帶來(lái)便利的同時(shí)，也引發(fā)了情感依賴(lài)、價(jià)值觀誤導(dǎo)、未成年人保護(hù)等新的風(fēng)險(xiǎn)挑戰(zhàn)?！度斯ぶ悄軘M人化互動(dòng)服務(wù)管理暫行辦法(征求意見(jiàn)稿)》(以下簡(jiǎn)稱(chēng)《辦法》)對(duì)擬人化互動(dòng)服務(wù)的安全提出明確要求，對(duì)于有效防范技術(shù)風(fēng)險(xiǎn)、切實(shí)保護(hù)用戶(hù)權(quán)益、促進(jìn)人工智能健康發(fā)展具有重要意義。
 

　　一、《辦法》有效銜接現(xiàn)有法規(guī)體系，積極回應(yīng)擬人化互動(dòng)服務(wù)新挑戰(zhàn)
 

　　《辦法》是我國(guó)人工智能治理體系的重要組成部分，是對(duì)現(xiàn)有治理架構(gòu)的進(jìn)一步完善和深化。《辦法》與《生成式人工智能服務(wù)管理暫行辦法》《人工智能生成合成內(nèi)容標(biāo)識(shí)辦法》等規(guī)章在治理思路上一脈相承、相互銜接，在治理對(duì)象和治理重點(diǎn)上各有側(cè)重、相互補(bǔ)充，共同構(gòu)建起覆蓋人工智能技術(shù)研發(fā)、應(yīng)用、傳播全流程的安全治理體系。
 

　　擬人化互動(dòng)服務(wù)作為人工智能技術(shù)應(yīng)用的新形態(tài)，具有鮮明的技術(shù)特征和顯著的風(fēng)險(xiǎn)特征。一是情感交互的深度性，不同于傳統(tǒng)的信息查詢(xún)、內(nèi)容生成等功能性服務(wù)，擬人化互動(dòng)服務(wù)通過(guò)算法模擬人類(lèi)情感反應(yīng)機(jī)制，能夠與用戶(hù)建立情感聯(lián)結(jié)，對(duì)用戶(hù)心理狀態(tài)和行為模式產(chǎn)生深層次影響。二是用戶(hù)關(guān)系的持續(xù)性，擬人化互動(dòng)服務(wù)往往涉及長(zhǎng)期性、高頻次的交互過(guò)程，用戶(hù)可能與人工智能系統(tǒng)建立類(lèi)似人際關(guān)系的情感紐帶，這種持續(xù)性互動(dòng)關(guān)系使得潛在風(fēng)險(xiǎn)不斷累積和放大。三是影響對(duì)象的脆弱性，未成年人處于認(rèn)知發(fā)展階段，老年人面臨數(shù)字鴻溝挑戰(zhàn)，這些群體在使用擬人化互動(dòng)服務(wù)時(shí)，更需要適當(dāng)?shù)囊龑?dǎo)和保護(hù)機(jī)制，以防止產(chǎn)生過(guò)度依賴(lài)。四是價(jià)值傳遞的隱蔽性，擬人化互動(dòng)服務(wù)在交互過(guò)程中往往較直接地輸出內(nèi)容，價(jià)值觀傳遞更加隱蔽和潛移默化，對(duì)用戶(hù)世界觀、人生觀、價(jià)值觀的影響更為深遠(yuǎn)。
 

　　二、《辦法》堅(jiān)持精準(zhǔn)施策，系統(tǒng)聚焦擬人化互動(dòng)服務(wù)重點(diǎn)特性與關(guān)鍵環(huán)節(jié)規(guī)范
 

　　《辦法》立足擬人化互動(dòng)服務(wù)的技術(shù)特性和應(yīng)用場(chǎng)景，從鼓勵(lì)創(chuàng)新應(yīng)用、強(qiáng)化安全設(shè)計(jì)、規(guī)范訓(xùn)練數(shù)據(jù)、建立風(fēng)險(xiǎn)識(shí)別、完善提示機(jī)制、探索沙箱監(jiān)管等關(guān)鍵方面入手，構(gòu)建起全鏈條、多層次、立體化的治理框架。
 

　　(一)堅(jiān)持正向引導(dǎo)與風(fēng)險(xiǎn)防范并重，推動(dòng)技術(shù)向善發(fā)展
 

　　《辦法》在明確安全底線的同時(shí)，積極鼓勵(lì)擬人化互動(dòng)服務(wù)在合理場(chǎng)景的創(chuàng)新應(yīng)用。一方面，鼓勵(lì)提供者在充分論證安全性、可靠性的前提下，合理拓展應(yīng)用場(chǎng)景，充分發(fā)揮技術(shù)優(yōu)勢(shì)服務(wù)經(jīng)濟(jì)社會(huì)發(fā)展。另一方面，明確劃定安全紅線，嚴(yán)禁開(kāi)展危害國(guó)家安全、破壞倫理道德的服務(wù)，嚴(yán)禁生成鼓勵(lì)、美化、暗示自殺自殘的內(nèi)容，嚴(yán)禁利用用戶(hù)心理脆弱狀態(tài)、通過(guò)算法操縱等方式誘導(dǎo)用戶(hù)作出不合理決策。這種“鼓勵(lì)什么、禁止什么”的雙向治理模式，突破了傳統(tǒng)的單純限制性監(jiān)管思路。通過(guò)正向激勵(lì)引導(dǎo)企業(yè)將技術(shù)能力投向真正有益于社會(huì)的應(yīng)用場(chǎng)景，同時(shí)通過(guò)底線約束防范技術(shù)能力被用于操控用戶(hù)心理利用脆弱性謀利，既為產(chǎn)業(yè)發(fā)展留足空間，又能夠有效防范技術(shù)異化風(fēng)險(xiǎn)。
 

　　(二)建立全生命周期安全管理制度，構(gòu)建立體化防護(hù)體系
 

　　《辦法》要求服務(wù)提供者建立覆蓋全流程的安全管理制度體系，涵蓋算法機(jī)制審核、科技倫理審查等多個(gè)關(guān)鍵環(huán)節(jié)，形成多維度的安全保障機(jī)制。特別強(qiáng)調(diào)提供者在設(shè)計(jì)、運(yùn)行、升級(jí)、終止服務(wù)等各個(gè)階段都應(yīng)落實(shí)安全要求，確保安全措施同步設(shè)計(jì)、同步使用。這種全生命周期的安全管理理念，將安全責(zé)任貫穿于技術(shù)研發(fā)應(yīng)用的各個(gè)環(huán)節(jié)，本質(zhì)上是將安全作為技術(shù)系統(tǒng)的內(nèi)生屬性而非外加約束，從制度層面筑牢了安全防線，推動(dòng)企業(yè)從技術(shù)架構(gòu)層面夯實(shí)擬人化互動(dòng)服務(wù)的安全基礎(chǔ)。
 

　　(三)強(qiáng)化訓(xùn)練數(shù)據(jù)質(zhì)量管控與安全對(duì)齊要求，從技術(shù)根源保障模型可控
 

　　《辦法》高度重視訓(xùn)練數(shù)據(jù)對(duì)提升擬人化互動(dòng)服務(wù)安全水平的基礎(chǔ)性作用，體現(xiàn)了精準(zhǔn)治理的理念。如提出評(píng)估合成數(shù)據(jù)的安全性的要求，避免放大訓(xùn)練數(shù)據(jù)中的偏差，防止在專(zhuān)業(yè)領(lǐng)域等場(chǎng)景產(chǎn)生危險(xiǎn)的“幻覺(jué)”輸出，影響用戶(hù)生命健康安全。在情感陪伴、角色扮演等容易產(chǎn)生心理依賴(lài)的場(chǎng)景下，要求提高訓(xùn)練數(shù)據(jù)的多樣性，通過(guò)負(fù)向采樣、對(duì)抗訓(xùn)練等手段，提升模型生成內(nèi)容安全性，防止模型在追求用戶(hù)滿(mǎn)意度的過(guò)程中偏離安全軌道，從算法源頭提升擬人化互動(dòng)服務(wù)的安全性和可靠性。
 

　　(四)構(gòu)建智能化風(fēng)險(xiǎn)識(shí)別與分級(jí)提示機(jī)制，實(shí)現(xiàn)動(dòng)態(tài)防護(hù)與理性引導(dǎo)
 

　　《辦法》要求提供者建立智能化的用戶(hù)狀態(tài)識(shí)別和風(fēng)險(xiǎn)預(yù)警機(jī)制，通過(guò)技術(shù)手段實(shí)現(xiàn)對(duì)用戶(hù)使用行為的感知。當(dāng)發(fā)現(xiàn)用戶(hù)出現(xiàn)負(fù)面情緒、極端傾向、過(guò)度依賴(lài)、沉迷等風(fēng)險(xiǎn)信號(hào)時(shí)，提供者應(yīng)當(dāng)及時(shí)識(shí)別并采取干預(yù)措施。通過(guò)“以智能治智能”的思路，充分發(fā)揮了人工智能在風(fēng)險(xiǎn)防范治理方面的技術(shù)優(yōu)勢(shì)，將被動(dòng)防御轉(zhuǎn)變?yōu)橹鲃?dòng)識(shí)別。對(duì)于表達(dá)自殺、自殘等危險(xiǎn)傾向的用戶(hù)，要求立即進(jìn)行人工接管，提供必要的心理疏導(dǎo)和專(zhuān)業(yè)幫助引導(dǎo)，確保技術(shù)手段的局限性能夠通過(guò)人工干預(yù)得到彌補(bǔ)。在提示機(jī)制方面，《辦法》在已有標(biāo)識(shí)機(jī)制基礎(chǔ)上進(jìn)一步強(qiáng)化提示提醒要求，通過(guò)設(shè)計(jì)基于使用時(shí)長(zhǎng)和場(chǎng)景類(lèi)型的差異化干預(yù)閾值設(shè)計(jì)，既避免過(guò)度打擾影響用戶(hù)體驗(yàn)，又能在關(guān)鍵節(jié)點(diǎn)進(jìn)行有效提醒。這種多層次、遞進(jìn)式的干預(yù)體系，構(gòu)建起動(dòng)態(tài)監(jiān)測(cè)、實(shí)時(shí)預(yù)警、及時(shí)干預(yù)、理性引導(dǎo)的全方位安全防護(hù)網(wǎng)。
 

　　(五)創(chuàng)新監(jiān)管沙箱機(jī)制，探索包容審慎監(jiān)管新路徑
 

　　《辦法》首次引入監(jiān)管沙箱機(jī)制，探索為技術(shù)創(chuàng)新提供了制度化的試驗(yàn)空間。對(duì)于技術(shù)先進(jìn)、應(yīng)用場(chǎng)景新穎但尚未完全成熟的擬人化互動(dòng)服務(wù)，在確?；景踩蟮那疤嵯?，在限定應(yīng)用范圍、限定用戶(hù)群體、加強(qiáng)動(dòng)態(tài)監(jiān)測(cè)的條件下開(kāi)展試點(diǎn)應(yīng)用。這一機(jī)制具有重要的方法論意義。擬人化互動(dòng)服務(wù)技術(shù)迭代快、應(yīng)用場(chǎng)景復(fù)雜、社會(huì)影響深遠(yuǎn)，沙箱監(jiān)管可實(shí)現(xiàn)管理部門(mén)與企業(yè)的深度互動(dòng)。企業(yè)可以在真實(shí)場(chǎng)景中驗(yàn)證技術(shù)方案，降低創(chuàng)新試錯(cuò)成本。管理部門(mén)可以在風(fēng)險(xiǎn)可控前提下近距離觀察技術(shù)應(yīng)用效果，深入了解新興業(yè)態(tài)的運(yùn)行規(guī)律，及時(shí)發(fā)現(xiàn)潛在風(fēng)險(xiǎn)，總結(jié)實(shí)踐經(jīng)驗(yàn)，持續(xù)完善治理規(guī)則。
 

　　三、《辦法》著眼長(zhǎng)遠(yuǎn)發(fā)展，為人工智能產(chǎn)業(yè)健康發(fā)展提供堅(jiān)實(shí)保障
 

　　《辦法》的研制是完善我國(guó)人工智能治理體系建設(shè)的新探索，對(duì)于完善技術(shù)安全體系、維護(hù)人民群眾利益、促進(jìn)產(chǎn)業(yè)健康發(fā)展具有積極意義。
 

　　(一)進(jìn)一步完善人工智能安全治理技術(shù)體系
 

　　《辦法》與《生成式人工智能服務(wù)管理暫行辦法》《人工智能生成合成內(nèi)容標(biāo)識(shí)辦法》等文件共同構(gòu)成了系統(tǒng)完備、科學(xué)規(guī)范、運(yùn)行有效的人工智能治理制度體系。這一體系既關(guān)注技術(shù)研發(fā)應(yīng)用的安全性、可靠性，也關(guān)注技術(shù)應(yīng)用的社會(huì)影響和倫理問(wèn)題；既規(guī)范內(nèi)容生成、標(biāo)識(shí)傳播等技術(shù)功能層面，也延伸至情感交互、價(jià)值傳遞等社會(huì)關(guān)系層面；既強(qiáng)調(diào)事前預(yù)防、源頭治理，也注重事中監(jiān)測(cè)、動(dòng)態(tài)管理和事后處置、責(zé)任追究?！掇k法》將治理視角從技術(shù)功能的“內(nèi)容安全”深入拓展到社會(huì)關(guān)系的“情感安全”，從信息傳播的“真實(shí)準(zhǔn)確”延伸覆蓋到價(jià)值傳遞的“正確導(dǎo)向”，標(biāo)志著我國(guó)人工智能治理進(jìn)入更加精細(xì)化、更加關(guān)注人本價(jià)值的新階段。
 

　　(二)切實(shí)維護(hù)人民群眾使用人工智能的根本安全
 

　　《辦法》把保護(hù)用戶(hù)合法權(quán)益、維護(hù)用戶(hù)身心健康、促進(jìn)人的全面發(fā)展作為根本出發(fā)點(diǎn)和落腳點(diǎn)。通過(guò)建立強(qiáng)提示機(jī)制有效保障用戶(hù)知情權(quán)和選擇權(quán)，通過(guò)明確底線要求堅(jiān)決防范技術(shù)濫用風(fēng)險(xiǎn)和安全隱患，通過(guò)強(qiáng)化對(duì)齊算法切實(shí)確保價(jià)值觀正確導(dǎo)向，通過(guò)強(qiáng)化相關(guān)群體保護(hù)要求充分體現(xiàn)對(duì)未成年人、老年人等群體的關(guān)懷關(guān)愛(ài)?！掇k法》高度關(guān)注擬人化互動(dòng)服務(wù)可能對(duì)用戶(hù)心理健康、人際關(guān)系、價(jià)值觀念產(chǎn)生的深層次影響，要求服務(wù)提供者不僅要確保技術(shù)安全、數(shù)據(jù)安全、內(nèi)容安全等基礎(chǔ)性安全，更要切實(shí)承擔(dān)社會(huì)責(zé)任。這種從技術(shù)安全延伸到心理安全、從個(gè)體保護(hù)延伸到社會(huì)影響的全方位保護(hù)，讓人工智能技術(shù)真正成為提升人民生活品質(zhì)、增進(jìn)人民福祉的有力工具。
 

　　(三)為“人工智能+”戰(zhàn)略深入實(shí)施提供有力安全保障
 

　　國(guó)務(wù)院印發(fā)的《關(guān)于深入實(shí)施“人工智能+”行動(dòng)的意見(jiàn)》明確提出要推進(jìn)人工智能與經(jīng)濟(jì)社會(huì)各領(lǐng)域深度融合。擬人化互動(dòng)服務(wù)作為人工智能技術(shù)應(yīng)用的重要方向，在教育培訓(xùn)、醫(yī)療健康、養(yǎng)老服務(wù)、文化娛樂(lè)等眾多領(lǐng)域具有廣闊的應(yīng)用前景?！掇k法》通過(guò)明確發(fā)展方向、劃定安全邊界、創(chuàng)新治理機(jī)制，為擬人化互動(dòng)服務(wù)的規(guī)范發(fā)展、健康發(fā)展創(chuàng)造了良好的制度環(huán)境和市場(chǎng)環(huán)境。監(jiān)管沙箱等創(chuàng)新性治理機(jī)制為技術(shù)創(chuàng)新、模式創(chuàng)新提供了充分的試驗(yàn)空間，鼓勵(lì)和支持企業(yè)在合規(guī)前提下大膽探索、勇于創(chuàng)新?！掇k法》在確保安全與促進(jìn)發(fā)展之間找到了科學(xué)的平衡點(diǎn)，為“人工智能+”戰(zhàn)略的深入實(shí)施、人工智能產(chǎn)業(yè)的高質(zhì)量發(fā)展提供了堅(jiān)實(shí)的制度保障和有力的政策支撐。
 

　　作者：張　震　國(guó)家互聯(lián)網(wǎng)應(yīng)急中心副處長(zhǎng)、正高級(jí)工程師
 

　　審核：陳舞陽(yáng)
 

　　編輯：呂燕芳
 

　　校對(duì)：柴于涵