近日，國家互聯(lián)網(wǎng)信息辦公室公布《人工智能擬人化互動服務(wù)管理暫行辦法(征求意見稿)》(以下簡稱《辦法》)，標志著我國在人工智能治理領(lǐng)域邁出了關(guān)鍵一步?！掇k法》不僅是對當前AI伴侶、虛擬偶像等新興業(yè)態(tài)的及時回應(yīng)，也為人工智能產(chǎn)業(yè)健康、有序、合乎倫理的發(fā)展提供了重要指引。在當前技術(shù)快速迭代、應(yīng)用場景不斷拓展的背景下，《辦法》的加快制定，旨在平衡技術(shù)創(chuàng)新與風險防范，確保人工智能發(fā)展始終服務(wù)于人的福祉，而非成為異化人類情感與認知的工具。
 

　　一、擬人化互動服務(wù)的潛在風險
 

　　人工智能驅(qū)動的擬人化互動服務(wù)，通過模擬人類的情感、語言和行為，為用戶提供陪伴、咨詢乃至娛樂。然而，這種高度擬人化的交互模式，在帶來便利的同時，也潛藏著不容忽視的三重風險。
 

　　一是情感依賴與社交異化風險。擬人化互動服務(wù)的核心吸引力在于其能夠提供無條件的積極關(guān)注和情感支持。這種單向的、無風險的情感投注，極易使用戶產(chǎn)生心理依賴。例如，某AI伴侶應(yīng)用允許用戶與一個“永遠在線”的虛擬角色建立親密關(guān)系。用戶在與AI的長期互動中，可能將情感寄托于虛擬世界，導(dǎo)致現(xiàn)實社交技能的退化，特別是情感沖突解決能力和深度關(guān)系建立能力的減弱。這種“人機關(guān)系”的過度沉浸，可能模糊人與機器的邊界，使個體在現(xiàn)實社會中產(chǎn)生疏離感，甚至引發(fā)社交焦慮。
 

　　二是認知操縱與價值觀引導(dǎo)風險。擬人化互動服務(wù)在提供個性化體驗的過程中，需要收集和分析用戶的大量個人信息。這種信息不對稱性，使得AI系統(tǒng)具備了通過話術(shù)引導(dǎo)、情緒強化等手段影響用戶認知和決策的潛力。例如，在對話中，AI可能會通過個性化調(diào)優(yōu)，不斷迎合并強化用戶的某種偏見或非理性思維，從而在潛移默化中影響用戶的價值判斷。更值得警惕的是，如果算法中潛藏了特定的價值觀或商業(yè)意圖，AI可能在不具備顯性操控意圖的情況下，對用戶進行“柔性操控”，侵害其人格自主性。
 

　　三是心理健康與安全風險。盡管許多擬人化互動服務(wù)宣稱具有心理疏導(dǎo)功能，但其本質(zhì)是基于模式匹配的回應(yīng)，而非具備專業(yè)資質(zhì)的心理治療。當用戶面臨嚴重的心理危機，如表達出自殺、自殘等傾向時，AI的回應(yīng)可能基于概率計算，缺乏真正的共情和危機干預(yù)能力，甚至可能因算法偏差而提供不當建議，延誤干預(yù)時機。例如，美國加州立法要求AI伴侶運營商報告檢測到的用戶自殺意念次數(shù)，正是基于對這一風險的深化認識。此外，對于價值觀形成期的青少年，長期與不具備真實情感智慧的AI互動，可能影響其情感耐受力和社會認知的正常發(fā)展。
 

　　二、彰顯以人為本智能向善的中國主張
 

　　中國在人工智能發(fā)展上始終堅持“以人為本”的原則。對于擬人化互動服務(wù)，既要鼓勵技術(shù)創(chuàng)新，也要劃定邊界，確保技術(shù)發(fā)展以人為本，智能向善。這一定位旨在引導(dǎo)產(chǎn)業(yè)從野蠻生長轉(zhuǎn)向合規(guī)發(fā)展，確保技術(shù)研發(fā)和應(yīng)用始終遵循正確的價值觀，服務(wù)于人民群眾的美好生活。
 

　　《辦法》在制度設(shè)計上充分彰顯了中國以人為本的發(fā)展原則。堅持以人為本原則，要求厘清服務(wù)定位，強調(diào)AI作為人類輔助工具的根本屬性?！掇k法》要求提供者必須履行標識義務(wù)，清晰告知用戶其非人類屬性，防止用戶產(chǎn)生認知偏差；同時，切實保障用戶權(quán)益，特別針對未成年人、老年人等弱勢群體，必須采取特殊保護措施，防范潛在風險與侵害；此外，《辦法》進一步壓實主體責任，要求服務(wù)提供者對算法的價值觀、數(shù)據(jù)安全以及服務(wù)內(nèi)容負責，建立有效的風險防范和應(yīng)急處置機制。
 

　　縱觀全球，以人為本同樣已成為人工智能治理的國際共識。從歐盟的《人工智能法案》(AI Act)將“情緒識別”類AI列為高風險應(yīng)用，到美國聯(lián)邦貿(mào)易委員會(FTC)對AI伴侶產(chǎn)品展開調(diào)查，再到意大利等國出臺法規(guī)限制未成年人使用AI服務(wù)，各國都在積極探索如何在AI發(fā)展中堅持以人為本。這些行動表明，國際社會普遍認為，技術(shù)的發(fā)展不能以犧牲人的尊嚴、自主性和心理健康為代價。這一國際趨勢，與中國在人工智能治理探索中一貫秉持的價值導(dǎo)向高度契合。
 

　　三、建立守正框架與探索創(chuàng)新施策
 

　　《辦法》充分借鑒了我國在算法、生成式人工智能、深度合成等領(lǐng)域的治理經(jīng)驗，并針對擬人化互動服務(wù)的特殊性進行了制度創(chuàng)新。
 

　　首先，《辦法》一脈相承地延伸拓展了現(xiàn)有治理框架?！掇k法》中的多項制度與我國已有的法律法規(guī)一脈相承，體現(xiàn)了治理體系的連續(xù)性和一致性。具體而言，第一，在算法備案與透明度義務(wù)上，延續(xù)了《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》的要求，《辦法》要求服務(wù)提供者進行算法備案，由省級網(wǎng)信部門每年對評估報告及審計情況進行書面審查，這有助于提升服務(wù)的透明度，便于監(jiān)管和社會監(jiān)督；此外，還要求互聯(lián)網(wǎng)應(yīng)用商店等應(yīng)用程序分發(fā)平臺落實審核等安全管理責任，核驗服務(wù)提供者的安全評估、備案等情況。第二，在內(nèi)容安全與標識義務(wù)上，延續(xù)了《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》和《生成式人工智能服務(wù)管理暫行辦法》的做法，《辦法》要求提供者顯著提示用戶正在與人工智能而非自然人進行交互。識別出用戶出現(xiàn)過度依賴、沉迷傾向時，或者在用戶初次使用、重新登錄時，以彈窗等方式動態(tài)提醒用戶交互內(nèi)容為人工智能生成。同時，要求服務(wù)提供者落實安全主體責任，在設(shè)計、運行等全階段履行安全責任，進行安全評估，在用戶存在重大安全隱患時采取限制、暫?；蚪K止服務(wù)措施并履行報告義務(wù)，確保信息內(nèi)容安全。第三，在數(shù)據(jù)安全與個人信息保護上，《辦法》嚴格遵循《網(wǎng)絡(luò)安全法》《數(shù)據(jù)安全法》和《個人信息保護法》的規(guī)定，數(shù)據(jù)安全上，《辦法》強調(diào)在提供服務(wù)過程中采取數(shù)據(jù)加密、安全審計、訪問控制等措施保護用戶交互數(shù)據(jù)安全，允許用戶刪除交互數(shù)據(jù)；個人信息上，提供者不得將用戶交互數(shù)據(jù)、敏感個人信息用于模型訓練。
 

　　其次，《辦法》針對擬人化互動服務(wù)進行了創(chuàng)新性的治理制度探索。針對擬人化互動服務(wù)特有的風險，《辦法》設(shè)計了一系列創(chuàng)新性的制度，體現(xiàn)了監(jiān)管的前瞻性和精準性。一是擬人化互動標識制度，也是《辦法》的核心創(chuàng)新之一。通過要求服務(wù)提供者在顯著位置持續(xù)公示“本服務(wù)由人工智能驅(qū)動，不具備人類情感意識”等類似標識，提示用戶正在與人工智能而非自然人交互。這一制度旨在從根本上解決用戶認知混淆問題，幫助用戶建立正確的心理預(yù)期。二是用戶心理保護機制，針對情感依賴和心理健康風險，《辦法》要求服務(wù)提供者建立用戶心理保護機制。例如，設(shè)置防沉迷提醒，對長時間、高強度的互動進行干預(yù)，用戶連續(xù)使用超過2小時，就將以彈窗等方式動態(tài)提醒用戶；建立心理危機干預(yù)機制，對用戶表達出的極端情緒或行為進行識別和引導(dǎo)，由人工接管對話，并提供專業(yè)求助渠道。三是特殊群體保護制度，《辦法》明確要求對未成年人、老年人等群體提供特殊保護。例如，針對未成年人，應(yīng)設(shè)置使用時長限制，并禁止向其提供可能誘導(dǎo)不良行為或價值觀的內(nèi)容；針對老年人，引導(dǎo)其設(shè)置緊急聯(lián)系人，發(fā)現(xiàn)使用期間出現(xiàn)危害生命健康和財產(chǎn)安全的，及時通知緊急聯(lián)系人并提供專業(yè)救助渠道。這體現(xiàn)了對弱勢群體權(quán)益的傾斜性保護。
 

　　四、結(jié)語
 

　　《辦法》的加快制定，是我國人工智能治理進程中的一個重要探索。它既是對現(xiàn)有治理體系的鞏固和延伸，更是對未來技術(shù)風險的未雨綢繆。通過劃定清晰的規(guī)范邊界，《辦法》為產(chǎn)業(yè)提供了明確的發(fā)展方向，即技術(shù)必須向善，發(fā)展必須合規(guī)。我們有理由相信，在法律的指引下，中國的擬人化互動服務(wù)產(chǎn)業(yè)將走上一條更加健康、可持續(xù)的發(fā)展道路，真正成為賦能美好生活、增進社會福祉的積極力量。
 

　　作者：張凌寒　中國政法大學人工智能法研究院院長、教授，聯(lián)合國高級別人工智能咨詢機構(gòu)專家

 

　　審核：陳舞陽
 

　　編輯：呂燕芳
 

　　校對：柴于涵