AI換臉擬聲愈發(fā)猖狂，發(fā)展和安全博弈

不少網(wǎng)友即使是“技術(shù)小白”，也能夠自主利用市面上的AI智能工具完成擬聲換臉

文/本刊記者 趙麗 本刊實(shí)習(xí)生 林銘溱

警惕“AI 擬聲換臉”新型電信網(wǎng)絡(luò)詐騙。（圖 / VCG）

“媽，八千塊錢不夠，給我轉(zhuǎn)一萬五吧?！币晃荒赣H正和女兒視頻聊天，聽著在外地上學(xué)的女兒在視頻里撒嬌抱怨“生活費(fèi)不夠用了”，她打算按下轉(zhuǎn)賬鍵。就在這時(shí)，家門打開了，她的“真女兒”走了進(jìn)來。而另一頭，視頻里的“假女兒”還在央求著媽媽“給生活費(fèi)”。

這不是恐怖片，而是一則AI反詐視頻，這樣的場(chǎng)景也真實(shí)地發(fā)生在當(dāng)下。在這條反詐視頻評(píng)論區(qū)中，不少網(wǎng)友反映自己也有過類似的被騙經(jīng)歷。

近日，國家金融監(jiān)督管理總局發(fā)布新型電信網(wǎng)絡(luò)詐騙，將“AI擬聲換臉”納入其中，作為專門類詐騙。

本刊記者近日調(diào)查發(fā)現(xiàn)，AI擬聲換臉技術(shù)已成為簡(jiǎn)單易操作的低門檻技術(shù)，只需擁有聲音與照片等“素材”，借助軟件即可瞬間實(shí)現(xiàn)“AI克隆”。

除此之外，記者深入調(diào)查發(fā)現(xiàn)，AI擬聲換臉技術(shù)還在社交媒體平臺(tái)上被隱蔽地“倒買倒賣”。這些“賣家”自稱售賣“自定義AI換臉軟件”，在不過問買家購買目的的前提下出售技術(shù)，還提供“AI去衣”增值服務(wù)。另有業(yè)內(nèi)人士透露，有不少買家試圖擅自利用AI擬聲換臉技術(shù)進(jìn)行違法犯罪活動(dòng)。

受訪專家指出，擅自使用他人信息制作“擬聲換臉”視頻涉及多重法律風(fēng)險(xiǎn)。目前，我國有些立法及執(zhí)法尚未能跟上科技發(fā)展的腳步，要進(jìn)一步完善相關(guān)領(lǐng)域的立法、加大執(zhí)法力度，秉持包容審慎的態(tài)度平衡技術(shù)的安全與發(fā)展。同時(shí)，專家亦提醒公眾不要輕信“有圖有真相”，要加強(qiáng)個(gè)人信息保護(hù)意識(shí)。

AI技術(shù)不再高門檻

隨著AI技術(shù)的發(fā)展，AI擬聲換臉技術(shù)變得唾手可得。記者瀏覽社交網(wǎng)絡(luò)平臺(tái)發(fā)現(xiàn)，不少網(wǎng)友即使是“技術(shù)小白”，也能夠自主利用市面上的AI智能工具完成擬聲換臉。

“只需要準(zhǔn)備一段25秒的聲音，構(gòu)建聲音進(jìn)行訓(xùn)練，訓(xùn)練完畢后就可以輸入想要的文本進(jìn)行語音合成?！痹谀成缃幻襟w平臺(tái)上，一名科技博主發(fā)布了一段教學(xué)視頻，向網(wǎng)友介紹如何用AI精準(zhǔn)克隆人聲。教學(xué)視頻中，這名博主僅用時(shí)不到1分鐘，就把AI擬聲的原理講解得清清楚楚，與此同時(shí)，一段“孫悟空”的擬聲就這樣誕生了。他輸入了一段文本，AI便能用與“孫悟空”近乎一模一樣的聲色語氣念出來。

據(jù)這名科技博主介紹，這個(gè)AI擬聲工具無須下載，也不收費(fèi)，是可以免費(fèi)使用的網(wǎng)頁，而如此制作出來的音頻可以公開供他人使用，也可以導(dǎo)出使用。同時(shí)，AI可以變換多語種，“你要用什么語言，就用什么語言訓(xùn)練即可”。

記者按照視頻中的指示打開對(duì)應(yīng)網(wǎng)頁，在網(wǎng)頁中分別上傳了5種不同聲音，經(jīng)過訓(xùn)練，這5種聲音被近乎無差別地克隆，能夠用來讀出任意文案。除此之外，用戶還能夠在輸入文案時(shí)加入情緒的描述，使得AI擬聲如同能夠“談笑風(fēng)生”的真人。

除了AI擬聲，AI換臉也成了“熱門”技術(shù)。在一些圖片處理軟件中，“一鍵AI換臉”能夠瞬間將圖片中的臉毫無痕跡地置換成另一張臉。而除了圖片換臉，視頻換臉也成了低門檻、易操作的技術(shù)。

“一天能做100個(gè)原創(chuàng)作品，這個(gè)工具太強(qiáng)了。”在社交媒體平臺(tái)某AI科技博主短視頻里，他向粉絲們介紹起一款視頻換臉軟件。屏幕中，博主所展示的兩個(gè)視頻中的女生除了五官不同，其余的外貌、穿著及動(dòng)作完全一致?！耙绘I就能給她們高清換臉，變成另外一個(gè)人?！币曨l中，女孩不論如何轉(zhuǎn)身，抑或做出任何表情，面部都沒有產(chǎn)生畸變。

記者瀏覽發(fā)現(xiàn)，類似的視頻換臉軟件還有許多，除了進(jìn)行視頻剪輯換臉之外，部分軟件在技術(shù)操作之下還能夠被用以“實(shí)時(shí)擬聲換臉”。

“如果不是做深度訓(xùn)練的話，目前擬聲換臉這一塊的技術(shù)門檻是相對(duì)比較低的?！蹦暇俺?jí)頭腦”工作室創(chuàng)始人張澤偉告訴記者，目前非技術(shù)人員也可以通過軟件進(jìn)行較為簡(jiǎn)單的“擬聲換臉”，“如果換了臉和聲音偽造視頻，發(fā)給一些年紀(jì)稍大的家長進(jìn)行詐騙，其實(shí)是很難被分辨出來的”。

換臉擬聲技術(shù)被倒買倒賣

AI擬聲換臉不再是高門檻技術(shù)，而在社交媒體平臺(tái)上隱蔽的“有償技術(shù)傳授”“技術(shù)買賣”則進(jìn)一步降低了這種門檻，甚至使得AI擬聲換臉成了不法分子“有手就會(huì)”的詐騙犯罪工具。

記者在某社交平臺(tái)檢索“AI換臉”時(shí)，有不少“賣家”混雜其中尋找其“客戶”?！靶枰远xAI換臉軟件嗎？”其中，一名賣家通過私信聯(lián)系到了記者，推銷其軟件。記者詢問該軟件是否能夠?qū)崟r(shí)視頻換臉擬聲，賣家稱“任何社交媒體都能夠支持實(shí)時(shí)”。

隨即，該賣家向記者展示了其在社交媒體平臺(tái)上發(fā)布的換臉演示。在換臉演示中，該名男子以“英俊的臉龐”出現(xiàn)在社交媒體視頻頁面中，而這張“英俊的臉龐”是換臉后的“假面”。該賣家配文道：“網(wǎng)戀神器，直接變小哥哥，換個(gè)面貌可以去找小姐姐網(wǎng)戀了?！?/p>

為了讓記者更“真切”體會(huì)到換臉技術(shù)的高超，該名賣家提出可以“打個(gè)視頻看效果”。打開某社交軟件視頻通話，出現(xiàn)在記者面前的又是與“換臉演示”中面貌不一樣的另一男子。該賣家表示，二者都是其通過換臉軟件制作的。在視頻中，他展示了喝水、捂嘴、捏臉、捂臉等多個(gè)動(dòng)作，“做動(dòng)作是沒問題的，只要打開視頻前把這個(gè)軟件打開就可以了”。

在交流時(shí)，賣家不斷向記者強(qiáng)調(diào)其所售賣的技術(shù)操作難度不大，且在視頻時(shí)“看不出破綻”，而對(duì)于買家購買此項(xiàng)技術(shù)的目的，賣家則沒有問及?！?99元就給你裝好軟件，操作一遍演示。如果支付599元，則可以一對(duì)一教學(xué)，教會(huì)為止，軟件可以永久不限次數(shù)使用?！痹撁u家說。

調(diào)查中，記者還收到了另一名賣家的“推銷”。該賣家稱，其價(jià)格分為手機(jī)版和電腦版，手機(jī)版的價(jià)格為40元，電腦版為69.9元，電腦版的軟件包含“AI去衣”，兩者均可以永久不限次數(shù)使用。隨后，他向記者補(bǔ)充解釋：“‘AI去衣’就是可以把照片上的衣服脫下來，也可以換臉，軟件里面全套教程、詳細(xì)解析都有?！痹撡u家同樣沒有過問購買目的。

記者調(diào)查發(fā)現(xiàn)，大多賣家通過私信、評(píng)論等方式，用較為隱蔽的語言引導(dǎo)買家進(jìn)行購買，對(duì)于購買目的并不予查明，便隨意地將相關(guān)軟件及操作方式變賣他人。除此之外，在某二手交易平臺(tái)上，也有賣家出售相關(guān)技術(shù)。比如有賣家在產(chǎn)品描述中這樣寫道：“有手就可以，拍下就發(fā)完整視頻資料和制作方法，可批量搞，虛擬資源能夠變現(xiàn)。”

“有些人會(huì)利用技術(shù)去做違法犯罪的事情，尤其是在近幾年，這種技術(shù)更容易使用了。”一名業(yè)內(nèi)人士向記者透露，他就曾接到過一些“出格”的客戶需求：“比如說有人聯(lián)系我們，希望我們能用AI克隆技術(shù)去突破銀行和一些支付軟件的刷臉功能。還有人打離婚官司，要我們?nèi)M聲作偽證。如果沒有問清楚，擬聲換臉很容易就淪為不法分子詐騙、犯罪的工具?！?/p>

加強(qiáng)立法監(jiān)督

張澤偉的AI工作室主要經(jīng)營“AI數(shù)字生命”業(yè)務(wù)，他向記者介紹，在涉及個(gè)人的聲音及形象時(shí)，工作室會(huì)綜合多個(gè)方面避免信息落入非法用途：“首先我們會(huì)征得本人授權(quán)，如果是逝者，我們也會(huì)要求出示直系親屬證明。另外我們會(huì)簽訂協(xié)議，明確規(guī)定產(chǎn)品不能用于任何違法違規(guī)用途?！?/p>

北京大成（深圳）律師事務(wù)所律師陳翠也認(rèn)為，擅自使用他人肖像制作“換臉”視頻可能侵犯他人肖像權(quán)、隱私權(quán)：“根據(jù)《中華人民共和國民法典》第一千零一十九條，未經(jīng)本人同意，不得以營利為目的使用他人肖像。換臉視頻即便不以營利為目的，也可能因未獲授權(quán)而侵犯肖像權(quán)。同時(shí)，未經(jīng)許可傳播涉及含有個(gè)人隱私的視頻也會(huì)侵犯?jìng)€(gè)人隱私權(quán)?！?/p>

陳翠表示，若擬聲換臉視頻內(nèi)容不當(dāng)或引發(fā)公眾誤解，可能會(huì)構(gòu)成名譽(yù)權(quán)侵權(quán)，如果視頻中包含他人享有著作權(quán)的內(nèi)容（如影視片段），則可能構(gòu)成著作權(quán)侵權(quán)。同時(shí)，未經(jīng)授權(quán)制作和傳播換臉視頻還可能違反《中華人民共和國網(wǎng)絡(luò)安全法》《中華人民共和國數(shù)據(jù)安全法》等相關(guān)法律規(guī)定，面臨行政處罰或刑事責(zé)任。

“根據(jù)我國刑法、民法典、治安管理處罰法以及《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》等，AI的換臉變聲涉及多種法律風(fēng)險(xiǎn)，但現(xiàn)在仍然沒有一部正式的關(guān)于人工智能的法律?！敝袊鴤髅酱髮W(xué)文化產(chǎn)業(yè)管理學(xué)院法律系主任鄭寧指出，現(xiàn)有法律其實(shí)對(duì)于這類現(xiàn)象是有相關(guān)懲治手段的。但之所以屢禁不止，是因?yàn)檫@種AI擬聲換臉造假成本低，收益率高，“而法律制裁的腳步還跟不上”。

值得注意的是，國家金融監(jiān)督管理總局將“AI擬聲換臉”納入新型電信網(wǎng)絡(luò)詐騙類別。據(jù)金融監(jiān)管總局金融消費(fèi)者權(quán)益保護(hù)局介紹，“AI擬聲換臉”類金融詐騙，從手法上看，多為不法分子以“網(wǎng)店客服”“營銷推廣”“招聘兼職”“婚戀交友”等為借口，通過微信、電話等方式聯(lián)系消費(fèi)者，采集發(fā)音、語句或面部信息。利用“換臉”“擬聲”等技術(shù)合成消費(fèi)者虛假音頻、視頻或圖像，模擬他人聲音或形象騙取信任，再以借錢、投資、緊急救助等借口誘導(dǎo)其親友轉(zhuǎn)賬匯款，或提供銀行賬戶密碼等敏感信息，隨后立即轉(zhuǎn)移資金。

“這表明此類技術(shù)的濫用已引起法律和監(jiān)管機(jī)構(gòu)的高度關(guān)注。”陳翠指出，“目前，我國在相關(guān)領(lǐng)域仍缺乏系統(tǒng)性立法，涉及人工智能的法律規(guī)范較為分散，同時(shí)，人工智能倫理規(guī)范尚未形成統(tǒng)一標(biāo)準(zhǔn)，為有效遏制此類技術(shù)作為犯罪工具，須進(jìn)一步明確其法律界定和應(yīng)用邊界?！?/p>

鄭寧認(rèn)為，目前，我國《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》明確任何組織和個(gè)人不得利用深度合成服務(wù)制作、復(fù)制、發(fā)布、傳播法律、行政法規(guī)禁止的信息，并要求深度合成服務(wù)提供者應(yīng)當(dāng)建立健全辟謠機(jī)制，這在一定程度上為深度合成服務(wù)的技術(shù)應(yīng)用劃定了底線。

“要正面劃定AI擬聲換臉的使用范圍是有一定難度的，可以規(guī)定一些使用的原則，比如合法、必要條件等?！编崒幹赋?，當(dāng)前我國有《具有輿論屬性或社會(huì)動(dòng)員能力的互聯(lián)網(wǎng)信息服務(wù)安全評(píng)估規(guī)定》，如果人工智能應(yīng)用符合該規(guī)定應(yīng)用條件，也可以遵循其要求進(jìn)行安全評(píng)估。

在鄭寧看來，對(duì)于AI擬聲換臉的治理除了完善立法，加大執(zhí)法司法力度之外，還應(yīng)當(dāng)“多管齊下”：“行業(yè)要積極自律，同時(shí)也要加強(qiáng)對(duì)公眾的教育，一方面提升大家的守法意識(shí)，讓大家知道這種行為是違法犯罪，另一方面教育公眾善于防范和識(shí)別，不輕易相信有圖有真相?！?/p>

張澤偉強(qiáng)調(diào)，在信息時(shí)代，公眾應(yīng)當(dāng)提高個(gè)人信息的保護(hù)意識(shí)：“我們一直在呼吁大家盡可能不要在公共平臺(tái)上過多上傳個(gè)人的聲音、圖像等信息，這些可能成為不法分子的合成素材。如果接到陌生的靜音電話也要警惕，這可能是不法分子在用手機(jī)收集聲音素材。”

另外，在識(shí)別實(shí)時(shí)擬聲換臉上，張澤偉提醒公眾：“可以與本人約定一些暗號(hào)，必要時(shí)核實(shí)一下再進(jìn)行轉(zhuǎn)賬，但最為保險(xiǎn)的辦法還是與本人確認(rèn)?！?/p>

“AI產(chǎn)業(yè)是需要規(guī)制的，但在安全與發(fā)展的平衡之間，涉及價(jià)值的選擇判斷問題?！编崒幹赋?，“我國目前的AI產(chǎn)業(yè)還處在發(fā)展階段，因此發(fā)展和安全要并重。我們不能縱容違法犯罪，要保持審慎監(jiān)管的態(tài)度，在分級(jí)分類的基礎(chǔ)上進(jìn)行預(yù)防式治理，同時(shí)也要持有包容的態(tài)度，促進(jìn)產(chǎn)業(yè)發(fā)展，鼓勵(lì)創(chuàng)新。”

“AI技術(shù)的發(fā)展是不可逆的。”張澤偉亦直言，技術(shù)本身并無善惡，重要的是如何管理與規(guī)制技術(shù)的使用場(chǎng)景以及使用技術(shù)的人，以保證AI技術(shù)在我國的安全健康發(fā)展。

文章來源：《法制與新聞》雜志2024年9月上期

   編輯：周潔萌