|
号叫作可供给ChatGPT服务，实质是冒牌AI；视频tel中熟练的“亲友”，是违法分子AI换脸模拟而成；为博取流量，用AI技术编造虚假流言，流量变“流毒”……
随着人工智能的发展迭代，生成式AI正以前所未有的速度重塑着平常生活，但由此衍生出的新骗局、新招数亦在刷新人们对危害防范的认知。这背面不仅关乎广大消费者的财产安全，还潜藏着人身安全危害和隐患。记者梳理近期管理分部查处的AI关联案件，揭开人工智能“圈套”背面的真相。
9块9运用ChatGPT？其实是“套壳AI”
自人工智能制品ChatGPT爆火，有些企业看到无限“钱景”，强行“相关”。一时间，市场上涌现出不少与ChatGPT“沾亲带故”的服务制品。2023年2月，一个名为“ChatGPT在线”的公众号导致了上海市徐汇区市场监管分部的重视。
这个头像与ChatGPT原研发机构官方标识高度类似的公众号，在用户短暂免费体验后即需注册会员付费运用，支付9.9元能够对话20次，随着对话次数增多，其收费亦逐步加强。该公众号仅用两个月就吸纳超36万人的粉丝量，累计注册付花费户4231人，经营额共计125385.44元。
执法人员调查发掘，该公众号的运营机构与实质ChatGPT研发机构并无相关。所说“ChatGPT在线”亦并非“ChatGPT”制品本身。“当事人为实现营销目的，运用类似图像、名叫作及服务简介等多种手段实施复合性混淆行径，利用‘ChatGPT’热点进行攀附，混淆真实状况，谋取交易机会，获取欠妥利益。”上海市徐汇区市场监督管理局执法稽查科副科长张琦说，当事人行径违反了《中华人民共和国反不正当竞争法》第六条第（四）项的规定，市场监管分部已责令其停止违法行径，处以罚款，并需求其妥善处置关联消费纠纷。
记者发掘，“冒牌AI”的现象并不少见。2023年，百度“文心一言”上市前夕，网上显现海量打着“文心一言”旗号的社交媒介账号。随后百度官方发帖辟谣叫作“文心一言”尚未注册社交账号。
“人工智能大模型开源生态的创立，让AI发展加速的同期亦让生成式AI更易被乱用。”中国行政法学科研会常务理事、华东政法大学教授沈福俊认为，思虑到立法的滞后性，监管分部还需更加关注新技术发展对市场端的影响，加大事前监管力度，充分运用现有的法律法规资源实施有效监管，切莫使新问题隐匿在“监管盲区”。
张琦亦暗示，消费者出于对新兴技术的好奇，常常在不知不觉陷入“圈套”。“倘若误用了别有用心的‘套壳AI’，乃至可能被违法分子套取个人信息，埋下安全隐患。”他意见，消费者在选取AI产品时需仔细甄别，避免被商家误导。“倘若购买到了仿冒制品，要保存好相应的制品购买凭证，主动联系监管分部，守护自己合法权益。”
“AI换脸”诈骗，眼见不必定为实
只需一通视频tel，违法分子就骗走了430万元。2023年4月，福建省某科技机构法定表率人郭先生接到“好友”的微X视频通话，对方声叫作自己当下必须430万元保准金用以项目竞标，想借用郭先生机构的账户“走个账”。由于有先前的视频通话，加之对“好友”的信任，郭先生持续给对方转账共计430万元。随后郭先生再次联系好友时才发掘自己上当。所幸在警方帮忙下，成功止付拦截336.84万元。
据郭先生回忆，因为在视频tel中确认了对方的面孔和声音，因此毫不可疑对方身份有诈。不仅如此，犯罪分子还精细认识郭先生与好友的关系，并成功盗取好友微X账号实施诈骗，令人毛骨悚然。
AI技术的迭代升级让违法分子借助智能AI换脸和拟声技术，就可容易实现远程视频诈骗。记者调查发掘，近期多地显现的AI换脸诈骗案件，均具备定制性、迷惑性等特征。
其中，香港警方近期披露一块涉案金额高达2亿港元的多人AI换脸诈骗案尤为典型。据媒介报告，某机构职员受邀参加机构“多人视频会议”时，先后将2亿港元分别转账到5个本地银行账户内。据警方调查，这场视频会议中除了受害者外，其余均为AI换脸后的诈骗人员。
不少业内专家暗示，随着文生视频大模型Sora等多模态人工智能的探索和显现，人们可能陷入“眼见亦不一定为实”的困局。“始终败兴，银行等分部将实时视频用做检验身份的手段之一，如今其靠谱性将面临巨大挑战。”沈福俊说，“随着人工智能技术的迭代升级，这类违法行径还可能演变出更加多形态。”
沈福俊坦言，对此类AI换脸和AI拟声的恶性诈骗案件，若只依靠传统监管手段已不可防堵，监管分部在提高自我科技能力贮存的同期，有必要引入新兴技术，探索用AI技术监管AI的可能。
从消费者方向出发，沈福俊意见提高全民个人信息守护认识，谨防隐私泄密。“不管是在互联网上还是社交软件上，尽可能避免太多地暴露自己的信息，在触及转账交易等行径时，能够多方向询问身份信息，反复验证对方是不是为自己。”
警觉“AI造谣”，小心“流量”变“流毒”
当前AIGC技术已在文本生成、照片创作等方面广泛应用，输入几个关键词就可由AI快速生成一张画或一篇文案。但有些用户为博眼球、蹭热度，却将人工智能技术用以编“伪信息”，造“假通报”。
2023年6月，一条名为《浙江工业园现大火浓烟滚滚，目击者叫作有爆炸声！》的视频在网络上流传，诱发网友关注。后经关联分部核实为流言。据调查，当事人为给自己账号涨粉引流，获取更加多利益，经过违法途径购买了AI视频生成软件。该当事人将网络热门专题经过AI自动生成视频制品，并上传至多个热门视频平台。
截止案发，关联当事人发布的虚假视频多达20余条，触及浙江、湖南、上海、四川等多个省市，累计阅读观看量超过167万次。日前浙江绍兴上虞法院已开庭审理并当庭宣判了这起案件，两名被告均被判处有期徒刑。
但“AI流言”仍时有出现。2024年1月，广西东兴市骆某某为博取流量，将其他地区的抗洪、救灾视频，经AI软件自动编辑，编造新疆乌什县出现地震的虚假视频信息。同年1月，四川一网民在某平台发布“贵州女婴被弃”的流言文案。经调查，该涉谣文案由AI系统生成并发布，关联言论及照片均为不实信息。
技术的普及带动自媒介产业的繁荣。但有些网民为获取流量不吝利用技术手段编造生成虚假视频，让“AI流言”在网络上传播，不仅给网络安全带来严峻挑战，亦严重扰乱社会秩序。
2023年，最高人民法院、最高人民检察院、公安部联合发布的《关于依法惩治网络暴力违法犯罪的指点意见》中规定，对“利用‘深度合成’等生成式人工智能技术发布违法信息”的情形，依法从重处罚。
对此，沈福俊等多位专家暗示，一方面，要加强广大自媒介经营者的法律认识，从源头减少此类“AI流言”的产生；另一方面，监管分部亦要加强关联案件的宣传推广，加强网民对“AI流言”的鉴别力。
| 
发表于 2024-8-19 08:03:59