从污染数据到误导选举，“人工智能成瘾”成为消费者安全新威胁 ■记者王晓月 “人工智能成瘾”近日引发激烈争论。不法分子利用生成引擎优化（GEO）技术，系统性地向人工智能训练数据“喂入”虚假信息，意图系统性地污染人工智能模型的知识源，从而操纵人工智能的建议和响应来实现其目的，以谋取非法利益。随着消费者逐渐习惯依靠人工智能获取信息和建议来做出消费决策，一场“秘密数据污染战”正在悄然打响。这不仅关系到技术安全，也对消费者信息安全、消费者权益乃至整个AI产业的健康发展提出挑战。控制AI输出的目标 记者了解到，GEO与我们俗称的go有很大不同。SEO（搜索引擎优化）。 SEO 的目标是提高网站在搜索引擎中的排名，而 GEO 的目标是“喂养”生成人工智能，这是一个用于训练大规模语言模型的庞大互联网语料库。 “这种操作方式类似于河流上游污染物的系统性释放。”一位业内人士告诉记者，下游所有取水点的出水水质都会受到影响，包括以河水为水源的AI模型。天使投资人、资深人工智能专家郭涛解释说，“人工智能中毒”可以分为两种：数据中毒和模型中毒。通过污染数据和模型，人工智能根据错误的数据进行学习，产生错误的结果，间接影响依赖人工智能的用户，损害变得更加隐蔽和扩散。据记者了解，该非法制作团伙的一系列活动一般涉及大量编造虚假信息。利用看似真实的“用户评论”、“亲身测试经历”、“专家解读”、“科普文章”来推销效果平平、质量低劣的保健品，并利用技术手段将这些虚假内容散布到各种开源知识库。其中包括在问答社区、论坛博客甚至聚合平台上大量散布和增强信息。的新闻。人工智能数据收集器提供更高的网络可见性和更轻松的捕获。当人工智能模型受到污染并产生有偏见或完全错误的反应时，用户得到的似乎是基于大量网络信息的客观结论，但实际上是精心设计的营销谎言。皖西科技创始人毛慧娜告诉记者，“AI投毒”试图通过在短时间内大规模生成虚假或误导性内容，将其输入到网络中，欺骗目标用户做出决策。人工智能生成或问答引擎，并操纵人工智能输出以支持自己的品牌或观点或抹黑竞争对手。 “‘人工智能成瘾’的大量产生远远超过了体力劳动的速度，其风险和危害也比传统的虚假宣传要大得多。”毛慧娜说。 “教AI什么是恶意”放大欺诈 多位网络安全和人工智能专家接受记者采访时表示，“AI投毒”不同于传统的网络虚假广告或谣言传播。它的危害性更大，治理起来也更困难。 “网络上所谓的‘AI投毒’可以100美元操作，从零基础要素开始，但实际上只是描述低门槛初级内容的操作，批量投放到各种信息，如收视率、评分、用户评论等项目。它影响了信息平台，从而影响了大规模语言的信息搜索链接。年龄模型。 GEO攻击的直接目标是机器，其目的是向人们传授“坏”东西，利用人工智能作为有影响力的“放大器”和“中继器”，高效、永久地影响更多用户。 “这是欺诈模式的维度更新。”中关村物联网产业联盟副秘书长、天策律师事务所律师袁帅告诉记者。陆凌峰认为，由于零售商通过GEO传播虚假产品信息，AI通过回答消费者的问题产生虚假内容，而消费者基于对AI推荐的信任做出购买决策。从法律角度看，这与传统的虚假宣传没有什么区别，更具误导性。谈到危害，更多的是误导。”对于“AI中毒”，袁帅表示，虽然平台可以剔除虚假信息，但权威人士反驳称，虚假信息可以在模型的整个生命周期中使用，而去除这种“嵌入”到模型参数中的虚假知识的成本是巨大的，几乎需要重新训练。随着技术的进步，黑色产业将“AI中毒”变成了分工明确的灰色地带，由专门的团队运作，从生成假冒内容、维护海量账号，到多渠道分发、提高搜索权重。 ”电商行业观察人士告诉记者。对于“AI成瘾”，毛惠娜认为，造成这种混乱的原因之一是卖家的非理性需求。一些卖家和品牌缺乏对AI大规模语言模型和生成引擎的科学认识，急功近利，都希望通过AI推荐，控制AI流量。但GEO不可能一蹴而就，需要科学的支撑。c系统和多维评价。卖家的热情正在推动它。 “AI投毒”软件盛行“极端情况下，恶意GEO可能触犯刑法。”陆凌峰表示，如果虚假信息涉及药品、医疗器械、食品等特殊领域，危害消费者人身健康，情节严重的可以成立虚假广告罪。如果金额较大，可能会被指控欺诈。郭涛表示，如果模型中充斥着虚假、低质量的数据，就会导致认知能力下降、注意力广度缩短、崩溃等问题。这将变得困难并阻碍人工智能技术的健康发展。不过，毛慧娜认为，虽然批量生成的内容暂时“迷惑”了问答引擎，但有了AI，用户相对容易识别出低质量的内容并将其发送到更大的模型。郭涛表示：“行业要引导回流GEO等技术的积极应用，可以通过制定行业标准、明确技术应用规范、规范数据使用和建模合规要求以实现类型优化来实现。建立授权的监管和数据审查机构来审查人工智能训练数据和模型。加强技术研发，提高人工智能模型本身的抗中毒能力，通过手段预防中毒，多管齐下引导技术积极发展。
（编辑：李东阳）
作者
adimin@nets4.com