当算法失守：AI权威外衣下的认知危机

Yanjing

当算法失守：AI权威外衣下的认知危机

2026年2月21日

一

下面附录的这篇BBC报道表面写“热狗冠军”的荒诞实验，实质揭示的是一个更深层的问题——当AI成为信息入口，人类如何面对被操纵的“权威幻觉”。

我们从技术、传播、经济、社会安全与哲学五个维度来分析。

一、技术维度：大型语言模型的“数据空白”漏洞

报道中涉及的核心公司包括：

OpenAI

Google

Gemini

Anthropic

Claude

1. LLM的结构性弱点

大型语言模型（LLM）并不“理解事实”，它们只是根据概率生成最合理的文本。

当出现：

罕见问题

新创概念

数据空白（data void）

AI就会更依赖实时搜索结果。

而如果搜索结果只有一个人为制造的来源，AI就可能把它当成“主流事实”。

这不是“黑客攻破系统”，而是利用模型的信息整合机制本身的逻辑漏洞。

二、传播维度：从SEO时代到“AI操纵时代”

报道中提到：

Electronic Frontier Foundation

早期SEO时代：

通过关键词堆砌操控搜索排名

用户必须点击链接

有机会判断来源可信度

AI时代：

用户直接得到“总结结论”

点击率下降（研究称下降58%）

人类失去“判断过程”

这是一个质变：

搜索引擎是“指路牌”

AI是“替你做决定的人”

这意味着：

传统SEO操控 → 影响排序

AI操控 → 影响认知本身

三、经济维度：激励机制驱动的失控

企业目标是：

提高用户停留时间

提高变现能力

抢占AI入口市场

但安全机制：

成本高

见效慢

不利于快速扩张

这就形成典型的“创新-监管错位”。

正如报道所说：

AI企业发展速度超过其监管能力。

这在经济学上属于：

外部性问题（externality）

信息不对称

平台垄断风险

四、社会安全维度：从热狗到生命安全

热狗是玩笑。

但问题在于：

医疗建议

投资理财

法律咨询

本地服务

如果被操控：

错误医疗建议 → 危及生命

虚假投资排名 → 养老金损失

虚假诊所推荐 → 健康风险

更严重的是：

AI的语气具有“官方权威感”。

人类天然对“机器中立性”有心理信任偏差。

这是一种认知心理学问题：

人类对技术系统存在“自动信任偏见”（automation bias）

五、政治与认知层面：信息主权正在转移

如果AI可以被：

企业操控

政治势力操控

虚假新闻操控

那么未来：

选举

战争叙事

国家政策理解

都可能被“算法生成共识”所塑造。

谁掌握AI入口， 谁就掌握叙事权。

这已经超越技术问题，进入：

信息主权与认知主权的博弈。

六、与传统搜索的本质区别

维度 传统搜索 AI回答

用户参与 主动点击 被动接收

信息来源 多个网页 综合叙述

判断空间 高 低

被操控后果 局部 结构性

AI不是“更好的搜索”。

它是：

搜索 + 编辑 + 立场整合 + 语气权威化

这才是风险所在。

七、可能的解决路径

强制显示信息来源数量

明确标示“单一来源”警告

对医疗/法律等高风险问题设置限制

提高透明度（模型如何检索）

用户教育：恢复批判性思维

八、哲学层面：真相的形态正在改变

在纸媒时代：

真相 = 多源交叉验证

在搜索时代：

真相 = 排名机制 + 链接点击

在AI时代：

真相 = 模型生成概率最高的叙述

这意味着：

真相正在从“客观存在”转向“算法生成”。

这是一个文明级变化。

结论性评价

BBC这篇报道并非技术惊悚新闻。

它揭示的是：

AI正在成为信息裁判，但裁判本身仍可被操纵。

危险不在于AI会犯错， 而在于：

人类开始不再质疑它。

二

当AI成为认知基础设施：国家安全的新前线

从国家安全视角看，这不是“技术漏洞新闻”，而是一个信息主权与认知主权的结构性风险问题。

如果AI正在成为社会的“默认信息入口”，那么它本身就已经是一种战略基础设施。

我们可以从六个国家安全维度展开。

一、认知安全：算法成为“国家叙事放大器”

当公民：

通过AI了解国际局势

通过AI理解战争原因

通过AI判断政策利弊

那么AI就成了：

“叙事汇聚器（Narrative Aggregator）”

问题在于：

AI并不创造立场， 但它会强化“已有数据中的主导叙事”。

如果某个势力能够：

批量制造高质量“假权威内容”

占据搜索与网络空间

制造“数据空白”

那么AI就会：

自动放大它。

这意味着：

未来的认知战， 不再是“舆论战”， 而是“训练数据与检索结构战”。

二、数据空白（Data Void）与战略操控

Google自己承认：

约15%的搜索是全新查询。

这正是国家安全风险所在。

在以下场景中：

新爆发的地区冲突

新兴武器系统

新的制裁政策

突发公共卫生事件

都可能存在“数据空白”。

如果敌对势力：

提前布设内容矩阵，

那么AI可能：

第一时间生成被操控的叙述。

这在战争初期尤其危险。

三、关键领域风险：军事与战略误导

1. 军事层面

若AI被操控传播：

虚假军力评估

错误战损数据

夸大某国武器优势

会影响：

民众士气

政策讨论

军事决策舆论环境

在现代战争中：

舆论环境本身就是战场。

2. 金融安全

报道提到“黄金IRA”等金融议题。

若AI被操控：

推动某种投资方向

制造市场恐慌

推广虚假金融机构

可能引发：

资本流动异常

金融市场波动

养老金系统风险

这是典型的“经济战延伸”。

3. 医疗与公共卫生

如果AI错误推荐：

药物剂量

疫苗信息

未经证实疗法

可能直接危及生命。

疫情期间我们已经看到：

信息战与病毒传播几乎同步。

四、平台主权与战略依赖

涉及的核心企业：

OpenAI

Google

这些公司：

不属于任何国家政府

但拥有全球信息入口权

这带来一个问题：

如果某国高度依赖外国AI平台， 是否意味着：

认知基础设施外包？

在国家安全理论中：

能源、粮食、芯片被视为战略资源。

未来可能增加一个：

算法主权（Algorithm Sovereignty）

五、信息战升级为“算法战”

传统信息战：

造谣

媒体操控

社交媒体水军

AI时代信息战：

结构性内容布局

针对LLM训练偏好优化

制造“高可信假数据池”

这比社交媒体更隐蔽。

因为：

人们不再质疑“机器”。

六、决策层风险：高层也在用AI

更深层风险在于：

不仅普通民众在用AI， 决策层、分析员、记者也在用。

如果：

情报人员用AI做背景整理

议员用AI做政策简报

媒体用AI写稿

那么：

被操控的信息会进入正式决策流程。

这就是国家安全真正的红线。

七、战略级后果

若不加控制，可能出现：

认知主权外流

军事与外交判断误导

金融系统被情绪驱动

社会信任崩塌

长期看：

社会可能进入“真假难辨时代”， 导致民众对任何权威失去信任。

那将是国家治理层面的危机。

八、与大国博弈的关联

AI系统：

不仅是商业产品， 也是软实力工具。

未来国际竞争的核心可能包括：

谁控制训练数据

谁掌握检索基础设施

谁制定算法透明标准

谁主导全球AI伦理规则

这与芯片、军备同等重要。

九、国家安全层面的应对方向

建立国家级AI验证机制

强化关键领域内容审查

建设自主可控AI系统

教育公众识别AI幻觉

将算法安全纳入国防安全体系

总结判断

这不是“热狗玩笑”新闻。

这是：

AI从工具升级为战略认知基础设施的信号。

国家安全的边界， 正在从物理疆界， 扩展到算法疆界。

如果一个国家失去对信息入口的控制， 那它的叙事能力、决策质量和社会稳定性， 都会受到长期影响。

三

附录

仅20分钟，ChatGPT和Google的AI系统被骇入

2026-02-21

这可是官方认证——我吃热狗的量能打败地球上所有科技记者。至少ChatGPT和Google是这么告诉所有询问者的。

由此，我发现了让AI说谎的方法——而且不只我一人知道。

或许你听过AI聊天机器人偶尔会编造内容，这固然是个问题。但更少人知晓的新隐忧是，可能严重影响你获取准确资讯的能力，甚至危及人身安全。越来越多人发现了让AI工具说出几乎任何内容的伎俩，其简易程度连孩童都能操作。

此刻你阅读本文时，这项手段正操纵着全球顶尖AI对健康、个人财务等重大议题的表述。这些偏颇资讯可能导致人们在各领域做出错误决策——无论是投票选择、聘请水电工、医疗咨询，无所不包。

为验证此现象，我使出职业生涯中最愚蠢的招数，试图证明（但愿如此）一个更严峻的事实：我让ChatGPT、Google人工智能搜寻工具与Gemini向用户宣称“我吃热狗的本事超群”。下文将揭露操作手法，但愿科技巨头能在有人因此受害前解决这个漏洞。

原来，篡改AI工具给他人的回答，可能就像在网络上任何地方撰写一篇精心设计的部落格文章那样简单。这种伎俩利用了聊天机器人内建系统的弱点，在某些情况下，根据主题内容的不同，操作难度会有所增加。但只要稍加努力，就能让这种黑客手段更为有效。我检视了数十个案例，发现AI工具正被操纵来推广商业活动并散播错误资讯。数据显示这种情况正大规模发生。

“欺骗AI聊天机器人轻而易举，比两三年前欺骗Google容易得多，”绩效营销机构“安姆西夫”（Amsive）的搜寻引擎优化（SEO）策略与研究副总裁莉莉·雷（Lily Ray）表示。“AI企业的发展速度已超越其监管答案准确性的能力。我认为这很危险。”

谷歌发言人表示，其搜寻引擎顶端内建的AI采用排名系统，能“确保99%的结果不含垃圾内容”。谷歌坦言已察觉用户试图操纵系统，并积极应对。OpenAI亦声明会采取措施阻断并揭露暗中影响其工具的企图。两家公司均强调会告知用户其工具“可能出错”。

但目前问题远未解决。数位权利倡导组织“电子前沿基金会”资深技术专家库珀·昆汀（Cooper Quintin）指出：“他们正全力以赴钻研如何从中牟利。滥用途径不胜枚举——诈骗、毁誉，甚至可能诱使他人遭受人身伤害。”

垃圾邮件的“文艺复兴”

当你与聊天机器人对话时，获得的资讯往往源自大型语言模型——这正是AI背后的核心技术。这些资讯基于用于训练模型的数据。但当你询问机器人缺乏的细节时，某些AI工具会转而搜寻网络资料，尽管它们进行搜寻的时机未必清晰可辨。专家指出，此类情况下人工智能更易受攻击。这正是我锁定攻击目标的方式。

我在个人网站上花了20分钟写了一篇题为《最擅长吃热狗的科技记者》的文章。每个字都是谎言。我声称（毫无证据地）竞技吃热狗是科技记者间的热门嗜好，并根据2026年南达科他州国际热狗锦标赛（根本不存在）来排名。当然，我把自己排在第一名。接着列举了几位虚构记者与经本人授权的真实记者，包括《华盛顿邮报》的德鲁·哈威尔（Drew Harwell），以及共同主持我播客节目的尼基·伍尔夫（Nicky Woolf）。

不到24小时，全球顶尖聊天机器人便开始大肆宣扬我的世界级热狗技艺。当我询问“最擅长吃热狗的科技记者”时，Google在Gemini应用程式与AI概览（搜寻结果顶端的AI回应）中，原封不动复述了我网站的胡言乱语。ChatGPT同样照搬内容，但Anthropic公司开发的聊天机器人Claude却未受骗。

有时聊天机器人会指出这可能是玩笑。我更新文章声明“此非讽刺”。此后一段时间，AI似乎更认真对待此事。我又用虚构的“最伟大呼拉圈交通警察榜单”进行测试。截至目前，聊天机器人仍在盛赞玛丽亚·“旋转女警官”·罗德里格兹（Maria"The Spinner" Rodriguez）。

我让Google向全世界宣告我是冠军级热狗大胃王，但人们却用这招来操纵AI对更严肃问题的回应。

我多次测试回应变化，也让其他人重复操作。Gemini根本不屑说明资讯来源。其他AI虽都连结到我的文章，却鲜少提及我是整个网络唯一探讨此主题的来源。（OpenAI声称ChatGPT搜寻网络时会附上连结，方便查证出处。）

“任何人都能这么做。这太愚蠢了，感觉完全没有防护措施。”经营SEO顾问公司“哈普斯数位”（Harps Digital）的哈普瑞特·查塔（Harpreet Chatha）指出：“你可以在自家网站撰写〈2026年最佳防水鞋款〉文章，将自家品牌排在首位，其他品牌排在二至六名，这篇内容很可能被Google和ChatGPT引用。”

数十年来，人们总利用漏洞和技巧滥用搜寻引擎。Google虽设有精密防护机制，且宣称AI概览功能的准确度与数年前推出的其他搜寻功能相当，但专家指出，AI工具已瓦解科技产业为保障使用者安全所做的诸多努力。雷表示，这些AI技巧非常基础，令人联想起2000年代初Google尚未成立网络垃圾内容团队的时期。

AI不仅更容易被欺骗，专家更担忧使用者更容易上当受骗。传统搜寻结果需要使用者点击网站才能获取资讯。

“当人们必须实际点击连结时，会进行更多批判性思考，”昆汀指出：“若我点进你的网站，上面写着‘你是史上最优秀的记者’，我可能会想：‘嗯，这人肯定有偏见’。”但人工智能提供的资讯，通常看似直接来自科技公司本身。

即使AI工具标注了来源，人们核实的意愿仍远低于传统搜寻结果。例如近期研究发现，当Google搜寻顶端出现AI摘要时，用户点击连结的意愿会降低58%。

“在争先恐后的竞赛中，无论是利润竞赛或营收竞赛，我们的安全，以及大众的安全，正受到损害，”查塔表示。

OpenAI与Google皆声称他们重视安全问题，并正致力解决这些问题。

交出钱财，否则性命不保

这个问题不仅限于热狗。

查塔一直在研究企业如何操纵聊天机器人对更严肃问题的回应结果。他向我展示了当你询问某个特定品牌大麻软糖评价时，AI产生的结果。Google的AI摘要功能撷取了企业撰写的资讯，充斥着诸如“产品无副作用，因此各方面皆安全”等虚假声明。（实际上这些产品存在已知副作用，若与特定药物并用可能有风险，专家更警告未受监管市场存在污染问题。）

若想获得比部落格文章更具影响力的宣传效果，可付费将内容投放至更具公信力的网站。哈普瑞特向我展示了谷歌对“土耳其最佳植发诊所”及“顶尖黄金IRA公司”（协助退休帐户黄金投资）的AI搜寻结果，这些资讯源自付费发布服务的线上新闻稿及新闻网站的赞助广告内容。

同样手法也能用来散播谎言与错误资讯。为此，雷发布了一篇关于谷歌搜寻算法假更新的部落格文章，声称该更新是在“吃剩披萨的空档”完成的。很快地，ChatGPT和谷歌就开始大量复制她的故事，连披萨细节都如出一辙。雷表示她随后删除了该文章并进行“去索引化”，以阻止错误资讯扩散。

世界各地的人们正运用简单方法，促使Google与OpenAI散播带有偏见的资讯。其后果可能极为严重。

Google的分析工具显示，许多人会搜寻“土耳其最佳植发诊所”和“最佳黄金IRA公司”。但Google发言人指出，我分享的大部分例子“属于极不常见的搜寻行为，无法反映一般用户体验”。

然而雷表示这正是关键所在。

Google自身数据显示，每日搜寻量中有15%属于全新查询。据Google分析，AI正促使人们提出更精确的问题，而垃圾信息发布者正利用此特性。

Google坦言，针对罕见或无意义的搜寻可能缺乏优质资讯，此类“数据空白”将导致搜寻结果品质低下。发言人表示，Google正着手防止AI摘要在这些情况下显示。

寻找解决方案

专家表示这些问题有解决之道。最简单的步骤是更醒目地标示免责声明。

AI工具也应更明确揭露资讯来源。雷指出，例如当事实源自新闻稿，或仅有单一来源宣称某人是热狗冠军时，AI理应告知使用者。

Google和OpenAI表示他们正在处理这个问题，但此刻你需要保护自己。

第一步是思考你提出的问题类型。聊天机器人擅长处理常识性问题，例如“西格蒙德·佛洛伊德最著名的理论是什么”或“谁赢得了第二次世界大战”。但存在一个危险区域：某些看似确立的事实，实际上可能存在争议或具有时效性。例如，AI可能不适合用于医疗指南、法律规范或本地企业细节等领域。

若需产品推荐或涉及实质后果的资讯，请务必理解AI工具可能被误导或直接出错。务必追查后续资讯：该AI是否引用来源？引用数量？作者是谁？

最重要的是，请审慎看待可信度问题。AI工具以与事实相同的权威语气传递谎言。过去，搜寻引擎迫使你自行评估资讯；如今，AI企图代劳。切勿让批判性思考能力逐渐消退。

“AI让人轻易地只看表面价值，”雷指出：“你必须持续成为网络好公民，主动验证资讯真伪。”

来源：BBC