麦迪逊在餐厅后厨反复核对过敏源信息。近期，顾客的询问常带有不容置疑的语气：一名食客声称ChatGPT确认甲壳类海鲜汤安全，尽管厨房明确知晓并非如此，她仍不得不进行纠正。这类充满摩擦的对话，正遍布全美各地的餐馆、剧院和零售店。
一线员工正耗费大量时间揭穿聊天机器人自信却荒谬的错误，而非解决实际问题。顾客手持打印件或手机屏幕上的捏造细节，甚至固执己见。这种摩擦导致原本旨在简化服务的工具反而使流程复杂化。
纽约一位匿名服务员透露，有客人因AI保证食材安全而点选致敏菜肴。“你对甲壳类海鲜过敏，但AI说这道菜里没有，而我们明确告知确实有！”类似遭遇也发生在咖啡师、影院工作人员及苹果店员身上，他们被迫应对针对不存在产品或功能的需求。
在西部山区，河流护林员Jason（化名）目睹游客携带忽略地理常识的AI行程单，其中包含虚构营地甚至要求逆流划船的路线。即便面对地图和物理限制的解释，部分群体仍更信任AI模型。
自动化压力与一线摩擦的碰撞
这并非孤立现象。企业已向客户服务领域投入大量资源部署AI代理，用于回答查询、预订或处理基础支持。然而，行业研究显示，在无事实锚定场景下，模型幻觉率介于15%至30%；即便采用检索增强生成（RAG）技术，面对复杂政策时仍可能出错。
自主代理的兴起进一步模糊了人机界限。餐馆收到由AI代理发出的看似正规的预订邮件，但客户到场后却一无所知。Meta推出的新AI助手Muse承诺代用户拨打电话，但早期测试显示，部分通话被路由至未被告知的人类承包商。
顾客开始派遣机器人“对抗”企业。加州一位保险理赔代理频繁接到同一AI语音代表的重复电话，该系统缺乏基本身份验证信息。银行、保险公司和零售商正为合成语音呼叫量的增长做准备，一位高管将此描述为“机械式顾客”对自动系统的报复。
与此同时，企业在推出AI工具的同时削减人力。媒体报道指出，微软、优步及多家酒店集团已自动化大部分客户运营，消除数千个职位。剩余人类员工主要负责处理AI无法解决的升级问题，终日修复上游不良建议造成的损害。
法律风险随之加剧。加拿大航空因聊天机器人虚构丧亲票价政策面临裁决，法院判定公司需承担责任；德国一家诊所因AI错误声称医生拥有专科资格被判担责。Lexology报道指出，AI生成的陈述被视为公司官方声明，定价错误或未经授权承诺均潜藏风险。
调查显示，四分之三的企业曾因治理失效、数据泄露或品牌风险撤回面向客户的AI代理。然而，98%的领导者计划在今年增加AI支出，降低成本的压力与持续存在的错误率并存。
研究量化了用户反应：《国际人类-计算机交互杂志》发表的研究指出，所有类型的幻觉均侵蚀信任，尤其是可能导致人身伤害的事实不一致性。工程师试图通过分层防御机制应对，如从验证知识库检索、增加输出一致性检查及设置置信度阈值触发人工交接。某供应商称其系统可将生产环境错误率降至1%以下，但基准测试显示顶级模型仍有1.5%的幻觉率。
语音代理引入新故障模式。2026年3月的一项基准测试显示，在现实世界条件下，语音客户服务任务完成率仅为26%至51%，多数故障归因于代理行为而非音频质量。系统可能自信地读出错误余额或承诺未处理的退款。
尽管存在问题，AI在客户服务中的渗透率仍在上升，30%的相关招聘广告提及AI需求，结合AI监督角色的薪资溢价达38%。角色组合正转向对缺陷系统的监督。一些员工为避免冲突，选择委婉解释而非直接指责技术，但顾客对反驳其“数字神谕”的人类仍持怀疑态度。
AI与AI的互动产生新痛点。一次测试中，暖通空调公司的外呼拨号器与入站语音代理基于错误上下文产生矛盾的预计到达时间，导致预订丢失。开发人员建议降低置信度，并在涉及多代理触点时路由至人工处理。
企业正尝试“人在回路”设计，由人工审查AI草稿或在检测到负面情绪时升级路径。但这无法消除概率模型固有的残余误差，过时的知识库更使问题恶化。Gartner指出，许多服务机构积压了大量过时文章且无正式更新流程。
这种模式反复出现：企业为减员实现自动化，错误在互动中显现，员工以个人成本纠正，双方信任流失。Meta Muse等代理承诺加速这一趋势，其最终影响取决于发布前是否添加足够保障措施。 grounding、验证和持续更新可减少错误频率，但会增加成本并减缓交互。领导者必须在效率提升与责任、流失率之间权衡。这项本应弥合差距的技术，目前正在扩大某些鸿沟。