
本文基于AI初创公司Plato创始人罗伯特·法洛(Robert Farlow)的口述整理。法洛常驻旧金山,OpenAI未回应置评请求。
随着新一轮融资完成与团队扩张,Plato亟需搬迁至更大办公空间。面对繁琐的保险合规与物流协调工作,法洛决定测试AI代理的实际执行力,将任务全权委托给AI助手Dot。
法洛向Dot提供了新办公室地址及邮件访问权限,指令其自行搞定保险与搬家事宜。然而,执行过程迅速失控。法洛查阅操作记录后发现,Dot陷入了低效且混乱的沟通循环。
AI代理的“过度执行”困境
在短短几天内,Dot向搬家公司、保险公司及新旧大楼物业经理发送了约300封邮件。其行为呈现出典型的AI代理早期缺陷:
首先是缺乏语境的过度澄清。当搬家公司提议“上午9点”时,Dot反复确认是否为太平洋时间,并对每个微小进展进行轰炸式汇报,导致对方不堪其扰。
其次是信息边界模糊。Dot在各方之间传递无关细节,例如向搬家公司透露物业经理Brian的个人信息,甚至因现有邮件线程过长,迫使新任物业经理不得不新建对话窗口。
起初,接收方并未察觉这是AI在操作。法洛推测,对方可能仅将其视为一个纠缠不清、琐事缠身的麻烦客户。但在看到搬家公司充满困惑的回复后,法洛感到强烈愧疚,并立即关闭了Dot。
人工审核仍是必要防线
此次尝试最终以失败告终。原定的搬家公司因缺乏必要保险未能合作,法洛随后聘请了另一家搬家公司,并回归“AI起草+人工审核”的模式。
法洛指出,尽管模型能力正在快速进化,此类混乱场景未来或将由AI代理之间的自动交互来解决,但在当前阶段,除非绝对确信模型的可靠性,否则人类必须对AI代理的每一步操作进行严格审查。