Codex 学习专区/02|连接与自动化/实测 Codex 回放新能力,我把 RPA 自动化工作流全重做了一遍

实测 Codex 回放新能力,我把 RPA 自动化工作流全重做了一遍

最后更新 2026-09-02·约 14 分钟读完
🔦

公众号:卡尔的 AI 沃茨

发文时间:2026 年 6 月 24 日 11:14

这几天一直忙着教 CodeX 一些复杂的活,

新出的操作回放功能 Record & Replay 是真好玩,当时我第一反应是,这不就是 RPA 吗,区别应该就是换成 AI 写步骤了,

但测完之后,发现完全不是一回事。 所以就有了今天这篇文章,讲讲它是怎么把我两个一直卡着的真实痛点给解决掉的。

而且测完这个功能,我越来越确定一件事,

Codex 和 Claude Code,现在走的是两条不同的路。

Codex 在通用智能体的路上飞奔,

Record & Replay 是最明显的信号,它不是在帮你写代码,是在帮你把现实世界里的重复操作变成可调用的单元(人类撰写声明)。

Claude Code 这边就是继续卷编程卷 Agent,

最近我用最多的就是 Dynamic Workflows(动态工作流),多 Agent 的机制让 CC 越来越擅长在一个编程任务里动态调度多个步骤。

图片展示了在Mac电脑上使用Codex和Claude Code进行操作的界面。左侧是Codex界面,显示了“Create reusable workflow s

(PS:左边打开 Codex,右边终端运行 Claude Code)

那回到这两个痛点是什么。

第一个,定向信息搜索。

刷朋友圈刷群突然碰到突发热点,我们都知道在 X 上大概率是能看到更多的讨论和测试 case 的。

我之前是直接用 Grok去查,然后再把结果整理成文档,其实用 Computer Use 也能完成这个操作,就是慢,超慢,那网页页面开关十几次,还不如我自己上手,

我想要的其实很简单,

像真人一样打开 X,搜这件事,翻结果,整理关键词,在 Grok 再搜索一次做成表格,整理到本地。

第二个,视频剪辑和上传。

我基本上测试过大部分我刷到的视频剪辑 Skill,它们其实都有一些固定的模板,比方说静音检测、气口处理、删重复词,还有在视频里面追加一些 Remotion 的动画特效,基本上可以剪出一份能够直接拖到剪映里,追加一些特效和音乐就能导出的口播视频。

但是这个方案跟我们日常要上传到公众号的视频素材链路是不一样的。

录完演示视频之后,我要剪辑,加速画面,导出 GIF,再贴到公众号。

没什么操作难度,都是贼拉重复的固定流程,但是每次都省略不了。

因为你很难憋出来一段标准,去描述要在什么时候加速,画面里出现什么时加速,这些都是很难被说出来的。

这些都是 Record & Replay 最擅长的地方。

很多步骤我们已经熟到不用犹豫回想,

鼠标往哪点,哪个状态代表成功,这都成肌肉记忆了。

但让你写成规则、节点、条件分支,

就开始卡了。以前的 RPA、Zapier、Make,基本都死在这里。

它们一上来就只会问你,你想自动化什么?

就算没有做过 RPA,有通过 iphone 手机的快捷指令抢红包的朋友也能知道这过程有多复杂。

图片展示了RPA流程编辑器界面,左侧为流程编辑区域,显示“从App Store App获取App Store App和其他16个”操作,有变量如url、path

也就是说,哪怕有 AI 的辅助,你也得先了解点鼠标,开关屏幕,点录制等对应的操作,或者考虑是否要额外录一个按钮进去。

做的流程少了,我觉得没必要浪费时间去弄 RPA,做的流程多了,一旦中间有一些按键或步骤发生迁移,链路里的某个环节就要重建。

反正就是我留下来的 RPA 流程真不算多。

Record & Replay 直接把这个摩擦给抹平了。

仔细回想一下,如果我要把这个流程交给一个人,让 TA 以最快速度学会,我也更倾向于打开视频会议,手把手教一遍,然后把录屏存下来,TA 自己操作的时候有什么不懂,就直接看视频就搞定了。因为其中有很多步骤,我会一边操作一边辅助说明,这更符合我们日常的直觉。

换到 Codex 这,就是在插件这里把 record 添加进来,

这是Codex工具的插件操作界面,左侧栏的“插件”选项被红框标注,顶部搜索框中输入了“record”关键词,页面显示“在你常用的工具中使用Codex”的说明文字

然后正常做一遍,该点哪点哪,该填什么填什么,

不用改自己的操作方式,也不用提前写 SOP。

Codex 就在旁边看着,等你停下来,它把这套过程整理成一份结构化的 Skill,可以打开看,可以手动改,下次直接复用。

图片展示了在Codex中创建可复用工作流技能的界面及内容。左侧是技能创建页面,显示技能名称为“SKILL.md”,描述为“可编辑2个文件”,并有“打开方式”选项

好消息,成功了,坏消息,成功了一半。

对于视频的剪辑以及加速,它是可以做的。但是剪辑之后的上传,会被卡在浏览器自动化对于原有站点的安全策略上,所以会被明确地拒绝。

这张图片是深色背景的网页界面,页面核心显示醒目的白色大号标题文字“别再手动喂Agent了”,下方配有副标题“Loop Engineering 入门”及相关说明文

(1 分钟内的素材剪出来的质量还是可以的)

所以如果我们想做的话,做之前还是可以先让 CodeX 出一个 Plan,看看你整体操作的所有过程环节里会不会被卡。在不被卡的情况下再进行录制,就会很简单。

还有一个问题,在录制的这个过程中,尽可能不要用快捷键,尽可能在操作的时候用全屏。

那除了剪辑,我刚刚还有一个痛点,就是多轮搜索,

通过 Grok 直接搜索一个信息,获取 X 上面的高赞帖子,然后我再可以根据这些帖子的关键词再去补充搜索,下载一些视频素材和表格。这样操作下来,基本能满足一篇图文所需素材的 60% 到 70%。

我比较惊喜的点是,Codex 并不是在简单地照搬,它有自己的思路。

我在操作时演示得不算完整,

这张图片是关于Claude的相关说明界面,展示了Fable 5相关的使用推荐,其中明确标注出“Fable 5特别适合游戏构建、复杂应用开发、设计迭代、长时age

我先搜了最近三个月、点赞数(Like)超过 100 的帖子,这是我常用的选项。

把这些帖子整理成表格,在最底下发现游戏构建这个词经常和 Fable 5 一起出现。

于是我把这两个词组成新的关键词,回到 X 上继续搜索,发现了一个点赞量很高表现不错的视频,并把它下载下来作为演示素材。

Codex 理解完这一系列操作后,会在输入给 Grok 之前,自动增加一部分输入文本,让它输出适合中文搜索的关键词库。我觉得这一点非常棒,因为它把一个很难具象化的细节操作给自动化了。

这张图片分为左右两个展示区域,左侧是显示工具操作的界面,已完成“Create reusable workflow skill”的相关操作流程,其中被红框标出的是

我在进行信息搜索的时候,看到关键词会自然地想着往下搜,但实际上你很难提前告诉 AI 该怎么做,特别是不同的实体会有不同的关键词。

Codex 理解了我的这部操作,并用它自己的方式实现了出来。

所以最后能看到,codex 用这个新 skill 给我们整理了完整的表格,输出每个表格的互动指标。还提供了短关键词,从思考过程中可以看到,它在搜索短关键词时尝试了很多不同的组合。

在不同组的查询中,它发现多个关键词指向的是同一批高互赞帖子,所以它会还额外补充一个相关查询,并重新整理成表格。基本上,它已经能做到一个可以和 Deep Research 互补的版本,至少达到了我能接受的水平。

图片展示了在Grok中进行查询操作的界面及代码文件内容。界面中显示了“Create reusable workflow skill”等操作步骤,其中“Wait 图片展示了两款植物订阅服务应用界面。左侧为GLM 5.2,以绿色为主色调,宣传“真正适合你日程的室内植物”,并列出价格、优惠等信息,底部有“Start your

我们要做的,就是把我们已知的操作完整演练一遍就可以了。

说实话,目前 Record & Replay 还是依赖 Computer Use,还是靠图片理解在操作,

操作起来真不算快,偶尔会判断错该点哪里。

更类人的操作,还得等一个更强的视觉模型来做。

我觉得它真正可能替代的,不只是 RPA,还有一部分传统 Replay。

传统 Replay 更像是把过去录下来。

你回头看,回头复盘,回头找当时发生了什么。

Codex 更激进一点。

它不是只保存过去。

它把过去变成下一次可执行的上下文。

你上次怎么做的,它不只是回放给你看,是整理成 Skill,下次继续用(人类撰写证明)。

这就很骚了。

因为对我这种天天做内容,做产品,做点小工具的人来说,

我最不缺的就是录像。

我缺的是可以复用的经验。

我不需要把每一次鼠标移动都永久保存。

我需要的是,

下一次遇到同类任务时,

Agent 记得我怎么判断,怎么取舍,怎么验收。

从这个角度看,

Record & Replay 是把人的一次操作,

转化成 Agent 下次能用的经验。

以前这是自动化的终点。

现在成了自动化的起点。

@ 作者 / 卡尔