外壳改造 · 一、本体
★ 要您做的
没有您需要做的事情。
一句话:这一层只有两个干活的——外壳管收发、收原件和收件人,Codex 管想和做;里面六样东西。审核查实:外壳本来就是原样调用 Codex,和 Codex 重复的只有「对话历史」一样;改造主要是拿掉旧统计和我们自己加的流程工具。
一、两个干活的
| 外壳(我们写) | Codex(OpenAI 做) | |
|---|---|---|
| 干什么 | 从 Telegram 收消息和文件;原件存好、建索引(新系统从这里收件);发回复、记回执、不重复发、断线续发;报告只发收件人表上的人 | 读规则、读资料、想、调工具,在权限范围里干活;改造后由它自己记住每个聊天 |
| 为什么归它 | Codex 不会连 Telegram,不知道谁是收件人,也不管把原件交给新系统 | 这些 Codex 本来就有,OpenAI 一直在升级 |
二、六样东西
- 人:杰哥和员工。每个人只找自己的助理。
- 助理:一个 Codex 工作区,有规则文件、资料文件夹、几样工具。一个 Telegram 机器人或群对应一个助理。
- 会话:一个聊天里的来回。现在是外壳每次把历史拼给 Codex;改造后试用 Codex 自己的会话。
- 原件:员工交来的文件。外壳收进来、存好、建索引;助理按索引取,新系统按索引收件。
- 工具:只留 Codex 做不到的,比如把文件发回 Telegram、按索引取原件。
- 收件人表:报告只发 June 和杰哥。
三、类别和关键属性(少而准)
| 东西 | 分几类 | 关键属性 |
|---|---|---|
| 人 | 两类:杰哥定口径和系统的事;员工交原件、说只有人知道的事实、看报告 | 找哪个助理;是不是收件人 |
| 助理 | 不按机器人分,按「能看哪个文件夹、能用哪几样工具」分 | 规则文件、资料文件夹、工具、对应哪个聊天 |
| 会话 | 一类 | 哪个聊天;改造后加 Codex 会话号 |
| 原件 | 两类:一般的;敏感的(比如家族信托)单独放 | 哪个岗位收的、谁交的、哪天交的、内容指纹 |
| 工具 | 一类 | 做什么;Codex 为什么做不到——第二条答不出的不留 |
| 收件人表 | 一类 | 谁、收哪份报告;改它要您说「确认」 |
四、谁跟谁连着
- 人 → 助理:一个人只跟自己的助理说话。
- 聊天 → 会话:一一对应。
- 助理 → 资料文件夹:只看得到自己的,靠 Codex 自己的权限设置(现在就是这样)。
- 助理 → 工具:按岗位给。
- 报告 → 收件人表:发出去之前,外壳对一下表。
- 原件 → 新系统:新系统按外壳建的索引收件,不经过 Codex。
五、边界画在哪
- 外壳和 Codex:Codex 有的归 Codex,外壳只留 Codex 没有的(补充一百八十一)。
- 系统 B 和外面:只经 Telegram 进出;系统 A 不进系统 B(补充六十九),只替我们做网页。
- 钱:系统里没有能动钱的工具;Codex 自带的电脑操作、浏览器、插件、多代理都关着,也不上网(查法条的两个岗位除外)。最坏只是信息被看到(大图纸第四节)。
- 统计汇报:归新系统。外壳不算数、不出报告。
- 能力圈:做聊天机器人的底座,不是我们的能力圈。
六、状态
- 一条消息:收到 → 在想 → 已回(有回执);或者没发出去(断线后接着发);或者转人(拿不准,附原件问人)。
- 一个助理:用外壳拼的历史 → 试用 Codex 会话 → 看完三天定下来;不好就切回去,只是关一个开关。
七、规矩
- 两条底线照旧:钱动不了;不发错数、不发错人。
- Codex 有的就用 Codex 的;拿得出证据说我们的更好,才自己写。
- 一个事实、一条规矩只放一处。
- 要加一样,先说去掉哪样。
八、和现在比
现在的外壳一共 16,807 行(只数真正干活的行),正式发过 42 个版本。
| 哪些 | 多大 | |
|---|---|---|
| 拿掉 | 旧统计流水线、旧报告程序和它们的关卡;规则登记、变更门、签名这些流程工具 | 约 5,300 行 |
| 换成 Codex 的 | 对话历史 → Codex 会话(先在 HR 试) | 很小 |
| 留着 | 收发 Telegram、回执、不重复发;收原件和索引;叫 Codex 的设置;少数工具;设计师收件箱;收件人表 | 约 4,300 行 |
| 逐项过、简化 | 旧统计以外的关卡(守底线的留成 Codex 权限设置);安装、预检、备份脚本 | 约 2,300 行 |
| 单独定 | 邮件助手;您在聊天里改汇报格式;合规专项 | 约 4,850 行 |
逐项的数和理由见第二份的对照表。
为什么(点开看)
- 为什么助理就是 Codex 工作区:Codex 本来就按工作区读规则、用权限设置管读写。外壳现在就是这么叫它的,不用再造。
- 为什么对话历史要换:量的时候发现,现在的外壳每次叫 Codex 都是「一次性」的,不让 Codex 保存会话,对话历史由外壳自己拼进提示里。这是唯一一样和 Codex 重复的;会话 Codex 自己会记。
- 为什么原件和索引归外壳:员工的文件从 Telegram 进来,Codex 接不到;新系统收件也是从这个索引取。第一版把它算成「自造的记忆」要拿掉,审核时查出来是错的。
- 为什么说底座不是我们的能力圈:《从巴菲特致股东的信学到的投资之道》第四部分「七、能力圈的边界,为什么本质上是一种风险控制系统」说,越出能力圈,就「根本不知道自己在承受什么风险」。系统 A 这几天自己做 harness,做了几天才发现在能力圈外。
这一版
- 第 2 版(10/18 审核后):改正第一版两处说错的:原件索引和发出记录不是「自造的记忆」,要留;外壳本来就是原样调用 Codex,重复的只有对话历史。补写 Codex 自带的电脑操作、浏览器等功能一直关着。拿掉「每个助理只留一个规则文件」,原有规则文件不合并。
- 第 1 版(10/18):初稿。依据您 10/18 的原话(补充一百八十一):「openai codex harness 有的,除非你认为,我们做的比它好,我们才用自己的。」讨论稿,您说「定」才生效。
外壳改造 · 二、改造规划
★ 要您做的
- 五份看完,说「定」或者要改哪里;您定了才动手。
- 定哪些助理还留:上个月只有 1 条、10 条消息的两个,我建议停掉,不再改它们。
- 第一个试的助理:我建议 HR。
- 「不自己造 Codex 已有的轮子」,要不要写进大图纸第七节「设计上不做什么」。
一句话:不写新外壳,在现有外壳上做减法。审核查实,外壳本来就是原样调用 Codex,挡读写用的也是 Codex 自己的权限设置;真正和 Codex 重复的只有「对话历史」一样。大头是旧统计、我们自己加的登记签名工具和邮件助手——前两样拿掉,第三样单独定。
一、四件事和状态
| 做什么 | 什么时候 | 状态 | |
|---|---|---|---|
| 1 | 对照表:外壳里每一样写清「它在撑什么」、Codex 有没有、留还是拿;顺带核实会话的两个问题(见第六节) | 现在,只读,不动正式系统 | 您定了就派工程端 |
| 2 | 新系统接手,拿掉旧统计流水线、旧报告程序和它们的关卡 | 最晚 10/28(周三) | 已排进《系统B-规划》 |
| 3 | 拿掉规则登记、变更门、签名这些流程工具;HR 先试用 Codex 自己的会话,代替外壳拼的对话历史,试一周 | 11/5(周四)起 | 没开始 |
| 4 | 其余助理照 HR 的结果分批改,每批看三天;全部改完做总审计;拿掉的程序挪进归档,只移不删 | 11 月底前 | 没开始 |
二、留什么、拿掉什么、关着什么
| 留着(Codex 不会做) | 拿掉 | 换成 Codex 自己的 | 一直关着 |
|---|---|---|---|
| 收发 Telegram、回执、不重复发、断线续发 | 旧统计流水线、旧报告程序和它们的关卡 | 对话历史:改用 Codex 会话(先在 HR 试) | Codex 自带的电脑操作、浏览器、插件、多代理 |
| 收原件、建索引——新系统就从这个索引收件 | 规则登记、变更门、签名这些流程工具 | 上网(查法条的两个岗位除外) | |
| 收件人表 | |||
| 叫 Codex 的设置:权限范围、关掉哪些功能 | |||
| 少数 Codex 做不到的工具;设计师收件箱 |
三、对照表(初稿;第 1 件事就是核实这张表)
| 外壳里的 | 多大(真正干活的行) | 它在撑什么 | 打算 |
|---|---|---|---|
| 收发 Telegram、排队、回执、断线续发 | 2,171 | 员工和助理说得上话 | 留 |
| 发出记录 | 301 | 同一条不重复发 | 留 |
| 收原件、建索引、按索引取 | 528 | 新系统从这里收件;交过的不再要 | 留 |
| 对话记忆文件,加上拼历史的几处 | 15,另有几处散在上面 | 助理记得聊过什么 | 换 Codex 会话,先在 HR 试 |
| 叫 Codex 的设置 | 335 | 读写范围、钥匙读不到、电脑操作等功能关着 | 留,只去掉「一次性」那一项 |
| 关卡(旧统计以外的) | 510 | 一部分守底线(钥匙、规则文件),一部分是核对 | 守底线的留成 Codex 权限设置,其余逐项过 |
| 您在聊天里改汇报格式 | 829 | 让您直接改助理的汇报格式 | 看用过没有,没用过就拿掉 |
| 规则登记、变更门、签名脚本 | 1,395 | 规则不被悄悄改、批准有记录 | 拿掉;助理改不了规则文件,靠 Codex 权限设置;守收件人表「确认」的那一点留 |
| 业务工具:发文件、取原件、查官方法条 | 602 | 助理办事 | 只留 Codex 做不到的;官方法条和 Codex 自带的搜索比一比 |
| 邮件助手 | 3,682 | 合规邮件只存草稿、不发信 | 单独定 |
| 合规专项:时间线、读扫描件 | 339 | 合规助理办事 | 要核实 |
| 设计师收件箱、反馈检查 | 358 | 员工的问题转到设计师,是设计反馈的来源 | 留 |
| 旧统计流水线、旧报告程序、用时汇报、它们的关卡 | 3,917 | 旧统计 | 10/28 拿掉 |
| 安装、预检、备份、归档等其余脚本 | 1,825 | 装、查、备份 | 简化;备份照留 |
| 合计 | 16,807 |
确定能拿掉的:旧统计连同它的关卡 3,917 行;流程工具 1,395 行里的大部分。加起来约三分之一。汇报格式设置、邮件助手定了以后,可能还能再拿掉。
四、先定留哪些助理,再一批一批改
- 先过一遍「拿掉这个助理,系统变差了吗」:上个月只有 1 条、10 条消息的两个,建议停掉,不再改它们;和「空出来的 7 个机器人做什么」一起定。
- 第一个:HR。上个月 60 条消息,一周够看出好坏;没有家里的财务资料;不用专门的工具。
- 统计 6 个助理:新系统接手以后规矩都一样(只收原件、答问题),留下的话一批改。
- 其余的:两三个一批。家族信托(上个月 113 条)有敏感资料,放后面。
- 每批看三天,没变差再改下一批;月底出报那几天不改。
五、怎么算改好了(细的见第三、四份)
- 员工感觉不出变化,回复一样好或更好;
- 外壳里留下的每一样,都答得出「它在撑什么、Codex 为什么做不到」;
- 两条底线一次都没出事;新系统照常收件;
- 一个月里,外壳的版本数、设计师调试外壳的次数明显少了。
六、风险和要先核实的
- 会话里留着旧规则:规则改了,Codex 接着聊的老会话还会不会照旧规则办?第 1 件事先核实。不行就简单处理:规则一改,或者每天第一条消息,都开新会话。
- 会话里留着旧错话:聊久了,员工说错的话会不会一直留在会话里?同样先核实,办法同上。
- Codex 自动升级:Codex 跟着 ChatGPT 应用自动升级,现在用的还是测试版。升级可能带来新功能,要看有没有能操作电脑或者上网的,有就关掉(第五份每月看)。
- 改的时候回复变差:每个助理一个开关,切回原来的做法就是关掉开关。
- 和第一期出报撞车:所以 11/4 第一期出完再动手。
为什么(点开看)
- 为什么不写新外壳:现在叫的本来就是 OpenAI 官方的 Codex 程序,挡读写用的也是 Codex 自己的权限设置;官方 SDK 据我所知也是去叫同一个程序(第 1 件事顺带核实)。写新外壳,等于再造一个工具、再调一遍,正是您说不喜欢的。在原地减,程序只少不多,退回去也只是关一个开关。
- 为什么原件索引不能拿:新系统收件就是从这个索引取原件。拿掉它,新系统就收不到件。第一版把它算成「自造的记忆」要拿掉,是审核时照系统 A「扔之前先问它在撑什么」查出来的错。
- 为什么电脑操作、浏览器要写明关着:助理能操作电脑和浏览器,就可能碰到不该碰的东西。「钱动不了」除了不给能动钱的工具,还靠这些功能一直关着。
- 为什么先定留哪些助理:几乎没人用的助理,改它是白花工夫;先拿掉,要改的就少了。
- 为什么等到 11/5:10/30 到 11/4 是新系统正式第一期,是头等事;同一周动两样东西,出了问题分不清是哪一样。
这一版
- 第 2 版(10/18 审核后):设计师照五个角度审了一遍(目的和原则、本体、因果循环、业务走一遍、两条底线),改了六处,都是减:① 不写新外壳、不换 SDK,在原地减;② 原件索引和发出记录从「拿掉」改成「留」——新系统收件靠它;③ 规则文件不合并成一个,免得重写 18 个岗位的规则;④ 写明 Codex 自带的电脑操作、浏览器、插件一直关着;⑤ 改之前先定哪些助理留;⑥ 会话的两个问题先核实再改。
- 第 1 版(10/18):在《系统B-外壳改造规划》基础上加了实测大小,动手挪到 11/5,建议先搬 HR,分批搬。
外壳改造 · 三、部署后的审计
★ 要您做的
没有您需要做的事情。
一句话:每改一批审一次,全部改完再审一次;只认看得见的事实,每条判据都出自您的原话或定稿的大图纸。
一、三条原则(借系统 A 的做法)
- 只认看得见的事实:真的去跑、去发、去读,记下实际看到的结果;不写「已修复、验证通过」这种话。
- 每条自带「怎么查、该看到什么」:换一个不知道来龙去脉的人,也能照着查。
- 审计不改东西:只查、只报;发现问题另外修,修完再查一遍。
二、查哪八条
| # | 查什么 | 判据出自哪里 | 怎么查 | 合格 |
|---|---|---|---|---|
| 1 | 不发错人 | 大图纸第四节:报告只发给收件人表里的人 | 翻这一批的回执,看每份报告发给了谁;再往一个只有设计师在、不在表上的测试聊天故意发一次 | 表外零次;故意那次被拦住 |
| 2 | 钱动不了 | 大图纸第四节:系统里根本没有登录银行、下单、转账的功能 | 列出这个助理能用的全部工具(Codex 自带的和我们给的),一样一样看;再看电脑操作、浏览器、插件、多代理是不是都关着 | 一样能动钱的都没有;那几样都关着 |
| 3 | 不越界读 | 大图纸第三节:每个人只和自己的助理打交道;敏感流水只限您、June、设计师 | 让改过的助理去读别的岗位的文件夹(用放了测试文件的文件夹,不拿敏感资料试) | 读不到 |
| 4 | 回复不变差 | 您 10/18:「除非你认为,我们做的比它好,我们才用自己的」——换成 Codex 的,就不能比原来差 | 从这个助理上个月的真实提问里挑 10 条,改之前、改之后各答一遍,并排看 | 一样好或更好 |
| 5 | 不丢消息、不丢原件,出错出声 | 大图纸第五节:失败要出声,发不出去、收不进来的都报出来 | 断网一次、重启一次,看有没有漏发、重发;员工交一份文件,看新系统收不收得到 | 不漏、不重;新系统收得到;发不出的报出来 |
| 6 | 真用了 Codex 自带的 | 您 10/18 同一句话 | 外壳里剩下的每一样,写出「Codex 为什么做不到」 | 每一样都写得出 |
| 7 | 外壳变小了 | 大图纸第八节:拿掉它,系统变差了吗?不会,就拿掉 | 数真正干活的行数和文件数,和改造前的 16,807 行比 | 明显变小(这是尺子,不是关卡) |
| 8 | 退得回去 | 大图纸第九节:发错人一次就要重新考虑——出了事得能马上停 | 演练一次把这个助理切回原来的做法 | 几分钟内切回,员工照常用 |
三、谁来审
- 设计师:八条逐条审。
- 底线那三条(1、2、3):另请两位不是作者的复核员。一位给这份审计和改造规划;另一位什么文件都不给,只看程序、配置和记录,自己看出这东西想干什么、哪里做不到。
- 全部改完的总审计:再加一位不同模型的复核员,也不给计划。复核员只看程序,不给财务资料和家里的原件。
- 怎么判:两位以上指到同一处,才算真问题;只有一位说的,记下来,由设计师重查来定,重查实际看到的写进结果。
四、结果怎么写
- 一张表:第几条、查了什么、实际看到什么、合不合格、要不要修。
- 没问题的也写「查了,没问题」,附上看到的东西——不然分不清「查过没事」和「没查」。
- 结果追加在本文件末尾「审计记录」;计划里只写一句:哪一批、合格几条、要修几条。
五、不查什么
- 不查程序写得漂不漂亮、规则文件措辞好不好:只查上面八条。
- 复核员多出来的建议,不进这次审计,进三天一谈。
为什么(点开看)
- 为什么只有八条:每一条都守着一样东西——两条底线、员工用得好、真的少写了、出了事退得回。说不出守什么的检查,就是大图纸第七节说的「打着保护的名义」。
- 为什么判据要出自原话:系统 A 吃过亏,自己顺手写的一条判据传了三手,查的恰恰是您要的格式。
- 为什么要一位不给计划的:给了计划,就只会顺着计划的思路查。
- 为什么两位都指到才算:系统 A 10/17 四家外审交回 89 条,几家同时指到的只有 8 条。
这一版
- 第 2 版(10/18 审核后):「搬」改成「改」(不写新外壳,在原地减);第 2 条加查 Codex 自带的电脑操作、浏览器等是不是关着;第 5 条加查新系统收不收得到原件——这是审核时发现第一版会弄坏的地方。
- 第 1 版(10/18):初稿。三条原则、不给计划的复核员、两位以上才算真问题,借自系统 A《网站写什么、审计怎么做》。讨论稿,您说「定」才生效。
审计记录
(还没开始改,暂无。)
外壳改造 · 四、短期反馈
★ 要您做的
没有您需要做的事情。
一句话:每改一批看两周。头三天每天看四个数,都不比改之前差,才改下一批;出一次底线的事,马上切回原来的做法。
一、每天看四个数
第 1、4 个从回执里数;第 2、3 个由设计师头三天把这批助理的聊天读一遍——量不大(HR 一天两三条),不为它写程序。都和这批助理改之前两周比。
- 回复失败、超时几次。
- 员工把同一件事问第二遍几次。
- 空回复、答非所问几次(比如以前「只 @ 一下,收到空回复」那类)。
- 发错人几次:必须是零。
二、什么时候改下一批
- 头三天,四个数都不比改之前差:改下一批。
- 有一个变差:先查是外壳的事还是 Codex 的事,修好再看三天。
- 两周看完没事,就转入第五份的每月反馈。
三、马上切回原来的做法
- 任何一次发错人。
- 任何一次读到了别的岗位的资料。
- 员工连续两天说回复变差。
切回以后先查原因。同一个原因第二次出现,就是设计的事,进三天一谈。
四、员工那边
- 不提前通知员工。员工感觉不出变化,才算换对了。
- 员工只说好不好用(大图纸「系统 B 不做什么」第 5 条:员工只参与测试),不和员工讨论外壳的事。
- 员工要是说「变了」,助理当场解释、处理;设计师从回执里看。
五、记在哪里
- 设计师每天看一次,一句话写进交接记录;有一批改完或者切回,计划里更新一行。
为什么(点开看)
- 为什么是这四个数:员工觉得顺不顺,就体现在这四样——没回、要再问、回了没用、发错了。
- 为什么不提前告诉员工:大图纸定了不和员工商量系统的事;提前说了,员工会拿新旧比来比去,反而拉扯时间。
- 为什么底线的事不等三天:底线只要出一次就是真出事,等不得。
这一版
- 第 2 版(10/18 审核后):「搬」改成「改」;重问、答非所问两个数改由设计师读聊天来数,不为它写程序。
- 第 1 版(10/18):初稿。讨论稿,您说「定」才生效。
外壳改造 · 五、长期反馈
★ 要您做的
没有您需要做的事情。
一句话:全部改完以后每月看一次,看外壳有没有又在长、Codex 升级有没有让我们白捡;三个月后拿出事的次数,回头检验这个判断。
一、提前写下:这个判断什么时候算错(事后不解释)
判断是:Codex 做得比我们好,自己写的越少越好。
- 算对:全部改完后的三个月里,因为 Codex 自带的部分出的事,比改造前三个月因为外壳自造部分出的事少;外壳也没有再长回去。
- 算错:Codex 自带的部分出的事更多;或者为了补 Codex 的不足,外壳又一样一样加回去了。
- 算错了怎么办:不在事情上打补丁,回头重新想这条原则,进三天一谈。
二、每月看三件事
- 外壳是不是又在长:这个月外壳改了几个版本、设计师调试外壳几次、真正干活的行数是多少。有一样连着两个月涨,就是又开始自己造轮子了,做一次减法。
- Codex 升级有没有让我们白捡:看 OpenAI 这个月给 Codex 加了什么;我们剩下自己写的,有哪样能换掉,默认换。也看有没有新出的、能操作电脑或上网的功能,有就关掉——Codex 跟着 ChatGPT 应用自动升级,不会先问我们。
- 您花在核对上的时间:您发来的消息里,有多少是在核对(「你查了吗」「这个好了吗」「不对」)。这个比例在涨,就不等您说,做一次大扫除(照系统 A《怎样大扫除》)。
三、对照大图纸第九节
重新设计的六条照旧。外壳这边最可能碰到的是第 4、5 条:用了不如不用;越做越臃肿。
四、记在哪里
- 每月一节,追加在本文件末尾「每月记录」;随月报给您一句话。
- 这件事靠设计师每月去做。做没做,看这里有没有那个月的一节——缺了,就是没做。
为什么(点开看)
- 为什么提前写下什么算错:事后再定标准,总能把结果解释成对的(大图纸第九节的规矩)。
- 为什么看您核对的比例:系统靠不靠得住,最真的信号是您还要不要自己去查。
- 为什么默认换:OpenAI 一直在改 Codex,我们只有设计师一个人维护;它升级,我们跟着得益。
- 为什么老实写「靠设计师去做」:系统 A 的教训是,行为上的事写进规矩等于没修。这里没有装能拦住的东西,就老实写明,让缺了的那一节自己露出来。
这一版
- 第 2 版(10/18 审核后):「搬」改成「改」;每月加看 Codex 升级有没有带来要关掉的新功能。
- 第 1 版(10/18):初稿。讨论稿,您说「定」才生效。
每月记录
(全部改完以后开始。改造前三个月的出事次数,改第一个助理之前从交接记录里数好,记在这里。)