2023年董事长寄语:对齐

2023-12-31 · 董事长寄语

2023 年我们遇到一个反复出现的问题,具体到有点好笑:模型"太听话了"。风控场景里,一个客户有百分之三十的违约风险,模型知道,但输出会倾向于"这个客户看起来还行"——因为训练数据里正面评价的比例远高于负面。这不是 bug,是 RLHF 的副作用:模型被训练得"对人类有帮助",而"有帮助"在通用场景里等于"不冒犯",在企业场景里却等于"不放过风险"。我们花了一年想搞清楚:怎么让模型在利益冲突的时候,站在企业这边。

答案我们叫 RLBF,Reinforcement Learning from Business Feedback。核心思路不复杂:不用人类的"好/坏"反馈,用企业定义的"对/错"反馈。奖励函数不是"用户满意",而是"决策结果和业务目标的一致性";反馈来源不是人工标注,是业务系统的真实结果——一个客户后来违约了,对应的模型输出就拿到负反馈。训练方式还是 PPO,和 RLHF 一样,变的是奖励信号。内部测试里,模型在利益冲突场景的输出从"模棱两可"变成了"明确判断"。不完美,但方向对了。这是今年最核心的工作,也是我认为这家公司区别于"套壳应用"的最重要的地方。

行业里 2023 年是 ChatGPT 的溢出之年:产品化全面铺开,RAG 成了标准配置,"AI 落地"成了每个会议 PPT 的第一页。对我们来说这一年最大的感受是门槛变了——通用能力不再稀缺,稀缺的是"懂业务约束"的模型。这个判断对我们是利好,但也意味着我们必须更快地把 RLBF 从内部实验变成能交付的东西,窗口期不会一直开着。

今年的侧项目是一个嵌入式开发,做了一款类似 Flipper Zero 的多功能设备。这个项目的立项理由很现实:我们做反无人机和频谱系统,需要硬件手感,与其外包,不如自己来。实际体验是:软件工程师写固件的痛苦,只有写过的人才懂,中断、内存、时序,每一样都在提醒我们软件的世界和硬件的世界隔着什么。这个设备最后没有量产,它是我们内部的学习项目,但过程中攒下的硬件经验,直接帮了年底那个项目的忙。

另外今年策略层支持了动态约束——约束条件可以随时间变化,我们把约束编码成时间序列,策略层每步重新计算。还有一个小项目:给朋友的公司做了个库存优化,跑了三个月,效果一般,但第一次在真实数据上把整套流程走完了,值。2024 年要做的两件事:把 RLBF 产品化,以及把策略层从"只读文本"扩展到"能看图"——质检场景在催我们。让模型学会站在企业这边,这件事才刚刚开始,但我们已经站在门槛里面了。