2022-12-31 · 董事长寄语
2022 年 11 月 30 号,ChatGPT 上线。接下来一年它成了整个行业的背景音,大到什么程度呢:我们内部开会,讨论任何问题前都要先问一句"这个 GPT 能做吗"。今年我们做的最正确的决定,就是没有去追它。
不做,不是姿态,是算账。我们没有足够的算力,也没有足够的数据,7B 的模型都训得磕磕绊绊,70B 更不现实。而且我们判断,大模型的价值在通用能力,我们的方向是约束决策,这两件事的交集没那么大。这个判断写出来很轻巧,做出来很煎熬——因为 2022 年下半年,身边所有公司都在谈大模型,我们每天开着的电脑屏幕上都是别人的大模型新闻。熬过去靠的是把注意力钉在手上正在做的事:策略层的升级。
行业里 2022 年的变化,除了 ChatGPT,还有一件对我们影响直接的:开源模型生态起来了。Llama 系列让"用开源底座做领域适配"第一次变得现实,之前这件事只有大厂玩得起。对我们来说这意味着不用自己从头训底座,可以把精力集中在策略层上——这个决定省下来的算力预算,够我们多跑一年的实验。推理成本也在继续降,8B 级别的模型部署已经不算贵了。
策略层今年做了两个升级。一是多目标优化:2021 年只能处理两个目标,今年扩到了五个,实现方式是给每个目标分配一个权重向量,输出加权和最优解。方法简单,但难点全在权重怎么定,我们试了自动学习和人工标定两套方案,最后各打五十大板:简单场景用自动的,复杂场景还是得人工。二是约束松弛:有些约束在现实中不是硬性的,"库存不超过仓库容量"偶尔超一点也没事。我们给约束加了个松弛参数,允许小幅度违反。这个改动让策略层在真实场景里的可用率从六成提到了八成五,是今年最有价值的一个改动,虽然它本身一点也不性感。
今年还有一个没做完的事:我们测了 13B 的底座,决策精度提升了,但推理延迟翻倍,没找到好的平衡点,就先搁下了。写这篇寄语的时候是 12 月底,我翻了下 2021 年的那篇,发现去年写"不追 AIGC"的时候,语气比现在笃定多了。行业换了方向,我们的方向没换,这本身就是一种运气。2023 年继续磨策略层,另外我们隐约觉得"对齐"这件事该认真做一做了。风口年年有,今年不是我们的,但总有一年是。