7/25日记

i.i.d. 就是:每条数据都像用同一颗骰子重新掷一次。 独立:上一次掷出什么,不影响下一次。 同分布:每次使用的都是同一颗骰子,概率规则不变。 每个 mini-batch 都比较能代表整个数据集; ![image.png](/uploads/1785002486270-imag [...]

6/21日记

Parial rollouts是今天新学到的 Rl prompt set的构建需要的特征: 一个构建良好的 prompt set 不仅会引导模型走向稳健推理,还会降低 reward hacking 和过拟合表层模式的风险。具体来说,高质量 RL prompt set 由三个关键属 [...]