文档索引

在以下地址获取完整的文档索引：https://docs.typesafe.ai/llms.txt 使用此文件可以在进一步探索之前发现所有可用页面。

AI 入门

为什么 TypeSafe 训练具有校准概率的决策模型，而不是针对生成文本进行优化。

大多数 AI 产品围绕模型与人之间的对话构建。TypeSafe 基于不同的假设：大规模自动化将由 AI 对 AI 以及 AI 对软件的交互主导，因此机器接口比聊天接口更为重要。

我们称之为机器原生智能（Machine Native Intelligence）：

具备类似软件特性的 AI，例如结构清晰、可靠性高、可观测、可测试、速度快、一致性强以及成本低廉。

构建生产系统，而非上帝

TypeSafe 并不试图构建一个能做一切的模型。它是为生产系统设计的，在这些系统中，代码需要一个狭窄的决策进行检查并采取行动。

我们预期，大规模 AI 自动化将更接近 99% 的机器间交互和 1% 的人机交互。这将设计目标从“读起来感觉良好”的回复转向“在软件内部行为可预测”的输出。

阅读 TypeSafe 宣言。

三种训练后调整方法

预训练语言模型主要通过两种方式进行了适应性调整。TypeSafe 引入了第三种方式。此处展示 RLHF 和 RLVR 以供参考；TypeSafe 的训练路径为 RLCD。

RLHF 曾用于训练 InstructGPT 和 ChatGPT，并由 TypeSafe 联合创始人 Diogo Almeida 共同发明。

RLCD 与校准决策

RLCD 针对不同的输出契约进行优化：

• 模型不生成文本。
• 它返回决策和概率。
• 较高的概率应对应答案正确的可能性更大。

校准使不确定性可被软件利用。对于来自良好校准模型的众多预测：

• 概率为 0.2 的结果应在约 20% 的时间出现。
• 概率为 0.8 的结果应在约 80% 的时间出现。
• 概率为 1.0 的结果应在 100% 的时间出现。

这些比率描述的是预测群体的统计特征，而非对单次结果的确保证量。请参阅 置信度 以获取关于何时让软件采取行动或升级处理的指导。

RLHF 的问题

RLHF 训练模型说出人们偏好的话语。这一目标对聊天机器人效果显著，但也可能奖励阿谀奉承和听起来自信但实际是幻觉的内容。

偏好优化也会导致模式丢失（mode dropping）：模型学会偏好某种特定风格（如遵循指令），同时降低其他可能输出的概率。

模式坍塌（mode collapse）的轻微形式称为模式丢失（mode dropping）。在经典的生成对抗网络（GAN）故障模式中，生成器会学习到反复输出同一种结果，因为这种结果能够持续欺骗判别器。

RLHF 仍然是对话模型的良好选择。TypeSafe 的观点是，生产环境自动化需要不同的训练目标——一个围绕受限决策和校准不确定性展开的目标。