constitutional-ai

Anthropic的训练无害AI的方法，通过自我改进。两阶段方法——监督学习与自我批评/修订，然后是RLAIF（从AI反馈中强化学习）。用于安全对齐，减少有害输出而无需人工标签。驱动Claude的安全系统。