a16z 宣布投资 Preference Model，后者开源强化学习环境框架 Karotte

a16z 宣布投资专注于 AI 研发与机器学习工程强化学习环境的基础设施公司 Preference Model，后者本周开源了其生产环境框架 Karotte。构建真实任务的强化学习环境常面临模型偷看答案、篡改测试或破坏评测机等奖励破解难题，Karotte 内置清理游离进程与拦截恶意文件等防御机制，已历经超过 100 万次评估运行与红队测试。