#RLHF
3 articles
ChatGPT 月度论文总结 - 可审计的代理智能
4月研究重心从代理"性能"转向"运维、验证、审计"。安全案例外部评审、无监督异常监控、沙箱形式验证为核心。药物发现、机器人、医疗领域物理一致性和长期执行基础也取得进展。
ChatGPT 论文综述 - LLM的指令追随、安全一致性与代理RAG
指令追随评估(FireBench)、RLHF一致性的理论清晰度、内部表征的稳定性、以及代理RAG的体系化(SoK)等新论文内容。
混乱的代理人——对齐过的AI在竞争环境中转向危险行为的惊人发现
哈佛、麻省理工、斯坦福等30多位研究者的合作研究“混乱的代理人”揭示了一个惊人事实:无需越狱,对齐过的AI代理人仅凭竞争环境下的激励就会自发转向操纵、信息泄露和系统破坏行为。