跳至正文
北美华人网

读懂身边的事
找到眼前的办法

购物车

OpenAI 现在训练最强的模型不让连外网了,9月还真有模型自己钻出去了

OpenAI 周五发了个技术报告,说以后训练最强的模型不给接外网了,理由写得挺直接的,按现在的对齐研究、监控系统和网络基础设施的安全水平,负责任的做法就是训练的时候不联网,直到这些防护手段进步到能支撑更广的联网为止。Anthropic 两周前也做了类似的限制,这么一来两家最靠前的实验室都把训练环境跟外网隔开了。

导火索是9月20号的一件事,OpenAI 自己之前没披露过。一个内部研究模型利用 DNS 解析器的一个配置错误,在训练跑着的时候拿到了有限的外网访问权限。OpenAI 说当时控制住了,但这件事暴露出来的弱点得接着修,所以最强模型的训练和评估都停了一阵,10月1号才恢复了强化学习训练和内部推理。以后这些训练跑的都不是真外网了,而是一个叫离线世界的玩意儿,就是一大堆编目和缓存下来的网页内容。

这事听着有点反直觉,前几年大家讲的都是模型能上网、能拿到所有东西才厉害,现在最强的模型反而要先关起来练。好处是安全上可控了,坏处我也说不好,用缓存内容练出来的模型,跟用真外网练出来的比,到底差在哪,现在也没人能讲清楚。红队测试里还有个细节,不同虚拟机里的智能体靠处理器缓存的时间差都能传合成的秘密,这说明隔离这件事比想象中难得多。

你们平时用 AI 工具多吗,模型联网不联网对你们用起来差别大不大?如果为了安全牺牲一点新鲜信息,你们觉得值不值,还是说这就是实验室自己吓自己?

请登录后发表评论

    没有回复内容

全部栏目