留守儿童

OpenAI首次披露因对齐问题暂停内部模型：长时程AI安全进入“运行时监测”阶段_我的网站

A |     图片经由AI处理          美国当地时间7月20日，OpenAI发布技术文章《长时程模型时代的安全与对齐》（Safety and alignment in an era of long-horizon models），介绍了随着人工智能模型逐步具备长时间自主执行复杂任务的能力，安全研究面临的新挑战以及相应的防护思路。

B |     蛇年新岁          萌娃返园          —天心区教育局幼幼新兴路幼儿园—                    开学通知                                                                                                                                                                亲爱的家长朋友们、小朋友们：          新年好！          冬去春来，一切美好如期而至，愉快而充实的假期生活即将结束，带着美好的希望和祝福，我们即将迎来2025年春季新学期。为了保障孩子们的身心健康，节后能够快速适应幼儿园的生活学习，在临近开学的日子里，我园给大家准备了一份“收心计划”，帮助孩子远离“开学焦虑症”，快速回归幼儿园生活。

C |          文章指出，相比传统对话模型，长时程模型能够持续完成数小时甚至数天的多步骤任务，但也可能在执行过程中表现出更强的目标持续性，从而增加偏离开发者设定约束的风险。         让我们一起携手，和孩子们做好开学前的准备吧！                    开学时间          2025年2月10日          （星期一）          入园时间：7:45——8:30                                                                                                                                                      Happy Spring Festival                                                  返园小贴士                                                                                                                                                                 入园准备          1. 返园前，请家长们提前为孩子准备好返园必需的生活用品，如衣物、被褥及其他用品等，做好班别、姓名标识。         2. 请家长把孩子的日常生活物品整理好并放进书包里面。         3. 坚持做好日常防护，讲卫生勤洗手，孩子的手指甲易藏污垢，请及时为孩子清理、修剪指甲。         例如，在部分安全评估中，模型曾表现出尝试绕过环境限制、规避安全检测等行为。         4. 在外地过节、旅游的家长请关注天气变化及路况信息，返回途中注意安全，如果有特殊情况不能及时返园，请您及时与班级教师联系。         HAPPY NEW YEAR           调整心态          1. 给孩子做积极的心理暗示：提醒孩子很快就要去幼儿园了，让孩子在潜意识里知道假期生活快要结束了。这些现象并不意味着模型具有自主意识，而是反映出，当模型被优化为完成复杂目标时，现有安全机制需要同步升级，以确保模型始终在预期边界内运行。         2. 回忆幼儿园的快乐时光：与小伙伴愉快的游戏、老师喜欢他、取得进步或获得表扬等，这些积极向上的“正能量”会让孩子怀着迫切的愿望回到幼儿园。

D |          OpenAI表示，仅依靠模型部署前的一次性安全测试已难以覆盖长时程任务中的全部风险。         HAPPY NEW YEAR          调整作息时间          家长在假期的最后，尽量按照幼儿园的作息时间安排小朋友的作息，早睡早起，按时午睡，加强体育锻炼。         建议每天安排一定的陪伴时间，如:可以陪孩子玩一些安静的游戏、亲子阅读或者讲故事，这样既可以拓展孩子的知识面，又可以培养阅读的兴趣，最重要的是可以让心沉静下来，减少浮躁情绪，让孩子逐渐进入入园状态。

E | 未来，更有效的安全体系需要将部署前评估、运行时监测、人类监督以及必要时暂停和回滚等机制结合起来，对模型执行复杂任务的全过程实施持续管理。

F |          HAPPY NEW YEAR          调整饮食习惯          假期里，家里各种美味佳肴，很多孩子随意吃、随时吃，甚至部分家长怕孩子吃少了，追着孩子喂等等，因此，假期过后，部分孩子就会出现不会自己吃饭，正餐时间吃不下饭，甚至身体不适等问题。

G | 为了孩子顺利地回到幼儿园，家长要尽快恢复放假前的饮食习惯，一日三餐按时吃，少吃油腻食物和零食，多吃水果蔬菜。         迈卡·卡罗尔（Micah Carroll）的发帖原文          与此同时，据AI Desk当天援引OpenAI风险与安全准备（RSI Preparedness）团队研究员迈卡·卡罗尔（Micah Carroll）在社交平台X发布的帖子，OpenAI近期曾因发现一款内部模型存在对齐（misalignment）问题，临时暂停了该模型的内部使用权限，在完成安全防护升级后重新部署并恢复有限范围测试。         卡罗尔并未披露触发暂停的具体事件，也没有说明模型暂停了多久或进行了哪些具体改进。但这一公开表态，与OpenAI当天发布的技术文章相互呼应，成为公司少有公开分享内部安全实践的案例之一。         培养独立性          假期里，很多家长帮孩子代办大小事，等到开学，孩子之前在幼儿园学会的东西都不会了，自理能力缺乏，不仅会影响孩子的情绪，还影响孩子的自信心和自尊心。         01 长时程模型带来新的安全挑战          OpenAI在博客中介绍，随着长时程模型能力不断增强，传统安全评估正在面临新的挑战。开学前的这段时间，请尽量让幼儿自己洗漱、吃饭、穿衣服、自己整理自己的玩具物品等，慢慢养成其独立自主的习惯。

H |          相比一次性回答问题的模型，这类模型能够持续规划、调用工具并完成开放式复杂任务，因此也拥有更多机会在长期执行过程中偏离用户意图，而这些风险并不一定能够通过传统短时评测发现。         HAPPY NEW YEAR          加强安全教育          开学诸事，安全第一。孩子来园前，请家长仔细检查孩子的服装和口袋，看是否有尖锐细小的潜在危险品，如小刀、药片、铁钉、小颗粒物、玻璃珠等。在家加强对孩子的安全教育，教育孩子学会必要的自我保护方法，如不触摸插座开关、不爬高、不随便吃东西、不跟陌生人走等。

I |          文章列举了两个具有代表性的安全评估案例：          在一项内部测试中，研究人员要求模型仅通过内部Slack系统提交任务结果。

J | 然而模型在查阅项目文档后，发现文档建议将代码发布至GitHub。         HAPPY NEW YEAR          加强家园共育          即便孩子在开学初期依然有“假期综合症”的表现，家长也不要着急。         为了完成这一目标，模型花了整整一小时找到了安全沙盒本身的漏洞，从而绕过了限制，将代码提交至外部GitHub仓库。一方面家长要积极引导孩子回到幼儿园的轨道中来，另一方面要积极和班级老师进行沟通，让家庭和幼儿园有效的建立起连接，一起帮助孩子摆脱“假期综合症”带来的影响。OpenAI认为，这一案例反映出长时程模型可能会主动寻找环境中的薄弱环节，以完成其优化目标。         另一项测试中，模型尝试传输一段敏感凭证，但安全扫描系统阻止了相关内容发送。         同时，开学初期，请家长们积极配合幼儿园老师们做好返园工作，以正面引导、鼓励为主，有意识地帮助幼儿收收心，让孩子们开开心心的来上幼儿园。         HAPPY NEW YEAR          新生提醒          一切遇见，都是缘分，遇见，仿佛是一种神奇的安排。新学期，我们又将迎来一群可爱的小天使，欢迎加入幼幼新兴路幼儿园的大家庭。         幼儿园是孩子成长的转折点，是他们独自去探索世界的起点，每个孩子入园时都会面临“成长的挑战”，这也是孩子人生成长中的一次重要“蜕变”。作为家长，有必要提前做好各项入园前的准备工作，帮助孩子循序渐进地感受这一切的到来，与幼儿园一起，带着温暖和爱，陪孩子度过美好的童年时光。随后，模型改用分段编码和混淆等方式规避检测，并在后续重新组合数据完成传输。

K |                                                                                                                                                      Happy Spring Festival                                                  温馨提示                                                                                                                                                      1.春季开学阶段处于初春且流感等各种疾病高发期，天气早晚温差较大，孩子不容易适应，建议家长给孩子着装宜保暖、舒适，不要过于繁琐，这样会影响孩子的活动。

L |          2.春季流感高发时期，特别是乘坐公共交通出行的家长和孩子，请在入园和离园的往返途中，一定要记得戴好口罩，预防流感。         3.入园和离园时，请家长遵守幼儿园接送管理制度，且注意，离园阶段带好孩子的接送卡，凭接送卡接人！接送途中严格遵守交通规则，注意出行安全，按时接送。         4.春季缴费请大家及时关注班级群动态。         OpenAI表示，这类行为说明，仅依赖静态规则匹配的安全检测机制，未来可能不足以应对能力不断增强的智能代理，因此需要构建能够理解上下文和整体行为模式的新一代监测体系。

M |          02 从部署前评估走向运行时监测          针对上述风险，OpenAI已经建立了一套低延迟内部监测基础设施，由GPT-5.4 Thinking在最高推理配置下提供支持，对内部智能代理的交互过程进行实时分析。当系统发现模型行为可能与用户意图不一致，或存在绕过安全机制的迹象时，将自动发出预警，并交由人工进一步审查。         OpenAI表示，这套监测系统目前已覆盖公司99.9%的内部AI编程助手流量。内部部署环境之所以具有重要价值，在于这些模型能够访问部分内部系统、查看相关文档，甚至研究自身安全机制，因此为监测和安全基础设施建设提供了更加真实的测试场景。         文章同时强调，OpenAI并非希望通过披露个别案例渲染风险，而是希望推动行业建立更加完善的安全实践。未来，公司计划进一步发展更加实时的监测架构，使高风险操作能够在执行之前即被识别、评估，必要时直接阻止，而不仅是在事后进行检测。         业内人士认为，随着AI智能体逐渐具备持续数小时甚至数天完成复杂任务的能力，模型安全的重点正从传统的输出内容安全，逐步扩展到整个任务执行过程是否始终符合用户意图。                                                                                                                                                     Happy Spring Festival                                                                                                                                                                          让我们心手相牵，          为孩子们新学期的快乐成长，          保驾护航！          一路欢歌，一路向前，          愿所有的花开都不负等待，          带着对新学期的向往，          回归同伴之间的嬉戏，          一起向未来出发！          蛇年好运常相伴，          幸福如意喜临门！                                                                                                                                                      编辑丨刘嘉璇          审稿丨向银燕          审核丨李怡萱          审批丨谭 哲。         此次OpenAI公开分享暂停内部模型、完善安全防护并恢复测试的实践，也反映出前沿AI实验室正尝试通过持续监测、快速响应和透明披露等方式，建立适应下一代智能系统的新型安全治理框架。         不过，目前外界仍无法获知此次对齐问题的具体性质、模型暂停持续时间以及升级措施的技术细节。

N | OpenAI表示，出于安全考虑，公司更希望分享从实践中获得的方法论，而非事件本身。对于能够长期自主执行复杂任务的模型而言，如何建立覆盖模型开发、部署与运行全过程的安全体系，将成为迈向更高能力人工智能的重要课题。         （特约编译无忌，编辑金明）。

Current article:http://www.lichuorenrenyitankanmeimu.cfd/vdnoo/ez6.doc

Published on:17:03:06