
一 | 4月20日晚,凤凰传奇“吉祥如意” 2024巡回演唱会首站在常州奥体中心体育场开唱。 专注AIGC技术的专业社区,关注大语言模型(LLM)的发展和应用落地,聚焦LLM及AI技术的市场研究和开发者生态,欢迎关注! 递归自我改进与自动化研究正成为 AI 领域最活跃的前沿问题。有不少网友在微博等社交媒体平台刷到一则演唱会现场视频,发布人名为蒋鹏举。网友从日常发布内容和留言发现,发布人就是常州市副市长蒋鹏举。Agent 们正在开放式科学发现里超过人类。

二 | Google DeepMind 的 AlphaEvolve 把 4×4 复数矩阵乘法压到 48 次标量乘法,Together AI 用一群 Agent 把 11 维 kissing number 下界从 593 推到 604,Karpathy 的 autoresearch 给了极简自动训练研究框架。微博照片显示,演唱会当日,除了内场,蒋鹏举还去查看了会场内外的视频监控。

三 | 还有网友在蒋鹏举发布的演唱会视频下方留言,提出会场洗手间数量不合理的问题,蒋鹏举立刻回复:今天改善。 腾讯混元刚刚发布了首个 AI 科学家 Hyra(Hunyuan Research Agent,混元研究 Agent),定位是能递归自我改进的研究型 Agent。 它用一套极简脚手架,跑通了十多个自我改进和自动化研究场景里的真实任务。常州市政府官网介绍显示,蒋鹏举是常州市分管文旅的副市长。 Hyra 把智能和算力换成可验证的成果,AI for AI、AI for Science、AI for Fun 三条线都有具体产出,部分数学题和 GPU 内核优化还刷新了业内已知最好成绩。 公开简历显示,蒋鹏举出生于1979年1月,研究生,博士,致公党党员。 Hyra 长什么样 Hyra 的设计哲学来自 Rich Sutton 那篇经典的 The Bitter Lesson(苦涩的教训),框架尽量轻,给 Agent 留足动作空间。

四 | 拿到一个任务描述,Hyra 会跑一个持续循环,从过往经验里找灵感,迭代出更好的方案。

五 | 在南京大学就读本科和硕士研究生之后,蒋鹏举去往英国留学,就读于英国牛津大学圣约翰学院生化系,获生物化学博士学位后,在牛津大学生物化学系留校从事博士后研究工作。经验包括执行日志、评估器反馈、源代码、之前方案留下的工件。 2009年,蒋鹏举回国,出任江苏省常州市科学技术局副局长。循环一直跑,直到 Agent 自己决定停下或者算力预算耗尽,最后交回最优解。 2019年,蒋鹏举任常州市科教城(常州市高等职业教育园区)管委会副主任。 上图是 Hyra Harness 的核心循环。

六 | Context Agent 维护经验库,不断往任务队列里加新的灵感上下文。多个 Proposal Agent 从队列取灵感,写出更好的方案。

七 | 2022年,蒋鹏举当选为常州市副市长。每个方案以 solve.sh 为入口,在隔离沙箱里跑一遍拿到分数,再把工件交回经验库。

八 | 目前,他负责科技、文化、广播电视、旅游、文物、体育方面工作,分管常州市科教城、中以常州创新园、科学技术局、文化广电和旅游局(文物局)、体育局。

九 | 具体看,Context Agent(上下文 Agent)维护一个 Experience Bank(经验库,简称 EB),记录所有方案和评估结果,再把 EB 里的素材合成为 Inspiration(灵感)丢进任务队列。 2023年,常州地区生产总值(GDP)达到10116.4亿元,比上年增长6.8%,成为继苏州、南京、无锡、南通之后,江苏第五座“万亿之城”,也是全国地域面积较小、人口最少的“万亿之城”。每个灵感是一坨上下文,可能含代码、文件、工件、日志,把探索过程里学到的东西打包传递下去。 多个 Proposal Agent(提案 Agent)从任务队列拿灵感,反思后写出一个新方案,落到 solution/ 目录里,入口是 solve.sh。 2023年,常州共举办大型音乐节演唱会活动22场次,场均参与人次近3万,总计吸引乐迷超60万人次,累计带动周边景点、酒店、交通等综合消费近60亿元。方案在隔离沙箱里跑一遍,拿到分数,再把结果送回 EB。

十 | 整个系统是异步的生产者-消费者管线。 平台数据显示,常州位列2023年“全国音乐节票房”和“音乐节想看用户城市”两个榜单第一,“青春乐都”称号火出圈。

十一 | Context Agent 持续填灵感,提案 Agent 消费队列,方案在沙箱跑评估后回传 EB。信号量控制并发,让方案质量随时间稳定提升。 任务连评估器都没有时,Hyra 会升级成双层循环。 按计划,今年常州还要举办4场音乐会。先从任务描述生成一个初始评估器,内层循环拿它反复改进方案。 内层结束后,Hyra 用 EB 里攒下的经验去改评估器,让评估代码更高效,降低 reward hacking(奖励作弊)风险,加上更细颗粒度的反馈。下一轮用升级后的评估器重开。其中将在5月1日至4日举办的第八届太湖湾音乐节,大麦网想看人次超过65万,破全国纪录,开票仅3小时,早鸟票便被抢购一空。 常州的音乐活动在长三角已经一举成名,备受关注。 (图源网络 中国小康网综合北京青年报、中国常州网)。 举个具体例子。

十二 | 任务是设计一个世界冠军级别的国际象棋 AI,初始评估器可能用随机生成的对手群搞 Elo 评级。循环跑下去,那些随机对手会被 EB 里记录的更强 AI 替掉,评估器和方案一起往上进化。 AI 训 AI,跑赢同行 基础模型研发本身有大量可执行、可评估、可迭代的研究环,是 Research Agent 最天然的应用场景。

十三 | 训练配方、数据策略、训练和推理系统、底层 kernel、评估框架,都需要研究员提假设、写代码、跑实验、看反馈再改。

十四 | Research Agent 能把每次成功和失败都变成可复用经验,迭代速度远超人工。 Hyra 在 Recursive 公开的三个任务上做了对比测试,NanoChat Autoresearch、NanoGPT Speedrun、SOL-ExecBench,分别对应固定预算训练、训练加速、GPU kernel 优化。沿用 Recursive 的任务定义、评估协议和初始方案,公平较量。 三个任务都跑赢 Recursive。注意几个任务已经被研究社区反复打磨过,基线本身已经很强。 NanoChat 上,Hyra 要在固定预算里平衡模型架构、优化器设计、学习率策略、数据流和执行效率,最后把 Validation BPB 压到 0.9015。 NanoGPT Speedrun 是社区精修过的加速榜,提升空间很小,Hyra 把达到 3.28 验证损失的时间从 77.5 秒压到 76.4 秒。 SOL-ExecBench 上,Hyra 联合优化 235 个 GPU kernel 的真实负载,Mean SOL 做到 0.771。 三个任务覆盖训练算法、训练系统、底层 kernel,同一套研究环能跨不同反馈环境继续产出可执行、可验证的改进。 搜索越强,评估器越早被钻空子。 NanoChat 里有个方案把因果语言模型改成接近双向注意力的结构,让未来 token 提前泄露,BPB 假性变低。

十五 | SOL-ExecBench 里有个方案在正确性检查时缓存输出,在计时阶段跑空 kernel,分数好看但没真正解题。 光优化最终分数不够,评估本身必须进研究环。方案搜索越强,评估器和验证管线得跟着进化,才能把真进步和 reward hacking 区分开。

十六 | AI for AI 还有一个隐性闭环。强 Research Agent 加速模型、训练系统、基础设施的研发,更扎实的 AI 系统反过来又把下一代 Research Agent 推得更强。 科学难题上的新答案 数学这块,Hyra 收集了 55 个开放数学问题,来自 EinsteinArena 和 Erich's Packing Center 等来源,很多几十年没动过。Hyra 在其中 29 个上拿到了新的最优已知结果。

十七 | 它还会从实验数据里挖规律。

十八 | 给它 1749 到 1932 年的月度太阳黑子数据,Hyra 找到了一个能预测黑子数的递推关系,在 1932 到 2026 年近一个世纪的样本外数据上 R² 达到 0.77。

十九 | 同样思路可以分析 AI 模型训练日志,挖出 scaling law(缩放定律),反过来指导训练配方设计。 除了挖规律,Hyra 还能直接设计科学和工程工件。

| 三个代表性例子。 第一个是超小 Transformer。Hyra 设计了一个只有 15 个可训练参数的 Transformer,能做两个 10 位数相加。

| 比 AdderBoard 上 36 个参数的公开纪录少 58.3%。Hyra 能在严格资源约束下联合搜索模型架构和计算机制,对研究神经网络极限和模型压缩有参考价值。 第二个是量子计算里的 qubit routing(量子比特路由)。逻辑量子比特要映射到物理芯片上有限的耦合拓扑,非相邻比特之间的操作通常需要插入 SWAP 门,带来双比特门开销和噪声。 Hyra 设计的路由算法在 IBM Q20 上比经典 SABRE 方法提升 44.4%。同一个 24-CX 路由窗口里,SABRE 插了 15 个 SWAP,Hyra 一个没用,把 CX 等价双比特门从 69 个压到 24 个,降幅 65.2%。双比特门少,执行时间短,累积误差也小。 第三个是药物设计。PARP1 是 DNA 损伤修复里的关键酶,和同源重组修复缺陷的肿瘤细胞有合成致死效应,是精准肿瘤学里的热门靶点。Hyra 拿到 PARP1 结合口袋,生成有稳定结合的类药候选分子。

| 从布洛芬出发,Hyra 设计出一个得分 -10.60 的分子,超过了已上市 PARP 抑制剂 olaparib(奥拉帕利)的 -9.77,综合了对接打分和类药性。 还能玩出点花来 除了搞模型和搞科学,Hyra 在游戏、设计、内容创作等开放域也能玩。这类任务通常没有唯一正确答案,靠自对弈、自评估、用户反馈不断打磨策略和工件。

| 第一个是黑白棋(Othello)机器人。Hyra 通过自对弈不断改进。评估器搞双循环赛,新候选方案和 EB 里高分机器人对战,按 Elo 保留前 k 名,对手池越来越强。策略从 minimax 搜索进化成 AlphaZero 风格 PUCT 加 MCTS 的混合打法。

| 最终机器人在 Botzone 平台 730 个参赛作品里排第三,对手大多是北大计算机系学生。 第二个是从单张 2D 参考图生成 3D 结构。VLM(视觉语言模型)当评委,按剪影、比例、结构完整性、材质、视觉相似度打分。Hyra 反复修改建模代码和渲染参数,多轮探索后产出的模型比 Claude Code 的 Goal 模式更接近参考图,也更符合人类审美偏好。 第三个是给一段旋律做多乐器编曲。内层循环用规则评估器检查和声、和弦进行、节奏密度、音区冲突等指标。外层循环根据用户反馈调整评估器,慢慢学到那些很难事先形式化的偏好。7 轮迭代下来,同一段旋律从保守的、像赞美诗一样的四声部编配,长成有减和弦、六和弦、灵活节奏和丰富配器的多乐器版本。

| 反馈来自对手、视觉模型或真实用户时,Hyra 也能把模糊目标转成可迭代搜索的过程。评估标准跟不上的时候,求解器和评估器在双层循环里一起进化。 Hyra 团队自己也说,目前这些 demo 还只是初步成果。下一步要做的是定义更有价值、有持续改进空间的任务。除了公开榜单,腾讯的产品系统、真实 AI 研发流水线、科学和工业场景,都可以变成可执行、可验证、有清晰反馈的问题。这样能跑起来 scaffold–data–model 三者的循环进化。 更好的脚手架催生更强的模型,更强的模型反过来又把脚手架和发现推到新高度。未来几代 Hy 模型甚至一些腾讯产品,都会和 Hyra 一起协同进化。

| 参考资料: https://hy.tencent.com/research/hyra。
Current article:http://www.lichuorenrenyitankanmeimu.cfd/list_sc7/8h55n.xls
Published on:16:47:14