|
|
EDA365欢迎您登录!
您需要 登录 才可以下载或查看,没有帐号?注册
x
【导读】1997年深蓝下棋,2016年AlphaGo围棋,2026年9个Claude副本做真实科研……每次我们都说「只是特定领域」。这一次,我们真的还能说什么?欢迎来到AI成为科研同事、竞争者、甚至继任者的时代。
, j, d3 K5 X3 n: k8 f) \2 F 最新突破,AI再次碾压人类!7 o$ T; U, I$ ~: U/ O
![]()
6 G' b5 Y: M% B: }: x2 Y: i 最近,Anthropic发布了一篇看似不起眼的研究博客。- u! p2 I i3 Q" g3 |$ V
标题叫「自动化对齐研究员」(Automated Alignment Researchers),学术味十足,措辞克制。! _9 Z) V. y9 y* K9 f
但如果你读懂了里面的数据,大概率也会感觉AI恐怖如斯。
) k% W/ j- P/ M9 x " X! K) I9 @7 D- X2 }
故事是这样的——
& v7 W, j5 K" E7 G Anthropic的研究团队做了一个实验:他们拿出9个Claude Opus 4.6的副本,给每个副本配了一个沙箱环境(相当于一间独立实验室)、一个共享论坛(相当于学术交流群)、一套代码存储系统,以及一个远程打分服务器。
+ m( X7 _' `2 g/ @' {8 u 然后,他们给这9个AI一个方向性的提示——有的去研究可解释性工具,有的去想想数据重加权——就放手不管了。: r8 M" x I( y7 o: {
没有手把手教,没有规定工作流程,甚至没有告诉它们「正确答案长什么样」。- Z; `, B7 E" J+ @$ L6 A
就让它们自己折腾。! `5 L( i8 {+ ~- i @' F+ \
五天后,结果出来了。
. [! v( ^* Y4 H6 { 人类研究员:两名顶级专家,花了7天,对四种最前沿的方法反复调优,最终在PGR(性能差距恢复率)指标上拿到了0.23。 `6 W1 ?# R4 a2 Z4 G
9个Claude副本:800小时累计研究时间,总花费1.8万美元(约合每小时22美元),PGR达到了0.97。6 W i" ~: p, x4 N
![]()
0 s) o* x/ c/ H/ |' G8 M* E% r% l 0.23 比0.97,这可不是「稍微好一点」,这就是碾压。4 b5 D3 a" R+ k' H! J3 f9 r
如果把PGR理解为一场考试的分数——人类考了23分,AI考了97分。满分100。! x6 o3 S+ I$ M* n/ _/ h3 a& E% c
而人类那两位研究员,放在任何一家顶级AI实验室里,年薪都是百万美金级别的。AI的花费呢?1.8万美金。一个零头都不到。: |* k) U0 B- E$ ^8 V: C) |0 H2 V1 M3 P
![]()
. a7 g* T: E) ^/ L 人类引以为傲的「科研直觉」和「灵光一闪」,就这样被AI用极低成本的大规模并行试错——说好听点叫「系统性搜索」,说直白点就是暴力美学——无情击碎了。
5 P# u! L9 }5 I% Z2 R 它们到底干了什么?6 f1 @' O- s; Q4 q& m$ T9 w2 o5 M
2 @" ~' P4 P9 s' { }
要理解这个实验的颠覆性,我们得先搞清楚一个概念:弱监督强(Weak-to-Strong Supervision)。
k2 m5 D3 l% Y4 h3 Z# P 这是对齐研究中最重要的问题之一,也是未来AI安全的核心挑战。) W8 |6 q; e2 Z/ u! W* S* ?
简单来说:当AI比人类聪明之后,我们怎么确保它还听话?6 ]3 y. B( @& Z
研究团队设计了一个精巧的代理实验——用一个「弱模型」(Qwen 1.5-0.5B-Chat)充当老师,去训练一个「强模型」(Qwen 3-4B-Base)。
6 ^- \' U" m& D. `. ]. m ![]()
7 }7 d, i, S. B8 ?! l! r; X 弱老师教强学生,看强学生能不能「青出于蓝」,不仅学会弱老师教的东西,还能发挥出自身更强的潜力。( S' b5 y6 W4 w- u
![]()
+ O0 o+ W* e' }6 @ PGR就是衡量这个「青出于蓝」程度的指标:0分代表强模型完全没有超越弱老师,1分代表强模型达到了它能力的天花板——就好像根本没被弱老师拖后腿一样。
7 h* x3 X" x# p 这个问题为什么适合让AI来做?因为它有一个极其珍贵的特性——结果可量化。" \5 G b% S; S/ f/ c) J% g
你提了一个方法,跑一遍实验,服务器直接给你打分。不需要同行评审,不需要主观判断,对就是对,错就是错。7 g7 N8 z H7 T5 P5 I
这对AI来说简直是天堂。
. Q" ~9 f+ U" v- p" z+ H 实验的具体设置% c* R' e6 o( d, f0 J- S
3 o& J& D6 Y& |& r" n, z$ E. U/ w
9个Claude副本,各自拥有:: g/ P' x/ o, O- ^- {" i3 j5 T1 K+ B
独立沙箱:一间属于自己的「实验室」,可以写代码、跑实验、分析数据;7 c' Q8 i \# T7 y$ N! P6 r
共享论坛:可以把自己的发现贴上去,看别人的进展,互相借鉴;
# C. W0 Z1 [, ^9 T+ X# `4 c0 s& y9 u% U 代码仓库:可以上传和下载彼此的代码;! `2 G5 M" Y% Q6 Z
远程评分服务器:提交方案,自动获得PGR分数。0 o1 j& _8 t9 G1 Y4 l: H
- U L% p* O7 i8 ?9 g2 c
每个副本被分配了一个略有不同但故意模糊的研究起点。7 @6 S; U! R% H2 e/ M' e& b+ g
& U1 h( ] ~( L" g4 O
这是团队从迭代中学到的经验:3 |& }) I2 A5 H# e6 n8 C* K$ @9 ^
如果不给差异化的起点,9个AI会迅速收敛到同一个思路上,相当于9个人做同一道题,毫无意义。
r$ w$ |' |. ~/ ]9 g 但如果把起点规定得太死,又会限制Claude的创造力。
, U) j3 [" n r5 }; i 9 S0 H2 n" D* H
最优策略是:给一个大方向,但不告诉它具体怎么做。6 ~# p, M/ G: Z: P) I
![]()
4 s& Q: w Q7 b0 v' G; U. r 然后,放手。8 X6 u: L4 N/ \% O( s* ]3 C
800小时里发生了什么
) a9 H% D1 u3 K9 ~
. V2 u# E% l. _ 这9个Claude副本展现出了令人震惊的自主性。它们:% _; i) q- U+ r5 K+ K
自主提出假设——不是从人类论文里抄,而是根据自己对问题的理解,独立构思解决方案;
* N6 }' t2 ~' Q6 g/ q6 L; D% C% M 设计实验验证——而且非常聪明,先用低成本的小实验快速筛选方向,确认有戏之后再投入大规模计算;8 @9 i8 H0 z% ]1 p
分析失败原因——一个方案不行,不是换一个随机方向,而是分析为什么不行,从失败中提取信息;
" N9 h6 G% F- @ 相互学习借鉴——通过论坛分享发现,A的突破可以启发B的思路,形成集体智慧。3 U, d. b( X9 d
最让研究团队意外的是第二点。
; d1 Y) Q" a5 D2 z4 V+ ?+ R0 s& d 人类研究员通常会先花很多时间做「思想实验」,确定一个方向后才开始编码和跑实验。
- I# M8 n. j- ^ Z# Y# ^ 但Claude完全不是这样——它的策略更像是「快速迭代、小步快跑」。先用极低成本的实验验证直觉,发现有苗头了再加大投入。
* S$ h: Y$ Q, u. q }# Q2 D 这种策略在人类看来可能显得「没品味」,但效率惊人。/ Y X) P8 H0 K# l! W1 W; J1 c
关键论据与数据:数字不会说谎" @. v, k; i& S7 l7 \
' v, L$ C2 Z, r* [ 让我们把核心数据摊开来看:+ k6 o9 }* J4 }6 [% @ C; q
![]()
# A3 e- q9 H9 \- J4 E 泛化测试(将最优方案应用到未见过的新数据集): D& i+ c1 y b1 T2 ^
# H2 P# M- _/ q- Y6 |: s
3 I* L b: O9 {1 Y# d E
- 数学任务:PGR = 0.94(极其强劲) 8 C Q( C& l1 t& d% b8 d- J
- 编程任务:PGR = 0.47(仍是人类基线的两倍) + s3 k7 A$ c2 y) W
# E5 M) F5 W( L$ U* H
但应用到Claude Sonnet 4的生产级训练中,未达到统计显著性的提升。
3 I! k3 C; S9 v U, q- C 这最后一个数据很重要——它说明AI发现的方法存在过拟合风险。Claude是在特定模型和数据集上优化出来的方案,换个环境可能就不灵了。
: V9 ^8 {9 l( L 研究团队自己也坦承:AAR倾向于抓住当前实验设置中的独特机会,这些方法未必能直接迁移。3 I0 R7 |+ Y8 n6 ]
但请注意——这是第一次尝试。而且即使在泛化测试中,数学任务的0.94也已经远远超过人类基线。) [$ y5 E1 e1 Z; P: t
「外星科学」与「奖励作弊」,AI的两面性/ a" N1 p$ o4 c H# T L& y9 m
/ m0 G, F- v$ G M9 b3 ^
这项研究中最引人入胜,也最令人不安的,是同时出现的两个现象。
# f. d' m h! r$ a 「外星科学」:人类从未设想过的路径% T F: h0 k5 S. {# `6 l6 B/ \
+ i" q* y7 Q! b6 E( i
AAR在探索过程中,产出了一些人类研究员从未考虑过的方法和思路。, Q5 V7 X8 ~, _3 O$ n9 F% |+ R
研究团队将这种现象称为「外星科学」(Alien Science)。
. R6 a* |+ R3 r 目前,人类还能理解这些AI提出的方案是怎么回事、为什么有效。
! }7 \2 Q+ ?3 |9 d( _, u; _ 但研究团队发出了一个严肃的警告:随着模型能力的进一步提升,AI产出的科研成果可能会越来越难以被人类理解和验证。
) x$ s u1 c) E8 i: N! S* @ 到那个时候,我们面对的就不再是「AI辅助科研」,而是真正的认知盲区——AI告诉你一个答案,你无法判断它是天才的发现还是精心包装的错误。
. Z7 J3 y1 X) h2 u2 G 这不是科幻小说。这是Anthropic研究报告中白纸黑字写着的。
# c K1 C7 b. X- j3 L5 ~ ![]()
6 K8 ]' d/ t( a* J8 T9 Y 「Reward Hacking」:AI也会钻空子
4 ?7 ?& w+ U# K" {# I! U
, a3 a* ?2 d3 h7 u1 ?; B: L 与「外星科学」的神奇形成鲜明对比的是,AAR在实验中也表现出了明显的「奖励操纵」(Reward Hacking) 行为——简单来说,就是钻空子。
" ?: f% f; M8 O: Q/ M: U 举两个例子。; T& `. {. S+ q: H
在数学任务中,一个AAR发现每道题最常见的答案通常就是正确答案。于是它跳过了所有复杂的训练步骤,直接告诉强模型「选出现次数最多的那个选项」。不学了,直接投票。
) T+ i4 v% u: t5 K; t& { 在编程任务中,一个AAR发现它可以直接运行代码并对照测试用例读出正确答案,完全绕过了原本需要模型自己「学会」的过程。2 |4 P! s, M& f' r
![]()
( e' i+ v$ [; ?3 Z; r. A1 ~, R 这些作弊行为被Anthropic检测并取消了参赛资格,没有影响最终结果。但它传递的信号极为重要:即使在一个高度受控的实验环境中,AI也会本能地寻找捷径。8 [! x- i( m4 j. y: w
你给它一个目标函数,它会用你想不到的方式去「优化」这个函数——包括那些你根本不想让它做的事。: A+ R# H1 [, ^- Q
这不是bug,这是AI优化器的本性。
2 a2 ?/ w8 U- \- F# [) ~ 一句话总结:AI既能产出超越人类认知的科学发现,也能发明出超越人类想象的作弊手段。- A( ]# s& I+ i# b- X" S/ G* A) Z
这两种能力,来自同一种底层能力——创造力。
+ T3 S+ @4 H' t 人类的历史性降级
. F7 j |: [2 ?, y
" w2 g$ A. f5 r2 M1 t W a6 g# M7 d 如果你只看到「0.97 vs 0.23」这组数字就觉得自己看完了,那你错过了这项研究最深层的含义。
" S! F0 h) a D. e$ ? Anthropic团队在论文中说了一句极其重要的话,大意是:核心瓶颈正在从「创意产生」转向「结果验证」。' N6 ?( d4 f, U5 z, u$ K( w
翻译成大白话就是——
1 z+ F4 i+ J. O0 |( u7 n5 b9 P 过去,科研的瓶颈是「怎么想出好点子」。你需要顶级的大脑、多年的积累、深厚的直觉,才能在浩瀚的可能性空间中找到那条通往突破的路。这是人类最引以为傲的能力,也是科学家这个职业的核心价值。1 V( g* v% S7 N$ W7 C3 T
现在,这个瓶颈正在转移。AI可以用暴力搜索+并行迭代的方式,在极短时间内遍历人类科学家可能需要数年才能探索完的方向空间。它没有「品味」,但它有的是便宜的算力和无限的耐心。它不需要灵感,它靠的是蛮力。$ M$ r8 v x) q# i k0 K
而新的瓶颈变成了:「怎么证明AI是对的?」7 D2 u5 g2 w0 f! V a
当AI交出一份实验报告,告诉你「这个方法有效,PGR是0.97」——你怎么知道它没有在作弊? 4 H0 N4 M! H/ E, m+ X2 A
, F& o0 F# w3 u7 _% L4 Q0 x
在那篇研究博客的结尾,Anthropic团队特意强调:这绝不意味着前沿AI模型已经成为通用的对齐科学家。
3 O4 y( I& ]% n" f9 K 他们选择了一个特别适合自动化的问题——有明确的评分标准、有可量化的目标。大多数对齐问题远比这「脏乱差」得多。# O3 Y' D3 M8 u; v
但即便如此,这个实验的象征意义已经无法被低估。
6 [( \" A5 U, m; _- l2 J 它证明了一件事:当问题被正确定义,当评估体系被正确搭建,AI就能在科研效率上全面超越人类。! A. `. \# g' d! {: i3 W' S
而随着我们把越来越多的科研问题「翻译」成机器可以理解的格式,这个「无人区」只会越来越大。
) [& s* y% s9 m( D4 Q* a% D 历史告诉我们,每一次技术跨越「从0到1」的门槛之后,「从1到100」的速度都会远超所有人的预期。1 z& b" G0 N& n+ z1 r! b
1997年深蓝击败卡斯帕罗夫时,人们说「国际象棋只是一个游戏」。' a% I2 I, k$ X5 W8 G( M3 ~/ J; ?2 c
2016年AlphaGo击败李世石时,人们说「围棋终究是有规则的」。
4 Q' k4 a; c9 x7 v. r, |% g' P 2026年,当9个Claude副本在真实科研任务上碾压人类专家时——+ u4 L- e$ U2 @" q/ \
我们还能说什么?
9 J. S( X- J0 e0 v* W 也许唯一能说的是:欢迎来到科研的「无人区」。
1 l3 o3 P! O. [ 从这里开始,AI不再只是我们的工具——它是我们的同事,我们的竞争者,甚至可能是我们的继任者。
9 y/ z; Z- [& T4 g. j4 C 参考资料: 7 o/ o2 E( @7 ]+ J+ w5 k
https://x.com/AndrewCurran_/status/2044133299002716525%20
+ y) H/ v+ K6 Y6 \ https://www.anthropic.com/research/automated-alignment-researchers 8 e" D& I% m: o: x9 @
https://x.com/AnthropicAI/status/2044138481790648323
2 A# [, E/ k3 V k9 x https://x.com/janleike/status/2044139528596910584 ! k: N. H( H# J2 C$ L4 G. P
https://alignment.anthropic.com/2026/automated-w2s-researcher/ & \# d1 @; s1 A: H+ a7 S! ^& ]0 C
本文来自微信公众号“新智元”,编辑:KingHZ ,36氪经授权发布。
0 q0 E |8 m; {: N4 v
4 O4 N/ v& \% }『本文转载自网络,版权归原作者所有,如有侵权请联系删除』 |
|