全场瞩目中,江倾来到了舞台中央。
他从主持人手中接过无线话筒,试了试音。
“喂,能听见吗?”
声音通过音响传出来,清润平稳,轻松带笑。
“能!”
有人笑着回应。
江倾洒然一笑,随即抬起头,自光缓缓扫过全场。
他的眼神很平和,却好象有种奇异的穿透力,所过之处,窃窃私语声渐渐平息。
“刚才山姆的分享很精彩。”
然而,他开口的第一句话就让许多人为之一愣。
不是反击,不是辩解,而是称赞。
“openai一直是这个领域的先驱,他们做的很多任务作都值得尊敬。”
江倾语气诚恳,没有丝毫暗藏机锋的意思。
“包括山姆刚才提到的新方向。让模型更精而非更大。我完全同意,这确实是未来的趋势之一。”
镜头也跟着转过去。
“不过。”
江倾话锋轻轻一转,笑容扩大了些。
“关于推理能力完全超越万象这个结论,我有点不同看法。”
他没有提高音量,语气算得上温和,可这句话却比火山爆发产生的烈度还要大。
“哦?”
“江博士的意思是,我们的测试数据有问题?”
“数据本身应该没问题。”
江倾看向他,笑着摆摆手。
“但测试方法可能————不够全面。”
说话间,他往前走了一小步,离舞台边缘更近了些。
“推理能力是什么?”
“是解数学题?是逻辑谜题?还是————理解真实世界的复杂性,并在其中做出合理判断?”
面对江倾的自问自答,全场鸦雀无声。
“都是,又都不完全是。”
“我举个例子。
江倾神态轻松得象在聊天,沿着舞台边缘,边走边说。
“假设我现在告诉你,昨天首尔下雨了,我没带伞,所以感冒了。请问,这个推理里缺失了什么关键信息?”
会场里安静了几秒,有人小声议论。
“是淋雨会导致感冒这个常识?”
一名欧洲学者试探性地说。
“对,但不完全。”
江倾笑着点头。
“关键的是,这个推理默认了我没带伞就等于我淋雨了。但事实上,我没带伞,我可以躲雨,可以打车,可以借伞。所以没带伞和感冒之间,并没有必然的因果联系。”
说完,他停顿了一会儿,让这个简单的例子沉淀一下。
“人类的推理,创建在庞大的常识库和现实经验之上。而目前几乎所有大模型的推理测试,都是在封闭、干净、缺省好的环境中进行的。”
“就象在无菌实验室里测试药物的疗效,但真实的人体环境要复杂得多。”
“所以,要比较推理能力,我们可能需要一些————更贴近现实的测试。”
他从西装内袋里掏出手机,低头快速操作了几下。
会场前方的大屏幕画面一变,切换到了一个简洁的界面。
上面显示着几行字:
实时开放性推理测试场景:厨房初始条件:灶台上炖着一锅汤,小火。冰箱里有鸡蛋、西红柿、青菜。厨房垃圾桶是满的。的手机电量还剩15。
问题:接下来一小时,你可能会遇到哪些问题?需要做哪些准备?请按优先级排序。
全场所有人全都看向屏幕,却没人去细想,江倾是怎么通过手机直接控制大屏幕的。
这个问题看起来简单,却包含了时间、资源、环境变化、风险预估等多个维度。
“这是万象实时生成的测试题。”
江倾解释道,他晃了晃手机。
“模型没有预先见过这道题。现在,我们可以请两位选手现场试一试。”
他看向山姆,笑容温和。
“山姆,你们的新版本应该已经内部部署了吧?要不要联机,让两个模型现场做个对比测试?实时生成答案,现场评判。”
这话一出,全场哗然。
现场测试?
还是开放性推理?
他张了张嘴,却说不出话。
这种完全即兴,多因素交织的现实场景推理,根本不是标准测试集里的内容。
模型很可能表现得不稳定。
“当然,这只是个提议。”
江倾见他不答,很体贴地说。
“毕竟新版本还没正式发布