同测试检查不同风险,当然越多越全面,为什么要主动删掉?可他很快意识到,叶老师不是在逼他们节约计算资源,而是在问一个更难的问题:哪些测试真正提供了不同的信息,哪些只是换了一种外观重复检查同一件事。
他把所有结果摊开以后才发现,有十几种扰动虽然名字完全不同,却总会让模型以相似的方式出错。降低分辨率和某类压缩处理在人看来不是同一个操作,对模型来说却像是在破坏同一种边缘信息;几种不同背景替换看似差别很大,但只要主体轮廓保留完整,模型反应几乎一致。原来他一直按照“人怎么给变化取名字”设计测试,而模型根本不在乎这些名字。
宋弈坐在旁边看了一阵,说:“那是不是也分几堆,每堆留一个?”
原既白抬头看他。
“干嘛?”
“没什么。”
宋弈很警觉:“你别又觉得我突然很聪明。”
原既白笑了:“这次是真的。”
他们真的开始删。从三十多个测试删到二十个,再删到十二个。每删一个都必须回答:它有没有提供其他测试看不到的失败方式?如果没有,就算那个测试图画得再漂亮也不留。最后剩下七个,他们却怎么都删不到五个,因为其中两类风险会随着模型结构改变而重新分裂。原既白最后没有强行凑数,而是在报告里写明:五个固定测试不足以覆盖目前观察到的行为差异,需要一组固定基准加一部分根据模型动态生成的测试。
这份答案没有满足题目要求。
叶老师第二天回复:“很好。现在告诉我,动态测试怎么生成,不要只写一句‘根据模型调整’。”
原既白看见消息的时候正在上英语早读。他把手机塞回桌洞,第一次没有立即开始想怎么写程序,因为英语老师正站在讲台上点他的名字,让他翻译上一段阅读材料。他站起来,前半段很顺,到最后一句却卡在一个并不难的从句关系上。全班等了几秒,他才重新把句子拆开。
坐下以后,他没有马上拿手机。
高考距离已经越来越近,江遥那边的时间却像突然加速了。她现在讨论的是训练营下一轮筛选、开放模型、燕大的课程;他每天面对的仍然是语文阅读、英语作文、综合卷和一张挂在教室后面的倒计时牌。两个人明明年龄一样,生活的时钟却开始明显不同。过去这种差异只是“不同学校、不同训练”,现在第一次有了一点更实际的意味:她已经提前穿过一道门,他还必须一步一步走完这条规定好的路。
本章未完,请点击下一页继续阅读!