这本来应该是他们想要的结果，可等程序继续跑了几小时，新的麻烦出现了。它开始越来越擅长利用他们那几条“人仍觉得图片差不多”的限制边界，专门制造一些肉眼很难察觉、统计上却异常精确的细小纹理。结果确实能骗过模型，却离真实世界越来越远。正常相机不会这样改变豆子，正常光照也不会产生那种纹理，程序只是发现了一条人类测试规则没有堵住的缝，然后拼命从那里钻出去。
宋弈看着一整页这种古怪样本，说：“我们造了个作弊专家。”
“不是作弊。”
“这还不算？”
“它只是在完成我们给它的目标。”
“那不就是更气人吗？”
原既白没有回答，因为他也觉得更气人。
过去几个月里，他们已经不止一次碰到类似事情：分类模型会利用背景捷径，测试程序会利用相似度指标的漏洞，优化目标越明确，系统有时越会从设计者没有预料到的方向把目标完成得“太好”。每一次都可以单独解释成工程问题，可当这种模式重复出现以后，它开始不像偶然错误，而像一个更普遍的东西：机器并不会自动理解“我们真正想要什么”，它只会沿着实际能够被计算的目标前进。
叶老师的视频会议安排在周四晚上。原既白把这些异常样本展示出来以后，原以为叶老师会建议他们加入更多限制，没想到他先问：“为什么一定要禁止它找这些东西？”
宋弈愣了：“因为没现实意义。”
“怎么知道？”
“正常照片里不会这样变。”
“你查过？”
房间里安静了一下。
他们没有。
原既白原本也觉得这些样本只是测试程序钻空子，可叶老师一问，他才意识到自己又犯了一个熟悉错误：先按照人的直觉划定哪些变化“有意义”，再让模型服从。那些奇怪纹理或许真的不自然，也可能只是他们没见过某些压缩、传感器、打印、扫描或者数据传输条件。真正应该做的不是看到陌生结果就立刻删掉，而是把它们分成两类：一类只是数学上的漏洞，现实几乎不可能发生；另一类虽然现在看起来奇怪，却有可能暴露真正存在的脆弱性。
叶老师说：“自动测试的价值，不只是替你出更多题。它有时候会出你觉得不该出的题。你要做的是判断，那是无聊的漏洞，还是你自己的想象范围太窄。”
原既白把这句话记下来，却没有立刻把它放进报告。他先和宋弈挑出
本章未完，请点击下一页继续阅读！