训练再次开始。
屏幕上的曲线,也如大家预期的那样,损失函数开始新一轮的下降,而网络对新数字(5-9)的识別准確率,也开始稳步攀升。
一切看起来都非常顺利。
然而,就在这时,负责监控全局性能的周嘉豪,突然发现了一个异常。
“徐老师,高老师,你们看这个!”他指著屏幕一个不起眼的角落,那里显示著网络对旧知识(0-4)的实时测试准確率。
屏幕上,那个原本高达98.7%的数值,正在断崖式下跌!
99.7%……85%……60%……40%……
就像一块被迅速融化的冰块,网络对它刚刚才完美掌握的知识,正在以肉眼可见的速度,迅速地“遗忘”!
最终,当网络对新数字(5-9)的识別准確率,也攀升到99%以上,成功完成第二阶段学习时,它对旧数字(0-4)的识別准確-率,已经惨不忍睹地掉到了30%以下!
控制中心里,刚刚还洋溢著喜悦的气氛,瞬间凝固了。
所有人都呆呆地看著屏幕上那个残酷的对比,仿佛被浇了一盆冷水,从头凉到脚。
“怎么……怎么会这样?”索菲亚喃喃自语,脸上的笑容早已消失不见。
徐涛的脸色,也变得无比凝重。他立刻暂停了所有测试,下达了一条新的指令。
“立刻对网络训练前、第一阶段训练后、以及第二阶段训练后的三份突触权重矩阵,进行可视化对比分析!”
“神威之心”迅速响应。三张代表著整个网络连接状態的“大脑地图”,被並列显示在了屏幕上。
看著这三张图,问题的根源,被赤裸裸地揭示了出来。
第一张图(训练前),是一片均匀的、代表著隨机连接的“灰色地带”。
第二张图(学会0-4),在这片灰色地带上,出现了一些清晰的、被强化了的“高亮”通路。这正是网络储存著关於数字“0”到“4”知识的“记忆迴路”。
而第三张图(学会5-9),则让所有人都倒吸了一口凉气。屏幕上,为了学习新的知识,网络中又涌现出了一大片全新的、“更高亮”的通路。然而,这些新建立的、过於强大的连接,像野蛮生长的藤蔓,粗暴地干扰、覆盖、甚至直接“改写”了之前那些储存著旧知识的通路!原本清晰的旧“记忆迴路”,变得支离破碎,面目全非。
“我明白了……”高翔的声音有些低沉,“这就是人工智慧领域最著名的难题之一——『灾难性遗忘』。”
“为了学习新的知识,”他指著那张被“污染”了的权重地图,“网络中的神经元,『不顾一切』地將有限的突触资源,投入到了对新模式的学习中。这种毫无节制的『强化』,最终导致了对旧有记忆结构的灾难性破坏。”
这个发现,让所有人都从刚才的狂喜中,彻底冷静了下来。
他们满怀希望地创造出了一个学习能力极强、反应迅速的“天才”。
却没想到,这个“天才”,是一个记忆力极差、喜新厌旧、学了后面忘了前面的“偏科生”。
“我们该怎么办?”周嘉豪有些茫然地问道,“难道我们每教它一样新东西,都要把所有旧东西都带著一起复习一遍吗?那样的训练成本,將是无法接受的。”
徐涛没有说话,他只是死死地盯著屏幕上那张被新知识“冲刷”得面目全非的旧记忆地图,眉头紧锁。
如何让网络在拥抱新知识的同时,还能温柔地保护好那些珍贵的旧记忆?
这个更接近真实大脑学习与记忆机制的、无比棘手的难题,如同一片巨大的阴影,笼罩在了“未来智能项目组”所有成员的心头。