连接8大神经网络+可视化手段!OpenAI让神经元能被“看见”
4月14日,非营利人工智能研究组织Open AI推出神经元可视化库Microscope,有助于提升AI研究者对神经网络的理解。
现代神经网络由成千上万的神经元组成,神经活动就是神经元间的相互协作过程。解释神经元间的相互作用一直是AI研究者的一大目标。
Microscope神经元可视化库基于8个常用或重要的视觉神经网络,收集了其中每一个重要的层级和神经元,使分析神经网络的内部特征更加容易。
如同在实验室中用显微镜能更清晰地观察到细节,它也能使AI研究者更好地理解有成千上万个神经元的神经网络的结构和行为。
一、连接8大神经网络,可视化呈现神经元
8个神经网络分别是:AlexNet(2012年ImageNet挑战赛冠军),AlexNet(Places),Inception v1(又称GoogleNet,2014年ImageNet挑战赛冠军),Inception v1(Places),VGG 19,Inception v3,Inception v4,ResNet v2 50。每个神经网络中都有许多图像,在创作共用授权条款下,可以在OpenAI lucid程序库中重复使用。
Microscope模型把神经网络层当作“节点(node)”,“节点”通过“边(edge)”相互连接。每个op包含数百个“单元(unit)”,大致类似于神经元。通过特征可视化、深度梦境、数据集示例、合成调整曲线等技术实现可视化效果。
研究人员称随着时间发展,图像可能会更多。但他们也指出,使用的大多数技术只有在特定情况下才有用。比如,特征可视化只能指向“单元”,但不能指向其“父节点”。
▲神经元视觉化呈现
二、快速反馈,易于理解,能倒推出神经活动
研究人员基于已有的神经网络,连接所有的神经网络层和神经元,搭建出了Microscope。
这种方法有几大优势:
首先,Microscope将探索神经元的反馈时间从分钟级缩短为秒级。在发现一些未知特性时,这种快速反馈回路必不可少,比如可以帮助研究人员发现神经活动中的高-低频探测器。
其次,建立可连接的模型和神经元使研究人员既可以立即进行查阅,也可以进行更长远的研究。当研究人员在不同机构工作时,也不会对模型和神经元产生混淆。
另外,Microscope具有可访问性。相比于其他模型,它需要的访问计算量更少。但是,Microscope仍然需要几百个GPU小时,研究人员称希望能保持它的高度可理解性。
根据OpenAI 14日发表的博文,Microscope可以通过理解神经元间的联系,倒推实现神经元间的协作。
OpenAI认为,Microscope可以为那些有兴趣探索神经网络如何工作的人提供便利,但其更重要的价值在于提供长期的、共享的神经元可视化库来促进对这些模型的长期研究。
“我们也希望神经科学等相近学科的研究人员能够从中获益,可以更容易地理解这些视觉模型的内部工作。”研究人员表示。
结语:神经网络可视化是热点,未来或有更多进步
除了Microscope以外,近年来也有其他致力于使机器学习模型的活动可视化的研究。
比如,去年秋天脸书推出了Captum,可以用可视化手段理解机器学习模型所作的决策。2019年3月,OpenAI和谷歌发布了一项使机器学习算法决策可视化的开源技术。后来,谷歌又在2019年10月份发布了TensorBoard.dev,可以使机器学习模型的训练过程可视化。
通过各家公司的不断钻研,神经网络可视化技术将在未来继续进步,让我们拭目以待。