单个神经元也能实现DNN功能，图像分类准确率达98%

当节点分离值θ较大时，网络节点之间将形成熟悉的多层DNN形状。
不过，当节点分离值θ较小时，每个节点的状态都依赖于前一个节点，而不是完全独立。这些额外的“惯性“连接在图c中用黑色箭头表示。
虽然研究者们用D=2N-1延迟环路恢复了一个全连接的DNN ，但模拟测试表明，这并不完全符合要求。
实际上，用更少的延迟环路就可以获得足够的性能。在这种情况下， Fit-DNN将实现一种特殊类型的稀疏DNNs 。
可见，在一定条件下， Fit-DNN可以完全恢复一个没有卷积层的标准DNN ，此时，它的性能与多层DNN相同。
单神经元的Fit-DNN将前馈多层神经网络的拓扑复杂性，通过延迟环结构折叠到时域。
这个延迟系统本身就拥有一个无限大的相空间，因此，只要有一个带反馈的神经元就足以折叠整个网络。
Fit-DNN的计算机视觉功能测试
研究人员使用Fit-DNN进行图像降噪，即：从噪声版本中重建原始图像。
他们把强度为1的高斯噪声加入Fashion-MNIST数据集的图像中，并将高斯噪声视为值在0（白色）和1（黑色）之间的向量。
然后截断阈值0和1处剪切所得的向量条目，以获得有噪声的灰度图像。

文章图片
如上图所示， a行包含来自Fashion-MNIST数据集的原始图像；b行为带有额外高斯噪声的相同图像，这些噪声图像作为训练系统的输入数据。 c行表示获得的原始图像的重建结果。
可见， Fit-DNN的图像恢复效果不错。
不过Fit-DNN真正的问题是，时间循环的单个神经元是否能产生与数十亿个神经元相同的输出。
为了证明Fit-DNN和时间状态下的计算能力，研究人员选了五个图像分类任务：MNIST40、Fashion-MNIST41、CIFAR-10、CIFAR-100 ，以及SVHN 。

文章图片
实验对比了隐藏层的节点数不同时（N=50 ， 100 ， 200 ， 400）， Fit-DNN在上述任务中的表现。
结果表示，对于相对简单的MNIST和Fashion-MNIST任务，单个神经元取得了很高的准确率。
但对于更具挑战性的CIFAR-10、CIFAR-100和SVHN任务，单个神经元的准确率较低。
值得注意的是，这里的Fit-DNN只使用了权重矩阵可用对角线的一半。如果增加节点的个数N ，将有效地提高性能。
研究团队

文章图片
感兴趣的读者可以戳下面的链接继续深入了解。
IngoFischer是论文的共同作者之一。他取得了菲利普斯·马尔堡大学获得半导体物理领域博士学位，后在欧洲多国的大学中担任工程和物理学的博士后研究员、助理教授和全职教授。
经典的多层神经网络，如火爆全球的GPT-3 ，目前已有750亿个参数，比其前身GPT-2的参数量要多100倍。
据估计，仅仅训练一次GPT-3就需要相当于丹麦126个家庭一年使用的电力，或者约等于开车往返一次月球的耗能。
柏林团队的研究人员认为， Fit-DNN可以对抗训练强大神经网络所需能源成本的上升。
科学家们相信，随着技术的发展，该系统可以扩展到从悬浮在时间中的神经元创建“无限数量的“神经元连接。
感兴趣的读者可以戳下面的链接继续深入了解。
论文链接：https://www.nature.com/articles/s41467-021-25427-4.pdf参考链接：https://thenextweb.com/news/how-ai-brain-with-only-one-neuron-could-surpass-humans
brain-with-only-one-neuron-could-surpass-humans

单个神经元也能实现DNN功能，图像分类准确率达98% | Nature子刊( 二 )