人工神经网络：用于人工智能的复杂网络

核心观点与研究结论

1. 人工神经网络与大脑连接性的对比

• 传统人工神经网络（ANN）采用全连接模式，而大脑连接具有动态稀疏性，这种稀疏性在生物学中具有计算优势。
• 研究者早期（2002年）提出稀疏人工神经网络（SANN）模型，但受到传统全连接模型的限制，未被计算机科学领域认可。

2. 大脑连接稀疏性的优势与利用

• 大脑连接的动态稀疏性通过“突触共同放电”理论（Hebbian学习）实现，即神经元协同激活时形成连接，提高学习效率。
• 研究者通过网络科学方法，发现稀疏网络在蛋白质相互作用预测等任务中比AlphaFold等全连接模型性能更高、速度更快。

3. 稀疏进化训练（SET）与Cannistraci-Hebb训练（CHT）

• SET方法从随机稀疏拓扑开始，通过训练、删除低权重连接、随机重生长连接来优化网络。
• CHT方法基于Hebbian学习，通过突触共同放电的“元拓扑学习”机制实现连接增长，在图像分类等任务中表现优异。
• 研究发现，仅1%的连接即可达到甚至超越全连接网络的性能，因为梯度搜索在稀疏空间中更高效。

4. 神经形态计算与树突计算

• 树突结构对网络稀疏性和时空处理至关重要，树突计算在神经形态领域成为研究热点。
• 研究者结合网络科学和树突计算，提出基于沉默突触的多层树突网络模型，用于三维视觉运动感知。

5. 研究成果与未来方向

• 研究者通过20年研究，验证了大脑连接稀疏性的计算优势，并提出基于网络科学的稀疏深度学习和神经形态计算方法。
• 未来方向包括自动神经架构设计，以及将树突计算与沉默突触结合，实现更高效的脑启发AI。