今年 8 月，Sakana AI 推出了史上首位“AI 科学家”。这一事件引起了人们的惊叹。它一出现，就成功生成了十篇学术论文。更为突出的是，人类研究员从其中一篇论文的想法中获得启发，进而写出了相关论文，并将其在 arXiv 上进行了公开。这使得人们开始对 AI 与人类科研的合作进行新的思考。
AI科学家的登场
今年 8 月，Transformer 论文的一位作者创业并成立了 Sakana AI。该公司推出的“AI 科学家”这一举措在科技界引起了重大反响。它就像投入科研湖中的石子一样，引发了一系列的波动。它生成的十篇论文涉及多个研究方向，这表明 AI 在科研创作领域具有巨大的潜力。它虽然只在公司内部出现，但它的影响已经在整个科研领域扩散开来。
这一新型科研力量的出现，让许多人产生了两种情绪，且这两种情绪截然不同。一方面，人们感到兴奋，因为它或许能够带来全新的科研思路以及丰硕的科研成果；另一方面，人们也存在担忧，担忧它是否会抢占人类科研工作者所拥有的机会。
人类研究员受启发
不同地方的人类研究员受到启发，他们有着扎实的专业知识。他们看到 AI 科学家的那篇论文后，迅速察觉到其中可进一步探讨的要点。这些要点涉及神经网络中的一些复杂概念，像最小描述长度（MDL）以及“grokking”现象等。这些研究员投入大量精力去深入研究，最终成功撰写了论文。此过程体现了人类研究员善于深度思考和挖掘的能力，他们能够从 AI 给出的初始想法中找到关键并进行拓展。
AI 论文的想法转化为人类研究员的过程，展现了不同研究能力相互进行补充的情况。在科研领域，这是对新合作模式的一种探索行为，它打破了以往那种仅由人类来主导科研方向的格局。
研究内容剖析
此次研究探讨了神经网络中的关键问题。其中，最小描述长度（MDL）能起到衡量模型复杂度与可压缩性的作用。研究显示，MDL 与“grokking”现象有着紧密的联系，这为理解模型的泛化机制开辟了新视角，就像打开了一扇通往神经网络奥秘的新门。
实验表明，MDL 减少时，泛化能力会提高，二者存在强烈相关性。此结论基于多次严格实验得出，且有大量数据支撑。研究者通过各种测试场景，对二者关系进行详细分析，为后续相关研究奠定扎实理论基础。
模型复杂性新评判
研究表明，传统评判模型复杂性的标准，诸如参数数量和权重范数等，具有局限性。在诸多情形下，这些标准不能精准地描述模型的复杂性，因为它们忽视了训练过程中的动态变化。而新提出的以最小描述长度（MDL）原则以及 Kolmogorov 复杂度来进行评判，这是一种创新之举。
这种新评判标准是通过一系列的测试以及对比得出来的。将这种新方法应用于各类神经网络模型中，能够更精准地跟踪模型在学习过程中的抽象复杂度，从而更好地预测模型的泛化能力。
正则化的重要性
研究表明，神经网络缺少正则化的话，就会出现严重的问题。没有正则化的神经网络，不能够实现从记忆阶段向泛化阶段的过渡，而是会始终停留在记忆模式。并且，此结果已经通过实验得到了验证。
在实际的神经网络应用场景中，正则化发挥了极为重要的作用，如同在为其保驾护航。它能够助力提升模型的泛化能力，防止模型过度贴合训练数据。这对于神经网络在图像识别、自然语言处理等各个领域的应用而言，具有重要的意义。
AI与人类的互补
从这次事件可以看出，AI 与人类在科研方面存在独特的互补性。AI 能够给出初始的想法，给人类提供创新的思路。而人类凭借自身的能力，可以进一步深入地挖掘和论证。不过，有网友经过分析后发现，AI 所写的那篇论文的实验结果不如人类研究员的。这引发了我们对于未来 AI 在科研中究竟能够扮演何种角色的思考。欢迎大家在评论区展开讨论，同时也希望大家点赞并分享本文。
