深度学习是不是只是在拟合数据？它的成功来自于拟合数据的能力不断变强吗？

这些问题是极其重要的，这是理解当前机器学习或者深度学习成功的本质，是继续推动其发展的核心。

对于深度学习为什么成功，其实是有大量的争论的。一部分人认为，深度学习之所以成功，只是因为它在高维空间有着优秀的curve fitting能力或者说拟合能力。而模型的输出，只是拟合函数的插值结果，或者interpolation结果。

对于这个观点，著名的人工智能三巨头之一Yann Lecun有着他自己的不一样的看法。他认为“in high dimension, there is no such thing as interpolation. In high dimension, everything is extrapolation.”

也就是说，他认为，在高维空间就不存在插值这样的东西，在高维空间一切都只有外推也就是extrapolation。插值和外推的区别就是，插值的话你的输入是在你给定值域范围内的，也就是你见过类似的。外推就是，你的输入是在值域之外的。

一个简单的比喻就是：比如你的训练数据集只有10厘米以内长的树叶，但是外推就是你的用来预测的输入呢，它的长度是比如说芭蕉叶它是远超10厘米的。

为什么在高维空间是没有插值呢？这个可以主要通过curse of dimensionality来大致理解，Yann在他的论文里也对此进行了详细解释：https://arxiv.org/pdf/2110.09485.pdf。非常推荐对这个问题感兴趣的同学阅读这篇文章。