在她看来,韩辞在AI数学和优化问题方面大有可为。
纯数学只要不解决大难题,终究是难出成果的,而搭上AI现在飞速发展的顺风车,则前途一片光明。
比如韩辞现在在讲述的残差思想,在数学和物理界都算不上什么高深的东西。
可结合孟繁岐的应用成果来展示,则大大的加分,意义非凡。
不同领域的交叉地带,一向是出成果的捷径。
台上,韩辞的讲述仍在继续。
“我们假设一个简单的高维积分问题,计算一个可以表示为期望的积分I(g),先通过有限求和Im(g)来逼近。
若改用蒙特卡洛办法,从特定的dú • lì同分布的抽样样本中选择N个样本,则有恒等式E(I(g)-Im(g))^2=var(g)/N,var(g)=Eg^2-(Eg)^2)
这告诉我们收敛速度与维度无关。”
“若我们先用传统傅里叶变换,再用均匀的离散傅里叶变换来逼近。其误差则~m^-a/d,必然被维度所影响。
可,若一个函数可以表示成期望的形式,而令所有样本为dú • lì同分布样本,则有拟合差值为var(f)/m,与维度无关。
若将两层神经网络写作该形式,则意味着,这一类期望函数均可由两层神经网络逼近,且其逼近速度与维度无关。”
“让我们转向离散动力系统的视角,举一个随机控制问题。
动力模型Zl+1=Zl+g1(z1,a1)+n,其中z为状态,a为控制信号,n为噪声。若我们想寻找一个反馈控制信号函数,而通过求解动态规划贝尔曼方程,则必然会遭遇维度灾难问题。
该过程的性质,其实与残差网络等同。
..................”
“最后,我总结。深度学习根本上是高维中的数学问题。神经网络是高维函数逼近的有效手段,而残差网络则是更加容易优化的高维函数。
这意味着:数学处于科技创新的真正前沿,并且对新领域产生直接冲击。同时也为人工智能领域、科学以及技术领域提供了众多新的可能性。”