Long-Gang Pang, IOPP@CCNU
2020-08-09, CCNU (注:按 f 键全屏)
身份认证, 刷脸支付
智能医疗,智能农业,智能工业,自动驾驶
2016年3月,AlphaGo 打败围棋前世界冠军李世石
阿里达摩院,腾讯,华为…
传统编程模式: 输入 + 预设指令 = 输出
自动编程模式: 输入 + “混乱大脑” + 输出 = “条件反射大脑”
对大部分人来说,深度学习 = 多层人工神经网络
\(P(极小值)= 0.5^n \sim 0\) 其中 n 是神经网络参数个数。
冯.诺伊曼: 使用4个参数我可以拟合一头大象, 再多一个参数,我可以让它的鼻子摇起来
梯度上升法,最大激活某个神经元
局部替换法,LIME或Prediction Difference Analysis
M. Tulio Ribeiro, et. al. “Why should I trust you?”
将深层卷积映射回输入图片
BoLei Zhou, et. al. “Learning Deep Features for discriminative localization”, CVPR 2016
\(特征重要性 = \int_{0米}^{2米} \frac{\partial 大象}{\partial 鼻子长度} \quad\ d 鼻子长度\)
两倍的参数实现无穷多神经网络的系综。
测试阶段打开Dropout, 生成神经网络系综
作恶的定义:己所不欲,勿施于人
Duke大学开发的超分辨率程序 PULSE, 存在将低分辨率奥巴马照片恢复成白人的偏见。 Yann LeCun 因其个人言论被骂退出 Twitter。
《冯康传》中举例说明什么是物理学中的反问题。比如,
求解偏微分方程:使用神经网络近似偏微分方程的解,优化解对方程,初始条件,边界条件的破坏
使用实验观测确定偏微分方程系数, 流体力学输运系数或哈密顿量
使用神经网络替换物理模型中无解析解或无数值解的模块。例如,无人机的近地湍流; 机器人反问题中关节摩擦力, 质量分布的建模
参数未知的 Burgers 方程
\(u_{t}+\lambda_{1} u u_{x}-\lambda_{2} u_{x x}=0\)
Physics Informed Neural Network 近似:
\[f := u_{t}+\lambda_{1} u u_{x}-\lambda_{2} u_{x x}\]
最小化损失函数:
\[ L= \frac{1}{N} \sum_{i=1}^{N}\left|u\left(t_{u}^{i}, x_{u}^{i}\right)-u^{i}\right|^{2} + \frac{1}{N} \sum_{i=1}^{N}\left|f\left(t_{u}^{i}, x_{u}^{i}\right)\right|^{2}\]
使用神经网络的自动微分与梯度下降,学习物理规律。
\[E_{\theta}=\frac{\left\langle\Psi_{\theta}|H| \Psi_{\theta}\right\rangle}{\left\langle\Psi_{\theta} \mid \Psi_{\theta}\right\rangle}\]
CosmoGAN: Training a Neural Network to Study Dark Matter
\[P(z) = P(z_0) P(z_1 | z_0) P(z_2 | z_0 z_1) \cdots P(z_m | z_0 z_1 z_2 \cdots z_{m-1})\]
在流模型中加入辛条件,实现特征解耦的抽样。
Neural Canonical Transformation with Symplectic Flows; ShuoHui Li, C.X. Dong, L.F. Zhang, L. Wang; PRX2020
\[f(x) = \sigma(... \sigma(\sigma(x W + b) W + b) + b) \]
使用群论,构造平移和旋转等变的卷积
Spherical CNNs. Taco S. Cohen, Mario Geiger, Jonas Koehler, Max Welling. (ICLR), 2018
使用神经网络构造正定的机器人质量矩阵 M(q)。
\[ L = T - V; \; T=\frac{1}{2} \dot{\mathbf{q}}^{T} \mathbf{M}(\mathbf{q}) \dot{\mathbf{q}}\] \[ \frac{d}{d t} \frac{\partial L}{\partial \dot{q_{i}}}-\frac{\partial L}{\partial q_{i}}=\mathbf{\tau}_{i} \]
\(\tau_i\) 是待预测的电机驱动力。
arXiv: 1801.03334; NPA2018, H.Huang, B.Xiao, H.Xiong, Z.Wu, Y. Mu and H.Song