9、过拟合

9.1模型的容量

通俗地讲，模型的容量或表达能力，是指模型拟合复杂函数的能力。

9.2过拟合与欠拟合

当模型的容量过大时，也就是模型泛化能力偏弱，我们把这种现象叫作过拟合(Overfitting)。当模型的容量过小时，导致训练集上表现不佳，们把这种现象叫作欠拟合(Underfitting)。

9.3模型的设计

对于神经网络来说，网络的层数和参数量是网络容量很重要的参考指标，通过减少网络的层数，并减少每层中网络参数量的规模，可以有效降低网络的容量。反之，如果发现模型欠拟合，需要增大网络的容量，可以通过增加层数，增大每层的参数量等方式实现。

2 层的神经网络即可获得不错的泛化能力，更深层数的网络并没有提升性能，反而出现过拟合现象，泛化能力变差，同时计算代价也更高。

9.4正则化

wi=(1-