原理1:
深度极限学习机也叫多层极限学习机ML-ELM,其首先采用多个极限学习机-自动编码器(ELM-AE)进行无监督预训练,然后利用各ELM-AE的输出权重用于初始化整个DELM。相比于其他深度方法,DELM具有训练速度快的优点,但是ELM-AE在预训练的过程中,输入层权重与偏置是随机产生的正交随机矩阵;同时,ELM-AE无监督预训练过程中采用最小二乘法更新参数,但只有输出层权重参数会更新,而输入层权重与偏置是不进行更新的,这就导致了最终DELM的效果受各ELM-AE的随机输入权重与随机偏置的影响,为此,可以采用某种方法进行这些参数进行寻优,依次提高DELM的网络精度。
图1 ELM-AE网络结构
原理2:
麻雀搜索算法(Sparrow Search Algorithm, SSA)是一种新型的群智能优化算法,在2020年提出,主要是受麻雀的觅食行为和反捕食行为的启发。因为这个算法是2020年出来的,相关论文很少,想水论文的有很大机会。因此,本文采用SSA对DELM预训练的各ELM-AE输入权重与偏置进行寻优。
应用:将上述方法用于时间序列预测,数据为风速时间序列。利用前1到num的各种值为输入 第num+1的风速作为输出,数据截图如下:
图2 风速数据截图
第1:DELM效果,结果如下图3,左下角为各指标。
图3 DELM结果
第2:SSA优化DELM效果,如下图4
图4 SSA-DELM结果
结论:
从结果上看,DELM在这个数据集上表现比较好,但SSA-DELM还是略胜一筹。更多见我github:https://github.com/fish-kong/SSA-DELM-regression