麻雀SSA优化深度极限学习机用于回归

   日期:2020-10-05     浏览:246    评论:0    
核心提示:原理1: 深度极限学习机也叫多层极限学习机ML-ELM,其首先采用多个极限学习机-自动编码器(ELM-AE)进行无监督预训练,然后利用各ELM-AE的输出权重用于初始化整个DELM。相比于其他深度方法,DELM具有训练速度快的优点,但是ELM-AE在预训练的过程中,输入层权重与偏置是随机产生的正交随机矩阵;同时,ELM-AE无监督预训练过程中采用最小二乘法更新参数,但只有输出层权重参数会更新,而输入层权重与偏置是不进行更新的,这就导致了最终DELM的效果受各ELM-AE的随机...

原理1:       

        深度极限学习机也叫多层极限学习机ML-ELM,其首先采用多个极限学习机-自动编码器(ELM-AE)进行无监督预训练,然后利用各ELM-AE的输出权重用于初始化整个DELM。相比于其他深度方法,DELM具有训练速度快的优点,但是ELM-AE在预训练的过程中,输入层权重与偏置是随机产生的正交随机矩阵;同时,ELM-AE无监督预训练过程中采用最小二乘法更新参数,但只有输出层权重参数会更新,而输入层权重与偏置是不进行更新的,这就导致了最终DELM的效果受各ELM-AE的随机输入权重与随机偏置的影响,为此,可以采用某种方法进行这些参数进行寻优,依次提高DELM的网络精度。

                                                                                      图1 ELM-AE网络结构

原理2:       

       麻雀搜索算法(Sparrow Search Algorithm, SSA)是一种新型的群智能优化算法,在2020年提出,主要是受麻雀的觅食行为和反捕食行为的启发。因为这个算法是2020年出来的,相关论文很少,想水论文的有很大机会。因此,本文采用SSA对DELM预训练的各ELM-AE输入权重与偏置进行寻优。

应用:将上述方法用于时间序列预测,数据为风速时间序列。利用前1到num的各种值为输入 第num+1的风速作为输出,数据截图如下:
                                                       

                                                                                      图2 风速数据截图

第1:DELM效果,结果如下图3,左下角为各指标。

                                                                                             图3 DELM结果

第2:SSA优化DELM效果,如下图4

                                                                            图4 SSA-DELM结果

结论:

从结果上看,DELM在这个数据集上表现比较好,但SSA-DELM还是略胜一筹。更多见我github:https://github.com/fish-kong/SSA-DELM-regression

 
打赏
 本文转载自:网络 
所有权利归属于原作者,如文章来源标示错误或侵犯了您的权利请联系微信13520258486
更多>最近资讯中心
更多>最新资讯中心
0相关评论

推荐图文
推荐资讯中心
点击排行
最新信息
新手指南
采购商服务
供应商服务
交易安全
关注我们
手机网站:
新浪微博:
微信关注:

13520258486

周一至周五 9:00-18:00
(其他时间联系在线客服)

24小时在线客服