基于灰狼优化算法的最小二乘支持向量机红枣产量预测研究

来源:用户上传      作者:

　　摘要 最小二乘支持向量机预测时，其参数的选取大部分只依赖于人工经验，无法实现自适应寻优，阻碍了其学习与泛化能力。针对该问题，采用灰狼优化算法对最小二乘支持向量机参数寻优，以1978—2016全国红枣产量数据为研究对象，利用最小二乘支持向量机的最优参数对红枣产量数据进行拟合与预测。为避免过拟合现象，将1978—2007和2013—2016年数据分别作为模型的训练与预测数据，2008-2012年数据用于交叉验证，同时为检验该模型的预测性能，将其与ARIMA模型的预测效果进行对比分析。实证分析表明，基于灰狼优化算法的最小二乘支持向量机模型预测的平均相对误差小于ARIMA模型预测的平均相对误差，其可适用于红枣产量的预测，也进一步表明灰狼优化算法对最小二乘支持向量机参数优化的有效性。
　　关键词 最小二乘支持向量机，全国红枣产量，灰狼优化算法，ARIMA
　　中图分类号 S126文献标识码 A文章编号 0517-6611（2020）06-0218-05
　　Abstract When predicting least squares support vector machine， most of its parameters are only dependent on artificial experience， and adaptive optimization cannot be achieved， which hinders its learning and generalization ability. To solve this problem， we used the grey wolf optimization algorithm to optimize the parameters of the least squares support vector machine， and took the 1978-2016 national jujube production data as the research object， and used the optimal parameters of the least squares support vector machine to calculate the red jujube yield data. In order to avoid overfitting， the data of 1978-2007 and 2013-2016 were used as the training and prediction data of the model， respectively. The data of 2008-2012 were used for crossvalidation. At the same time， it was combined with ARIMA to test the predictive performance of the model. The prediction effect of the model was compared and analyzed. The empirical analysis showed that the average relative error of the least squares support vector machine model based on the grey wolf optimization algorithm was smaller than the average relative error predicted by the ARIMA model， which could be applied to the prediction of jujube yield， and further indicated that the grey wolf optimization algorithm was effective to the least square support vector machine parameter optimization.
　　Key words Least squares support vector machine，National jujube yield，Grey wolf optimization algorithm，ARIMA
　　我国枣树资源十分丰富，在相当长的时间内，我国在世界红枣生产和贸易中占有绝对统治地位。红枣含有丰富的营养物质，在中医药学上有很高的实用价值。构建符合红枣产量变化的预测模型，科学准确预测红枣产量对巩固我国在世界红枣生產中的地位以及提升红枣产业经济效益具有重要的理论价值和实际意义。
　　随着预测理论的发展，BP神经网络[1]、支持向量机[2]、时间序列分析ARIMA[3]等传统以及相对应的改进模型被广泛应用于预测领域。但BP神经网络和支持向量机等预测模型存在可调参数[4]，而可调参数的选取又是决定预测性能优劣的关键，在以往的研究中大部分对可调参数的选取都依赖人工经验，无法实现自适应寻优[5-6]。而灰狼优化算法被用于求解函数最优化问题[7]，依靠适应度函数值的大小来区分每个个体的优劣，适应度函数（fitness function）总是非负的，任何情况下都希望其值越大越好。研究表明，灰狼优化算法在全局寻优方面明显优于粒子群优化算法和进化策略等智能优化算法[8]。而最小二乘支持向量机模型只有寻找到合适的参数，才能使得其具有高的泛化能力和强的鲁棒性，因此对参数的优化选择是成功使用最小二乘支持向量机的关键[9]。
　　鉴于此，笔者使用灰狼优化算法寻找最小二乘支持向量机的最优参数，并用优化后的参数模型对1978—2016年全国红枣产量拟合与预测。 　　1 算法理论
　　采用灰狼优化算法的最小二乘支持向量机模型预测时，为避免过拟合现象和检验该模型的有效性，将实证部分主要分为：①基于灰狼优化算法的最小二乘支持向量机预测（出现过拟合现象），②经过交叉验证的灰狼优化算法的最小二乘支持向量机预测（避免过拟合现象），③自回归积分滑动平均模型（ARIMA）预测。实证分析表明，基于灰狼优化算法的LSSVM模型预测效果优于ARIMA模型，可用于红枣产量的预测，同时也表明了灰狼优化算法对最小二乘支持向量机参数优化的合理性与有效性。
　　1.1 灰狼优化算法
　　灰狼优化（Grey Wolf Optimizer，GWO）算法是Mirjalili等 [10]在2014年提出的一种能够寻找全局最优解的新型群智能优化算法，其通过模拟灰狼群体的觅食行为实现目标优化，具有加速模型收敛速度和提高精度等特点。
　　该算法利用金字塔式的等级管理制度，将灰狼群体划分为4种等级：α（第1层最优灰狼）、β（第2层次优灰狼）、δ（第3层第三优灰狼）和ω（第4层剩余灰狼），并根据适应度值的大小，将狼进行排序，其中选择适应度的前3个值作为α、β和δ等级的灰狼。在狼群中，α狼做出的决策其他狼必须听从和执行，β狼协助α狼做出正确的决策，并听令于α狼，δ狼听从α和β狼，是ω狼的上级，等级最低的ω狼服从于前3等级的狼，有着平衡狼群内部关系的作用，ω狼追随前3者进行追踪和围捕，猎物的位置便是目标函数的最优解。
　　灰狼优化算法步骤可用数学模型表示为[11]：
　　步骤1：灰狼与猎物之间的距离D
　　步骤2：随着灰狼向猎物的移动，利用式（2）对灰狼空间位置不断更新：
　　步骤3：在狼群觅食过程中，当α狼判断出猎物所处位置时，将由其带领β和δ对猎物进行追捕。因α、β和δ狼最靠近猎物，则可利用其位置判断猎物的位置。利用公式（4）和（5）求出其他灰狼与α、β和δ狼之间的距离，然后根据公式（6）判断出灰狼向猎物的移动方向即确定寻优方向。
　　1.2 最小二乘支持向量机
　　20世纪90年代末，Suykens等[12]提出了最小二乘支持向量机（least squares support vector machine，LSSVM），LSSVM是SVM（支持向量机）的一种改进算法，该算法在很大程度上降低了样本点在训练过程中的复杂度，有优于传统支持向量机的运算速度，是机器学习中应用较广泛的一种建模方法[13]。
　　LSSVM模型常采用的核函数有高斯径向基核函数（radial basis function，RBF）、线性核函数和多项式核函数，选用RBF核函数，RBF核函数包含2个优化参数gam和sig2，其对模型的泛化能力和预测精度影响极大[14]。
　　给定训练样本{xi，yi}Ni=1，则LSSVM的目标函数可表示为[15]：
　　要将带有约束条件的问题转化为无约束优化问题，需要引入一个拉格朗日乘子αi，建立拉格朗日等式方程，则优化问题变为：
　　根据最优化理论的KKT条件，对公式（9）中每个参数求偏导并令其值为0，转化为线性方程组求解：
　　通过求解核函数矩阵和（10）式，可得LSSVM回归函数为：
　　1.3 GWO-LSSVM建模
　　GWO-LSSVM 建模的基本思想是利用灰狼优化算法优化 LSSVM 的参数，即通过灰狼优化算法，寻找最小二乘支持向量机的2个最优参数gam和sig2，并用优化后的参数模型进行拟合与预测，其具体建模步骤如下[16]：
　　第1步：输入1978—2016年全国红枣数据。
　　第2步：设置狼群的数量、最大迭代次数、优化参数的维数、初始化α、β和δ狼的位置以及gam、sig2的取值范围，根据狼位置所在的区间范围随时进行位置的调整。
　　第3步：根据gam 和 sig2的初始值以及1978—2006年数据对LSSVM模型进行训练。
　　第4步：计算适应度函数值。LSSVM 模型的拟合值与测量值之差的平方的均值作为适应度函数fitness。
　　第5步：运用灰狼优化算法在整个可行域内搜索，不断地更新α、β和δ狼以及猎物的位置，直到满足终止条件后停止迭代。适应度最小值所对应的α狼的位置为最优参数 gam和sig2。
　　第6步：将最优的gam和sig2作为LSSVM 模型的参数，从而对全国红枣产量进行拟合与预测。
　　2 实证分析
　　2.1 数据描述
　　该研究数据来源于《中华人民共和国国家统计局》，其详细数据见表1。通过观察39年的产量数据，可看出全国红枣产量从1978—2016年整体保持增长趋势。
　　2.2 GWO-LSSVM預测
　　将GWO-LSSVM模型预测分为3部分：①基于GWO-LSSVM预测（出现过拟合现象），②经
　　过交叉验证的GWO-LSSVM预测（避免过拟合现象），③自回归积分滑动平均模型（ARIMA）预测。
　　2.2.1 基于GWO-LSSVM预测。GWO-LSSVM模型对全国红枣产量预测时，以1978—2012年红枣产量数据为模型的训练数据，以2013—2016年为预测数据，根据GWO-LSSVM模型的建模流程，借助MATLAB软件实现对其科学准确预测。GWO-LSSVM模型预测时将狼群数量设置为50，最大迭代次数设置为20，参数取值的上下界分别为ub=[1e5，1e1]，lb=[1e-6，1e-6]，并以训练样本的拟合均方误差为适应度函数。通过灰狼优化算法对最小二乘支持向量机的参数优化，最终得到LSSVM的最优参数gam=307 27.957 798 650 2，sig2=2.774 591 306 236 88。用最优参数的LSSVM模型拟合的1978—2012年数据见图1a，2013—2016年预测图见图1b。 　　从图1a可看出，用GWO-LSSVM模型对全国红枣产量数据拟合时，因灰狼优化算法寻找出了最优的LSSVM参数，导致拟合训练数据时出现了过拟合现象，而用最优的参数进行预测时，从图1b可看出，预测曲线几乎是一条水平直线，完全没有真实值的波动特点，预测效果较差。
　　2.2.2 经过交叉验证的GWO-LSSVM预测。为避免过拟合现象的发生，将1978—2016年总计39年数据分为3段，1978—2007年数据作为训练数据，将2008—2012年数据用作交叉验证，2013—2016年数据作为预测数据。在预测时灰狼数量、最大迭代次数以及参数取值的上下界同上保持不变，而适应度函数以训练样本的拟合均方误差与测试样本的预测均方误差之和作为判别标准。经过交叉验证后该模型的拟合与预测图分别为图2a和图2b。
　　从图2a可看出，经过交叉验证的GWO-LSSVM模型对1978—2012年真实值的拟合效果非常好，其拟合曲线的趋势和真实值的变化规律基本吻合，则可用经过交叉验证的灰狼优化算法实现最小二乘支持向量机参数的优化和对2013—2016年红枣产量预测。其预测图见图2b，其预测曲线的变化趋势基本符合真实值的增长趋势，预测效果良好，为进一步说明模型的预测效果，计算出了模型预测值的平均相对误差。从表2可看出，该模型相对误差的最大值为 4.47，最小值为1.35，平均相对误差为2.81。
　　2.2.3 自回归积分滑动平均模型（ARIMA）预测。为更好地对比基于灰狼优化算法的LSSVM模型的预测性能，将该模型与自回归积分滑动平均模型[17]（autoregressive integrated moving average model，简记ARIMA）进行对比分析。
　　全国红枣产量显示了该数据序列不平稳，呈逐年上升的趋势，且通过观察该序列的自相关系数（autocorrelation coefficient，ACF）和偏自相关系数（partial autocorrelation coefficient，PACF）进一步证明了该序列为非平稳序列。将非平稳序列进行2阶差分处理，2阶差分的时序图如图3a所示，2阶差分处理后序列平稳，则全国红枣产量数据构建ARIMA（p，d，q）模型合理。
　　通过观察2阶差分处理后的自相关图和偏自相关图图3b，反复检验，最终将模型确定为ARIMA（0，2，1），从而实现对全国红枣产量的预测。
　　图4a为ARIMA（0，2，1）对1978—2012年红枣产量拟合图，图4b为2013—2016红枣产量预测效果图。ARIMA（0，2，1）模型的2013—2016年预测误差值见表2。从表2可看出，ARIMA预测相对误差的最大值为6.39，最小值为1.09，平均相对误差为3.44。
　　通过对表2的2种模型预测误差值的对比分析显示，可看出GWO-LSSVM模型的相对误差波动范围较小，而ARIMA模型的相对误差最大值接近于7%，其相对误差的波动范围较大。GWO-LSSVM模型的平均相对误差2.81，小于ARIMA模型的平均相对误差3.44，进一步说明基于灰狼优化算法的LSSVM模型的有效性，从而可用GWO-LSSVM模型实现全国红枣产量的预测。
　　3 小结
　　该研究采用灰狼优化算法对最小二乘支持向量机模型的参数进行优化，将1978—2016年全国红枣产量数据用于参数优化的最小二乘支持向量机模型的拟合与预测。为避免过拟合现象的發生，将1978—2016年总计39年数据分为3部分，从而实现该模型的合理准确预测，同时为了检验该模型的预测性能将其与时间序列常用ARIMA模型进行对比。实例表明，基于灰狼优化算法的LSSVM的预测值的平均相对误差小于ARIMA模型的平均相对误差，其预测效果优于ARIMA模型。该研究仅采用灰狼优化算法对最小二乘支持向量机的参数进行寻优，没有将多种优化算法对最小二乘支持向量机的参数寻优结果进行对比，在今后的研究中将会进一步完善。
　　参考文献
　　[1] 李静，徐路路.基于机器学习算法的研究热点趋势预测模型对比与分析——BP神经网络、支持向量机与LSTM模型[J].现代情报，2019，39（4）：23-33.
　　[2] 欧阳天皓，卢晓勇.金融安全背景下的证券市场稳定测度新方法：基于大数据支持向量机的市场预测与套利价值度量研究[J].财经理论与实践，2019，40（1）：77-83.
　　[3] 洪志敏，郝慧，房祥忠，等.ARIMA模型在京津冀区域手足口病发病趋势预测中的应用[J].数理统计与管理，2018，37（2）：191-197.
　　[4] 谭念，王学顺，黄安民，等.基于灰狼算法SVM的NIR杉木密度预测[J].林业科学，2018，54（12）：137-141.
　　[5] 严骏宏.基于离散小波分解和支持向量机的股指组合预测[J].统计与决策，2017（3）：168-171.
　　[6] 蔡欢.基于遗传算法和LS-SVM的财务危机预测[J].统计与决策，2017（2）：33-36.
　　[7] 石峰，楼文高，张博.基于灰狼群智能最优化的神经网络PM2.5浓度预测[J].计算机应用，2017，37（10）：2854-2860.
　　[8] MIRJALILI S.How effective is the Grey Wolf optimizer in training multilayer perceptrons[J].Applied intelligence，2015，43（1）：150-161.
　　[9] 李阳.数控机床直线轴热误差测量与分析方法研究[D].长春：吉林大学，2018.
　　[10] MIRJALILI S，MIRJALILI S M，LEWIS A.Grey wolf optimizer[J].Advances in engineering software，2014，69（3）：46-61.
　　[11]李麟玮，吴益平，苗发盛.基于灰狼支持向量机的非等时距滑坡位移预测[J].浙江大学学报（工学版），2018，52（10）：1998-2006.
　　[12] SUYKENS J A K，VANDEWALLE J.Least squares support vector machine classifiers[J].Neural processing letters，1999，9（3）：293-300.
　　[13] 郑威迪，李志刚，贾涵中，等.基于改进型鲸鱼优化算法和最小二乘支持向量机的炼钢终点预测模型研究[J].电子学报，2019，47（3）：700-706.
　　[14] SUYKENS J A K，DE BRABANTER J，LUKAS L，et al.Weighted least squares support vector machines：Robustness and sparse approximation[J].Neurocomputing，2002，48（1/2/3/4）：85-105.
　　[15] 司刚全，李水旺，石建全，等.采用改进果蝇优化算法的最小二乘支持向量机参数优化方法[J].西安交通大学学报，2017，51（6）：14-19.
　　[16] 陈珂，何箐.基于灰狼优化算法的最小二乘支持向量机在软件老化预测中的应用[J].无线互联科技，2018，15（15）：117-119.
　　[17] 陈荣，梁昌勇，陆文星，等.面向旅游突发事件的客流量混合预测方法研究[J].中国管理科学，2017，25（5）：167-174.
转载注明来源:https://www.xzbu.com/1/view-15160432.htm