当前位置:首页 > 论文帮手>>文章详情

基于时间序列的航天器遥测数据预测算法研究

来源:论文帮手 作者: 发布日期:2017-12-09 11:45:19

基于时间序列的航天器遥测数据预测算法研究
 
 
摘  要
进行科学决策的重要依据是正确的预测。由于航天器运行在复杂的空间环境中,为了更加高效的对在轨航天器进行管理,有必要对航天器的运行状态进行预测。而航天器的遥测参数变化趋势可以有效的反映其在空间环境中的运行状况。航天器遥测参数中包含了设备状态的详细信息,根据数据信息变化规律,可以为遥测参数变化状态建立合适的预测模型。基于时间序列的预测算法,在航天器遥测数据研究领域的应用中前景广阔。时间序列数据中的参数值和历史参数具有显著的联系,历史参数的变化能够影响未来参数的变化趋势,体现出了参数具有记忆性。
本文通过对当前常用的预测方法进行了简单介绍,分析总结了相关预测模型在处理线性数据中的优势以及在处理非线性数据时的不足。为了解决非线性数据处理时的不足,引入了具有非线性映射功能的人工神经网络。目前,BP网络的发展最为成熟。它对于解决非线性数据预测具有强大的优势。高效的非线性映射能力,是它的显著优势。它对于预测参数没有明显的要求,只要对历史遥测参数进行有效的学习,就能够对数据的未来变化进行预测。然而标准的BP神经网络预测模型本身也存在着一些缺点。针对算法存在的这些缺点,提出了相应的优化方法。实际中的遥测数据序列往往比较复杂,在特定的时间段里非线性关系和线性关系同时存在。因此,本文提出将基于时间序列的遥测数据拆分成非线性模块和线性模块。由于时间序列具有可分解性,所以可以先通过线性时间序列AR模型把遥测数据中的线性主体部分进行预测。下一步将拆分后的非线性序列部分,通过BP算法处理。最终的输出由计算出的非线性部分和线性部分叠加组成。同时,由于遗传算法GA是一种全局优化的算法,针对BP网络存在的不足,结合使用GA算法来优化BP网络的初始权阈值,从而缓解BP网络容易陷入极小值的问题。
本文将所构造的预测模型应用到对预测某航天器遥测数据变化趋势的实例中,经过多次仿真实验,得到的结果表明,该AR-BP-GA综合预测算法是符合要求的。并且实验仿真效果比只使用一种线性AR模型的结果要好。最终验证了我们所提出的综合预测算法更加实用和有效。
关键词:遥测数据、时间序列、预测、AR、BP
 
Research on Spacecraft telemetry data prediction algorithm based on time series
 
Discipline: Computer Applications Technology
Student Signature: 
Supervisor Signature: 
 
Abstract
An important basis for scientific decision-making is the correct prediction. Due to the complex space environment, it is necessary to predict the running state of spacecraft in order to manage the spacecraft in orbit more efficiently. The changing trend of telemetry parameters can effectively reflect the running state of the spacecraft in space environment. The spacecraft telemetry parameters contain detailed information about the device status. According to the change rule of the data information, we can establish a suitable prediction model for the change of telemetry parameters. The prediction algorithm based on time series is widely used in the field of spacecraft telemetry data. There is a significant relationship between the parameter values and historical parameters in the time series data, and the change of the historical parameters can affect the trend of the future parameters.
In this paper, the current commonly used forecasting methods are briefly introduced, the advantages and disadvantages of the prediction model in dealing with linear data are analyzed and summarized. In order to solve the problem of nonlinear data processing, an artificial neural network with nonlinear mapping function is introduced. At present, the development of BP network is the most mature. It has a strong advantage in solving nonlinear data prediction. Efficient nonlinear mapping capability is its significant advantage. It does not have the obvious request to the forecast parameter, so long as carries on the effective study to the historical telemetry parameter, can carry on the forecast to the data future change. However, the standard BP neural network prediction model itself also has some shortcomings. Aiming at the shortcomings of the algorithm, the corresponding optimization method is proposed. The telemetry data in the actual sequence is often more complex, also exist in time nonlinear relationship and specific linear relationship. Therefore, the paper puts forward the method of dividing the telemetry data based on time series into nonlinear module and linear module. Because of the time series decomposition, we can predict the linear principal part of telemetry data by linear time series AR model. The next step will be resolved after the non-linear sequence part, through the BP algorithm. At the same time, because the GA genetic algorithm is a global optimization algorithm, aiming at the shortages of BP network, using GA algorithm to optimize the initial weight and threshold of BP neural network, so as to alleviate the BP network is easy to fall into a minimum problem.
In this paper, the prediction model is applied to predict the change trend of telemetry data. After several simulation experiments, the results show that the AR-BP-GA comprehensive prediction algorithm is in line with the requirements. And the simulation results are better than those using only one linear AR model. Finally, we show that our proposed algorithm is more practical and effective. 
 
Key words:  Telemetry data; time series; forecast; AR; BP
 
 
 
目  录
1 绪  论 1
1.1 引言 1
1.2 国内外研究现状 1
1.3时间序列概述 3
1.4人工神经网络和遗传算法概述 4
1.5 论文主要研究内容及组织 5
1.6本章小结 5
2 相关理论和技术基础 7
2.1引言 7
2.2线性时间序列模型 7
2.2.1AR模型 8
2.2.2MA模型 9
2.2.3ARMA模型 9
2.3人工神经网络 9
2.3.1人工神经网络基本概念 9
2.3.2人工神经网络模型 11
2.3.3人工神经网络分类 12
2.3.4人工神经网络运行过程 13
2.3.5BP神经网络及其学习算法 14
2.4遗传算法 15
2.4.1遗传算法基本概念与特点 15
2.4.2遗传算法的发展现状 16
2.4.3遗传算法的基本思想与结构 18
2.5 本章小结 20
3 预测模型的建立 21
3.1线性模型识别 21
3.2 AR模型定阶 22
3.3 AR参数估计 23
3.4构建非线性预测模型 25
3.5 BP结构确定 25
3.6 BP网络的学习过程 28
3.7BP网络的缺点 31
3.8 本章小结 32
4 模型的优化 33
4.1 BP神经网络遗传算法的组合 33
4.2 遗传算法优化BP网络流程 35
4.3 本章小结 36
5实验仿真 37
5.1实验研究背景 37
5.2实验模型建立 38
5.3本章小结 46
6 总  结 48
6.1 结论 48
6.2 存在的问题与展望 48
参考文献 49
攻读硕士学位期间发表的论文 52
致  谢 53
学位论文知识产权声明 54
学位论文独创性声明 55
 
 
1 绪  论
1.1 引言
随着科技的进步,航天技术也发展日新月异。然而,不断增加的在轨航天器数量、不断延长的航天器设计寿命以及不断增多的航天器型号种类,给地面的管理工作增加了更大的难度,因此对于管理者来说,有效维护航天器运行的稳定性十分重要。和地面的模拟环境相比较,航天器运行的太空环境更加的复杂和不可知[1]。航天器在运行过程中长期受到光照、辐射、太阳粒子等多种因素的作用和影响,致使其运行过程中的性能与功能随在轨时间而发生一定变化,而我们地面控制中心接收到的遥测数据的变化趋势可以有效的反映出这一情况。所以,为了使航天器在运行的过程中更加的稳定,降低其运行风险,保障航天器在轨道上长期安全的运行。有必要对航天器遥测数据在未来一段时期内的变化趋势进行预测,进一步达到变化趋势外推的作用,及时发现数据的异常变化。
基于时间序列的预测方法,在航天器遥测数据预测领域的应用中前景广阔。对于航天器而言,它的遥测参数种类繁多,有长期趋势波动变化的;有季节性变化的;还有一些随机性变化的。航天器运行过程中设备的状态以及性能的变化可以通过遥测数据的变动反映出来。根据这些改变,从而可以对航天器各部件的性能和趋势进行预测。首先通过对航天器遥测数据参数值的变化特点进行平稳性检测分析,然后采用差分运算法将非平稳的时间序列进行平稳化处理。然后根据时间序列算法特性选取适当的时间序列预测模型,进而建立完整的预测模型方程,对遥测数据在未来一段时间内的趋势变化进行预测。预测是决策的基础,通过对自然现象变化规律的分析与总结进而找到对变化规律预测的有效解决方式。在现实世界里,人们获得的许多信息往往是不全面的,而通过对已有的历史数据进行充分的挖掘其中所包含的信息,建立合适的模型,最终可以对未来进行预测。下面是预测的基本过程:
 
图1预测过程
1.2 国内外研究现状
《时间序列分析、预测和控制》这本书于1970年出版,它的作者Box首先提出了基于时间序列预测分析的相关理论与方法。传统的统计学方法可有有效的处理静态数据,而对于动态数据而言,它的处理效果往往不理想。而Box提出的基于时间序列预测分析的方法对于动态数据的信息提取、预测控制有着强大的优越性。它为自然科学和社会科学等各方面的研究提供了新的思维方式和研究动力。而国内在基于时间序列数据的研究方面也有着丰富的经验。肇刚等人提出的基于时间序列数据挖掘的航天器故障诊断方法,它通过对航天器的诊断对象的确定,然后选取特定的遥测数据,对遥测数据进行数据预处理,进而得到符合要求的时间序列数据。再通过对该时间序列数据进行数据挖掘,对挖掘结果进行解释和评估,最终实现对航天器设备故障的诊断。徐峰、王志芳、王宝圣他们提出对于震动信号趋势的预测可以通过AR模型来实现。设备故障诊断的一个重要性能指标是振动信号的趋势变化。振动信号数据序列往往是非平稳序列,通过ARIMA模型将非平稳的序列转化成相对平稳的时间序列进行预测。对于AR模型中的阶次,采用赤池准则法得到,通过对一个非平稳时间序列进行相应的差分处理得到一个平稳时间序列。实验结果表明该方法对振动信号时间序列变化趋势的拟合程度较好,说明了该预测模型具有一定的科学性。李瑞莹,康锐等人结合了故障率预测的相关特点,将多个时间序列预测模型进行实验对比,得出了ARMA时间序列预测模型能够有效的预测故障率的变化趋势的结论,并且将该模型应用于飞机故障率的发生预测中。实验结果的精度较高,符合实验要求。仝艳时等人提出将时间序列模型应用于对火警短期的预测。以天为周期的火警数据符合ARIMA(0,1,2)预测模型,而以周为时间周期的时间数据符合ARIMA(1,0,0)预测模型。实验结果表明以周为时间周期的预测精度高于以天为周期的预测结果,该研究方法对降低火灾处理时的危险性具有重要意义。
由于实际工作中,基于时间序列的数据常常会出现非平稳的状态,这样就导致传统的时间序列预测模型不能得到理想的预测结果。近年来,随着大数据、人工智能等技术的飞速发展,人工神经网络技术再次受到人们的重视。由于人工神经网络技术具有较高的非线性映射能力,越来越多的研究人员将传统的时间序列预测模型和人工神经网络相结合,从而提高预测模型的实用性。国外的研究情况有Frontier Financial公司为了对股票市场的变化形势进行预测,使用了人工神经网络模型。Funahashi等人的研究结果表明人工神经网络模型可以对任何数据进行拟合。在1990年Sharda等人提出了人工神经网络模型的预测效果不比ARMA模型的预测效果差。而神经网络技术在国内也得到了快速发展。王飞等人将AR模型和BP网络结合应用在对EMG电信号分类处理。通过AR模型提取特征值,构建出合适的BP网络结构,该结构包含三层结构。利用该模型对肢体工作进行分类识别,取得了较好的实验效果,并且与其他识别方法进行对比,表明该方法的工作量较少,效率较高;杨红卫等人提出了将神经网络模型应用于对毫米波雨衰减的预测,实验结果表明该预测方法在均方误差和平均误差两方面都比使用CCIR模型预测的结果误差要小,精度较理想;周永进等人在对传统的前馈神经网络模型分析的基础上,提出该模型本身所存在的缺陷,进而提出附加动量的网络结构模型。以城镇居民家庭人均可支配收入作为数据样本,对改进后的BP网络模型进行验证。实验结果表明改进后的预测模型的收敛速度比传统的BP模型快,误差较低;钟颖等人提出了通过遗传算法对BP网络进行改进的时间序列预测模型。由于BP网络模型的结构在训练的过程中速度较慢而且容易陷入局部极小值。而遗传算法本身具有全局优化的能力,于是提出了通过遗传算法改进BP网络,从而克服BP网络本身所存在的缺点;吴微等人将BP网络模型应用在对股票指数变化趋势的预测中,实验结果表明该预测模型是可行的;施式亮等人将神经网络应用在对矿井安全性能的预测中,取得了较理想的效果。
1.3时间序列概述
对事物未来变化情况进行推测的行为,我们把它称之为预测。通过对事物历史行为进行深入研究分析,进而找到事物变化的规律,在这个变化规律的基础上估计未来事件。在现实工作中,人们通过对事物进行预测,可以帮助人们在事件发生的早期,提早做好相应的准备,从而可以降低由于错误的决策所带来的严重灾难。我们进行预测的总的原则是:认识事物在发展过程中存在的普遍规律,充分利用该普遍规律具有的必然性,这人们在是进行科学预测过程中必须遵循的总原则。实际上该原则是事物发展所包含的“惯性”原则、“类推”原则、“相关”原则和“概率”原则。由于事物变化发展具有延续性,故把该原则称之为“惯性”;事物在发展的过程中表现出类似行,因此把这种原则称作“类推”;事物在变化发展过程中往往不是单一存在的,它们彼此之间是相互联系的,因此把这一原则成为“相关”;对于事物的变化发展能以较大概率推断出可用的预测结果,我们把这一原则称作“概率”原则。从数据分析的角度来考虑,我们需要研究:序列是否在固定水平上下变动;此水平是否也在变动;是否有某种上升或下降的趋势;是否存在有季节性的模式;是否季节性的模式也在变更;是否在发展变化的过程中存在周期性规律等问题。
记忆性是时间序列数据具有的显著特点,该特点表明时间序列数据中的任何一个参数值的变化,会受到历史参数值变化的影响。
时间序列主要考虑的因素是:
(1)长期趋势(Long-term trend)  
a.时间序列随时间的推移表现出某种趋势。
b.时间序列趋势一般为线性的(linear),二次方程式的 (quadratic)或指数函数(exponential function)。
(2)季节性变动(Seasonal variation) 
a.随着时间的推移,序列的变化趋势出现重复性的特点。
b.季节性变动通常和日期或气候有关。
c.季节性变动通常和年周期有关。
(3)周期性变动(Cyclical variation)
a.和季节性变化相比较,序列具有周期变化趋势。
b.周期性变动通常是因为经济变动。
(4)随机影响(Random effects)
时间序列中包含了参数之间相互变化发展的规律特性,参数随着时间的推移排列成特殊的序列,它反映了事物与时间之间的变化过程。对事物发展变化的研究就是对时间序列中参数与时间变量相互影响变化的研究。由于历史参数中包含着数据之间的许多联系,这些信息可以对事物的未来发展做出解释。因此,通过对历史时间序列参数的分析处理,得到参数随着时间发展变化的规律信息,从而外推出参数在外来一段时期内的发展变化趋势。
1.4人工神经网络和遗传算法概述
人工神经网络是一种模拟生物神经网络系统的数学网络结构模型,通常把它简称为神经网络(NN)。它是一种网络拓扑结构,并且以动物神经网络系统的响应机制为基础,实现了可以处理复杂信息的功能。人工神经网络的计算处理能力高效,可以实现自主学习,具有高智能的优点。神经网络的发展大体上经过3个阶段:发展初期为上世纪50年代,大量的神经元模型以及各种各样的学习规则相继被研究人员提出。在这一时期内,研究人员证明了神经元具有处理逻辑计算的能力。这个阶段可以成为人工神经网络的开创时期。70~80年代,由于一些研究人员对感知器解决问题的能力提出了质疑,导致神经网络的研究处于低潮。人们常常将这一时期称之为过渡期。在该时期内,一些研究人员并没有放弃对人工神经网络的继续研究。例如Hopfield神经网络模型在1982年被加州工学院的Hopfield提出,将“计算能量”的概念第一次进入该模型。1984年,波耳兹曼模型被Hiton 教授提出;1986年D.Rumelhart和J.McCelland 提出了BP神经网络模型,它是一种误差反向传播算法训练的多层前馈网络。BP神经网络算法迅速发展成为最广泛使用的网络模型结构。在过渡期内,这些研究人员的不懈努力,为人工神经网络的发展奠定了基础。90年代初至今,人工神经网络技术在全球范围内得到了广泛的发展,国际研究组织呼吁将神经网络的研究发展成为全球性行为。可以说这一时期是神经网络发展的又一个高潮期。事实上,神经网络的种类很多,最常用的一种被称为BP网络结构,它是一种以误差反向传播为基础的多层前馈网络,具有非常强的非线性映射能力。尽管统称“神经网络”,但其他类型的神经网络也各有其内部的机制和原理,如自组织神经网络使用无监督学习,反馈神经网络属于与前向网络相对的反馈网络。人工神经网络模型就是模仿生物神经网络建立起来的,它只是对生物神经网络的抽象。实际上,神经网络不可能也没有必要达到大脑的复杂度,因为生物大脑的训练过程是该生物的整个生命周期,即使建立了与之复杂度相当的网络模型,训练所花费的成本也会令其输出的一切结果失去应有的价值。
神经元和彼此之间的连接权值是人工神经网络中最重要的部分。每一个具有简单处理功能的神经元,通过连接权值彼此相连,从而构成了一个具有强大处理能力的复杂网络结构。而连接权值可以通过人工调整,这样就使人工神经网络模型具有较高的可改造性。通过对连接权值的调整,可以使人工神经网络模型适应不同的研究对象,进而得到令人满意的研究结果。神经网络的精华之处就在于,训练后的网络结构能够把知识储存于各个调整好的权值之中。 
遗传算法(GA, Genetic Algorithm ),也称进化算法。在进化论的影响和启发下,研究人员通过借鉴生物进化的过程,从而提出了遗传算法的概念。它是一种搜索全局最优化的方法。在对参数形成的编码进行优化时,根据“优胜劣汰,适者生存”的生物进化理论,循环进行选择、交叉以及变异操作,不断的筛选个体。在这个过程中,淘汰掉了那些适应能力差的个体,最终得到适应能力强的个体。由这些适应能力强的个体组成了新的群体,这些新的群体遗传了上一代的优良基因。通过反复迭代,一代比一代优秀,最终得到我们所需要的群体。
1.5 论文主要研究内容及组织
基于时间序列研究的方法多种多样,由于现实工作中的时间序列数据往往是复杂多样的,既包含线性数据同时也可能包含非线性数据。所以在进行预测研究时,既可以使用线性预测模型也可以使用非线性预测模型。对于具有强烈变化的时间序列数据而言,通过传统的线性预测模型进行拟合,得到的预测结果精度往往较低。为了提高预测精度和适应性,于是大量的研究人员也尝试着使用多种方法进行改进传统的预测模式,这也是目前各领域的研究热点。因此本文针对传统的线性预测模型进行改进,通过构建AR+BP混合预测模型,并且使用GA遗传算法进行全局优化,从而提高预测结果的精度。遗传算法是一种全局优化算法,通过遗传算法得到优秀的BP神经网络的初始权阈值。在一个相对优秀的搜索空间里对BP神经网络进行训练。该算法模型充分发挥了线性AR模型、BP神经网络模型和GA遗传算法的优势,并将该算法应用到航天器遥测数据的预测中。
本论文一共六章内容:
第一章 绪论,这一章介绍了该课题的相关背景知识,简要的阐述了国内外对基于时间序列算法的研究情况,并对本文中所涉及到的相关理论知识以及研究工作作简要概述。
第二章 理论知识,针对传统的时间序列预测方法、人工神经网络模型以及遗传算法理论知识的学习,对理论原理进行深入分析,为本文所要构建的预测算法奠定稳固的理论基础。
第三章 预测模型的建立,将AR模型和BP网络相结合构建非线性预测算法。
第四章 算法优化,结合GA遗传算法,对构建的预测模型进行优化。
第五章 实验仿真,通过对航天器遥测数据进行仿真,分析算法的预测效果。
第六章 总结,总结本文所做研究工作情况,展望未来的研究发展。
1.6本章小结
本小节主要对课题的背景进行了分析,在此基础上对国内外的研究现状进行了相应的分析。并对时间序列、人工神经网络和遗传算法的相关概念做了概述,最后对研究工作做了相应的安排。 
2 相关理论和技术基础
2.1引言
以线性预测模型为基础的传统的时间序列分析方法,能够有效的预测出线性相关的时间序列数据。然而,当时间序列中包含有非线性数据时,传统的预测方法往往达不到较好的预测效果。而随着智能技术的飞速发展,人工神经网络和遗传算法技术有效的弥补了这一技术缺陷。新的智能技术的引入为传统的时间序列预测研究带来了新的活力。本章节中,介绍了传统的时间序列预测算法模型、神经网络模型和遗传算法的理论知识。
2.2线性时间序列模型
根据遥测参数随着时间而发生规律性变化的特点,我们采用基于时间序列模型的外推预测方法。通过对历史时间序列数据进行训练学习,进而对未来的参数变化趋势进行外推,以期达到预测的目的。它的基本思想是根据观测数据的特点为数据建立尽可能合理的统计模型,利用模型的统计特性解释数据的统计规律,以期达到预报的目的。本算法以航天器遥测数据为样本训练数据,构建出基于航天器遥测数据的预测模型算法,进而对航天器设备的遥测数据在未来一段时期内的变化进行预测。在实际应用中许多平稳时间序列往往可由传统的线性模型近似表示,这样可以使得相关的分析变得比较简单,同时也为平稳随机序列的分析和产生提供了有效方法。卫星在复杂的空间环境中运行时,会有各种各样的设备数据产生。而这些遥测数据的变化规律能够很好的反应卫星的运行性能,这些遥测数据包括发动机的温度、推进线路盒温度、太阳翼的温度、电池电压等等。然而,在实际过程中由于航天器在运行时会受到复杂环境的影响,致使我们得到的遥测数据有可能是非平稳序列。如果遥测数据的时序是非平稳的,那么时间序列回归中可能会出现预测有偏和无效等问题。所以在进行遥测数据预测前,对数据的变化规律进行预处理,去除野值、跳变等情况,得到平稳性序列。从而可以提高预测精度。常用有差分变换和对数变换进行。通常情况下我们需要对序列进行反复的变换和比较,最终遥测数据时序的正态性和平稳性等达到相对较好的状态。
传统的时间序列预测模型主要针对的是具有平稳变化的参数,因此,在进行遥测数据预测前期需要对参数序列进行平稳化检验。对于数据平稳化检验的方法有很多,本文介绍了比较计算比较简单的游程检验法。
比如某卫星推进线路盒壳温样本序列为:
 
经过计算得到该样本数据的均值为9.1608,然后用“-”号将样本数据中比均值小的参数标出,用“+”号把样本数据里比均值大的数据标出。于是得到该样本序列的游程如下:
 
共有2个游程,序列长度为 
 
 和 分别表示“+”和“-”出现的次数。游程总数 ,则统计量
 
近似服从 分布,其中
 
 
通过计算可得 , ,进而知 。当显著性水平为 时, 。因此此温度参数序列具有非平稳性。
由于该参数序列具有非平稳性,所以需要进行多次差分处理使遥测数据趋于平稳。在这里使用B和 和d符号来表示该运算处理形式。
一阶差分:
 
二阶差分:
 
一般地,d阶差分:
 
其中 称为d阶差分算子:
 
其中 
B代表后移算法, 代表差分算子,d表示阶数。为了消除时间序列中的趋势性,我们通过逐项相减的方法从而使之前后相关性消除,这就是差分法的基本思想。为了剔除线性趋势关系,我们可以通过对时间序列进行一次差分运算。如果具有二阶线性关系,可以继续进行二次差分处理。当通过进行d次差分运算后,能够消除序列的d阶线性趋势。最终得到了相对平稳的遥测参数序列。
2.2.1AR模型
传统的线性预测模型中的一种比较简单的模型是自回归模型,它是一种把本体当做回归变量的过程。它是把后期随机变量通过利用前期随机变量的线性组合来描述的一种线性回归模型方式。对于时间序列 ,当它的回归系数用 表示, 为白噪声序列,并且随机项 与 不相关。那么自回归模型的表达公式如下:
 
此模型称为p阶自回归模型。
2.2.2MA模型
对于时间序列 ,当它的系数是 时,那么可以用下面的式子表示MA模型:
                    
该模型记为 。该模型的系数 为待估计参数,模型的阶数为 。
2.2.3ARMA模型
自回归移动平均模型,结合了自回归AR模型和移动平均MA模型两种类型。通过该模型可以有效的对待处理数据序列进行拟合,并且能够获得精度较为理想的拟合结果。对于 序列,ARMA的表达公式如下:
 
在上面的式子中 表示自回归阶数, 表示滑动平均阶数。自回归参数是 ,移动平均参数为 ,它们是待定参数。AR模型和MA模型是ARMA模型的特殊情况。ARMA模型的实现结果既可以是自回归模型与滑动平均模型相结合的结果,也可以是单独的一个或者多个自回归模型、滑动平均模型的实现结果。 是一种比 和 更具普遍性的模型。而 模型和 模型可以看作是 模型的两个特例。在实际应用任何时间序列都可以通过 模型来进行预测。
2.3人工神经网络
2.3.1人工神经网络基本概念
人工神经网络是一种模拟生物神经网络系统的数学网络结构模型,通常把它简称为神经网络(NN)。它是一种网络拓扑结构,并且以动物神经网络系统的响应机制为基础,实现了可以处理复杂信息的功能。人工神经网络的计算处理能力高效,可以实现自主学习,具有高智能的优点。对于信息的处理,人工神经网络把存储与加工相结合,通过高智能化的学习能力,进而对结果进行表示。随着智能技术的发展,人工神经网络越来越受到各个领域内的研究者的高度重视。
事实上,复杂的神经网络是由简单的神经元相互组合构成。大量的神经元彼此之间相互交叉连接,从而实现了一个能够处理复杂的非线性关系问题的高智能网络。通常把每个神经元也称作节点,单个的神经元表示某种激活函数。连接权值把彼此孤立的神经元联系起来,从而形成一个能够模拟生物神经系统的复杂网络结构。在该神经网络中,网络存在的结构以及彼此之间的权阈值等方面因素都会影响到网络的实现效果。人工神经网络的基本思想来源于自然生物,它不可能完全实现生物系统所具有的所有功能。人工神经网络是运用数学模型来模仿人类的神经网络功能,通过数学模型无限逼近目标函数对象。此外,随着人工智能技术的快速发展,人工神经网络技术越来越丰富,甚至能够模仿人类所具有的对事物的分析和判断力。例如,谷歌公司研发的阿尔法围棋就是充分使用了多层人工神经网络技术,形成了具有分析和处理复杂信息能力的系统。并且该系统成功的战胜了世界围棋冠军。
在人工神经网络结构里,单个的网络节点可以用来代表对象。不同的节点也就形成了丰富多样的对象。而网络结构中,通过三部分单元实现了系统的处理功能。第一个是输入单元,第二个是输出单元,第三个是隐单元。输入节点用于接收外界传输过来的信息;信息经过系统的处理得到了新的结果,新结果经过输出节点输出;隐含层节点不直接接收外部传输过来的信息,也不直接向外部发出处理后的结果信息。它是去掉输入层和输出层以外的所有层,位于二者之间。节点与节点之间的权值体现了它们之间的强度关系,在该关系中包含了待处理的信息。人工神经网络具有强大的适应性,通过对网络结构和权阈值的调整,几乎可以用来拟合任何非线性函数。在一定程度上实现了生物神经系统解决复杂问题的能力。
由存储在网络结构中的各种神经元经过节点连接权构成的信息响应网状拓扑结构就是神经网络,它对信号的处理方式是并行的分布式的,所以它的处理效率较高并且容错能力较强。人工神经网络具有如下基本特点:
(1)、高度的并行性:在人工神经网络中,虽然单个节点的处理性能较为单一化,然而当大量具有简单处理功能的神经元节点相互连接组成一个复杂的拓扑网络结构时,它的并行分布式处理性能非常强大。
 (2)、高度的非线性全局作用:网络中的每一个节点彼此之间获取其他节点传输过来的信息,经过并行网络将结果输出给其他节点,网络中的节点相互影响。正是由于节点之间这种相互作用的关系,从而形成了输入到输出过程中强大的非线性映射能力。纵观整个网络处理过程,人工神经网络的处理性能是一种全局性能,而不是简单的部分网络性能的相加。
在现实世界里,事物之间的相互联系通常是非线性的关系。大脑的智慧就是一种非线性现象。可以将抽象模型里的非线性关系理解为网络节点所具有的停止和激活状态,两种不同行为的状态构成了非线性函数关系。
(3)、联想记忆功能和良好的容错性:这种由权值将神经元结点连接起来的网络结构,不仅可以存储大量的数据信息,还具有强大的容错能力。人工神经网络的记忆性表现在大量的数据信息可以存储于连接节点的权值中。由于网络节点是拓扑结构,所以数据信息的存储具有分布式的特点。这种信息存储方式使得人工神经网络具有较高的容错能力,因此人工神经网络可以处理模式识别、信息分类、数据预测等信息处理工作。对于航天器遥测数据而言,知识信息存在于整个历史数据序列里,因此人工神经网络可以对具有噪声的数据序列进行预测处理,这正体现了人工神经网络的容错性。
一个完整的人工神经网络系统,它处理信息的性能不单纯的只受神经节点的影响。同时,节点与节点之间的连接方式会也对整个网络系统产生非常大的影响。比如联想记忆方式就是由于神经节点与节点之间的连接关系模拟生物神经系统而产生的。
(4)、良好的自适应、自学习功能:人工神经网络所具有的高效学习性能以及适应复杂环境的能力,主要体现在对数据训练后得到权阈值和稳定的网络结构上面。与经典的符号逻辑表示方式不同,人工神经网络所表达的是一种非逻辑形式。这种表达方式是对人类思维方式的一种抽象模拟。与传统的根据经验来解决问题的方式不同,人工神经网络能够在信息的输入与输出之间找到合适的对应关系,从而基于这种关系对所求问题进行解答。这一特点正是由于它较强的自主学习能力所产生,它能有效的减少工作过程中人为因素的干扰,表明了人工神经网络具有良好的自适应性。
 (5)、非凸性:在某种特定的规则下,确定的激活函数能够引导相应的网络系统向着某个方向发展。由于函数可能存在多个极值,因此网络系统在该函数的引导下,会朝着多方向发展。
由于人工智能技术的飞速发展,尤其在图像识别、数据预测、语音识别等科研领域,神经网络本身所具备的这些优势,对于解决人工智能技术在处理复杂信息处理过程中所存在的不足,具有极高的指导意义。
2.3.2人工神经网络模型
人工神经网络是一种网络拓扑结构,它能够模拟生物神经系统对复杂问题的处理功能。这种高智能的网络结构是由多个具有简单处理功能的单元相互连接构成。而这些处理单元我们把它称作人工神经元。这是一种基于生物神经元构建的模型结构。我们可以用有向图来描述人工神经网络。人工神经元代表了有向图节点,而神经元的轴突----突触----树突则表示有向图的弧。一对神经元彼此之间连接强度通过权值来表示。人工神经元的结构模型如下所示:
 
图2 人工神经元模型
神经网络从两个方面模拟大脑:
(1)、经过对外界环境的学习,网络获取相应的知识。
(2)、网络将学习后获取的知识存储在权值中。
对于生物系统而言,大量的神经元经过复杂的连接,构成了功能强大的神经网络系统。当生物神经系统受到外界的刺激时,信号经过具有分布式并行计算能力的庞大数量的神经元进行非线性映射,进而完成对输入信号的处理。针对于单个节点来说,我们令其他节点 的信息为 ,这些节点和该节点之间的权值为 ,而 作为该节点本身所具备的阈值。那么本处理节点的输入为:
 
而处理节点的输出为:
 
该公式中,第 个数据的输入值是 ,第 个节点与该处理节点的权值是 ,激活函数用 表示。 表示隐含层神经节点的阈值。人工神经网络中最关键部分是激活函数的选取,它在很大程度上影响了网络的处理效率。激励函数的基本作用有:
(1)控制输入对输出的激活作用;
(2)对输入、输出进行函数转换;
(3)激活函数可以把输出结果控制在较小的区域内。Sigmoid函数、阈值函数等都是现实工作中使用率较高的函数。
人工神经网络的模型种类繁多,对网络权值和结构的建立常常是人工神经网络研究的重点。根据一对输入与输出数据来训练网络结构,将得到的输出结果与输入结果进行比较。当两者之间存在误差时,根据误差来调整网络的权值。最终得到一个符合我们要求的人工神经网络模型。通过对网络权阈值的不断修整,使网络输出的结果误差符合我们的目标要求。这种循环迭代的方式是神经网络的鲜明特点。
2.3.3人工神经网络分类
按性能分:离散的和连续的。
按拓扑结构分:前向网络和反馈网络。
例如BP网络、单层感知网络等都属于前向网络。这种网络模型的结构简单,实现起来比较容易。在网络结构中,输入信息经过非线性函数的反复处理得到输出结果。每个网络节点从上一个节点中获取输入数据,并将信息传给下一个网络节点。对于处理信号而言,它实现了空间上的转变。反馈网络有Hopfield、Hamming、BAM等。由于神经元之间具有信息反馈的特点,所以把这种神经网络称之为反馈网络。与前向网络相比反馈网络实现了对信号状态转变的处理。
按学习方法分:有监督的学习和无监督的学习。
按连接突触性质分:高阶非线性关系与一阶线性关系的。
2.3.4人工神经网络运行过程
1、神经网络的学习形式:转换函数以及传递函数在对人工神经网络构造时就已经确定了。由于转换函数在网络学习训练过程中是不能改变的,所以只能对加权求和的输入进行改变,从而实现对网络输出大小的改变。因为神经元只能对输入信号进行响应处理,所以为了修改网络的加权输入,一般情况下只可以修改神经元的权参数。因此神经网络的训练本质上是对权值矩阵的更改过程。
2、神经网络的工作过程:在线学习和在离线的情况下进行学习是网络模型的工作过程。每个神经元在这个训练过程中进行规则学习,调整权值。通过神经网络模型强大的非线性映射能力对输出结果进行拟合以达到训练精度。最后将输入信息传给训练好的网络结构,并进行计算处理,得到输出结果。
3、神经网络的学习规则:对网络权值进行修改是神经网络的学习规则,根据学习规则可以分为有监督的和无监督的学习等。下面介绍几个常用的学习规则。
(1)误差修正型规则:把输出的实际结果和预期结果进行对比,根据两者之间存在的误差对权值进行调整。经过对权值的多次修改,使网络输出结果达到我们的期望目标。这是一种有监督的学习方法,例如BP神经网络的学习就符合误差修正原则。
(2)竞争型规则:这是一种没有监督的学习过程,网络没有预期结果,它只是根据历史数据自发的学习。而对于权值的调整,是通过神经元彼此竞争来响应外界刺激而实现的。在没有提供标准样本的前提下,无监督学习规则把训练和工作两部分融为一个整体。 
(3)Hebb型规则:它是由Hebb提出来的一种无监督的前向学习规则。假设一个单元节点从其他单元节点接收到输入信号,并且两个节点都处在高激活状态,那么它们之间的加权是增强的。对于Hebb学习规则而言,神经元之间的权值只受激活水平的影响。这种学习方式是一种相关学习方法。通过提取历史数据集合的统计特性,进而根据相似性把信息分类。
(4)随机型规则:网络参数受到目标函数的改变而改变。将随机过程、概率论的相关知识运用在学习过程中。
4、激活函数:激活函数是指怎样通过函数把“激活的神经元的特征”怎存储并且映射出来,这也是人工神经网络对于非线性问题解决的关键之处。激活函数的选择是构建人工神经网络的重要环节。由于线性模型对于一些问题解决不了,所以需要通过激活函数来增加非线性因素。根据激活函数的不同特点,人们可以构造出具有不同处理功能的网络。
常用的激活函数有以下几种形式:
(1)线性函数:该函数的表达形式为 ,当线性函数作为激活函数时,结果的输出是任意值。
(2)阈值函数:它的公式表示形式为
 
(3)对数 形函数:该函数的输出 ,当输出信号处于[0,1]之间时,我们通常选用该类型函数作为激活函数。它的一般表现形式为
 
它的导函数形式为
 
(4)双曲正切 形函数:该函数与 形函数的主要区别在于它们的输出范围不一样。双曲正切 形函数的输入范围是 ,它的表达公式为
 
它的导函数是
 
双曲正切 函数与 形函数都是可导函数,因此都可以应用在BP神经网络结构中。
2.3.5BP神经网络及其学习算法
BP神经网络也称作反向传播神经网络,它是一种前向多层反向传播算法。BP网络通过调整神经网络节点之间的权阈值,从而获得我们预期的输出结果。BP网络根据输出结果和期望结果之间的误差,反向传播给上一层,然后对神经元结点之间的连接权值进行调整。正是由于存在这种误差反向传播的方式,所以把BP网络叫做反向传播算法。
Rumelhant和Mcllelland在1986年最早提出了BP算法思想,它具有多层网络结构,是一种前向网络。BP网络的学习过程包括两个方面,一个是输入信号的正向传播,第二个是误差的反向传播。BP网络由输入层、隐含层和输出层组成。输入信号由输入层传给隐含层,然后隐含层将处理后的结果传给输出层。当预期结果和输出层得到的结果存在误差时,就将误差反向传播。误差逐层传给各个神经元,根据误差对连接各神经元的权值进行修改调整。通过这样的反复循环处理,BP网络就得到了训练,最终可以得到一个最优的BP网络模型。在这个最优的BP网络中,任何一种输入信息,经过该神经网络的处理,最终都能得到我们预期的输出效果。
BP算法的学习过程如下:
(1)给定一组历史数据作为训练数据,该历史数据由两部分组成,一时输入信息,二是预期的到的目标结果。
(2)把历史数据中的一个输入数据传输到BP网络模型中。
(3)在多层神经节点的处理下,得到各层的实际输出结果。
(4)将预期目标结果与得到的实际输出结果进行比较,计算出两者之间的误差值。
(5)将误差从输出层向隐含层、输入层反向传播,调整各个层里的神经元之间的连接权值,使误差逐渐减小的预定目标。这一步是BP算法的核心,如何优化权值使网络误差降低是我们研究的重点。
(6)在历史数据序列样本中,循环迭代第三步到第五步的过程,使所有的历史数据都得到处理。当误差符合我们预期要求时,循环过程停止,最终得到训练好的BP网络模型。
BP算法的优缺点:
优点:目前BP算法是使用最广泛的一种人工神经网络算法,因为它具有丰富的理论知识作为支撑,严格的算法实现过程,性能比较稳定。BP算法具有自学习能力,可以有效的提取历史训练数据中的有效信息。
缺点:
(1)该学习算法的收敛速度很慢;
(2)网络结构中隐含层节点个数通常是由试凑得到,缺乏一定的科学性。而网络对非线性函数的逼近能力直接受到网络结构的影响。
(3)BP算法容易陷入局部极值,因为它是一种局部搜索的优化方式。对于实际问题而言,我们是要获取非线性函数的全局极值。所以对BP网络结构的训练有可能存在不完全的问题。
(4)当有新的样本数据加入训练数据时,已经训练好的网络会受到新样本数据的影响忘记历史样本数据变化趋势。
针对于BP算法本身所存在的固有缺点,研究人员也提出了一些改进措施。例如增加隐含层节点的数量、将Sigmoid函数分段处理从而改变激活函数、适当的增加动量项以达到对权值的修改等。
2.4遗传算法   
2.4.1遗传算法基本概念与特点
遗传算法简称GA算法,它是受到生物进化论的启发而提出的一种模拟自然生物遗传规律的优化算法。这中优化算法体现了种群自适应概率搜索的特点。随着人工智能技术的飞速发展,遗传算法也越来越多的被用在各个科技领域,尤其是对传统技术无法解决的方面,遗传算法有着强大的优势。例如对图像的识别、对数据的预测、语音识别等方面。遗传算法的计算性能优越,具有全局优化能力,鲁棒性强,这些特性使得GA算法越来越受到研究人员的青睐。
相比较其他算法,GA算法的适应范围大。它的工作过程不针对研究问题的内在变化问题,而是以概率方式模拟种群进化的自然算法。由于在这个过程中没有数学模式的参与,所以它的适应性能较高,对复杂问题的处理效果好。在对种群的搜索时,可以同时对多个个体进行处理。这一点也体现了GA算法具有并行处理问题的能力。最关键的是它具有高扩容性,在实际工作过程中可以与其他算法有效的结合使用,从而提高工作的效率。同样,遗传算法也存在着一些缺点。比如,在进行交叉、变异、选择过程中所涉及到的参数,通常情况下是经过大量实验试凑得到,没有科学理论作为支撑。而不同参数的选取,会直接影响到新种群的产生。在对初始种群选取的时候,GA算法存在着一定的依赖性。需要对求解问题进行相应的编码处理,训练的速度比较慢。针对遗传算法具有的缺点,研究人员也进行了大量的研究实验,提出了许多改进的方式。
2.4.2遗传算法的发展现状
因为生物拥有对自然环境的自适应能力,所以物种可以在地球上不断地生存和繁衍。而人们在对生物的各种行为,包括繁衍遗传、生长取食等各种生存行为的研究中不断受到启发,从而逐渐形成了具体的人工自适应系统领域。GA算法有效的模拟了生物界种群的进化方式。它是一种迭代式自适应概率性搜索方法,其方法思想是大自然选择遗传机制上的。GA使得各种人工系统拥有优良的自适应与优化能力,在面对各种问题时都显现出极强的系统强壮性(Robust),经常为许多不同的学科提供一种通用框架[25]。
过去十年来,GA算法逐步的渗透到越来越多的领域中,包括生物学、化学、自动控制、计算科学、图像识别、工业设计、语音分辨、数据预测、灾难预警、智能化管理、故障诊断等,是应对全局优化问题的最优方法之一。受生物进化论的启发,遗传算法的概念被提出。其创立过程有两个研究目的:一是尝试对生物界的适应过程作出逻辑理论解释;二是将生物中群体与个体之间的法则运用到各科技领域(包括工程系统、IT系统或金融系统等)的人工系统的设计中。究其根本,GA依赖的生物学基础为遗传理论和进化理论,我们对其形成和发展过程可概括为以下几个阶段:
(1)1960~1980二十年的兴起阶段
来自美国University of Michigan的Prof. John Holland在实验过程中第一次证明了人工智能算法可以参照生物界的遗传进化规律进行改进,并于六十年代中期首次将生物进化方式与人工智能技术的自我调节相联系。紧接着J.D.Bagley在自己的文章中解释了新名词“遗传算法”,许多关于该算法中涉及到的学术名词如自然选择、突变、杂交、显性倒位等被重新定义和发展。1975年,Holland的《Adaptation in Natural and Artificial Systems》出版,它第一次对遗传算法和人工自适应系统作出理论性论述[28]。同年,另一部关于遗传算法的着作《An Analysis of the Behavior of a Class of Genetic Adaptive System》发表,其中主要贡献是创设了GA的工作框架,提出了德•琼(De Jong)五函数测试平台。
(2)1980~1990十年的发展阶段
Holland研究并提出了分类系统(Classifier Systems),这个机器学习系统是在GA算法的基础上实现的。许多全新的理论被提出,包括GA中的机器学习概念,为分类器在构造上提出了一套可靠的方法。Goldberg的《Genetic Algorithms in Search, Optimization, and Machine Learning》发表于1989年,当中提到了遗传算法的基本原理和应用之间的比较,全面整理了GA算法的研究情况以及贡献,进一步对该学科进行未来的展望。在此基础上,学者们纷纷对原始遗传算法进行不断的总结和改良,期间建立了很多成功的、多样的、有针对性的遗传算法模型,从而使更多领域能引入遗传算法。
(3)1990~2000十年的盛极阶段
20世纪90年代,在经历了前期对遗传算法框架的建立后,研究人员的工作重点开始转移到一些基本问题。遗传算法以其显而易见的高效实用、鲁棒性强等优势,被各类行业、学科争相引入(如工业设计、社会科学以及神经网络等),其发展越来越迅猛,这引起了全世界众多学者的关注。遗传中涉及的编码、种群的进化等这些社会发展中涌现的领域,研究人员们自然不会遗漏它们,利用先进的人工科技运算模拟生物的自适应、自组织和自修复能力,实现遗传算法,设计出具有某种“生命”意义上的的人工系统成为它们的又一目标。
(4)目前的发展现状
目前相关GA已广泛被使用在许多不同的理论科技领域,更多的分布于以下五个方向:
1)算法的数学基础。研究遗传算法,我们可以从研究它的收敛性强弱、收敛速度快慢的估算、发现与防止早熟机理、算法中参数的设置对其影响等理论基础入手。而科学界一致认为对算法影响最大,最为关键而同时又比较难实现的,是算法的收敛速度估算。目前,工作基本还停留在构造较为简单基本的遗传算法上,一旦涉及到复杂如杰出者或锦标赛选择,均匀或多点交叉等构建复杂或算法机制上相对复杂的进化混合算法,就显得较为无力或根本无法实现了,可以作为一套理论的研究成果少之又少[31]。
2)算法的改进与深化。依据各个领域的研究应用特点,更进一步改善遗传算法或更深入的混合算法,或提高其在拟合仿真中的实用性能。编码作为其遗传算法的基础首要条件,采用有效的策略对算法的效能特别是交叉算子有决定性的作用。GA在处理过程中所涉及到的相关参数有种群的规模大小、交叉以及变异概率的选取,而研究工作较深入的就是对交叉以及变异概率的选取。
3)算法策略研究与设计。遗传算法性能提升除了对其各节点进行深入的优化改进以外,总体上对算法架构流程的优化改进也是必不可少不可或缺的。现在混合模型已经使得算法在全局宏观基础上得到了很大的优化,并且该类GA模型的总体方法手段可彻底上对GA算法的性能有长足的提高。针对多模态函数开发和设计出可以检索到尽量多或者全部最优解或者有意义的局部最优已经发展成了全新而且非常热门的科研领域和内容,而这个开发领域中最常用的方法也就是基于适用值共享机制的圣经模拟技术。
4)算法的并行化研究。GA中涉及到的并行性,是由研究样本的群体性和随机搜索行等特征而产生的,因此,依据数据的真实性以及数据过程的准确性,设计各种不同类型数据的并行执行的方式,并依据方式建立和制定相关的并行化计算方法,是非常有必要的。常见的并行GA模型或其相关并行混合模型的计算方式主要有细、粗粒度模型两种,而两种模型主要从数据处理的方式和走向分为同步主从式、异步并发式以及网络分布式等,但是在整个通信过程中,消耗是非常大的,如何减少在通讯过程中的消耗,同时,提高求解质量,在实现过程中恰恰是一对比较尖锐的冲突。通过大量的科研和数据,要解决和有效降低这一对矛盾体,可以采用保持多个群体和在一定范围内适当而有效的控制群体间的数据交换的方式建立模型,并使之可以顺畅执行全过程,在这种情况下,建立的数据模型,可以完全不采用并行计算机,也是可以有效提升算法的运作性能的[32]。
5)算法的选择。由于急于实验研究的结论具有先天的缺陷,即这种根据大量经验获取的结论无法在实际应用当中对新的研究起到指导的作用,因此遗传算法作为21世纪关键智能计算技术本身就具有非普遍认可的特性,另外NFL(即No Free Lunch)定论的出现,更加冲击和加强了遗传算法的先天弱势。因此,在NFL理论和遗传算法先天弱势的影响下,我们只能说在某一特定领域中,某一种优化算法比另一种算法或较其他算法更优[33]。基于这种现状,我们只能在实践的具体过程中,说对于某一个特定的优化算法去确定和选择她使用的函数子集,或者在诸多算法中,选取和确定或者设计出最优的算法,而这个过程,是具有非常重要的意义和作用的。
2.4.3遗传算法的基本思想与结构
我们随机生成一个种群 ,然后对这个种群搜索。在这个种群中,我们把每个个体看作是一个染色体。利用个体的适应值判断种群中个体的性能,适应值越高表明个体性能越好,那么该个体在遗传过程中被选中的可能性也就越大。而那些适应值较小的个体,随着遗传过程就被淘汰掉。具有优良基因的个体,在被保留下来后就进入下一代。利用遗传操作中的交叉、变异方法对种群处理,进而生产出新的个体。把这些新产生的个体称作后代 ,这些个体组成了新的种群。反复循环迭代这种进化过程,直到取得符合研究要求的最好个体。这些个体代表着最优解,种群遗传了上一代中的最优基因。
GA算法的基本操作由三部分组成,它们分别是选择操作、交叉操作和变异操作。这三部分操作形成了GA算法的核心功能。在这三部分操作中选择主要体现的生物进化里的优胜劣汰原则,而交叉操作则扩大了问题求解空间的范围,变异操作则有效的防止了最优解在局部范围内的收敛。在达尔文生物进化论的原则下,对种群中体质较差的个体进行淘汰,选择那些优质个体进行保存。而个体适应度值的高低,保证了选择过程的有效进行。当个体的适应度值较小时,它被选中的机会就比较小或者被直接淘汰。而那些适应度值高的个体,被选择的机会比较大,并且可以产生更多的优质后代。被选中的优质个体,彼此交换染色体互换基因,最终繁殖出两个新的后代。这个过程就是交叉过程。这个过程直接模拟了生物界个体的基因重组过程,它极大的提高了GA算法对问题的搜索能力。单点交叉、两点交叉以及多点交叉都是研究中经常使用的交叉算子。最基本的交叉算子是单点交叉,染色体在交换点的位置交换基因,而这个交换点的位置是随机产生的。在单点交叉的基础上形成了多个点的交叉。染色体在多个被随机选中的交叉点处交换基因,从而产生多个个体。为了使搜索范围可以在尽可能大的空间里实现,引入了变异操作。通过变异操作使得种群中个体的遗传基因种类多样化。这样保证了种群不会收敛于局部最优点,从而得到质量较高的解。变异操作通常是将一个给定的非常小的概率值作为变异率,然后在染色体的某一基因位进行突变。常见的变异算子主要有:基本变异、均匀变异以及边界变异等。由于交叉算子具有全局搜索的性能,所以在GA算法中常常作为主要算子。而变异算子由于具有局部搜索功能,一般把它作为辅助算子。
 
图3 遗传算法流程图
遗传算法经过编码、选择并计算适应度函数、遗传操作选择、交叉、变异、终止条件判断、解码一系列步骤。下面就这些步骤的实现做简单介绍。
编码与解码:编码是应用遗传算法时要解决的首要问题,编码方法除了决定个体的染色体排列形式之外,还会对交叉、变异等算子的计算方式产生影响。通过编码方法可以决定如何由种群中的个体从搜索空间的基因型转变到解空间的表现型。因此,编码方式在很大程度上决定了如何进行群体的进化过程以及进化过程中计算的效率。浮点数编码常常被用于对多参数优化的问题中,它比二进制编码在变异操作上可以保持更好的种群多样性。它直接在解的表现型上进行操作,从而有效的避免了数制的互相转换。使得编码的长度更加的小,但是对问题的解决能力更强,精度更高。
适应度函数:适应度函数主要是用来对种群中个体在寻优计算过程中有可能达到或者有助于找到最优解的优良程度进行衡量。由于GA算法在对种群进行搜索的时候不会受外部信息的影响,所以算法把适应度函数作为搜索的根据,针对种群中每个个体不同的的适应度值进行搜索处理。正是由于适应度函数能够影响到遗传算法的收敛速度以及能否找到最优解,因此选择合适的适应度函数对于GA算法来说至关重要。通常情况下,我们会把目标函数转换成适应度函数。
选择:GA算法的推动力是选择操作。通过选择操作可以将种群中性能表现较差的个体淘汰掉,从而将优质个体保存下来。通过选择操作处理后,种群中的优良个体可以把优秀基因遗传给下一代。
交叉:交叉操作是GA算法的关键部分,如果没有交叉操作对选择出来的优质个体的处理,就无法产生出新的个体。两个相互配对的染色体按某种方式相互交换其部分基因,进而生产出两个新的个体。通过这种处理方式,GA算法在对种群的搜索能力得到大大的提升。GA算法和其他进化算法相比较,最大的不同就在于交叉操作的存在,它与编码方式密切相关。
变异:变异操作提升了GA算法对种群的局部搜索能力,通过变异操作使得种群中个体具有多样性。常见的变异操作方式有基本位变异、高斯变异、边界变异等。虽然变异操作不是遗传算法中的关键部分,但是它也是一个必不可少的部分。
最优保存策略:在GA算法的运行过程中由于对种群个体进行选择、交叉、变异等操作是随机的,所以存在着适应度最好的个体在进行遗传操作时被淘汰掉的风险。而通过最优保存策略可以有效的把适应度最好的优秀个体安全的保存到下一代种群中去。最优保存策略的思想是,用种群中适应度值最高的个体直接取代当前种群中经过交叉、变异操作产生的适应度值最低的个体。在当前遗传操作中,交叉、变异操作不对种群中适应度值最高的个体进行处理,这样就保证了适应度最好的个体能够安全的保留到下一代种群中去。这种最优保存策略为GA算法能有效收敛提供了可靠的保障,我们可以把它看作是遗传操作过程中选择操作的一部分。
终止:GA算法通过对种群中的个体进行选择、交叉、变异等操作,反复循环迭代,直到产生出符合我们预期要求的优质种群。使GA算法终止的方法有三种:
(1) 规定最大迭代次数:在进行遗传操作前,我们预先设定一个最大的迭代次数 ,当循环操作次数满足该参数时,遗传过程停止,并且把产生的结果输出。
(2) 规定最小的偏差:例如当我们采取方差作为适应度函数来解决曲线拟合计算时,此时我们已经知道目标适应度函数,所以我们可以使用最小的偏差 作为终止条件,即 ,该式中 表示已知的适应度目标, 表示每代最大的适应度。
(3) 适应度值变化趋势:在进行遗传进化的初始阶段,种群中平均适应度值和最优个体的适应度值都处于较小范围,而随着对种群循环迭代遗传操作时,适应度值的变化趋势也会随之增大。当变化趋势的增速逐渐平缓直到停止时,我们的GA算法的循环迭代操作也就相应的停止了。
2.5 本章小结
本章主要对线性时间序列预测模型、航天器遥测数据的平稳化处理以及人工神经网络中发展比较成熟的BP网络和GA算法的实现原理进行了详细的分析,通过对以上理论知识的学习与研究,为构建我们的混合预测模型打下坚实的理论基础。
 
 
3 预测模型的建立
通过前两章对相关理论知识的学习,本章构建传统的线性AR模型,在此基础上结合使用BP神经网络模型构建混合预测模型,以期达到对非线性时间序列数据的有效预测。
通常情况下我们把预测错误的样本占总样本的比例称作误差率,例如在 个样本中有 个样本预测错误,那么错误率 ;相应的,精度=1-错误率。我们把样本数据与实际预测得到的结果之间的差异叫作误差,学习器在历史训练数据集合上的误差叫作训练误差,而在新数据样本上的误差叫作泛化误差。显然,我们希望学习器的泛化误差越小越好。然而,我们事先不知道新样本是什么样的,实际能做的是将训练误差最小化。在很多情况下,我们可以学习得到一个训练误差很小、在训练集上表现很好的学习器。在实际过程中,我们希望得到在新样本上能表现很好的学习器。为了能达到这个目的,应该从训练样本中尽可能学到适应于所有潜在样本的普遍规律,这样才能在遇到新样本事做出正确的判别。然而,当学习器把历史训练数据样本学习的太好了的时候,极有可能已经把历史数据样本自身的某些特征当作了所有潜在样本都会具有的普遍性质,这样就会一定程度的降低泛化能力。我们把这种情况叫作过拟合。与此相对的是欠拟合,它是指对历史数据样本存在的普遍特性没有学好。
有多种因素可能导致过拟合,其中最常见的情况是由于学习能力过于强大,以至于把训练样本所包含的不太一般的特性都学到了,而欠拟合通常是由于学习能力低下而造成的。欠拟合比较容易解决,比如在神经网络学习中增加训练次数。而过拟合比较复杂。通常情况下我们是不能够完全消除过拟合现象的,我们只能够在某种程度上缓解过拟合问题。在实际过程中,我们往往有多种学习算法可以选择,甚至对于同一个学习算法,当使用不同的参数配置时,也会产生不同的模型。选择合适的学习算法、进行适当的参数配置的问题就是模型选择问题。
3.1线性模型识别
给定有 个属性描述的示例 ,其中 是 在第 个属性上的取值,线性模型试图学得一个通过属性的线性组合来进行预测的函数,即
 
用向量表示的形式如下:
 
其中 , 和 通过学习得到后,预测模型就确定了。
线性模型形式简单、易于建模,并且模型中包含着一些重要信息。通过对简单的线性预测模型加入高维映射或者加入一些层级结构,从而可以构建出功能强大性能优秀的非线性预测模型。此外,线性预测模型具有较好的解释性,这是由于在时间序列 中,它能够较为直观的表明各类属性在预测过程中的重要性。下图为一个简单的线性AR模型的预测流程图:
 
图4 AR模型预测流程图
3.2 AR模型定阶
根据时间序列的一段样本 所包含的信息,利用自相关函数,偏相关函数的性质和其他准则(如AIC、MDL),建立一个能够正确反映时间序列变化过程的模型。通常情况下,在一个时间序列中,当阶数大于某个具体数值时自相关函数趋于零值,我们把这种现象称为自相关函数存在截点。并且此时随着阶数的增大时间序列数据的偏自相关函数系数是逐渐减小的,不存在截断点,这时通常我们采取MA(q)模型。对于随着阶数的增加而时间序列的自相关函数是逐渐减少的,而没有截断点,但是它的偏自相关函数却是有截断点的,这种情况下我们通常选择AR(p)模型。如果自相关函数和偏自相关函数都只是伴随着阶数的增加而逐渐衰减,而无截断点,则无论是采用AR(p)模型还是采用MA(q)模型,其中所包含的的待估参数都比较多。这时,我们通常选择 模型。通过对偏自相关函数的计算,我们可以方便的选取预测模型。这样就可以通过每个模型的截尾性和拖尾性把各个模型识别出来。不同的线性时间序列模型的特征如表1所示:
模型类型 AR(p) MA(q) ARMA(p,q)
自相关函数 拖尾 截尾 拖尾
偏自相关函数 截尾 拖尾 拖尾
表1不同线性模型截尾性
为了最终建立完整的预测方程,需要取得最优阶次。要确定预测模型的阶次,就是要求得模型中的 和 。常用的方法有AIC准则、MDL准则、残差方差法等。这里选择使用AIC准则法进行模型定阶。
AIC准则(an information criterion)又称为信息准则, 1973年由赤池弘治提出。该准则适用于ARMA模型,包括AR,MA模型的检验。AIC准则的计算公式定义为
 ,其中 
 
这里,C为AIC(k)准则, 为模型阶次,N为数据个数, 为残差方差,S为残差平方和。
日本的统计学家在熵的基础上首次提出了AIC信息量准则,它是用来衡量统计模型拟合优良性能的一种标准。它的定义有AIC=(-2)ln(模型的极大似然函数)+2(模型的独立参数个数)给出的,赤池信息准则的方法是寻找可以最好地解释数据但包含最少自由参数的模型。当我们需要从给定的待选择模型中找到一个最优秀的模型是,我们可以选择AIC值最小的模型作为最优模型。如果两个模型之间存在的差异比较明显时,那么这个差异出现在上面公式右边的第一项。而如果第一项中出现的差异不明显时,那么第二项就起作用,进而可知参数个数较少的模型是比较优秀的模型。
3.3 AR参数估计
为了求得我们所构建的线性AR预测模型,我们需要对其相关参数进行估计。由于模型的结构和预测精度等要求的不一样,使得对于参数的估计方法也常常不同。一般常用的估计方法有最小二乘估计法、矩估计法、极大似然估计法、最小平方和估计法等。最小二乘估计法是一种精确估计方法,它的估计精度要比矩估计法要高。最小二乘法的约束条件是,要使得残差平方和达到极小值。而矩估计法是一种粗估计法,它基本不要求满足一些最优化约束条件。虽然矩估计法比较简单,但是由于它的精度不高,因此实际任务中很少采用。对于极大似然估计方法而言,它在动态辨识领域中有着较为广泛的应用。在对预测模型进行参数估计时,极大似然估计法能够有效的对有色噪声的模型进行辨识。但是,并不是所有待估计的参数都能求得似然估计量,因为求极大似然估计量时,往往要解一个似然方程。因此我们需要构造一个以观测数据和未知参数有关的似然函数,并通过极大化这个函数获得模型的参数辨识。有时这个似然方程比较难解或者根本就写不出有限形式的解,从而导致极大似然估计法的计算比较复杂,工作量比较大,因此本文采用最小二乘估计法进行AR模型的参数辨识。下面对使用度比较高,计算相对比较简单的最小二乘法进行相关介绍。
最小二乘法最早起源于天文和大地测量的需要,它的发展已经经历了200多年的历史,并且随着自然科学的发展它在许多相关科学领域里得到了广泛的应用。随着近代矩阵理论与电子计算机相结合,使得最小二乘法得到进一步的发展并且而久盛不衰。对某量 测量一组数据 。假设我们的数据序列中不存在系统误差和粗大误差,而且相互独立,服从正太分布的特点,那么它们的标准偏差可以为: ,记最可信赖值为 ,相应的残差为 。测值落入 的概率。
 
根据概率乘法定理,测量 同时出现的概率为:
 
由此可知最可信赖值应该能够使出现的概率P最大。也就是使得上式中指数中的因子能够达到最小,表达公式为:
 
权因子: 即权因子 ,则 
再通过微分法得到最可信赖值 
 即加权算术平均值。
由于上面的最可信赖值是在残差平方和或者加权残差平方和为最小的情况下求得的,所以我们把它称之为最小二乘法原理。
AR(n)模型的最小二乘参数估计有简单的矩阵表达式:
 
其中 是自协方差估计: 
 也是自协方差估计,求和限 从 到 
 
在我们的计算中预先设定一个最高阶次,然后依次对AR模型的参数从低到高进行估计。最终建立AR模型方程对遥测数据进行预测。
3.4构建非线性预测模型
由于航天器在太空运行中不仅会受到外界运行环境的影响,同时也会受到来自内部因素的影响,所以实际情况中遥测数据通常既包含线性趋势又包含非线性趋势,所以如上所述,单纯使用AR不能完全描述出线性变化和非线性变化这种混合变化趋势,通过你和得到的预测结果可能与实际数据结果之间的误差较大。所以,我们必须把这两种数据变化趋势剥离开,针对不同的数据变化特性,使用相应的预测模型来处理。针对于原始时间序列数据中的线性变化部分,可以使用AR模型进行预测操作。然后将原始时间序列中的具有非线性变化趋势的参数通过BP神经网络挖进行非线性映射。充分利用了AR模型对时间序列的线性关系比较敏感的特性,同时又利用到了BP神经网络模型具有的强大的非线性映射能力。如上所述,实际的时间序列数据往往同时具有线性和非线性关系,并且两部分能够线性分解,通过综合使用这两种模型可以使预测结果更加精确。
假定我们的原始序列数据能够拆分成线性部分 和非线性残差 部分的组合,于是可以将其表示成:
 
对于该公式中的两部分,我们分别进行处理。这里体现了“分而治之”的思想。对于 部分,使用比较简单的AR模型进行数据拟合,经过计算得到处理结果 。此时用原始时间序列减去计算得到的结果值,从而得到一个原始时间序列的残差序列值 ,它的公式表现形式如下:
 
通过以上两个公式我们可以看出,该残差序列 中隐藏着原始时间序列中非线性数据 的相关信息。而这恰恰是我们提高数据预测精度所需要解决的问题。我们把序列 作为BP网络处理的原始时间序列数据,利用BP网络的非线性处理特性,计算得到基于该残差序列 的预测结果。由于该结果是基于数据非线性变化趋势的,所以可以把该结果作为原始时间序列 中非线性部分 的预测结果。最终将第一部分AR模型预测的结果和第二部分BP预测的结果进行相加得到一个最终结果 ,用它表示原始时间序列 经过预测模型处理后得到的预测结果。它的公式表达形式如下:
 
3.5 BP结构确定
BP网络算法是目前使用最多、理论最成熟的神经网络学习算法。现实任务中使用神经网络时,绝大部分的训练都是在使用BP算法。值得指出的是,BP算法不仅可以在多层前向神经网络训练中使用,而且在其他类型的神经网络训练中的表现也较优秀,比如对递归神经网络的训练。
BP神经网络是一种至少具有三层或以上的复杂的网络系统,同时,它的传播是以单向向前的模式进行传输。BP神经网络通常情况下由输入层、输出层以及隐含层三部分所组成,这三部分分别代表了BP网络的不同功能。对于隐含层而言,其最少要有一层结构,处理信息由输入节点进入神经网络,经过一到多层的隐含层处理,然后将处理结果传入输出层并由输出层的输出节点传出。BP神经网络系统中,各个不同职能的上下层之间完全实现全连接,神经元与神经元之间没有任何连接,每个节点的输出作为下一个神经节点的输入,从而最终达到信号向前传到的目的。对于BP网络结构的确定,我们需要对网络的层数、各个层里的节点个数、神经元的传递函数、初始权值以及学习算法等进行计算。而对于这些参数的最终确定,在大多数情况下我们是通过多次实验而得到的。
为了提高BP网络对非线性数据序列的预测精度,一些研究者采用增加神经网络中隐含层的层数,从而使得预测的误差率较低。虽然这种方法在一定程度上是有效的,但是它使得BP网络的结构变得更加复杂。这样就会使网络的训练时间变长,效率变低。有时甚至会出现过拟合的问题,从而使该BP网络的实用性较差。而一些实验研究表明,只包含一个隐含层的BP网络结构经过相应的函数处理,其表现性能也较好。比如采用线性转换函数作为输入层和输出层的处理函数,而隐层的处理采用Sigmoid函数,那么对于只含有一个隐层的BP网络是能够以任意精度逼近任何有理函数的。显然,这是一个存在性结论。所以在对BP网络结构进行设计时,我们应该优先考虑只使用一个隐含层来作为BP网络结构。相比较通过增加隐含层层数来提高预测精度,只通过增加隐含层中网络节点数这种方式更加简单。因此,本文通过构建一个输入层、一个隐含层和一个输出层的BP网络结构来实现对遥测数据序列中非线性序列的预测处理。
在确定了BP网络的层数之后,我们需要对其中的神经元节点数进行确定。目前,对于隐含层中节点数的确定还未找到一个科学有效的方法。一般情况下都是跟据多次实验以及以往的研究经验来确定,而隐含层节点数对于BP网络整体的处理性能影响巨大。如果节点数选取不当,与可能会BP网络在对数据处理时产生过拟合的问题。隐含层节点数不仅会受到输入层和输出层节点数的影响,同时更与原始时间序列数据样本、待解决的问题的复杂程度以及转换函数的类型等因素有关联。为了能够提高BP网络在训练时的整体性能和泛化能力,我们应该把网络在训练过程中出现过拟合问题的几率降到尽可能低的范围。一些实验研究表明,隐层节点数的确定应该遵循相关基本原则。也就是在满足实验要求的精度范围内,尽可能的选取较少数量的神经元结点。这样使得隐含层的结构比较紧凑,处理效率较高。总之,对于隐含层中神经元结点数的确定,我们需要合理规划。如果把隐含层的节点数设置的太高,会使BP网络整体的训练时间太久,工作效率太低。虽然能够提高网络对数据的预测精度,但是网络在训练过程中很容易陷入局部极小值,从而使网络无法得到最优解,最终导致出现过拟合的问题。而如果我们把隐含层的节点数设置的太少,有可能导致BP网络训练不充分,对数据的处理性能较差,预测精度不高。由此可见,我们应该对BP网络整体的结构复杂程度以及预测误差大小等方面综合考虑之下,采用逐步增加和删除的方法进行合理确定其数量。隐含层中神经元节点数的合理与否,关系着整个BP网络性能的优劣。因此,对于本文中隐含层节点数的确定,我们需要完成大量实验,从而得到比较合理的节点数。
(1)转移函数的选择-----选择sigmoid函数
本章采用的S型函数为:
 
(2)每层结点数的确定
(3)误差的选择----选择均方误差
 
图5 一个隐含层的BP网络结构
采用 个残差作为输入 ,隐含层结点为 个,输出为 的网络拓扑结构 。任意隐含层结点 的输入则为
 
隐含结点输出 , 是传递函数,那么网络总输出为:
 
当我们得到网络总输出结果后,需要和预期输出结果进行对比。如果两者之间存在的误差较大,则将误差逐层返回,并且对权阈值进行调整。经过反复迭代循环,直到实际输出结果和预期结果之间的误差达到我们可允许的范围时,BP网络的训练过程停止。期望输出 与输入 之间的联系可以用下面的公式表示:
 
在该公式中,BP网络的结构以及神经元结点间的权阈值构成了函数 ,BP网络的参数向量用 表示,而误差项则用 表示。
3.6 BP网络的学习过程
对于一个确定的时间序列历史数据样本,BP网络的一般学习过程如下:首先把输入信息传给输入层中的神经元节点,接下来由输出层节点将信息传输给隐含层中神经元结点,经过隐含层的处理将结果输入到输出层。信息经过这种逐层前传的方式,最终产生出输出结果。然后计算输出层的误差(第4-5步),再将误差逆向传播至隐含层神经元(第6步),最后根据隐含层神经元的误差来对连接权和阈值进行调整(第7步)。该迭代过程循环进行,直到到达某些停止条件为止,例如训练误差已达到一个很小的值。下面是一个BP网络学习的简单实例过程,在该实例中训练数据集合包含了两个属性。随着训练次数的增加,网络参数的变化情况如下:
输入:训练集 ;
学习率 。
过程:
1:对BP网络中节点的权阈值进行初始化操作,参数的选择范围是(0,1);
2:repeat
3:  for all   do
4: 根据当前参数和公式 计算当前样本是输出 ;
5: 通过对公式 的计算,得到输出层中神经元节点的梯度项 ;
6: 通过对公式
 
计算得到隐含层中神经元节点的梯度项 ;
7: 利用公式 、 、 、 更新连接权 , 与阈值 , 。
8:  end for
9:until 达到停止条件
输出:根据确定的权阈值得到BP神经网络
 (1)正向传播过程
即输入模式将信号导入输入层,经过隐含层,并最终进入输出层的整个过程。下层神经元接收且只接收上层神经元的传递结果和影响。当神经网络接收到一对分析样本后,神经元的输入曾将激活值从输入层传递到隐含层,并达到输出层,输出层的各个神经元将预设相应依据激活值得具体差异进行导出。算法步骤:定义能量函数,设有样本集合:
 
其中 为第 个样本对, 为样本输入模式, 为样本期望输出, 为样本数量, 为样本序号。
 ; 为BP神经网络在第 轮对第 个样本进行学习时的输入,其产生的输出为 
(2)逆向传播过程
信号反向传输并逐层分析、修正连接传到权的过程,即神经网络的预订期望输出与实际输出之间的误差形成新的信号,此新的信号反向匆匆输出层进入隐藏层,并最终进入输入层,并在每个功能层之间传播时进行传导的修复和连接过程的修复,这样的反向传播的过程称之为逆向传播。这种算法就是BP 算法。BP网络对于新的信号和反应进行反复的学习,系统对于不同信号的输入模式的正确反应也逐渐精准。
算法步骤:期望输出与实际输出的差为:
 
把BP网络第 轮学习的能量函数用下面的形式表示:
 
BP网络中的能量函数也就是误差的性能函数,BP网络学习了基本性能目标后,通过调节网络中神经元之间的连结系数和阈值,最终达到能量函数趋于极小的目的,也就是令的误差性能趋于极小,以增强系统的真实和准确性。
(3)记忆训练过程
由“正向传播过程”与“逆向传播过程”来回交替进行,使网络的精准程度提高的记忆训练过程。
(4)网络学习的收敛过程
即BP网络系统全局整体性误差区域极小的过程。归结起来BP网络系统的学习阶段为“正向传播”、“逆向传播”、“记忆训练”、“学习收敛”四个过程。下图是一个BP算法的基本流程图:
 
图6 BP算法流程图
需要注意的是BP算法的目标是要使得历史数据集合上的误差达到最小。一般来说,标准BP算法每次更新只针对单个样例,参数更新得非常频繁,而且对于不同样例进行更新的效果可能出现“抵消”现象。因此,为了达到同样的累积误差极小点,标准BP算法往往需要进行更多次数的迭代。对于一个BP网络而言,只需其隐含层中包含足够的节点,那么该BP网络就能够以任意高精度逼近某个函数。然而,如何设置隐含层神经元的个数仍然是一个未决的问题,实际应用中常常采用逐步增加和删除的方法来调整。
正是由于BP网络对复杂函数极其强大的逼近能力,有时这种过强的逼近能力会导致过拟合现象的出现。主要表现在网络的训练误差持续降低,但是测试误差却可能上升。为了缓解过拟合现象的出现,常常采取以下解决方法:第一种方法是“早停”,也就是把历史时间序列数据拆分为训练集合和验证集合,梯度、权阈值的计算通过训练集合的数据来完成,而对误差的估计则采用验证集合数据来实现。经过这种方式处理后,如果训练集合的误差出现降低的趋势而验证集合的误差趋势逐步升高的,那么就让网络的学习过程停止,并且把具有最小验证集合误差的连接权、阈值返回。第二种方法是“正则化”,它的基本思想是在误差目标函数中增加一个用于描述网络复杂度的部分,例如连接权和阈值的平方和。令 表示第 个训练样本上的误差, 表示连接权和阈值,则误差目标函数为:
 
其中 ,可采用交叉验证的方式来估计其值。 可以用来对经验误差和网络复杂度这两项进行折中。
如果用 表示神经网络在训练集上的误差,则它显然是关于连接权 和阈值 的函数。此时,神经网络的训练集过程可以看作一个参数寻优过程,即在参数空间中,寻找一组最优参数使得 最小。
“局部极小”和“全局最小”是最常涉及到的两种“最优”。对于 和 ,如果存在 使得 ,都有 成立,则 为局部极小解;如果对于参数空间中的任意 都有 ,则 为全局最小解。局部极小解表示参数空间里的某个具体点,它的邻域点的误差函数值均不小于该点的函数值;全局最小解是指参数空间中所有点的误差函数值均不小于该点的误差函数值。
基于梯度的搜索是常用的参数寻优方法,在实际使用过程中,常常采用以下方法来跳出局部极小,从而进一步接近全局最小:
以多组不同参数值初始化多个神经网络,通过标准训练方法处理后,将误差最小的解作为最终的参数。这相当于从多个不同的初始点开始搜索,这样就可能陷入不同的局部极小,从中进行选择有可能获得更接近全局最小的结果。
使用“模拟退火”技术。在每一步过程中都以一定的概率接受比当前解更差的结果,从而有助于跳出局部极小值,这就是模拟退火方法。为了使算法具有良好的稳定性,在循环迭代的过程里,需要使得接受“次优解”的概率能够随着时间的推移而逐渐降低。
使用随机梯度下降。由于在计算梯度时会受到随机因素的影响,故而使得其与标准梯度下降法有所区别。正是因为随机因素的加入,即使会陷入局部极小点,但是它所计算得到的梯度值有可能不为零。正是基于这种情况,算法就有机会跳出局部极小点继续搜索。
遗传算法也常用来训练神经网络以更好的逼近全局最小,本文采用遗传算法来对BP网络进行算法优化。
3.7BP网络的缺点
虽然BP网络在理论上相对比较完善,而且在实际应用中也得到较为广泛应用,但其自身也存在一些较为明显的缺陷和不足,主要包括以下几点:
(1)局部极小点问题
BP网络系统的计算方法,可以使权值无限趋近于某个设定值,但却无法确定设定值是否为误差平面的整体性最小值或趋近于整体性最小。这个问题的产生,主要因为BP网络系统的计算方法主要采用误差平方和指标函数在权空间无法再劝空间满足正定的要求(也就是非凸二次型),因此,梯度下降技术形成的BP系统算法非常容易陷入局部极值,而非误差平面整体最小值。针对这个问题的存在,可以借助于附加动量的方法解决和规避。 
(2)收敛速度慢
由于BP系统学习速度相对固定,所以,BP网络系统所需要的训练学习时间较长。对于相对有一定难度的问题,BP算法需要对应相对较长的学习和训练时间。 
(3)对隐含层节点数的确定缺乏科学理论依据
目前,学术界针对网络隐藏层的层数和单元数尚无较好的实践,确定隐藏层层数和单元数的方法也尚无突破性进展,所以只能通过反复试验来确定结果。从而导致了网络学习负担的增加。 
(4)不稳定性
BP神经网络在对历史样本数据进行学习和记忆的时候,可能会出现相对不稳定的问题。学习样本的新增,会导致神经网络需要重新训练,并产生新的记忆,与此同时,以往训练记忆的权值和阈值的历史数据将会失去。为了避免和传统的BP算法容易出现不足和缺陷,在对于BP算法进行使用的过程中,通常会对传统的BP系统计算方法进行改善和修订,最常用的是采用优化的BP算法。优化的BP算法是采用提高误差反向计算速度为原理,主要途径为变动学习速度和变动量因子这两个影响因素实现的。
3.8 本章小结
本章详细介绍了对时间序列的AR(p)预测模型的模型定阶、参数估计并最终确立预测方程。并对BP神经网络预测模型的结构进行选取,由于AR模型对线性关系比较敏感,而BP网络具有强大的非线性映射能力,于是基于AR模型和BP神经网络模型,构建出了能够有效处理非线性数据问题的AR-BP混合预测模型。最后给出了该模型的实现过程。
 
 
4 模型的优化
4.1 BP神经网络遗传算法的组合
人工神经网络是通过模拟生物神经系统功能而实现的一种复杂网络结构。在这个复杂的网络结构中,包含了大量的神经元结点,并且这些节点彼此之间相互连接,从而实现了网络的非线性映射功能。目前,人工神经网络的种类很多,不同类型的神经网络对不同的应用场景处理效果不同。其中发展最成熟、使用率最高的神经网络就是BP神经网络,它是一种前向神经网络模型。BP网络对训练数据的学习性能优秀,预测的精度高。但是标准的BP网络由于本身网络结构的特点导致其对数据的学习时容易陷入局部极小点。从而导致网络的收敛速度比较慢,降低了对训练数据的学习效率。对标准BP网络进行性能优化,越来越受到科研人员的重视。为了解决BP网络容易陷入局部极值的问题,需要找到一种具有对全局搜索能力的解决方法。随着科技的发展,人们发现人工智能领域内的另一个分支遗传算法具有全局搜索能力。这是一种受达尔文生物进化论的启发而产生的算法模型,这是一种基于生物自然选择和基因遗传学原理的群体寻优的搜索算法。传统的通过改进BP网络结构的方式往往不能有效的解决其容易陷入局部极小值的问题。而利用遗传算法对种群全局最优搜索,得到一个最优权阈值,然后将这个结果作为BP网络的初始权阈值,从而在不改变网络结构的基础上解决局部极小问题。这种解决问题的方式,使得传统BP网络的发展更加灵活。BP网络与遗传算法相结合成为近年来各领域的研究热点。
由于BP算法在结构上存在收敛速度较慢,误差相对较大,预测精度不足的缺点。而在航天器遥测数据的预测中,这些缺点必然导致测量结果与实际输出存在较大的偏差,从而不能达到预期准确的测量精度。要改进BP算法,设计出更优质的航天器遥测数据预测解决方案,针对其结构性缺点,必然从优化权阈值入手。
本章将结合遗传算法及神经网络在仿真拟合上各自的优点,针对神经网络在航天器遥测数据预测仿真中存在的结构性缺陷,提出一种基于遗传优化神经网络的混合训练方法GA-BP算法。在对神经网络训练前,利用遗传算法优化初始权阈值,在优化初始值的基础上,利用BP神经网络算法进行训练。以求通过遗传算法的优化,使BP神经网络其全局搜索能力得到增强,网络预测精度提高,并建立仿真拟合模型,最终达到更快速,更精确的航天器遥测数据预测效果。
遗传算法和单点搜索方式不一样,它对种群处理时,可以实现对多个种群个体同时处理。这样就能够降低对种群处理过程中落入局部极小的可能,从而提高了对种群全局的搜索性能。
遗传算法在对种群进行进化操作时,首先对种群中每个个体的适应度值作出判断。根据适应度值选择出符合要求的优质个体,将这些具备优良基因的个体作为父代。然后对选择出的两个个体进行交叉运算,生产出两个新个体作为子后代。由于产生的子代对环境的适应能力比父代的强,所以算法能够得到问题的最优解。经过对种群进行选择、交叉、变异循环操作后,如果得到的结果误差比预期误差小,那么就将结果值传给BP网络作为其初始权阈值。在这个过程中,将BP网络的权值作为遗传算法的染色体,遗传算法得到的最优解就是BP网络的最优权值。然后对BP网络进行训练,通过训练后得到的输出结果如果精度较低不能符合我们的期望值,那么继续转入遗传算法。经过这样一个反复迭代循环的操作过程,从而得到BP网络的最优权阈值。通过BP网络与遗传算法相结合,充分利用二者的优点,有效的缓解了BP网络容易陷入局部极值的问题。
在对BP网络的权阈值进行优化时,遗传算法需要进行一下操作: 
(1)种群初始化
种群中的个体包含了BP网络的权阈值,在进行种群进化操作之前,首先要对种群中的个体进行编码操作,它是遗传算法能够有效运行的关键。不同的编码方式对遗传算法的进化效率影响较大,遗传算法中的交叉、变异等算子的运行方式均受其影响。常见的编码方式有二进制编码、符号编码和浮点编码。
(2)适应度函数
BP网络得到遗传算法传来的初始权阈值,然后对历史数据进行学习。经过处理后得到实际预测输出结果,并且把实际输出结果和期望输出结果之间的绝对误差和作为遗传算法种群中个体的适应度值,用 表示适应度值,则得到如下计算公式: 
 
BP网络的输出节点个数用 表示,把第 个节点的期望输出用 表示, 为第 个节点的预测输出, 为系数。
(3)选择操作
在对种群个体进行选择操作时,常用的方法有选择操作有轮盘赌法、随机遍历抽样法和锦标赛法等,我们采用轮盘赌选择法对种群个体进行处理。这种选择方式是根据个体的适应度值计算个体在子代中出现的概率,并且根据得到的概率值随机选择个体将其作为子代的种群。我们用 代表个体 被选中的概率,于是又如下表示形式:
 
 
第 个个体的适应度值用 表示,由于采用适应度函数作为目标函数,所以适应度值越小,个体的性能越优良,因此在个体选择前对适应度值求倒数, 为系数;N为种群个体数目 。
(4)交叉操作
由于个体采用实数编码,所以交叉操作方法采用实数交叉法,第 个染色体  和第 个染色体 , 在 位的交叉操作方法如下:
 
该式中, 是 之间的随机数。
(5)变异操作
对种群中第 个个体的第 个基因 实施变异操作,这一操作过程可以利用如下公式实现:
 
式中, 为基因 的上界; 为基因 的下界; ; 为一个随机数; 为当前迭代次数; 为最大进化次数; 为 间的随机数。
4.2 遗传算法优化BP网络流程
遗传算法优化神经网络一般是通过GA改变神经网络的网络结构或参数,或者放弃掉一些传统的低效且不智能的学习算法,用GA来取代之。而如何评价一个学习算法呢?一般我们认为,优秀的算法都是简单可塑有效可行的。简单的算法一般都不高效,而可塑的算法通常也会比较复杂,而高效算法则需要算法具有一致性、完美性,导致其与算法的可塑性、简单性需求相抵触。虽然遗传算法可以将BP网络的结构优化和初始权阈值的学习二者结合处理,但这也增加了对硬件设备处理性能的要求。现在的GA算法与人工神经网络结合的例子多为首先采用GA优化网络的权重初始值,然后通过BP算法完成最终的网络训练。
遗传算法优化的BP神经网络建模
第一步:读取数据data;
第二步:对数据进行归一化处理;
第三步:设置隐层数目;
第四步:对种群的规模、进化最高次数以及交叉、变异率进行初始化操作;
第五步:对种群中的每个个体进行编码操作,而适应度值的选取则以预测输出结果与期望结果二者之间的误差绝对值作为标准;
第六步:为了得到初始权阈值的最优解,GA算法需要循环迭代执行选择、交叉、变异、计算适应度等遗传操作,直到符合进化的次数要求,遗传操作停止;
第七步:把经过遗传进化得到的最优初始权阈值传给BP网络;
第八步:使用训练数据input_train训练BP神经网络net;
第九步:通过历史实验数据测试BP神经网络的性能,并将预测输出结果进行反归一化处理;
第十步:对预测输出结果和期望结果值之间的误差进行计算。
根据上述步骤,设计的遗传算法优化BP网络的流程图如图7所示:
 
图7 GA算法优化BP网络的权阈值
4.3 本章小结
本章分析了AR-BP预测模型算法的缺陷,针对BP神经网络存在的容易陷入局部极小点的问题,从搜寻到全局最优点的角度出发,通过结合遗传算法和BP算法,对预测模型进行优化,进而提高预测模型算法的预测精度。
 
 
5实验仿真
5.1实验研究背景
航天器长期运行于复杂的空间环境中,航天器的性能和功能所发生的缓慢的、有规律的变化,可以通过遥测参数得到反映。通过研究航天器的遥测数据变化趋势,分析其在不同条件下的变化规律,并在此基础上对遥测数据未来一段时间的发展过程进行预测,可以在航天器故障发生前期及时发现遥测数据的异常变化,降低航天器在轨运行的风险和故障发生概率,达到航天器在轨运行长寿命、高可靠的目的。
本文以某卫星北主母线电压的遥测参数作为实例对象,由于卫星运行在复杂的空间环境中电压的参数变化具有特殊性,需要对数据进行预处理。对于获得的遥测参数可能会出现跳码、数据不连续等一些非平稳现象,我们在进行预测模型选择之前要对数据进行预处理。把有效参数选择出来,并对遥测数据按照一定的周期性进行取样,同时选取特定的时间间隔的数据以便建立合理的预测模型。我们选取某卫星北主母线电压样本数据进行分析,选取任意六天的数据作为原始数据应用时间序列模型,来对后一天的数据变化趋势进行预测,并对比真实值进行误差分析。通过对七天数据的分析得到的效果图如下所示:
 
图8 某卫星任意七天的北主母线电压曲线
从上图可以分析出该主母线电压数据的变化特点,从整体趋势上看,该数据变化具有日周期性的特点。虽然在每个周期内具体的参数值会存在略微差异,但总体周期趋势是不变的。在每天内,电压的变化较平稳波动不大。但天与天之间,电压变化的起伏较大。该时间序列数据是非线性的。从数据分析中可以看出,前四天的时间序列数据的变化是有规律的,也就是说,是可以预测的。同时,该时间序列具有非线性的变化趋势。我们既可以采用传统的线性预测模型拟合预测结果,也可以采用具有非线性处理能力的预测模型进行更高精度的预测。本文分别通过构建自回归(AR)预测模型对北主母线电压数据进行预测和通过上文中构建的AR-BP神经网络预测模型并结合遗传算法对BP网络进行优化从而对该时间序列进行预测。
5.2实验模型建立
为了在计算机运算过程中提高运算精度、减少舍入误差、避免溢出,先将时间序列数据进行相应处理。由于线性预测模型主要针对线性变化趋势的遥测数据,所以我们需要先将遥测数据处理为广义平稳的随机序列。通过对原始时间序列数据进行零均值化处理,可以有效消除数据序列中的野值项。设原始数据序列为x,在MATLAB中,可采用y=zeros(1,m);命令来实现。
for  nn=1:m,
y(nn+1)=y(nn)+nu(nn);
end
mean_nu=y(nn+1)/m;%序列均值
nu1=zeros(1,m);
nu1=nu-mean_nu;%均值后的序列
均值后得到的时间序列变化如图所示:
 
图9 均值处理后的时间序列
由原始序列图分析可知,此序列是非平稳的。经过差分之后的序列成为平稳时序。通过对原始遥测数据进行平稳性检验后,得到自协方差 随着 的增大而逐渐趋向于0,这也证明了 确实是平稳时间序列,可以采用AR模型进行数据预测。对于AR模型来说,阶次p的选择非常重要。如果把p的值设置的太高,会导致预测过程中发生急剧变化。而如果把p的值设置的太小,则会导致预测结果出现平滑现象。经过多次实验发现,当阶数为4时,该预测模型对实验中所选取的历史遥测数据的预测效果最好。
根据时间序列 所包含的信息,利用自相关函数(ACF)和偏自相关函数(PACF)的性质和AIC准则,进而判定模型的结构和阶次,从模型中寻找一个与时序 所反映的变化趋势尽可能等价的模型。模型识别的最基本的任务就是找出AR(p)中的p。通过matlab对该时序 的分析得到的自相关函数、偏自相关函数图如下:
 
图10 时间序列的自相关函数
 
图11 时间序列的偏自相关函数
通过时间序列的偏自相关函数图也可以看出,延迟在4以后不再显著,说明这是一个AR(4)过程,从而建立4阶AR预测模型 
 
通过该方程,预测出未来一天的数据,如图12所示:
 
图12 AR模型预测图
为了更加直观的评定预测模型的精度,本文采用计算相对误差作为评定依据。
  
 
图13 AR模型预测误差
由预测误差分析可知,单纯的使用AR模型对未来一天的主母线电压数据进行预测,能够基本拟合北主母线电压数据的变化趋势,但是误差还是偏大,精度比较低。这是由于AR模型自身的缺陷所导致的。因为AR模型的前提假设是该数据序列平稳、可以由历史数据线性表示,在本实验中,由于数据序列是非平稳的,我们通过差分法对数据序列进行了平稳化处理,将非线性关系去除掉了,进而将原始非线性数据序列转化为线性平稳序列,从而对平稳序列进行预测得到结果。因此,用单纯的用AR模型方法预测对非平稳的北主母线电压时间序列数据不能够取得较好的预测效果。
为了提高实验的预测精度,我们有必要对原始非平稳的时间序列数据中的非线性关系进行处理。通过第三章中的分析可知,时间序列能够分解为线性部分和非线性残差部分的组合:
 
而自回归AR模型的表达公式中:
 
 为残差,该残差中包含了原始非线性时间序列中的非线性关系。设该残差序列为 ,对于 序列,原始时间序列 减去通过AR模型预测出来的线性部分而得到。
进而得到AR模型预测的残差序列设为 ,得到的残差序列图如图12所示。在该残差序列 中包含了原始时间序列中的非线性关系,将该时间序列作为BP神经网络的原始输入数据,利用BP神经网络强大的非线性映射能力,对该残差序列进行训练。由于BP网络是通过样本数据在事件中的统计分布概率来进行学习和预测的,所以在进行数据学习前需要要对时间序列数据作归一化处理。数据归一化处理目的是消除各维数据间数量级差别,从而避免因为输入输出数据数量级差别较大而造成网络预测误差值较大。通过采用premnmx函数对样本数据进行归一化处理,经过处理后,样本数据序列将分布在 区间内。由于在训练网络时所用的是经过归一化处理的样本数据,所以在使用网络进行预测时需要采用tramnmx函数对实测数据也进行归一化处理。当我们得到预测输出结果后,还需要利用postmnmx函数对预测结果进行反归一化处理,从而得到最终的预测结果。将前六天数据作为历史数据,对BP网络训练。
 
图12 AR模型预测残差序列
在构建BP网络结构时要合理的设置隐含层中神经元节点数目。当节点数目太高时,有可能产生过拟合的问题,并且网络的学习时间会增加,使得网络的效率降低。若选取的节点数太少,会使得预测结果与期望结果间的误差增大。我们通过逐步增加和删除的方法,来确定合理的隐含层节点数。经过实验发现包含不同节点数的BP网络预测出来的误差情况如表2所示:
表2 BP网络中不同隐含层节点数预测误差
隐含层节点数 8 9 10 11 12 13 14
相对误差(%) 5.46 1.75 1.63 0.33 0.08 0.12 0.14
均方误差 0.0094 0.0131 0.0076 0.0014 0.0003 0.0008 0.0011
 
通过多次试验,最后得到的BP结构效果图如图13所示。从图中可知,BP网络的结构为5-12-1,输入层为5个节点,隐含层为12个节点,输出层为1个节点。网络训练经过1000次迭代循环完成,时间为18秒。在计算精度相同的情况下,网络训练的次数越少,花费的时间越短,那么BP网络结构就越优秀。在BP网络精度达到预先设定的0.00372的时候,误差下降梯度为7.10e-05。经过BP网络对残差序列的预测后,将AR模型预测出的线性部分与BP模型预测出的非线性部分进行相加:
 
从而得到了对未来一天数据的最终预测结果。最终预测结果图如图15所示。
 
 
图13 训练后的BP网络结构图
 
图15 AR-BP模型预测结果图
 
图16 AR-BP模型预测误差
从以上仿真结果可以看出,将AR-BP模型预测出的结果与AR模型预测出的结果对比,AR-BP模型对北主母线电压数据预测的拟合度比单纯的AR预测的结果要高,平均相对误差值要低。本文所构建的AR-BP预测模型的预测均能够正确跟踪实际的观测值,因此,该模型能够对航天器遥测数据时间序列进行有效的预测。
因为BP神经网络在对数据进行处理时,各个节点间的权阈值是随机选择的,这样就导致了AR-BP模型每次的预测结果都不一样。因为每次实验的初始权阈值不同,导致BP网络每次陷入的局部极小点也不同,所以预测出来的输出结果也就存在差异。
为了缓解BP网络容易陷入局部极值的问题,我们引入了遗传算法对BP网络的初始权阈值进行优化。遗传算法具有全局优化的能力,它能够有效减少网络陷入局部最优解的可能。遗传算法中个体染色体编码长度的设定可以通过如下公式计算得到。
 
输入层节点数用 表示,隐含层节点数用 表示,输出层节点数用 表示。由于BP网络结构为 ,所以 。而种群规模根据以往的经验选择 比较好,因此本文选择50作为初始种群规模,popu=50,最大遗传代数gen=500,调用GAOT工具箱,其中目标函数定义为gabpEval。取卫星北主母线电压数据前六天数据作为训练样本,将遗传算法优选出来的权值和阈值传给AR-BP网络进行模型训练,预测出后一天的数据结果,和实际值进行比较。通过仿真出来的均方误差和适应度函数性能如图所示:
 
图16 均方误差图
 
图17 遗传算法适应度函数图
根据适应度值的大小来判断种群中个体的优劣程度,选择出具有优良基因的个体,用来繁衍下一代个体。从图中可知,随着迭代次数的增加,适应度函数值不断增大,迭代次数大于350次时,适应度函数值的变化区域平稳。
预测出的结果如图所示:
 
图18 遗传算法优化后的预测结果图
预测误差如图所示:
 
图19 AR-BP-GA误差图
 
 
图19  三种模型预测误差
经过多次训练,最后得到三种模型的预测误差对比效果。进一步通过计算 得到平均绝对百分误差作为对预测模型性能的评判。
 
 表示预测得到的数据值, 表示实际值。不同预测模型之间的平均绝对百分比误差值如下表所示:
 
表3  不同模型间的MAPE值
模型类型 AR模型 AR-BP模型 AR-BP-GA模型
MAPE(%) 5.63 3.05 1.47
 
对于同样的历史遥测数据,平均绝对百分比误差值的大小能够有效判别出不同预测模型的优劣。根据表3中平均绝对百分比误差值可以观察出AR-BP-GA混合预测模型的预测效果优于AR-BP模型的预测效果,而AR-BP模型的预测效果强于传统的线性AR预测模型。结合图19所反映的三种预测模型的相对误差值的变化趋势,可以得出本文所构建的AR-BP-GA混合预测模型是有效可行的,并且预测精度较高。
5.3本章小结
本章结合某卫星北主母线电压数据,首先通过单纯的AR预测模型对该遥测数据进行预测,然后通过构建的AR-BP预测模型进行预测结果,并将两种模型预测的结果进行比较。最后通过构建AR-BP-GA综合预测模型对实验数据进行预测并得到最终结果。结果表明本文构建的AR-BP-GA预测模型的预测精度、预测效率等指标比前两者好,从而验证了本文所构建的AR-BP-GA算法预测模型的有效性和优越性。
 
 
6 总  结
6.1 结论
对于非线性时间序列的预测处理已经成为当前研究领域的研究热点,采用传统的线性预测模型来拟合非线性时间序列或者构建非线性预测模型来处理都是可行的。而随着人工智能技术的发展,人们越来越关注人工神经网络技术对非线性时间序列的处理优势,其中前向神经网络BP模型是应用最广泛的模型。但是BP神经网络本身也存在着一些缺点如标准BP算法收敛速度慢,算法易陷入局部最小点等问题。而这些也正成为目前的重点和热点。本文正是在此基础上进行了相关研究,本文采用传统的线性自回归AR模型对时间序列的线性关系进行良好的辨识,然后结合BP神经网络的良好的非线性映射能力,构建了AR-BP神经网络时间序列预测模型。而标准BP神经网络算法在进行网络结构训练时容易陷入局部极小值,为了在不更改网络结构的基础上,提出结合具有全局优化特点的遗传算法对BP网络的初始权阈值进行最优解计算。最后将所构建的AR-BP-GA神经网络算法应用于某卫星北主母线电压数据预测的实验中,通过matlab仿真实验分析,本文所构建的基于时间序列的AR-BP-GA预测模型的预测精度、预测平均合格率、预测模型的稳定性等指标比线性的AR模型效果更好,从而证明了本文所构建的算法的有可行性和优越性。
6.2 存在的问题与展望
对于非线性时间序列的预测仍将是未来几年的研究热点,本文所构建的基于时间序列的航天器遥测数据预测算法具有一定的实效性。但是这个模型自身还有许多地方需要深入的研究:比如对神经元变换函数没有深入探索;隐含层中节点的个数是通过多次实验试凑得到的,缺少数学理论的支撑;在算法方面,BP算法的改进仍在研究中。遗传算法对BP网络模型其他参数以及结构的优化也需要深入研究。采用遗传算法优化BP神经网络,优化的仅仅是比较成熟的BP权阈值,在网路结构以及学习规则这两方面的发展空间很大,还值得进一步的学习和探讨。遗传算法优化BP神经网络结构在很多方面都有应用,并且都具有较好的表现,但是在运用模型过程中,对应的参数选择往往是根据经验进行选择,没得可行的规律。因此,在模型的建立中BP网络结构的初始权值如何选择,网络参数如何确定,以及遗传算法的参数的设置等都需要做进一步的学习和研究。对于如何提高对于各种因素的预测精度,从而保证遥测数据的预测准确度,是需要进一步研究和思考的问题。由于时间的限制,本论文中仍存在一些不足,希望老师们能够提出意见。
 
 
参考文献
[1] 孙健.在轨航天器遥测数据在线预测系统分析与设计[D].北京邮电大学.2013
[2] 袁振洲.应用自回归积分移动平均法预测铁路货源货流发展趋势[J]-铁道学报 1996(z1)
[3] 徐峰,王志芳,王宝圣 .AR模型应用于振动信号趋势预测的研究[期刊论文]-清华大学学报(自然科学版)1999(4)
[4] 杨红卫,何晨,诸鸿文,宋文涛. 基于人工神经网络的毫米波雨衰减预报[J]-上海交通大学学报 2001(1)
[5] 吴微,陈维强,刘波.用BP神经网络预测股票市场涨跌[J]-大连理工大学学报 2001(1)
[6] 王环,郭义琪,秦巍等.构建多航天器在轨管理平台[J].航天器工程,2007,16 (3):114 -119
[7]  秦巍,郭永富.一种基于历史遥测数据的在轨卫星故障预警系统[J].航天器工程,2010,06:40-46
[8] PAUL J. WERBOS.Backpropagation Through Time: What It Does and How to Do It[J].PROCEEDINGS OF THE IEEE,OCTOBER 1990.
[9] Peter J B,Richard A D.Time series:theory and methods[M]. Springer-Verlag World Publishing Corp,1987.
[10] 闫坤,基于时间序列模型的分析预测算法的设计与实现[D].北京邮大学.2008.05
[11] 肇刚,李言俊.基于时间序列数据挖掘的航天器故障诊断方法[J].飞行器测控学报,2010.03:1-5
[12] Z. Shiron, U. Short Rang Forecasting of Water Demands [J]. Israel Institute ofTechnology,1973,11.
[13] 张金玉,张炜.装备只能故障诊断与预测[M].国防工业出版社.2013-04-01
[14] 罗凤曼,时间序列预测模型及其算法研究[D].四川大学.2006.04.30
[15] Box G E P, Jenkins G M. Time Series Analysis: Forecasting and Control[M]. Holden-Day, San Francisco, 1976.
[16] 李瑞莹,康锐. 基于ARMA模型的故障率预测方法研究 [J].系统工程与电子技术,2008.08:1588-1592
[17] 仝艳时,陈鹏,疏学明,吴振波. 时间序列模型在火警短期预测中的应用[J].火灾科学.2008:216-220
[18] 周勇进,蔡惠华,尹逊震,张建伟. 改进的BP网络及其在数据预测中的应用[J].微计算信息.2007.09.3:150-152
[19] D.C. Park, M.A. El-Sharkawi, R.J. Marks 11, L.E. Atlas and M.J.Damborg.Electric Load Forecasting Using An Artificial Neural Network[J].May 1991.
[20] JOSHUA S. RICHMAN1,2 AND J. RANDALL MOORMAN Cardiovascular Division, Physiological Time-Series Analysis using Approximate Entropy and Sample Entropy[J].Am J Physiol Heart Circ Physiol,JULY 2000.
[21] 杨德斌,韩志清,徐金梧,姚林,胡军. 设备故障停机时间的ARMA模型预测[J].冶金设备.2006
[22] 房红征,马好东,罗凯,韩立明,熊毅. 基于遥测数据的航天器长期性能预示方法研究[J].计算机测量与控制.2013.07:1792-1797
[23] 唐建,栾家辉,吕琛. 小卫星电源系统遥测数据的区间预测技术[J].华中科技大学学报.2009
[24] 郭小红,徐小辉,赵树强,杨继春. 基于新息灰预测的卫星遥测参数状态预测及应用[J].宇航学报.2010.08:1939-1944
[25] 刘继业,陈西宏,薛伦生,刘强. 基于ARIMA与ANN组合模型的卫星钟差预报方法[J].大地测量与地球动力学.2013.04:107-112
[26] Pandit S M, Wu S M. Time Series and System Analysis With applications[M]. New York:Wiley,1983.
[27] 李文涛,姜海波,王雪琴. 自回归模型选择的多准则方法[J].统计与决策.2010.
[28] Bruce L B,O’Connell R T.Forecasting and time series:an applied approach[M].China Machine Press,2003.
[29] 陈敏. 基于BP神经网络的混沌时间序列预测模型研究[D].中南大学.2007.
[30] 张浒. 时间序列短期预测模型研究与应用[D].华中科技大学.2013.
[31] 孙建乐. 基于时间序列相似性的股价趋势预测研究[D].重庆交通大学.2014.
[32] 李艳晴. 风速时间序列预测算法研究[D].北京科技大学.2015.
[33] Caojun Huang , Lin Li, Souhua Ren, Zhisheng Zhou Research of Soil Moisture Content Forecast Model Based on Genetic Algorithm BP Neural Network[J].College of Information and Technology of Heilongjiang Bayi Agricultural University.
[34] 韩超. 基于时间序列分析的短时交通流量实时自适应预测[D].北京工业大学.2004.
[35] 向小东. 基于神经网络与混沌理论的非线性时间序列预测研究[D].西安交通大学.2001
[36] 白斌飞. 基于神经网络理论的线性时间序列预测研究[D].西南交通大学.2005
[37] Shifei Ding,Chunyang Su,Junzhao Yu.An optimizing BP neural network algorithm based on genetic algorithm[J].Artif Intell Rev.February 2011.
[38] 姬春煦. 基于神经网络集成的股票指数中期预测[D].西北工业大学.2005
[39] 韩路跃,杜行检. 基于MATLAB的时间序列建模与预测[J].计算机仿真.2005.04
[40] 李松,罗勇,张明锐. 遗传算法优化BP神经网络的混沌时间序列预测[J].计算机工程与应用.2011
[41] 谢浩. 基于BP神经网络及其优化算法的汽车车速预测[D].重庆大学.2014
[42] 王瑞. 基于遗传优化BP神经网络的污水处理水质预测研究[D].华南理工大学.2012
[43] 安伟光,孙振明,张辉. 预测区间技术在航天器数据处理中的理论与应用研究[J].宇航学报.2006
[44] 郑毅,张晓林. 移动平滑算法在无人机遥测数据处理中的应用[J].北京航空航天大学学报.2003.04
 
 
攻读硕士学位期间发表的论文
[1] 崔广立,基于时间序列的航天器遥测数据预测算法[J].计算机测量与控制.2017-05
 
 
致  谢
三年的时光弹指一挥间,回顾研究生阶段的学习与生活充实而又紧张。在这里,首先要感谢导师闫谦时老师。从课题研究方向的选择到论文内容的撰写与修改,闫老师都给予了非常大的帮助。另外,在生活上闫老师也时常对学生给予鼓励与支持。闫老师以严谨的治学态度、精湛的学术造诣深深的感染着学生,并对学生今后的工作与生活产生深远影响。在此向闫老师致以最崇高的敬意和衷心的感谢。
其次要感谢课题组的其他老师,在研究的过程中每一位老师都给学生提出了大量宝贵的建议。
最后要感谢在一起奋斗三年的研究生同学,正是由于他们的陪伴,三年的时光里充满了欢歌笑语。