基于时间注意力机制的时滞混沌系统参数辨识模型_尹聪.pdf

2023 03 10计算机应用,Journal of Computer Applications2023,43(3):842-847ISSN 10019081CODEN JYIIDUhttp：/基于时间注意力机制的时滞混沌系统参数辨识模型尹聪，胡汉平*（华中科技大学 人工智能与自动化学院，武汉 430074）（通信作者电子邮箱）摘要：针对时滞混沌系统在时滞未知条件下的参数及时滞辨识问题，提出基于时间注意力机制的时滞混沌系统参数辨识模型PINN-TA。首先，采用时间注意力机制提取系统状态序列的关联特征，以实现对系统时滞的辨识；其次，利用循环神经网络（RNN）隐式地近似系统微分方程，形成关于系统参数的代数方程；最后，将代数方程的根作为参数辨识的结果。分别以时滞Logistic方程、Ikeda微分方程和Mackey-Glass混沌系统等典型时滞混沌系统作为待辨识系统，对PINN-TA模型和多种智能搜索算法进行对比实验。仿真结果表明，相较于人工雨滴算法（ARA）、混合布谷鸟搜索算法（HCS）、全局花朵授粉算法（GFPA）、元胞自动机鲸鱼算法（CWA）等现有智能搜索算法，PINN-TA模型对参数和时滞的辨识误差降低了90.31%99.36%，且辨识耗时缩短至18.5919.43 ms。可见，PINN-TA模型能够满足精度和实时性要求，为时滞混沌系统参数及时滞辨识提供可行的解决方案。关键词：时滞混沌系统；参数辨识；循环神经网络；时间注意力机制；状态序列中图分类号：TP183 文献标志码：AParameter identification model for time-delay chaotic systems based on temporal attention mechanismYIN Cong，HU Hanping*（School of Artificial Intelligence and Automation，Huazhong University of Science and Technology，Wuhan Hubei 430074，China）Abstract:Concerning the problem of identification of parameters and time delay for chaotic systems with unknown delay，a parameter identification model for time-delay chaotic systems based on temporal attention mechanism was proposed，namely Parameter Identification Neural Network with Temporal Attention（PINN-TA）.Firstly，the time delay identification was implemented by applying temporal attention mechanism to extract correlation features within system state sequences.Then，the algebraic equations of system parameters were formed by implicitly approximating system differential equation with the use of recurrent neural network.Finally，the roots of these equations were taken as the results of parameter identification.With typical time-delay chaotic systems including delay Logistic equation，Ikeda differential equation and Mackey-Glass chaotic system used as identificated objects，PINN-TA model was compared with multiple intelligent search algorithms in experiments.Simulation results show that PINN-TA model has the identification error of parameters and time delay 90.31%to 99.36%lower in comparison with existing intelligent search algorithms such as Artificial Raindrop Algorithm（ARA），Hybrid Cuckoo Search（HCS），Global Flower Pollination Algorithm（GFPA）and Cellular Whale Algorithm（CWA），while the identification time of the proposed model is shortened to 18.59 to 19.43 ms.It can be seen that PINN-TA model can meet the accuracy and real-time requirements，and provides a feasible solution for identification of parameters and time delay for time-delay chaotic systems.Key words:delay chaotic system;parameter identification;Recurrent Neural Network(RNN);temporal attention mechanism;state sequence0 引言 混沌系统具有动力学特性复杂、误差敏感、长期状态不可预测等特性，在保密通信等领域应用广泛1。而时滞混沌系统由于无穷维状态空间等特性2，因此具有更加复杂的动力学特性。时滞混沌系统的参数及时滞辨识对保密通信系统的同步控制3及安全性分析4具有关键意义，而混沌系统中时滞的引入带来的复杂的动力学特性在增强保密通信系统安全性的同时，也增大了系统参数辨识的难度。因此，对时滞混沌系统参数及时滞辨识问题的研究具有重要意义。近年来，时滞混沌系统的参数辨识问题得到了广泛关注，其中基于同步控制的方法和基于智能搜索算法的方法是两种主流的辨识方法。基于同步控制的方法为混沌系统设计状态观测器，将系统参数视为状态观测器的状态变量，并根据稳定性理论使观测器的状态变量收敛于系统参数。此类研究主要关注同步控制在理论上的可行性5和针对具体系统的状态观测器实现6-7。基于同步控制的方法中状态观测器的设计依赖系统本身的特性，因此实现难度较大。智能搜索算法将参数辨识问题视为优化问题，以系统在参数和时滞的估计值下输出的状态序列与实际采集到的状态序列之文章编号：1001-9081（2023）03-0842-06DOI：10.11772/j.issn.1001-9081.2022010122收稿日期：20220208；修回日期：20220421；录用日期：20220425。基金项目：湖北省重点研发计划项目（2020BAB104）。作者简介：尹聪（1995），男，河北沧州人，硕士研究生，主要研究方向：混沌理论、机器学习；胡汉平（1960），男，湖北武汉人，教授，博士，主要研究方向：网络信息安全、模式识别。第 3 期尹聪等：基于时间注意力机制的时滞混沌系统参数辨识模型间的误差为目标函数，通过全局搜索和局部搜索实现目标函数的最小化。智能搜索算法包括多项选择差分进化算法8、反 馈 教 学 优 化 算 法9、人 工 雨 滴 算 法（Artifitial Raindrop Algorithm，ARA）10、混合布谷鸟搜索算法（Hybrid Cuckoo Search，HCS）11、全 局 花 朵 授 粉 算 法（Global Flower Pollination Algorithm，GFPA）12、元 胞 鲸 鱼 算 法（Cellular Whale Algorithm，CWA）13等。它们的优势在于收敛性不依赖系统本身的特性，易于实现。但时滞混沌系统的系统参数和时滞与状态序列误差之间关系复杂，因此更容易陷入较差的局部最优，导致此类方法不能辨识出真实的系统参数。随着深度学习的迅速发展，深度神经网络不仅在计算机视觉14、时间序列分析及预测15等领域取得了成功，而且在动力学系统的参数辨识领域也逐渐成为研究热点。文献16-17分 别 采 用 卷 积 神 经 网 络（Convolutional Neural Network，CNN）和循环神经网络（Recurrent Neural Network，RNN）对Lorenz63混沌系统和Tustin二阶系统进行参数辨识。该类方法利用系统的多步状态序列或频域信息，通过学习系统状态序列与参数之间的函数关系实现对无时滞动力学系统的参数辨识，但并未考虑系统时滞对动力学特性的影响，不能用于时滞混沌系统在时滞未知时的参数及时滞辨识。因此，本文从代数方程求根的思想出发，提出基于时间注意力机制的参数辨识神经网络（Parameter Identification Neural Network with Temporal Attention，PINN-TA）模型。该模型首先通过时间注意力机制提取系统状态序列的关联特征，分析系统当前状态和时滞状态的关联性，从而实现对系统时滞的辨识及对系统时滞状态序列的逼近；再利用 RNN 隐式逼近系统微分方程，构造系统当前状态、时滞状态与未知参数之间的代数方程；最终将代数方程的根作为系统参数的估计值，实现系统参数辨识。对时滞 Logistic 方程、Ikeda 微分方程、Mackey-Glass混沌系统等典型时滞混沌系统的仿真实验表明，相较于现有智能搜索算法，PINN-TA模型得到的参数及时滞辨识结果在辨识精度和辨识速度方面均存在明显优势，能够满足时滞混沌系统参数辨识的精度和实时性要求。1 系统方程 考虑由式（1）定义的时滞混沌系统：dx(t)dt=f()x(t)，x(t-)，（1）其中：f为系统方程；为系统时滞；为系统参数。神经网络具有万能逼近性质，因此该系统可以由RNN近似：xn=F()xm：(n-1)，x0：(n-m-1)，（2）其中：为系统状态序列的采样间隔；n=t；m=；F 为RNN 对原系统方程的任意逼近。该网络定义了状态序列 xn与系统参数之间的代数方程：-G()xm：n，x0：(n-m)，=0（3）当时滞已知时，将系统当前的状态和时滞状态代入方程，此时系统未知参数即为式（3）所示的代数方程的根；而当时滞未知时，方程的构造则依赖时滞的辨识及系统时滞状态的近似。因此，式（1）的参数辨识问题可以分解为两个部分：时滞未知时对系统时滞 的辨识，以及系统当前状态序列和时滞状态序列关于系统参数的代数方程的构造及求根。2 参数及时滞辨识模型 本文模型通过时间注意力机制求得系统时滞状态x(t-)（即xn-m）的近似值，同时根据注意力权值求出系统时滞的估计值；并利用系统近似的时滞状态构建形如式（3）所示的代数方程，求得方程的根作为系统参数的辨识结果。因此，本文模型的输入为系统的状态序列，输出为参数和时滞的估计结果。模型的整体结构如图1所示。2.1注意力网络结构本文模型对时滞的辨识基于时间注意力机制实现。注意力机制能够提取输入时间序列中不同元素与目标输出之间的关联性，并将目标输出表达为输入序列的加权和18：ci=j Jijxj；j J