融合因果注意力Transf...rmer模型的股价预测研究_任佳屹.pdf

2023，59（13）随着国民投资理财意识的不断提高，股票市场作为市场经济的重要组成部分，成为国民经济发展的“风向标”。市场行为涵盖一切信息，股价的涨跌行情一定程度上受到政治、经济、社会以及心理等多方面因素影响，具有高度的随机性及波动性，投资股票成为一项高风险、高回报的经济行为。投资者希望通过对股市未来趋势或价格的预测，多头排列时加仓盈利，空头排列时减仓止损，以防范风险并最大程度获取收益。如果能够对股价变化作出较为及时、准确的判断，也就能够提前作出相应的应对措施，因此，对股票价格变化趋势的预测融合因果注意力Transformer模型的股价预测研究任佳屹，王爱银新疆财经大学 统计与数据科学学院，乌鲁木齐 830012摘要：股票价格预测是金融研究和量化投资共同关注的重点话题，近年来利用深度学习技术揭示股票市场的行情规律成为研究热点。现有股票价格预测深度学习模型多数仅研究时间点数据，这种结构上的缺陷导致其不能反映出特征因子的累积作用对股价的影响。针对此，通过重新设计模型处理时间序列数据，提出一种基于Transformer的股票价格预测模型Stockformer。它通过因果自注意力机制挖掘股票价格与特征因子之间的时序依赖关系，采用趋势增强模块为模型提供序列的趋势特征，同时利用编码器的特定输入为预测提供输入特征的直接先验信息。实验结果表明，Stockformer的预测精度显著优于已有深度学习模型，且相较经典Transformer预测模型的平均绝对误差和均方根误差分别降低了23.2%和25.7%，预测值与真实值更为拟合；通过消融实验分别评估了Stockformer的因果注意力机制、时序特征提取手段以及特定的模型输入的效果及必要性，验证了所提模型的优越性及普适性。关键词：股票价格预测；时间序列；深度学习；Transformer；注意力机制文献标志码：A中图分类号：TP181doi：10.3778/j.issn.1002-8331.2212-0127Causal Attention Transformer Model for Stock Price PredictionREN Jiayi,WANG AiyinSchool of Statistics and Data Science,Xinjiang University of Finance and Economics,Urumqi 830012,ChinaAbstract：Stock price prediction is a key topic of common concern for financial research and quantitative investment,and the use of deep learning techniques to reveal the market patterns of stock markets has become a hot research topicin recent years.Most of the existing deep learning models for stock price prediction only study point-in-time data,andthis structural shortcoming causes them to fail to reflect the impact of the cumulative effect of feature factors on stockprices.To address this,a Transformer-based stock price forecasting model Stockformer is proposed by redesigning themodel to handle time series data.it mines the time-series dependence between stock prices and feature factors through acausal self-attentiveness mechanism,employs a trend enhancement module to provide the model with the trend featuresof the series,and uses encoder-specific inputs to provide the prediction direct a priori information of the input features.The experimental results show that the prediction accuracy of Stockformer is significantly better than that of existing deeplearning models,and the average absolute error and root mean square error are reduced by 23.2%and 25.7%,respectively,compared with the classical Transformer prediction model,and the predicted values are more suitable to the real values;and the ablation experiments are conducted to evaluate the causal attention mechanism of Stockformer,the effects of thetime-series feature extraction means and specific model inputs are evaluated by ablation experiments respectively,and thesuperiority and generalizability of the proposed model are verified.Key words：stock price prediction;time series;deep learning;Transformer;attention mechanism基金项目：国家社会科学基金（18BJL072）。作者简介：任佳屹（1998），女，硕士研究生，研究方向为机器学习、数据挖掘，E-mail：；王爱银（1978），女，博士，副教授，研究方向为金融随机分析、投资组合研究。收稿日期：2022-12-09修回日期：2023-03-08文章编号：1002-8331（2023）13-0325-10Computer Engineering and Applications计算机工程与应用325Computer Engineering and Applications计算机工程与应用2023，59（13）得到学术界及商业界的广泛关注。股价数据时间序列的高维度、非平稳、非线性以及非参数等特点对其预测方法提出了更高的要求，同时带来了巨大的挑战。近年来，计算机科学研究日益精进，针对股票价格的预测方法取得大量研究成果，由早期的基于统计指标的方法1、时间序列分析2等计量经济学方法，再到如今的机器学习3、深度学习4等人工智能技术，这些方法通过大量历史数据进行建模及训练，极大提高了预测精度，具有重要的理论及实践意义，尤其是随着深度学习应用于诸多不同领域的研究并取得显著成就，利用深度学习方法进行股票预测成为研究热点。早期的计量经济学方法无法处理股票价格这种复杂的非线性时间序列，而支持向量回归机（support vactorregression，SVR）、神经网络以及决策树等机器学习方法能够直接挖掘数据集中最具价值的信息并具有强大的学习能力，处理高维、非线性数据时具有显著优势。文献5采用人工生态系统优化算法优化SVR参数并提高了SVR的预测精度；文献6横向对比了美国NASDAQ市场中不同前馈神经网络的股价预测效果；文献7基于情感分析量化投资者的情感意向并将其作为数据特征，采用生成对抗网络预测股价走势。传统神经网络受其拓扑结构影响，泛化能力较弱，迭代过程中容易陷入局部最优。随着大数据时代的高速发展，深度学习技术以其更为强大的学习能力及特征提取能力取得了突破性进展，主要包括卷积神经网络（convolutional neural network，CNN）、循环神经网络（recurrent neural network，RNN）以及长短期记忆网络（long short term memory network，LSTM）等。文献8针对股票市场通过重新设计了CNN的网络结构以更为适用于不同层级下分别提取日内、日间特征，但CNN通过不断堆叠卷积层以提取信息的这种计算机制可能导致计算量大幅增加，网络收敛性不强。文献9基于RNN和矩阵分解分别得到股票的动态和静态特征并利用多层感知机模型预测股票排名。虽然RNN能够有效处理时序数据，但其训练过程较为复杂，难以寻找到某个合适的初始值令其收敛，并且RNN的训练过程中历史数据集对预测输出的影响可能随着序列长度的增加而削弱，产生梯度消失问题。LSTM 作为一种特殊的RNN，通过引入门机制重新设计RNN的网络结构，以有效解决长序列训练过程中的梯度消失及爆炸问题。文献10通过构建CNN和LSTM的混合模型分别预测了股票指数的波动方向及涨跌数值，验证了CNN-LSTM预测模型的普适性；文献11利用自适应学习的粒子群算法对LSTM的关键参数进行寻优，缓解了股票数据特征和网络拓扑结构不匹配的问题；文献12提出一种融合经验模态分解和嵌入时间注意力网络的股价预测方法，进一步优化了预测准确率。Transformer模型采用编码-解码框架，利用自注意力机制以实现对时间序列更为高效的特征提取，捕捉长序列中各元素之间的依赖关系，且能够实现并行训练，具有强大的提取特征能力、融合多模态能力以及可解释能力。由于时序任务中采用Transformer的方法取得了极大成功，其逐渐被广泛应用于图形图像识别、自然语言处理以及经济证券预测等诸多领域13-14。文献15提出一种分层多尺度高斯改进的Transformer以捕捉股票时间序列的长期及短期依赖性；文献16基于门控循环单元结构引入Attention机制以侧重于重要时间点的股票特性信息，准确反映了股价的变动规律；文献17采用Transformer作为用户数据的自编码器深入建模了用户行为。以上研究采用不同方法，优化提升了股票价格的预测性能，但现有基于 Transformer的股票价格预测研究并未结合股价特点进行模型的适配性设计，泛化能力及预测准确率方面具有较大的提升空间。具体地，经典Transformer的提出是为了针对长时间序列进行建模，而股票价格的波动特性决定了该预测问题所涉及的输入输出序列长度较短。此外，经典 Transformer中自注意力机制所采用的点乘计算法只能学习到序列中各时间点之间的依赖关系，对序列的局部特征并不敏感，因此本文提出设计一种新的学习能力更强、具备因果推断能力的自注意力机制以提高模型预测能力。考虑Trans-former自身的优异性能及可拓展性，为进一步降低股票价格的预测误差，本文基于Transformer框架提出一种更为适合股票价格预测的深度学习预测模型Stockformer，其通过多头因果自注意力机制挖掘股票价格与特征因子之间的时序依赖关系，采用趋势增强模块为模型提供序列的趋势特征，同时利用编码器的特定输入为预测提供输入特征的直接先验信息。实验选取沪深300指数及3只典型个股作为数据集，对比分析了Stockformer与其他4种基线模型的预测结果及预测效率，并通过3组消融实验评估了因果注意力机制、时