基于多级注意力机制的大豆期货预测_张杰.pdf

文章编号：（）基于多级注意力机制的大豆期货预测张杰，甄柳琳，翟东升（北京工业大学 经济与管理学院，北京 ）摘要：考虑影响大豆期货价格的外部因素，针对国内外期货市场间波动的动态相关性特征，提出一种基于多级注意力机制的预测模型（）。模型利用 编码器解码器结构，整合局部注意力机制与全局注意力机制建模编码器，使用时间注意力机制与外部影响因素融合模块建模解码器，据此建立深度学习框架。以中国、美国、巴西、日本大豆期货为研究对象，提取国内外大豆期货历史交易信息及外部影响因素的潜在特征，用于对我国大豆期货收盘价的预测。通过实证研究验证了 模型的性能及预测的有效性。关键词：大豆期货；预测模型；多级注意力机制；结构中图分类号：文献标识码：引言随着现代社会劳动生产力的变化及商品经济的发展，反映市场供求状况变化过程的期货合约由此形成，以便广大生产经营者、加工商与贸易商及时规避市场风险。自 年美国芝加哥期货交易所（）成立起，期货市场完备程度及交易规模皆得到迅速发展。年郑州粮食批发市场的成立，标志着中国期货市场正式走上历史舞台。在当前发展阶段，我国期货市场交易量及成交额逐年大幅提升，监管体制与制度日益完善规范，呈持续高速规范发展态势。农业是国计民生的基础，农产品经济更关乎国民经济的命脉。目前，我国农产品正随着农产品市场化改革的推进而稳步走向市场化道路，农产品期货也成为了金融市场不可或缺的部分。作为较早推出的农产品期货品种，我国大豆期货合约于 年在大连商品交易所（）上市，年“中央号”文件中为提高自给率而提出“大豆振兴计划”，标志着我国大豆期货市场的发展迎来新机遇。大豆作为一种国际大宗商品，同时具备了商品属性与金融属性，具有衍生品固有的高风险特征。大豆期货价格序列数据呈非平稳、非线性的复杂特征，如何对价格走势进行预测，并据此为投机者的交易决策提供指导，则成为了一项备受关注的课题。传统的期货价格走势预测方法主要包括统计建模方法及机器学习方法。价格序列的复杂特性使模型如何准确捕获波动特征成为了序列预测建模方向的难题。近年来，深度学习方法在自然语言处理、计算机视觉及金融数据建模等领域取得了突破性的进展，对复杂数据的特征提取能力优异，具备良好的建模泛化能力及特征表达能力。因此，将深度学习方法应用于大豆期货价格序列预测建模上更具合理性与适用性。大豆期货价格表现为非线性变化趋势，易受到诸多因素的影响与冲击。微观层面上，其价格走势及交易量反映了市场中交易双方博弈过程中反馈的有效信息，开盘价、收盘价、交易量、投资情绪等因素会在短期内影响价格走势。宏观层面上，自然因素、经济周期因素、政策因素等也将引发大豆期货价格波动。中国对大豆需求量高，且生产成本远高于进口成本，致使大豆进口依存度高、需求量大。近年来，国内外环境的复杂及经济形势的严峻导致大豆期货价格的不稳定性随之加剧。目前，美国、巴西、日本等大豆主产国在中国大豆进口贸易中占据主导地位，进第 卷第期（总第 期）系统工程 ，年月 ，收稿日期：；修订日期：基金项目：北京市自然科学基金资助项目（）作者简介：张杰（），男，河南鹤壁人，副教授，博士，研究方向：技术情报分析；翟东升（），男，山西运城人，教授，研究方向：信息管理与决策支持。通信作者：甄柳琳（），女，吉林长春人，研究生，研究方向：金融数据挖掘。口价格及进口量将对国内大豆期货市场带来巨大影响。鉴于此，本文利用影响大豆期货走势的宏观、微观因素，令表征投资者关注度的搜索指数特征及天气特征作为外部影响因素特征，利用中国、美国、巴西、日本大豆期货历史交易信息与外部影响因素信息，对大豆期货价格未来发展趋势及波动规律做出分析建模与预测，对稳定我国粮食市场价格大幅波动、及时预警并防范价格波动风险、保障国民经济正常运行及加速推动更有效的期货市场体系的建立等方面具有指导价值。同时，也为大豆生产经营者、实务界与投资界提供远期价格波动信息，为套期保值、规避价格风险及套利策略研究提供依据。相关研究时间序列预测算法目前已广泛应用于金融市场预测领域，预测主要分为统计学方法及深度学习方法。统计学预测方法利用自回归模型、指数平滑模型及移动平均模型等进行建模预测。熊涛等通过动态选择解释变量及系数时变程度构建模型，对大豆期货价格进行预测，显著提升了预测准确度；等采用异质自回归模型（）的变体来对玉米、大豆等五种广泛交易的农产品波动率进行预测，在预测回归中提供了更好的拟合效果；等对比了 、及 等移动平均模型及指数平滑模型对可可豆、玉米等商品期货的预测能力，表明指数平滑模型对日度数据有较好的预测能力，而移动平均模型则对周度数据预测能力较强。然而统计学方法主要以线性形式或预定义的非线性形式分析农产品期货历史交易数据的波动特征，或引入固定数量的解释变量及非时变性系数，局限于对基础非线性、动态相关的多变量时间序列的预测问题。近年来，深度学习方 法 应 用 广 泛，在 金 融 时间 序 列的预测问题上能有效捕捉复杂、非线性交易数据的波动特征及多元化影响因素的时变特征，具备着较高的预测性能，是 当前金融序 列 预 测 领 域 的 研 究 热 点。张 欣宇 建立 神经网络衡量天气情况对农产品期货价格的影响，并在此基础上对玉米期货价格做出合理预测；提出一种基于 网络的预测模型，通过生产者与消费者间的价格信息共享实现对农产品期货价格的准确预测；等采用 递归神经网络和递归模糊神经网络对原油期货价格进行预测。为解决传统的循环神经网络对金融时间序列预测的长期依赖问题及梯度爆炸问题，景楠等 通过 神经网络的长期依赖特性来提高沪铜期货价格的预测精度；等 构建了变分模态分解双向门控循环模型（）对天然橡胶期货进行了短期预测以提高模型的拟合性能和趋势预测性能。基于 或 单 元 的 编码 器解 码 器结 构 可有效解决传统循环神经网络在处理输入输出序列严格等长的问题，在时间序列预测等方面的成功而广受欢迎。等 及 等 分别提出基于 及基于 编码器解码器结构的网络，并证明了应用编码器解码器结构的预测模型在特征学习上的有效性。然而在时间序列分析任务中，随着输入序列长度的增加，编码向量无法捕获输入序列内的全部特征信息，导致编码器解码器结构的性能有所下降。为解决该问题，基于注意力机制 的编码器解码器网络成为了序列预测问题的热点。等 提出运用基于时间注意力机制的编码器解码器模型来处理时间序列预测问题；等 提出在分解集成框架下基于注意力机制的 编码器解码器的预测方法。在此基础上，有学者开发了诸多基于注意力机制的变体模型，以优化不同应用场景下的权重分配规则及编码器隐藏状态。等 利用两个层级的注意力机制更好地识别异构环境中的模式信息；等 提出基于时空注意力机制的长短时记忆模型（），并验证了模型有效性。上述研究主要致力于捕获序列本身的波动特征，而忽视了导致序列波动的影响因素特征。作为一种国际大宗商品，大豆期货价格易受到诸多外部因素的影响。有学者在预测大豆期货价格过程中考虑对农产品期货价格波动产生影响的因素，构建基于多变量的时间序列预测模型。目前针对考虑外部因素的农产品期货价格预测研究集中于利用国内外市场的联动性，及诸如宏观经济变量、自然因素、投资者情绪等影响因素以提高预测性能。例如，等 设计情绪分析方法量化天气、情绪等因素，并用于对中国大豆期货的价格的预测，证实了上述影响因素在预测过程中的有效性。然而在时间序列预测问题中，当目标序列受众多外部变量影响时，网络或无法精确选择相关变量。为建立适用于多元时间序列预测的模型，等 提出基于双阶段注意力机制的递归神经网络（）以选择每个时间间隔的相关序列。然而，该网络只能为相同层级的序列变量分配权重，而忽视了不同层级变量间的相关性及其对目标序列的影响程度。为此，本 文 提 出 在 编码 器解 码 器 框 架 下 的模型（），利用多级注意力机制来提取国内外大豆期货历史交易信息的潜在特征，融合天气、投资者关注度等外部影响因素，实现对我国大豆期货收盘价的预测。本文的预测方法具有以下优势：模型在局部的市场变量、全局的国际市场及时间尺度上，自适应地捕获大豆期货历史状态信息，多级别聚合序列特征，提高对我国大豆期货价格的特征提取能力及预测性能。设计能够考虑期货价格序列影响因素的建模框架，使 模型能够提取天气、投资者关注度等外部影响因素特征，提高模型预测的准确性。与传统的统第期张杰，甄柳琳等：基于多级注意力机制的大豆期货预测计学模型及深度学习模型相比，模型能够更有效地捕获序列的非线性、复杂性特征，并在真实的数据集上得到验证。实验结果表明，本文模型在预测精度上高于基线模型，有效降低了预测误差。研究方法与理论基础本文在 编码器解码器框架下利用局部、全局及时间注意力机制，融合影响大豆期货走势的外部因素特征构建多级注意力模型（，），利用该模型对我国大豆期货收盘价做出预测。本节将对模型中使用的基于 单元的编码器解码器结构及注意力机制的理论基础进行介绍。基于 单元的编码器解码器架构 等 提出的基于循环神经网络（）的编码器解码器架构（）利用两个 单元，允许输入序列与输出序列具有不同长度，在机器翻译、时间序列预测等领域具备广泛的应用。作为一种端到端的建模框架，该算法在时间序列建模应用上取得了较好的效果，结构如图所示。图编码器解码器架构基于 单元的编码器解码器架构运算过程定义如下：（，）（）（，）（）（，）（）编码器解码器架构利用编码器中 单元，将一个可变长度的输入序列（，）编码为隐藏层状态向量（，），隐藏状态通过非线性变换转化为固定长度的语义向量作为解码器的输入。解码器根据固定长度的语义向量、前一时间步解码器的隐藏层状态向量 及前一时间步的输出值 生成 时隐藏层状态向量，最终经全连接层的线性变换生成可变长度的输出预测值。图长短期记忆网络结构大豆期货历史交易信息对未来时刻的收盘价预测具有显著作用，故采用具有历史记忆信息存储功能的长短期记忆网络（，）作为编 码器解码器结构的基本单元以学习序列特征。网络主要由遗忘门、输入门、输出门这三种门结构及记忆单元组成，结构如图所示。遗忘门通过系数矩阵决定待丢弃或待存储的信息，定义如下：（，）（）其中，为 激活函数，（）为系数矩阵，为时刻的输出向量，为时刻的输入，表示向量拼接运算，为偏置向量。输入门决定待更新信息，丢弃待遗忘的旧信息，存储待记忆的新信息并置于记忆单元内，定义如下：（，）（）?（，）（）?（）其中，为临时记忆单元状态向量，为更新后的记忆单元状态向量，为元素乘法。输出门基于更新后的记忆单元状态生成新的输出向量，定义如下：（，）（）（）（）注意力机制编码器解码器结构在面对输入序列过长问题时，输入序列被编码为定长向量而无法表征序列的全部有效信息，故引入注意力机制（）解决序列信息压缩问题。鉴于国内外市场大豆期货历史交易信息对我国期货收盘价预测的贡献程度不同，本文使用注意力机制分析并提取对未来收盘价预测有重要影响作用的特征信息，为其分配不同的注意力权重以增强编码特征，运算过程定义如下：（）（）（）（）（）（）由式（）计算隐含层向量与间的相关性分数，使用 （）函数归一化处理相关系数，得到注意系统工程 年力权重矩阵，对隐藏层状态加权平均则可得到最终的上下文向量。大豆期货预测模型的构建形式化表示与问题定义模型编码器部分输入给定窗口长度为的多元时间序列（，），表示国内外大豆期货所有市场变量在过去天内的历史交易信息，共构成个时间序列。令个不同国家期货交易所的市场 交 易 信 息 作 为 全 局 特 征，即（，），其中每个国家交易所中包含个市场变量序列作为局部特征。则第个国家的市场变量局部特征可表示为（，），其中，（，）。由此（，）表示在同一时间步上第个国家的期货交易所中所有市场变量的观测值。形式化表示如图所示。解码器部分输入对我国大豆期货价格存在间接影响的个外部影响因素变量，其中为解码器预测的未来时间步长。指定第个国家交易所中的第个市场变量为目标序列，（，），根据历史交易信息预测未来第 天的目标序列值为?，。图形式化表示模型框架本文的预测模型整体框架如图所示。模型基于 单元的编码器解码器框架，针对框架未能有效对长时间序列建模