基于混合神经网络的非法集资风险预测模型_陈钢.pdf

第 51 卷收稿日期：2022年8月24日，修回日期：2022年9月15日基金项目：2021年安徽省重点研究与开发计划（编号：202104a05020071）；2022年芜湖市科技计划重点研发项目（编号：2022yf17）资助。作者简介：陈钢，男，博士，研究方向：政务大数据、人工智能。1引言近年来，以互联网金融为代表的新型金融业态蓬勃发展，提高了资金配置效率。由于互联网具有不分地域、快速传播、涉众面广等特性，通过线上平台进行的非法集资活动影响面更广危害更大，表现为参与人数众多，涉及金额巨大，涉及地域广等方面。2020年全国共查处非法集资案件6800余起，涉案金额1100余亿元，不但涉及财富管理、私募基金、保险代理、房地产等传统领域，还涉及到养老服务、涉农互助、线上教育、区块链及虚拟货币等多种新形态1。对于非法集资企业的识别，主要基于从业人员根据工作经验从该企业的财务报表中判断出财务异常，从而判断该企业是否有非法集资的嫌疑。在对企业是否在进行非法集资的判断过程中，往往依赖历史经验对大量的财务报表进行数字逻辑分析以及统计分析，识别准确率和效率均较低。在互联网背景下，非法集资案件通常具有很强的隐蔽性和突发性，传统监管手段难以及时发现2。为解决上述难题，本文提出了一种基于混合神经网络的非法集资预测模型。首先，将文本信息序列（如业务范围、产品描述等）输入到预训练模型中，并将输出的特征向量作为输入到下一层网络的语义表示向量基于混合神经网络的非法集资风险预测模型陈钢（长三角信息智能创新研究院芜湖241000）摘要针对现有企业非法集资风险识别准确率低、效率低等问题，提出了一种基于混合神经网络的预测模型。该模型构建基于预训练语言模型和门限循环神经网络（GRU）的风险等级预测网络产生风险等级和风险候选特征向量，并结合双向门限循环神经网络（BiGRU）和注意力（Attention）机制构建风险特征知识嵌入网络，最后将融合特征向量输入到分类器来实现非法集资预测。实验结果表明：该模型相较于其他基线模型能够取得更好的风险预测效果。关键词非法集资；混合神经网络；预训练语言模型；风险特征知识中图分类号TP391.4DOI：10.3969/j.issn.1672-9722.2023.03.023Illegal Fund-raising Risk Prediction Model Based onHybrid Neural NetworkCHEN Gang（Yangtze River Delta Information Intelligence Innovation Research Institute，Wuhu241000）AbstractThis paper proposes an enterprises illegal fund-raising risk prediction model based on hybrid neural network to address the problems of the existing monitoring methods which can not identify risks effectively.The proposed risk prediction modelfirstly constructs a risk rank prediction network based on pre-trained language model and GRU to generate risk level and feature vectors of risk candidates.Then，a risk characteristics knowledge embedding network is created by combining BiGRU with attentionmechanism to enhance risk prediction.Finally the integrated feature vectors are send to a linear classifer to finish risk prediction.Experimental results show the proposed risk prediction model can achieve better results compared with several baseline models.Key Wordsillegal fund-raising，hybrid neural network，pre-trained language model，risk characteristics knowledgeClass NumberTP391.4总第 401 期2023 年第 3 期计算机与数字工程Computer&Digital EngineeringVol.51 No.36622023 年第 3 期计算机与数字工程输入；然后，构建基于GRU的候选集生成网络用以增强非法集资的预测能力。与此同时，提高引入跳层连接机制来解决深度网络训练中信息丢失以及网络退化问题；最后，通过引入结合双向门限循环神经网络（BiGRU）和注意力（Attention）机制的非法集资风险特征知识嵌入，有效提升预测模型的理解层次，提升企业非法集资预测的准确性。2相关工作学术界对非法集资的研究大多集中在法律和机制层面，使用大数据和人工智能技术预测非法集资的研究相对较少。基于龙信企业大数据，北京工商局构建了基于指标体系的企业非法集资预警模型3。单丹等指出可以利用大数据监测预警功能及时发现和管理企业早期的非法集资风险，利用大数据关联分析技术侦查集团企业的自融、自担保行为并快速锁定核心企业、核心人员4。石笑川以企业公开信息为基础建立了一套风险评价指标体系，通过层次分析法为指标赋值将这些特征量化，建立了一个定量与定性相结合的非法集资监测体系5。业内也有一些公司研发了金融监管系统。蚁盾系统6可以为金融监管人员呈现辖区内的金融机构企业以及企业的风险预警情况（企业相关的法院判决、工商变更、股权和投资关系变动、互联网负面舆情等），然而并不能呈现该企业是否有疑似非法集资的风险。灵鲲金融安全大数据平台7通过监测社交网络系统的聊天信息，来抓取疑似非法集资的线索；很多非法集资活动为了规避监管，都不在微信或者QQ群中讨论，所以通过聊天信息抓取非法集资线索越来越困难。为预测企业是否具有非法集资风险，通常的做法是在人工提取特征的基础上利用机器学习方法训练一个预测模型。这类方法可能导致花费大量精力去构思出来的特征可能与指定的任务不相关。更进一步，可以使用神经网络模型，如卷积神经网络（CNN）8、循环神经网络（RNN）9、基于长短期记忆的循环神经网络（LSTM）10，实现自动特征提取和风险预测。一般而言，类似word2vec等模型将预处理后相关文本实行向量化表示。但上下文之间的联系无法被此类模型捕捉到，此时有歧意的特征词便可能错误表征11，预训练语言模型能够有效处理此类问题。Liu等12利用对BERT超参数和强化训练集大小的研究内容，提出不断增强BERT训练方案，通过采用动态遮掩策略获得的RoBERTa模型较以往此类型的post-BERT方法相比，它能够获得同等或更好的质量和性能。而针对中文相关任务上，Cui等13对RoBERTa模型实行改进，采取使用 Whole Word Masking（WWM）的训练策略，在保留强化训练的其他作战策略的基础的情况下，改进了RoBERTa模型，进而提高了实验效果。葛霓琳等14对评论文本实行词向量模型进行表示，并选用PCA算法对训练样本进行降维，选取了两种不同的分类方法朴素贝叶斯和支持向量机在京东等电商平台的用户评论实现文本情感分析。Wang等 15 采用双向GRU模型对结构化的知识库进行编码，以指针网络和两个注意力机制生成关于结构化知识库的自然语言描述。3预测模型本文提出的预测企业非法集资的混合神经网络模型主要由两部分组成：基于预训练语言模型的风险等级预测网络以及基于GRU和注意力机制的风险特征知识嵌入网络，模型的具体结构如图1所示。在企业非法集资预测任务中，需要处理大量企业相关的文本信息，本文使用RoBERTa预训练语言模型提取文本语义信息。为了更好地适应中文文本，本文将预处理后的企业文本信息输入 RoBERTa-wwm-ext。处理后得到的语义表征向量和经过编码的其他类型特征向量被输入到风险等级预测网络，产生风险候选等级以及风险候选特征向量。非法集资风险特征知识库作为外部知识在使用BiGRU和attention机制后与风险特征候选向量进行拼接，得到融合特征向量并输入分类器，最终完成企业非法集资预测。图1基于混合神经网络的预测模型663第 51 卷3.1基于RoBERTa的风险等级预测网络风险等级预测网络中对RoBERTa得到的语义表征向量使用 GRU 网络处理得到风险等级结果（高风险、中高风险、中低风险和低风险）以及对应的隐藏状态向量，共同参与非法集资的预测。风险等级预测模型结构如图2所示。经过RoBERTa编码后的语义向量结果xt构成集合X=xt|t=1,2,n，把X作为模块的输入部分。通过输入向量xt与上一步隐藏状态ht-1进行线性组合，再经过sigmoid激活函数非线性化处理后得到更新门zt和重置门rt，计算公式如式（1）和（2）所示。图2风险等级预测网络zt=sigmoid(Wzxt+Uzht-1+bz)（1）rt=sigmoid(Wrxt+Urht-1+br)（2）与传统的RNN的计算方式类似，首先将重置门rt与隐藏状态ht-1的哈达玛积和输入向量xt进行线性组合，再通过tanh激活函数非线性化处理即可得到候选状态h?t，如式（3）所示。共同计算更新门zt，隐藏状态ht-1和候选状态h?t就可得到新的隐藏状态ht，如式（4）所示。h?t=tanh(Whxt+rt(Uzht-1)+bh)（3）ht=(1-zt)ht-1+zth?t（4）将 不 同 时 间 节 点 隐 藏 状 态 ht构 成 集 合H=ht|t=1,2,n,n+1,n+m，经由全连接层以及 softmax 函数后得到风险等级预测向量C=ci|i=1,2,m。对向量C使用全连接层进行维度转换，输出结果VC=vct|t=1,2,n的维度与RoBERTa预训练语言模型相同。为了避免训练过程中网络可能存在的网络退化和信息丢失问题，本文在风险预测结构中添加跳层连接16和对GRU隐藏状态的连接处理。主要过程是使用门控机制将网络的输入部分、GRU隐藏状态与输出结果进行相加，即可得到最终网络输出结果Vout，如式（5）所示。Vout=f(X)+h(X)+X（5）其中f是风险预测网络，h是GRU隐藏状态和维度变换结构。3.2非法集资风险知识库嵌入除经营范围描述以外，企业一般还会包含大量其他存在关联性的标签（如成立年限、注册资本、违法记录等），而仅仅利用其中的某一类标签，可能存在对某些模糊描述的情况难以理解，导致模型的理解层次偏低。为此，除风险等级预测网络外，本文还构建了一个非法集资风险特征的知识库，有效提高模型的理解层次，提升预测准确性。虚假宣传、虚增注册资本、大量雇用与经营范围不相符的理财产品推销人员等，都是非法集资企业普遍存在的行为。综合这些行为，本文从基本风险（基本信息、行政许可、变更信息等）、遵从风险（投诉举报、案件信息、法院诉讼等）、经营风险（行政处罚、产品信息、招聘信息等）、族群风险（和非法集资企业的关联关系）和舆情风险（互联网负面信息）这五类风险构建企业非法集资风险特征知识库。将企业其他标签信息结合非法集资风险特征知识在预测模型中引入，外部知识用键值对（key-value）的形式进行结构化构建。输入到模型中的结构化知识库用如下的键值对列表表示：L=(s1,v1),(s2,v2),(sn,vn)其中si用来表示企业标签（例如：企业名称、企业类型、注册资本），vi表示标签