天风证券_20181017_天风证券海外文献推荐第59期.pdf

金融工程金融工程|金工专题报告金工专题报告 请务必阅读正文之后的信息披露和免责申明 1 金融工程金融工程 证券证券研究报告研究报告 2018 年年 10 月月 17 日日 作者作者 吴先兴吴先兴 分析师 SAC 执业证书编号：S1110516120001 18616029821 相关报告相关报告 1 金融工程：金融工程-海外文献推荐 第 58 期 2018-10-10 2 金融工程：金融工程-海外文献推荐 第 57 期 2018-09-26 3 金融工程：金融工程-海外文献推荐 第 56 期 2018-09-12 海外文献推荐海外文献推荐 第第 59 期期 策略回测效果如何评估？策略回测效果如何评估？量化实践中的过拟合问题一直饱受诟病，我们尝试梳理学术前沿对该领域的思考。在最新的学术文献中，不少学者已经开始反思学术界各类因子是否只是数据挖掘的产物，一些文章开始提出一个更加严格规范的因子挖掘框架。我们选取了一篇颇具代表性的论文，借鉴其中关于克服回测过拟合问题的一些技术方法。日常量化实践中研究人员会进行大量实验并选取其中最好的一种进行效果展示，这个过程会带来较大的过拟合问题，本文提出了一种考虑测试次数的策略效果评价调整方法。风险风险提示提示：本报告内容基于相关文献，不构成投资建议。金融工程金融工程|金工专题报告金工专题报告 请务必阅读正文之后的信息披露和免责申明 2 内容目录内容目录 策略回测效果如何评估？策略回测效果如何评估？.3 1.简介简介.3 2.方法方法.3 2.1.单一测试和夏普比率.3 2.2.多次测试后修正夏普比率.4 3.多次测试框架多次测试框架.4 3.1.第一类错误.4 3.2.FWER 下的修正 p 值.4 3.3.FDR 下的修正 p 值.5 3.4.多次测试和交叉验证.5 3.5.样本内 vs 样本外多次测试.5 4.应用应用.6 4.1.三种策略.6 4.2.新策略的夏普比率修正.7 4.3.交易策略的最低盈利能力.7 5.结论结论.8 图表目录图表目录 图 1：三个投资策略的多次测验后调整.6 图 2：最低盈利情况.8 金融工程金融工程|金工专题报告金工专题报告 请务必阅读正文之后的信息披露和免责申明 3 策略回测效果如何评估？策略回测效果如何评估？文献来源：文献来源：Campbell R.Harvey and Yan Liu.Backtesting.Journal of portfolio management,2015.推荐原因推荐原因：量化实践中的过拟合问题一直饱受诟病，在最新的学术文献中不少学者已经开始反思学术界各类因子是否只是数据挖掘的产物，一些文章尝试提出更加严格规范的因子挖掘框架。我们选取了一篇颇具代表性的论文，探究其中关于克服回测过拟合问题的一些技术方法。日常量化实践中研究人员会进行大量实验并选取其中最好的一种进行效果展示，这个过程会带来较大的过拟合问题，本文提出了一种考虑测试次数的策略效果评价调整方法。1.简介简介 通常来讲，为了评估某一交易策略的回测结果，实践中经常将计算出的夏普比率按 0.5打折处理作为样本外实践的预期值。这个折扣数值一般基于数据挖掘后的经验法则，本文的目的即为搭建一种分析方法来决定这个折扣数值的大小。我们的框架依赖于多次检验方法的统计理论。假设你有一些新数据，记为因变量 Y，并且你认为自变量 X 能解释 Y。接着你进行统计检验，发现在 95%的置信水平下，X 和Y 间有显著的相关关系，t 检验值为 2。我们将这个过程称为一次检验。接着我们希望解释自变量 X1、X2 至 X100 和因变量 Y 间的相关关系。这种情况下，你不能再用同样的显著性水平。而 Harvey 和 Liu 的研究发现，随着自变量数目的增加，t 检验值大小递增。那么该选择多大的显著性水平呢？接下来介绍本文所研究的方法。任一给定的策略都会产生夏普比率，我们将夏普比率转变为 t 检验值。假设 t 检验值为 3，尽管这一数值在某一检验中是高度显著的，但在多次检验中情况会发生改变。为了计算 p 值，我们还需要对之前测试的数目进行假设。假设调整后的 p 值为 0.05，这种情况下调整后的 t 检验值为 2，基于此，我们设定新的夏普比率。原始夏普比率和调整后的夏普比率之间的百分比差值即为“折扣”。我们发现，常规做法将折扣定为 50%是不正确的，测试次数与折扣比例的内在关系并不线性。最高的夏普比率调整后改变的少而一般的夏普比率调整后改变极大。同时，本文的研究也提供了一些有用的启示。首先，高夏普比率可能是异常回报的结果，折扣系数太高并不合适。其次，夏普比率未必能控制风险，策略的波动性可能无法反映真实的风险。重要的是，我们的方法也适用于因为使用因子模型而产生的信息比率。第三，在多重测试框架中，有必要确定适当的显著性水平，例如，应该选择 0.10 还是 0.05？第四，需要对多次测试方法进行选择。我们给出了三种方法的结果以及这些方法的平均值。最后，需要一些判断来确定测试次数。2.方法方法 2.1.单一测试和夏普比率单一测试和夏普比率 记 rt 为时期 t-1 至 t 间的投资策略的实际收益率，我们用统计性检验来评价这个投资策略是否产生了真正的正收益并且长期保持此收益。假设有一系列历史收益（r1，r2，,rT），代表平均数，代表标准差：t ratio=接下来定义夏普比率：R=t ratio 因此，对于固定的时间 T 而言，更高的夏普比率代表了更高的 t 检验值，即该投资策略的高显著性水平。这个公式同样可以衡量投资策略的吸引力。金融工程金融工程|金工专题报告金工专题报告 请务必阅读正文之后的信息披露和免责申明 4 2.2.多次测试后修正夏普比率多次测试后修正夏普比率 过度数据挖掘有时会导致不准确的夏普比率结果，这是因为有大量的研究人员针对有限的历史数据进行分析，因此他们有时候会发现几个收益率很高的投资策略，但是一旦在此过程中引入数据挖掘方法，那么许多异常情况就会被推翻。为了解决这个问题，我们用多次测试来修正传统的比率计算方式。首先，我们计算单一测试的 p 值：=(|)=(|)这里，r 是一个随机变量；其次我们要注意，此过程中如果研究人员对大量策略进行分析却只选择收益最高的那个进行测试，得出的 p 值是没有意义的。为了量化分析这个问题，我们假设研究人员尝试了 N 种策略并选择了拥有最大夏普比率的那个策略，则多次测试的 p 值定义如下：=Pr(max*|,i=1,N+t ratio)=1 Pr(|)=1 (1 )=1 最后，通过使单一测试的 p 值和多次测试的 p 值相等，我们得到了调整后的夏普比率:=Pr(|)例如，假设有 20 年的月收益率数据（即 T=240）,单一测试中年夏普比率为 0.75，p值为 0.0008；当N=200,=0.15时，调整后的年夏普比率为 0.32。因此，大约 200 次多重测试后，原始的夏普比率减少了约 60%。3.多次测试框架多次测试框架 3.1.第一类错误第一类错误 假设已检验过 M 个假设，并且 p 值分别为（1,)。在这 M 个假设中，R 个假设被拒绝，这 R 个假设中既有正确的发现也有错误的发现。定义为错误发现的数量（如被错误分类成有盈利能力的投资策略）；定义 family-wise error rate(FWER)来计算至少有一个错误发生的概率：FWER=Pr(1)定义 false discovery proportion(FDP)来计算错误拒绝的比例：=,00,=0=E,FDP-FWER 和 FDR 即为第一类错误。两者相比，FWER 是为了防止任何一个错误发生，FDR则可以控制错误数量。3.2.FWER 下的修正下的修正 p 值值 我们将 p 值排序（如(1)(2)()）,与之对应的假设分别为(1),()。Bonferroni 的方法是同等的改变 p 值大小：p()=min(),1,=1,例如，如果有 6 个策略，p 值分别为（0.005，0.009，0.0128，0.0135，0.045，0.06），金融工程金融工程|金工专题报告金工专题报告 请务必阅读正文之后的信息披露和免责申明 5 则调整后 p 值为（0.03，0.054，0.0768，0.081，0.270，0.36）；Holm 的方法则根据 p 值大小来改变其值：p=minmax(+1)(),1,=1,使用上例数据：(1)=0.03和 Bonferroni 计算出来的结果相等，(2)=0.045小于Bonferroni 计算出来的结果，以此类推。我们可以发现仅前两个策略是统计意义上显著的。可以发现，Bonferroni 的方法更为严格，因为原始的 p 值乘上乘数之后更大，因此，根据 Bonferroni 方法调整后的夏普比率相比 Holm 来说更小，但上述两个方法都是为了消除错误发现。3.3.FDR 下的修正下的修正 p 值值 Benjamini,Hochberg 和 Yekutieli(BHY)将修正后 p 值定义如下：BHY:()=(),=min(+1),(M)(),1 使用上例数据后发现，BHY 比 Holm 模型多两个发现，而 Holm 模型比 Bonferroni 模型多一个发现。事实上，我们对夏普比率进行修正是为了解决如下问题：如果多次测试下的修正后 p值反应的是投资策略真正的统计显著性水平，那么在不考虑数据挖掘情况下，对于单一测试来说应选择怎样的夏普比率？我们用文献中记录的超过 300 个风险因子来实践 HLZ 模型。但也要注意，基于这些数据的直接多次测试是有问题的，原因有两个。首先，我们没有观察到所有被试过的策略。事实上，数以千计的人可以尝试，忽视这些将大大影响我们修正的夏普比率的结果。第二，策略回报是相关的，而这种相关性会影响多次测试，因为它有效地减少了独立测试的数量。考虑到这两个顾虑，HLZ 提出了一种新的估计因子收益的基础分布的方法。我们使用这种分布来为新策略调整夏普比率。3.4.多次测试和交叉验证多次测试和交叉验证 最近，Lopez de Prado 和他的合作人也在研究数据挖掘对标准化回测的影响。他们的关注点为计算某一特定策略表现超过类似策略的可能性，而我们则是通过调整单个策略的显著性水平来控制虚假盈利策略的比例。此外，本文和 Lopez de Prado 的研究方法还有如下不同：1.分析的目的是不同的。我们的研究重点在于识别产生非零回报的策略组，而 Lopez de Prado 则评估适合于样本的特定策略的相对性能。例如，当有一组因素都为真时，在我们的多次测试下框架下，具有最小 t-比率的策略仍可能被拒绝。2.我们的方法基于单个测试统计量，该统计量总结了策略在整个样本上的性能，而他们的方法以多种方式对整个样本进行划分和连接，每种方式对应于人工的“保持”周期。因此，我们的方法更符合多重测试的统计文献，而他们的工作更多地涉及样本外测试和交叉验证。第三，Harvey 和刘（2015）中的扩展统计框架只需要检验统计量，而他们的工作很大程度上依赖于每一个策略的时间序列。虽然数据密集，但在 Lopez de Prado 方法中，没有必要对返回的数据生成过程做出假设。因此，他们的方法更接近机器学习文献，而我们更接近于计量经济学文献。最后，PBO 方法评估策略选择过程是否容易过度拟合。它不与任何特定的性能统计相关联。我们主要关注夏普比率，因为它们直接与 t 统计量联系在一起，因此 p 值是多个测试调整所需的输入数据。只要其他性能统计信息也有概率解释，我们的框架可以很容易地被推广到合并其他性能统计信息。3.5.样本内样本内 vs 样本外多次测试样本外多次测试 本文的多次测试是基于样本内回测，实际上，样本外测试（OOS）也常被用在多种策 金融工程金融工程|金工专题报告金工专题报告 请务必阅读正文之后的信息披露和免责申明 6 略选择中。但 OOS 测试也有局限性。1.如果某一次测试失败，研究人员修改策略后再次测试，那么第二次测试很可能不是样本外测试；2.样本外测试仅在概率意义上成立。3.考虑到交易策略包含了经济变量，因此使用历史数据的样本外测试都不是真正意义上的样本外测试。另一个本文的多次测试模型可以解决的关于 OOS 的问题是：第一类错误（错误发现）和第二类错误（遗漏发现）的权衡。例如，假设我们有 1000 个样本，将样本分成两半并研究 100 个不同的策略，其中我们发现了 10 个有潜力的策略，接着我们用这 10 个策略进行 OOS 测试并发现两个策略有效。但是值得注意的是，这种研究方法是有遗漏的。为了解决这个问题，我们将样本分成两组，一组 90 个，一组 10 个，其中我们发现了15 个有潜力的策略。虽然这种更长时间的样本内研究过程减少了发生第二类错误的可能性，但更短的样本外研究过程也提供了更少的可信结论。在我们的观点中，最有潜力的研究方式是将两种研究方法结合起来。理想情况下，我们希望投资策略能既通过小样本的 OOS 测试也能通过全样本的多次测试。但问题是如何处理被遗漏的真实发现。补救方法是：我们可以先进行 IS 测试，然后用 OOS 测试来得出结论，同时我们对全样本进行多次测试。最后我们找出 IS/OOS 测试和多次测试后得出的样本数据的交集。4.应用应用 4.1.三种策略三种策略 为了解释修正后夏普比率的效果，我们测试了三种投资策略。所有这些策略都是美国股票截面的多空 0 头寸组合。这三种策略分别为：收益-价格比（E/P）、动量（MOM）和 因子策略.计算修正后的夏普比率有两个数值非常重要：一是原始夏普比率数值，二是测验次数。为了突出这两种因素的影响，我们只分析最简单的独立情况。图图 1：三个投资策略的多次测验后调整三个投资策略的多次测验后调整 资料来源：Journal of portfolio management，天风证券研究所 金融工程金融工程|金工专题报告金工专题报告 请务必阅读正文之后的信息披露和免责申明 7 由上图看出，三种策略之中，基于 E/P 的策略有最低收益，月平均收益率为 0.43%，标准差为 3.47%，夏普比率为 0.43。单一测试的 p 值为 0.003，超过基准 5%。但是进行多次测试后，p 值增加至 0.029。修正后夏普比率值与原始数值相关。在这三种投资策略中，夏普比率的范围从 0.43 至0.78，且对于不同的原始夏普比率值，所打折扣也非线性。例如，当测试次数为 50 时，对于盈利最弱的E/P策略来说折扣接近50%，但对于盈利最好的BAB策略来说折扣仅为7.9%。4.2.新策略的夏普比率修正新策略的夏普比率修正 考虑到已经发布的投资策略的庞大数量，我们现在研究如何将修正后夏普比率应用至新策略。考虑一个 T 时期夏普比率为的策略，假设我们利用 HLZ 模型检验其他 N 个策略得到 N 个 t 检验值。这 N+1 个数值用上述三次多重测试修正。为了排除偶然性，我们将上述过程重复多次。将样本的中位数记为修正后 p 值，再将此 p 值转变为修正后夏普比率，从而计算折扣。首先，折扣取决于夏普比率的水平。对于三次多重检验来说，当夏普比率小于 0.4 时，折扣基本都大于等于 50%；当夏普比率大于 1.0 时，折扣约为 25%。这说明常规做法将折扣统一定为 50%是不合理的。这种非线性关系也有经济学意义，容易亏损的边际策略应被“惩罚”的更多。其次，这三种修正方法也算出了不同的折扣。我们可将这三种方法分成两组：Bonferroni 和 Holm 是一组，BHY 是另一组。和 Bonferroni 的方法相比，Holm 的方法得到了更小的折扣。然而，两者之间的差距并不是很大，尤其是当测试次数很多时。当夏普比率较小（小于 0.4 时），BHY 算出的折扣比 Bonferroni 和 Holm 算出的更小。当夏普比率较大（大于 1.0 时），两组算出的折扣是一致的。最后，本文鼓励 BHY 方法。FWER 在有严重错误发现的时候是有用的，而在金融应用中，控制错误发现的比率而非绝对数值似乎更有意义。4.3.交易策略的最低盈利能力交易策略的最低盈利能力 在显著性水平给定（例如 0.05）的情况下，我们的方法可以计算出投资策略的最小月平均收益率。不过为了得出结果，我们需要样本数量和测试次数等数据。Table2 中举了一个例子：我们有四个不同的样本数量和三种不同水平的年化波动率，并假设总测试次数为 300。结果表明，单一测试和多次测试下收益率差距较大。例如，单一测试中，240 个样本和 10%的年华波动率导致了 0.365%的最小月平均收益率；然而，对于 BHY 来说，月收益率为 0.616%。金融工程金融工程|金工专题报告金工专题报告 请务必阅读正文之后的信息披露和免责申明 8 图图 2：最低盈利情况最低盈利情况 资料来源：Journal of portfolio management，天风证券研究所 5.结论结论 我们的研究方法分为如下几步：1.将夏普比率转变为 t 检验值；2.确定合适的显著性水平，即 p 值；3.基于新的 p 值，将相对应的 t 检验值转变为修正后的夏普比率，该比率是在考虑了数据挖掘后进行多次测试得到的。本文的方法可用于确定投资策略的最小收益率。通过在我们提供的开放代码中输入显著性水平、样本数量、测试次数等数据，可以得到该策略的最小平均月收益率。当然，对于某一策略的样本外检验可以清楚地评价该策略的可行性。对于一些策略来说，模型可以用新数据或不同市场上的数据进行测试。但是，对于大多数交易策略来说，仅仅只有样本外检验是不够的。本文的方法可以在实际情况中帮助投资者对策略的可行性进行分析，进而做出投资决策。常规来说，为了评估某一交易策略的回测结果，实践中经常将计算出的夏普比率按 0.5处理作为样本外实践的预期值。这个折扣数值一般基于经验，本文的目的即为搭建一种分析方法来决定这个折扣数值的大小。我们的框架依赖于多次检验方法的统计理论。假设你有一些新数据，记为因变量 Y，并且你认为自变量 X 能解释 Y。接着你进行统计检验，发现在 95%的置信水平下，X 和 Y间有显著的相关关系，t 检验值为 2。我们将这个过程称为一次检验。接着我们希望解释自变量 X1、X2至 X100和因变量 Y 间的相关关系。这种情况下，你不能再用同样的显著性水平。而 Harvey 和 Liu 的研究发现，随着自变量数目的增加，t 检验值大小递增。那么该选择多大的显著性水平呢？接下来介绍本文所研究的方法。任一给定的策略都会产生夏普比率，我们将夏普比率转变为 t 检验值。假设 t 检验值为 3，尽管这一数值在某一检验中是高度显著的，但在多次检验中情况会发生改变。为了计算 p 值，我们还需要对之前测试的数目进行假设。假设调 金融工程金融工程|金工专题报告金工专题报告 请务必阅读正文之后的信息披露和免责申明 9 整后的 p 值为 0.05，这种情况下调整后的 t 检验值为 2，基于此，我们设定新的夏普比率。原始夏普比率和调整后的夏普比率之间的百分比差值即为“折扣”。我们发现，常规做法将折扣定为 50%是不正确的，因为多次测试后得到的结果并不成线性关系。最高的夏普比率调整后改变的少而边际夏普比率调整后改变极大。同时，本文的研究也提供了一些启示。首先，高夏普比率可能是非正常回报的结果，例如，期权式策略具有高的前负偏斜。处理这些非正常回报是未来研究的主题。其次，夏普比率不一定控制风险。也就是说，战略的波动性可能无法反映真实的风险。重要的是，我们的方法也适用于因为使用因子模型而产生的残差的信息比率。第三，在多重测试框架中，有必要确定适当的显著性水平，例如，应该选择 0.10 还是 0.05？第四，需要对多次测试方法进行选择。我们给出了三种方法的结果以及这些方法的平均值。最后，需要一些判断来确定测试次数。金融工程金融工程|金工专题报告金工专题报告 请务必阅读正文之后的信息披露和免责申明 10 分析师声明分析师声明 本报告署名分析师在此声明：我们具有中国证券业协会授予的证券投资咨询执业资格或相当的专业胜任能力，本报告所表述的所有观点均准确地反映了我们对标的证券和发行人的个人看法。我们所得报酬的任何部分不曾与，不与，也将不会与本报告中的具体投资建议或观点有直接或间接联系。一般声明一般声明 除非另有规定，本报告中的所有材料版权均属天风证券股份有限公司（已获中国证监会许可的证券投资咨询业务资格）及其附属机构（以下统称“天风证券”）。未经天风证券事先书面授权，不得以任何方式修改、发送或者复制本报告及其所包含的材料、内容。所有本报告中使用的商标、服务标识及标记均为天风证券的商标、服务标识及标记。本报告是机密的，仅供我们的客户使用，天风证券不因收件人收到本报告而视其为天风证券的客户。本报告中的信息均来源于我们认为可靠的已公开资料，但天风证券对这些信息的准确性及完整性不作任何保证。本报告中的信息、意见等均仅供客户参考，不构成所述证券买卖的出价或征价邀请或要约。该等信息、意见并未考虑到获取本报告人员的具体投资目的、财务状况以及特定需求，在任何时候均不构成对任何人的个人推荐。客户应当对本报告中的信息和意见进行独立评估，并应同时考量各自的投资目的、财务状况和特定需求，必要时就法律、商业、财务、税收等方面咨询专家的意见。对依据或者使用本报告所造成的一切后果，天风证券及/或其关联人员均不承担任何法律责任。本报告所载的意见、评估及预测仅为本报告出具日的观点和判断。该等意见、评估及预测无需通知即可随时更改。过往的表现亦不应作为日后表现的预示和担保。在不同时期，天风证券可能会发出与本报告所载意见、评估及预测不一致的研究报告。天风证券的销售人员、交易人员以及其他专业人士可能会依据不同假设和标准、采用不同的分析方法而口头或书面发表与本报告意见及建议不一致的市场评论和/或交易观点。天风证券没有将此意见及建议向报告所有接收者进行更新的义务。天风证券的资产管理部门、自营部门以及其他投资业务部门可能独立做出与本报告中的意见或建议不一致的投资决策。特别声明特别声明 在法律许可的情况下，天风证券可能会持有本报告中提及公司所发行的证券并进行交易，也可能为这些公司提供或争取提供投资银行、财务顾问和金融产品等各种金融服务。因此，投资者应当考虑到天风证券及/或其相关人员可能存在影响本报告观点客观性的潜在利益冲突，投资者请勿将本报告视为投资或其他决定的唯一参考依据。投资评级声明投资评级声明 类别类别 说明说明 评级评级 体系体系 股票投资评级 自报告日后的 6 个月内，相对同期沪 深 300 指数的涨跌幅 行业投资评级 自报告日后的 6 个月内，相对同期沪 深 300 指数的涨跌幅 买入 预期股价相对收益 20%以上 增持 预期股价相对收益 10%-20%持有 预期股价相对收益-10%-10%卖出 预期股价相对收益-10%以下 强于大市 预期行业指数涨幅 5%以上 中性 预期行业指数涨幅-5%-5%弱于大市 预期行业指数涨幅-5%以下 天风天风证券研究证券研究 北京北京 武汉武汉 上海上海 深圳深圳 北京市西城区佟麟阁路 36 号 邮编：100031 邮箱： 湖北武汉市武昌区中南路 99 号保利广场 A 座 37 楼 邮编：430071 电话：(8627)-87618889 传真：(8627)-87618863 邮箱： 上海市浦东新区兰花路 333 号 333 世纪大厦 20 楼 邮编：201204 电话：(8621)-68815388 传真：(8621)-68812910 邮箱： 深圳市福田区益田路 5033 号 平安金融中心 71 楼 邮编：518000 电话：(86755)-23915663 传真：(86755)-82571995 邮箱：