牛与熊，从科研角度看股市

千里烟波 · 发表于 2011-7-2 10:58:25

（一）---从一篇小论文谈起

尝试用简单一点的语言把学术研究介绍出来。我的研究方向更多在于金融计量(Financial Econometrics)分析，最近正在做一些牛市与熊市的研究，对实践了解不多，借此宝地希望能接受更多的实践工作者的建议，也希望能找到同道中人共同进步。
从2007年一篇论文说起，作者Wu Yan, John Powell, Jing Shi 和 Wei Xu。发表在Economic Letters。该杂志的文章简短新颖，对经济学者来讲起到了先挖坑以后再填的作用。有什么想法第一时间冲过去报到，以后别人在写也要引你的论文了。
在金融计量方面，牛市与熊市的研究不是从估计（Estimate）开始，而是从实践中去定义。详细的算法不说了，对于转折点的定义主要在于：
1，转折点前后要有足够的时间长度，金融数据看上去很丑，所以需要一些限制来管住波动。牛熊的定义通常上是指中长期（以年为单位）。
2，对于突然间的大波动，比如一个月内指数俯冲20%，也计为熊市。
举个例子，3个月内指数减少10%不是熊市，但是如果半年内减少10%是熊市。
学术的东西一旦脱离了术语就失去了神秘性，拿出来肯定有人不满意。这位说了，这都什么呀？too simple, too naive。我还偏偏不反驳，如果都完美了咱们不就不用搞这些东西了么？
这四个人应用Bry和Boschan的方法到深沪两市，分解出熊市和牛市，沪市为例：
牛：1991.1 - 1992.5
1992.10 - 1993.4
1994.7 - 1997.4
1997.9 - 1998.5
1999.2 - 2001.6
2002.1 - 2002.6
2003.10 - 2004.5
2005.5 -
熊：剩下的全是熊
（数据只到2006.12）
那位说了，有什么用？
我先说个大方向，理论上任何技术分析都可以用时间序列分析表述。但是学术上无法把握的事情实在是太多，不是不能描述，而是参数太多没法解或者数学上的精确反而不如经验的模糊。不过这里底线是，很多事情没有做，也值得一做。
这四个人用以上所说的BB算法做了一个有趣的预测，如果一个高点之后五个月（这是算法中的参数）后未能有效突破，卖掉所有股票，如果一个低点之后五个月持续高于它，全仓持有。这样的交易策略带来的收益比死拿不放（buy and hold）的平均年收益要高36%（沪市），57%（深市）。
呵呵，有点用是吧？

（二）---价格预测和信息
研究股票市场的大师首先要说Fama(1965)，每个人都听说过随即游走（random walk）的故事。简短地说，在有效市场的前提下，股票价格是无法预测的。什么是有效市场呢？例子如下：
两个经济学家走在路上（不是狗屎的那个），看到路上
有一百块钱，A说：“那里有一百块，赶快去捡。”B说：“你枉称经济学家，如果有一百块钱的话，早就被人捡走了！那肯定是假币！”
有效市场就是说没有免费的午餐，但是应该再加上一句：“之所以没有，是因为一旦出现就会瞬时间被一群虎视眈眈的饿鬼吃完。”
没错，就是这个时间差，才是我们应该去关注的。而从故事里我们更应该看到，谁第一个看到地上的钱才是最重要的！那么“第一个看到”是什么意思呢？信息优势！（Information）
所以，对单只股票进行计量分析不是学术界的焦点。一个身负七十八个数学博士头衔的技术高手不如那只股票所在公司的会计或者销售经理，就是因为没有信息优势。所以科研文章更关注的应用数据是指数。正如同每一个人对自己的微观情况一清二楚，但是对于宏观经济永远没有一致观点一样一样的啊。
（我把问题说得很简化，希望高手补充）所以现在的问题是：什么样的信息能够帮助预测指数？以吨计的论文说没有，以吨计的论文说有，最经典的开端在Scholes(1973)提出用以前的波动（volatility）来预测，结果从统计上来看有，经济学解释为风险贴水（Risk Premium），但总体的拟和并不好，而且预测也不理想。指数在短期内上窜下跳，乱七八糟。下图是1885-2008年美国股票市场总指数的日变化率，包括纽约证交所，美洲证交所与纳斯达克。是不是很烦人？

这时候Engle(1982)跳出来说：“波动太厉害，弄得我无法透过迷雾看见那美丽的回报率”呼啦一下子，我们现在多了一个研究方向--风险管理。预测不了股价，我还不能预测未来的风险么？何况理论上也还没有反对风险预测的。

（三）---由价格预测到风险管理
学术界里一般情况下不直接讨论资产价格(price)，而是回报率（return）。二者实质上一样，但是回报率更加标准化，使得100元的中信证券和20元的太钢不锈可以比较那个增长得更快。
到此为止，没什么方法有效的帮助预测回报率。著名的Fama和French(1993)的三要素模型是在解释而非预测。解释：X和Y同时发生，看看X对Y有什么关系。预测：X提前于Y，通过建模看两者的关系，这样X发生之后在Y未发生之前能有所预测。即使有有效的方法帮助预测，一种情况下是我们不会知道，另一种则是在我们知道以后就不管用了。我有一个在证券业打拼得很多年的朋友说“指南针”有用，不过不卖了，就是为了保证含金量。
所以现在金融计量更多的力气用在风险测度上。最简单的方法就是把时间序列当作相互独立的随机数。下图把千里烟波:【原创】牛与熊，从科研角度看股市（二）里面的数据按大小分类。

看着是不是想起来金凯利在大话王立面的经典对白：“两寸半，向左偏”：）
第一步的直接计算（不知道开始者是谁）,就是直白地计算方差（variance），然后假装该随机数是正态分布。这样就有了回报率分布的样子，然后根据个人的偏好选择投入多少资金到股市里面（确切地说是ETF）。
两大缺点：1，该分布用眼睛看都知道不是正态，通过J-B检验也会拒绝之。2，从时间序列的图上，我们能感觉到波动有“扎堆”（cluster）的感觉。换句话说，最近波动大，明天波动也很可能大，反之亦然。

所以我们说观察观察再观察，空想不能解决任何问题，有经验才能有一切。通过观察和对数据的熟悉，在风险方面，离得近的历史数据比远的数据更有帮助，再回到原来我所强调的概念，这表示着近距离数据的信息（Information）含量高！
而在这方面的先行模型，也是最直接,最简单，同时也很实用的J.P Morgan的Risk Metric.

（四）--被鄙视的风险预测
风险管理到此篇为止。通过历史数据的观察，我们知道首先股票价格不是前后无关的正态分布（如果你不知道什么是正态分布，就理解为最简单的分布，然后再看看图）

所以：1，要有一个动态的联系。2，要有不同的分布。
这里大拿们有Engle, Bollerslev, Nelson等等。可惜的是这方面的研究渐渐成了技术流，你加一个2次方项，我加一个绝对值项，你再加一个和正负值相关的偏移项，我就让误差项成一个非参数分布。不少中国PhD在这方面做研究，这样的好处一是可以飞快地毕业，二是可以在金融界找到很好的工作。对于我们很多（包括我自己）出国读文科博士的人来说，并非是一腔热血爱科研，我们在国内甚至不知道科研是什么样的，只知道老板们拿下钱来吃喝报销而已。但我们不缺的就是作技术工作的能力，别人要费脑子的编程逻辑我们很快能搞出来，别人一时半时闹不清的非参数估计原理我们能很快弄明白。加拿大最大的银行Royal Bank of Canada的风险管理组里面做技术的几乎全是亚洲人，且以中国人为主。
没有丝毫攻击技术流的意思，但是值得注意的是价格的几乎不可预测性以及现在做的风险预测有什么本质区别？不客气地说，价格预测很快就能证明你是错的，但是风险预测不会。大仙说明天会涨，发现不是你就可以bullshit之，但是我如果说明天风险加剧（专业一点：Conditional Variance加大），鬼才知道，你又看不见。风险管理的作用更重在对银行业的资本金充足率管理。这一点应该是我们正视的，所以资产定价研究有其必要重回价格预测。我在现实中不相信有效市场假说，所以我对价格预测是比较乐观的，需要注意的是由于市场会学习（learning）,预测的能力会不断变化。我有个同学在做市场不理性程度的估算，还处于初级阶段，给外行人看会觉得很傻很天真，就不拿出来了。接下来进入我的研究领域，在局部均衡的情况下的贝叶斯方向预测（说人话就是：让我来猜一猜牛市还是熊市）
几点延伸的方向：
1，用宏观数据参与建模（有两个致命的缺陷，猜一猜）
2，新的预测方式
3，新的预测方法

（五）--模型的预测能力
经济学论文中的模型可以大体分为两类，第一类是真正意义上的经济学模型，有参与者的行为集合，效用函数，外生环境，然后求出假设条件下最优解。特别猛的人就全用数学语言，弄个拓扑空间，搞个随机过程，解出来的也是数学，这样的好处是一般性（general），很多类似的论题可以套用。大部分的人的模型看上去就很具体了，比如说假设某人的效用函数就是X平方，然后再接一系列的具体的方程，这个叫做应用理论（Applied Theory），好处是容易理解，也容易和实践相结合来应用数据。和它最直接相联系的就是校准（calibration），通过具体模型推导出显示数据和假设参数之间的关系，然后倒推出参数应该是什么样的。
例子：根据理论，假设个人的相对风险厌恶参数是A，那么如果给定100元，此人会把100乘以（1-A）元去买彩票。那么通过调查，甲愿意用十块钱去买彩票，那么它的风险厌恶参数就是0.9
以上的模型又被统称为结构模型（Structural Form），就是有经济理论支持的模型。与它对应的就是简化（？）模型(Reduced Form)，基本上就是靠数据说话，偏重统计方面
例子：y = b * x + e
用最小二乘法算出x对y的影响（b值），暂不考虑它们的意义。
鉴于经济学不是科学，而是艺术，structural和reduced form两者并不矛盾，而是术业有专攻。Structural模型更多地能够帮助人们透过现象看本质，研究是什么造成了我们所观察到的现象，我们称为“解释”。Reduced模型除此之外还能帮助我们来判断未来究竟会怎样，称为“预测”。二者并非没有交集，只不过现实的研究更倾向于Reduced模型善于预测，而Structural模型作解释更加让人信服。
宏观经济预测在70年代和80年代遇到了很多问题和责难。滞胀+石油危机使得预测失灵。也由此带出来“卢卡斯批评（Lucas Critiques）”，大意应该是模型不是一成不变，随着社会经济发展，各种变量之间的关系在不断改变着，所以使用模型需要考虑参数的不确定性。以前数据估计出来的参数现在未必好用。在时间序列里面称作结构破裂（？）“Structure Break”。大家都知道菲利普斯曲线（失业率和通胀率之间的权衡），但是80年代菲利普斯曲线整体移动了，原来的参数假设就不灵了...
而且这些宏观预测模型大多是非常复杂的结构模型，一个简单的RWI-商业周期模型就需要41个随机方程和86个定义方程，这还叫作中等规模模型！计量经济学里有一个重要的准则就是Parsimony,意思是简化。因为虽然多参数模型可以更好的拟和数据，但是预测能力会大打折扣。而且我们对宏观经济的把握往往是偏颇的，这么多方程如果有一个变量出问题或者有些东西忘掉了，连锁反应会把整个模型毁掉。客观地说，经济管理版里面安德森也好，虎哥也好，子玉也罢，对宏观经济的把握往往来源于模糊的人类逻辑，他们是写不出来整个经济系统方程的。但正是由于有模糊逻辑，所以才会看到大方向上的问题而不拘泥于小数点后几位的数据。
综上，我们说，好的预测模型一要有稳健性，不会因为些微的参数变化而产生蝴蝶效应；二要有学习性，要回通过新数据的加入而能来逐渐修正自己。
稳健性的问题暂时用时间序列来解决，而学习性我们用贝叶斯的方法来实现。

（六）---无所不能的时间序列
Hamilton的经典教科书《时间序列分析》恐怕圈里的人没有不知道的。这个领域也着实养活了一批人，最开始应该是由统计学里面先提出这个概念，不过那就要追述到久远的年代了。
最早的OLS（即最小二乘法）起源于数学大佬高斯。在经济学里面的应用更多在于劳动经济学（找鼎革），工业组织学以及应用微观，应用国际经济贸易等等。粗略的原因是模型需要假设数据之间没有关联，好像物理化学或者生物所作的可重复性实验，通过观察很多次，来摒除扰动寻找规律。可惜经济学毕竟是艺术，具有不可重复性，特别是金融数据。劳动经济学的各种调查基于不同人，不同企业，我们还可以假设它们之间没有系统性的联系，但是今天的股价和明天的股价没关系么？这种时间上的关系叫做Dynamics。
上一篇提到的稳健性问题是由于庞大的宏观模型和人类有限的智力以及数学解的难度造成。时间序列对宏观预测的优势和大型模型相比好像提刀杀人与拎着400斤杠铃砸人差不多，前者简单易行，后者有可能伤到自己。（引我老板一句话：“research for research sake”，400斤杠铃耍得炉火纯青也许才是真正的高手，我们不能因为一己之见的有用无用而否定其他的方法和观点。）
为什么说时间序列好呢？咱们重新回味一下为什么大模型不好。
1，大模型数学复杂。
时间序列很简单，特别是最简单的线性表达方式可以代表或者模拟很多随机过程。大名鼎鼎的Wold's theorem粗略地说就是任何一个稳定随机序列都可以用无限移动平均序列来模拟
2，大模型有可能有蝴蝶效应
时间序列可以从参数里面相对简单地看出是否稳定。比如：Y_t = a * Y_{t-1} + e_t (下划线是角标，Latex用法)。如果a大于1，那么Y就会如同复利一样呈指数级别越滚越大，如果在0和1之间，那就好了，不管扰动e有多大，总有一个归零的过程。
3，大模型预测能力不佳
实践检验，时间序列的预测至少不差于大模型，美联储亚特兰大似乎有个实验室就是搞这个，用的是VAR（向量自回归），也是时间序列。大名鼎鼎的RATS（时间序列分析软件）也脱胎于斯。
所以综上来看，时间序列承认数据的动态联系（Dynamics）,使用最简单的方法（Reduced Form）达到最经济的结果，所以金融界对它青睐有加。学术界对它本身没有什么不满，但是很多人认为这是一个工具，不该是研究本身。但是首先因为计算机的普及使得大规模运算变得可行，从而产生了很多学术上以前只能想不能做的应用问题。其次它的确会让很多喜欢实践的人欲罢不能。最后不愿意从事科研的博士们拿着它可以找工作。所以不仅生命力很顽强，而且欣欣向荣。
现在还有一个问题没谈，那就是卢卡斯批评--模型的失效问题。任何一个模型都有它的假设和限制，所以不可能克服所有的结构破裂（Structural Break）。但是时间序列由于它的简单和一目了然让普遍化（generalization）更加可行。通俗地说就是大模型已经很难了，再加一个结构破裂还怎么做？时间序列还算简单，多加点零碎还可以处理。而这点零碎却是对于投资者来说有着非常非常重要的意义：那就是牛市与熊市的辨识！牛与熊的市场表现不同众所周知，一般的定价模型铁定有偏差，必须用带结构破裂的模型才能在绝望中寻找希望，人生终将辉煌。
再次总结：时间序列是以现实的有动态联系的金融数据为材料，用简化模型为炊具，烹调出数据拟合与预测。
所以我们也要清晰地意识到，时间序列基本上不涉及经济理论。简单有用是优势，没有经济人假设是缺陷。

（七）---我爱贝叶斯
贝叶斯(Bayesian)是一种方法,应该起源于英国数学家Thomas Bayes。和它对应的方法叫做Frequencist，不知道该怎么翻译。它们的区别在于，对于一个模型， Frequencist 认为模型参数是固定的，我们该做的是用合理有效的方法来估计参数；而Bayes则认为不同的人对参数的认识是不一样的，对我们来说参数本身就是随机的，通过本身的认识加上数据事实来得到更深一步的认识。
绚烂多彩的经典计量经济学基于固定参数假设产生了很多聪明绝顶的研究者和丰富的方法技巧，各种估计方法大家可能都听说过一些，最简单的有最小二乘法（LS），最大似然法(MLE)，稍微陌生一点的有矩估计(MM)，一般矩估计（GMM），更专业一点的可能听说过假最大似然法（Psuedo-MLE），模拟矩估计（SMM），模拟似然法（SML）。而在有趣的实践工作里面，经济学家们发现了很多克服具体问题的具体方法，比如说大名鼎鼎的变量测度问题measurement error是说如果解释变量不准确（比如说人口收入调查，受调查者经常四舍五入）会造成估计偏差，而这个计量问题的发现和解决者是货币主义者，诺奖得主弗里德曼。
由于经典计量方法认为正确的参数是唯一固定的，所以在不同的假设下需要各种检验方法（Test）来看一下原假设是否合理。经典的t检验，F检验，Wald检验，最大似然检验，score检验层出不穷，如果再加上五花八门的非参数估计和非参数检验，那么就更加五彩缤纷。成百上千的聪明人聚集在计量经济学周围添砖加瓦，开会的时候看过Hansen几个人在主席台上一坐，几个秃头闪亮夺目，竟相辉映。
贝叶斯呢？以前好像异端邪说一样被攻击。我觉得类比的是愤怒的手艺人对珍妮纺织机的狂暴。贝叶斯方法就是两个字----简单。稍微具体一点，假设你觉得天鹅一半是黑的，一半是白的（这叫做先验分布 Prior）。然后抬头观看，一共经过了10只黑天鹅，5只白天鹅（这是我们说的数据），你可能会觉得三分之一是白天鹅，三分之二是黑天鹅（后验分布 Posterior）。经典计量frequencist只利用数据（你所看到的天鹅），但是贝叶斯则会充分利用你的认知，如果你是动物学家，做过天鹅调查，特别确定天鹅就是一半一半，那么不论你看到的是什么你都会说一半一半。（我是专家，不用调查）所以说：Bayes method is the official way to add beliefs
很多人会问，为什么要用人的主观假设？我们不是说实事求是么？
我的回答是，人的主观认识从哪里来？还不是从历史事实和实践经验得来？一切皆有缘由，我朋友的老板说过：“there should be reason”。而且，一无所知也是一种主观认识，这种主观认识和数据的结合的结果是和经典理论一致的。
贝叶斯最大的好处是可以去掉参数的不确定性。经典理论中我们假设参数固定，那么估计出来的参数永远不可能是真的，总要有或多或少的误差，用估计出来的参数搞预测多少会有偏差。这就叫做参数估计的不确定性（estimation uncertainty）。
相反的，贝叶斯方法得到的是一个完整的后验分布，我们已经假设参数是随机的，所以你会得到一个具体的，精确的参数分布，不论想算什么，理论上都应该可以算出来。所以理论上没有预测不确定性。
再举一个例子，时间序列里面有一个很重要的部分是单位根检验。大意说就是在研究时间数据之前需要看一看这些数据是否平稳（stationary）。因为平稳与否会大大地影响分析。但是从贝叶斯角度来看，无所谓！！！
贝叶斯的基本工具就是一个贝叶斯公式。但是魔鬼在细节里面，贝叶斯最困难的是后验分布（也可以叫做条件分布）的计算，所以也七扭八歪地产生了蒙特卡罗Monte Carlo，吉本斯Gibbs，Metropolis-Hastings等等数值计算方法。
开始的经济学贝叶斯方法集大成者应该是Zellner。后来有Koop, Kim, Nelson等等。我最喜欢的是Geweke,人家那科研做得又巧妙，又直接，还不失技术性，而且文笔还特别好，看他的书和论文让人不觉得拍案叫绝。
总结一下：
1、贝叶斯方法比经典方法理论上简单，特别易于理解。所有贝叶斯模型的理解方式都是一样！！
2、贝叶斯模型需要主观想法；
3、贝叶斯的任何结果都是精确的，没有估计误差；
4、贝叶斯方法的难点是算法。

【原创】牛与熊，从科研角度看股市（完）--- 模型分析
我们的目标是看一下股市中牛与熊的不同特性来作为投资的依据之一。而从前几贴的介绍我们知道现在手头的工具是相对简单的贝叶斯方法，即通过分析前的拍脑袋主观臆断+数据来得到经验。这个在实质上与在股市里摸爬滚打总结教训是一样的。不一样的是我们有数量化的模型，这样能够克服人类的不理性（学术上一类不理性叫时间不一致性，即今天喜欢这个，明天就改主意了。），同时也可以写成书面形式有所传承。
好，一且就绪。我们就用Y来表示这一列美国百年股市的回报率。有些熟悉统计的河友，特别是学习劳动经济学的可能会问，为什么不加入一些解释变量，比如经济增长，利息率等。我在第二贴里面也有此一问，答案是：
一，所有的科研必须由简到繁，这样才符合正常人类的智商。我见过若干来读MA的孩子们跟我说：“我要努力构造一个前无古人后无来者的模型”，我只能用德纲的话来回复：“祝你成功”。
二，解释变量作为外来数据，如果不探究它的动态发展过程，那么我们只能在有了数据之后才能研究Y。这就严重制约了模型的预测能力
咱们继续。通过原始数据分析，我发现在牛市里面正回报率和负回报率的幅度居然是差不多大的！！所以牛市之所以为牛市，在于它正回报率出现的机率大，好比再步幅一样大的情况下，向前迈三步，向后迈两步前进。同样的情况在熊市里面也适用，只不过熊市的时候向后迈得步幅要更大一点，好比无力的人在攀爬，好容易向上爬了几下，一个没抓住溜下一大截。
由此我们见到，从前的研究聚集在幅度上，所以很难把牛与熊拆出来。以下是我另一篇非参数结构破裂估计出来的牛与熊的结果图。上半部分是累计的股市指数，下半部是牛熊力量的对比。1表示牛，0表示熊，遇到在0-1之间，比如0.9，我们认为改点90%属于牛市。

我们可以发现，即使用各种手段来调节绕动和均值，很难把熊市死死地按在0附近。
下面的图则是非常简单地利用频率来做的一个马科夫模型，而且根本不考虑结构破裂。

结果形势大好。而且如果用它来做投资依据的话，07年末就应该撤资离场。我在得到这个结果之后也是小小吃惊，因为原来牛和熊要从频率的角度来看。而具体的收益率似乎独立于市场前进的方向。换句话说，年年岁岁花相似，岁岁年年人不同。牛与熊的交换总是一致的，市场整体对它们的解释却是各有不同。
这样结束真的是虎头蛇尾，其实我在写之前也考虑过怎么表达模型的问题。但是既然是科普就要有科普的样子，说得太专业没有用。我想从刚开始的金融信息论到后来的金融数据特性以及最后的具体方法和科研实例可以概括出金融计量的50%了吧。魔鬼总在细节里，不过我的具体任务就是杀死魔鬼，把图画出来顺便给你们讲一个故事，做到了，打完收工。

		自动登录	找回密码
密码			注册

[经济] 牛与熊，从科研角度看股市

评分

浏览过的版块