职场上俩个题，看看大家啥思路

煮酒正熟

一是纯分析类题目，我面人的时候必问 ---

客户保留(customer retention)类的问题。我们有一百五十万会员，每年12月会自然流失8%，如果我减少流失哪怕0.5%也就是把流失率降低到7.5%，等于为公司贡献一千五百万美刀的 underwriting margin (gross profit)。这个是大背景。

现在我们搞了一个电话营销项目（战役），就是外包给一个call center，让他们10月-12月期间给我们的会员打电话，嘘寒问暖，告诉他们下一年我们提供的服务有哪些调整，这些调整对他们意味着什么，并解答相关的疑问。不会很明确地说“唉 请您还是继续留下吧”，但就是个 我送温暖 您自己侨办 这么个意思

好了，既然是营销项目，就要有实验组和对照组，帮助我们最后评估这个项目是否成功，如果成功那它为公司多保留了多少会员、贡献了多少毛利。下面是两组数据

对照组 = 10,000会员
最终有 9,200会员留下，流失了800个会员，保留率92%，流失率8%

实验组 = 100,000会员
call center 真正通上电话并且有实际意义对话的 = 40,000会员
这40,000会员里面有2,400人流失，流失率6%
整个实验组流失了7,980个会员，流失率7.98%

问：
这个电话营销项目成功吗？有多成功？为公司多保留了多少会员、贡献了多少毛利？

@pkhelen @独角兽 @松叶牡丹
------------------------------------------------------

第二个问题
马丁叫兽是专家，但这类问题因为牵涉到人，往往很难预测 @老马丁
也看看大家是怎么想的 ---

我们公司有个停车楼 （covered parking garage），大致能容纳八百台车，还有个巨大无比的露天停车场 （uncovered parking lot），目测能停3000台。停车楼离办公区近，而且有内部通道，下雨下雪都不必打伞；露天停车场离办公区步行需要有8-10分钟，碰上下雨下雪就很狼狈。停车楼不仅收费高，每年1,200刀，而且车位要等，不是你愿意花钱就随时能停的；停车场每年500刀，花钱就能停

今年公司发生重大变动，除了人事地震之外，停车政策也发生革命性改变，公司一疯电邮，发给本地3000多员工：停车楼停车场一律免费，而且是先到先停

问：原本缴1200刀停在停车场的员工是个啥反应

@包子 @即晴 @希宝 @平沙落雁 @淡淡微风 @togo @晨枫 @南京老萝卜 @肖恩 @燕庐敕 @喜欢 @喜欢就捧捧场 @皇家骑警总监 @水风 @关中农民 @Dracula
来自群组: 酒庄

煮酒正熟

锦候 发表于 2019-11-17 23:21
这是简单的cost accounting的问题，你问你们会计部门就会有详细的答案。你挨塔的那些人，好像没一个是会计 ...

不是成本会计问题。看来侯爷对我们这行不太熟悉

市场营销项目，通常会关注两个问题：

第一位的永远是，这个项目是否成功，是否有效 (is this campaign successful or effective?  Does it achieve the marketing goal?)

如果对于第一问题的回答是，项目是成功的，这时候才会去问第二个问题：这个项目划算吗？是赚钱的还是亏本的？这才是你说的financial accounting的问题。而且我更愿意使用financial accounting而不是cost accounting这个概念，因为后者主要是制造业，思维面比较窄，更关注短期的局部的成本问题，而financial accounting则不仅要看短期局部的成本，还会看长期的整体的效果

要知道，美国大公司里面有很多营销项目都是不成功的，还有很多是成功但不划算的，只有少数是既成功又划算的

煮酒正熟

锦候 发表于 2019-11-17 23:59
呵呵，酒兄最近伤心过度了！ 有些不知所云了？
financial accounting是学怎么记账和出fina ...

没毛病啊～ cost accounting在很多时候确实是可以和managerial accounting互换的，虽然他们也并不完全一样，或者说侧重点很不一样，但是这俩都是传统制造业因为业务需求而产生的行业。

financial accounting在我的认知里面是更为宽泛的，是涵盖cost accounting / managerial accounting 的。也许在传统制造业当中它是和cost accounting相互独立的吧。但是现在非制造业公司比如银行业、保险业、咨询业... 所有靠提供服务或解决方案(service or solution)而不是靠提供产品来赚钱的公司，都不需要什么cost accounting，而是把其归入financial accounting这个更为宽泛的职业下面

cost accounting那些东西真心太简单了，而且因为过度关注局部和短期结果，其实很不利于公司做出正确的决策。这就是为什么传统的会计师行业迅速衰落的原因。我觉得cost accounting在德国的很多纯制造业公司里面还是很有价值的，但它也注定不会是那种关注局部和短期结果的算法

煮酒正熟

锦候 发表于 2019-11-17 23:59
呵呵，酒兄最近伤心过度了！ 有些不知所云了？
financial accounting是学怎么记账和出fina ...

另外现代（这20年来）的financial accounting里面的核心部分可不是记账和出financial statement，如果是上市公司，那当然需要一个financial reporting部门专门出那些financial statements(B/S, I/S, C/S...)给花街，这个几乎所有公司都是挂在finance部门下面的。现代的financial accounting很多都不是挂在finance部门之下，而是直接挂在大的业务块之下(business segment)，因为它是直接和business operations紧密相连的，而strategic and business operational decisioning中不可分割的组成部分，和总公司给花街出报表是两码事

financial accounting is more operation than finance

煮酒正熟

松叶牡丹 发表于 2019-11-18 00:16
抛砖引玉一下。轻拍啊。
第一题。
首先统计学上看项目是成功的。按照统计学proportion test， 对比6%和8% p ...

第二题没有标准答案。我也是好奇大家的思路。回头我把实际发生的情况写出来，估计所有人都会大吃一斤

第一题是有标准答案的。牡丹仙子的答案和我到目前为止在公司内部得到所有答案都是一致的，（可以说这是出题者最希望看到的错误答案:-) 因为它是聪明的人犯的高质量的错误）但最后他们都被我说服了。再仔细想想？

煮酒正熟

响马 发表于 2019-11-18 07:21
有一种可能：

原来花1200美元停车费的人，在新规则之后，只要800块钱就能找个愿意帮他占车位的人……所以 ...

这样也行？

煮酒正熟

独角兽 发表于 2019-11-18 00:41
没细想，根据直觉先来说两句。这个项目应该不成功吧。如果以按降低到7.5%才算比较成功的话。
不要盯着通话 ...

关于第一题，你和希宝的思路是对的。实验组存在天然的selection bias，愿意接电话的这40%会员和那60%的会员对我们公司的亲近度很可能存在差异，而这个可能存在的差异，很可能导致了接电话的这40%会员流失较少

由于我们不会给对照组会员打电话，所以无法将对照组中先天对我们亲近度高的会员与亲近度低的区分开来，这种情况下相对正确的比较方法只能是彻底忽略接电话那40%，而将对照组与整个实验组进行比较。

比较结果是差异极其微小，P-value好几十个百分点，无法排除偶然运气因素。因此判定无法推翻H-null，判定电话挽留没有制造出统计学意义上的差异

未完，回头再续

煮酒正熟

togo 发表于 2019-11-18 20:52
第一题，用老马丁说的Chi-Square检验

如果单纯比较对照组和实验组（不考虑电话是否接通有效）p = 0.994 没 ...

这里就体现出我的统计学知识不扎实了... 我在霉果混过的都是大公司，共事的也有不少工科PhD和statistician，每次做实验组和对照组比较时，我们用的都是 proportion test，从来就没有人说过 Chi-Square test

关于 Chi-Square，我自己只是做了些阅读，从来没用过。表面上看它和我熟悉的 proportion test 很不一样，但奇怪的是你这里用 Chi-Square 算出来的 P-value = 0.944，和我用 proportion test （two-tail test) 算出来的 P-value = 0.9442 是一样的。貌似这俩test在很多情况下，其计算原理是一样的，只有少数情况会产生分歧？

为什么我在这里遇到的人绝大多数都用 Chi-Square （除了松叶牡丹），但我在所有的公司里通用算法都是 proportion test?

Proportion Test 的 公式是：
分子部分：实验组成功率 - 对照组成功率 = 92020/100000 - 9200/10000
分母部分：
先算出实验组和对照组的加权平均成功率 = (92020 + 9200) / (100000 + 10000) = 0.9202
拿1减掉这个数，得到0.0798，然后把这两个数相乘，得到0.07345
那这个数分别除以实验组总数100000，和对照组总数10000，得到两个很小的数字，再把他们相加，然后开根号，这个就是分母

这样计算出来的Z value 是 0.0704
如果选2-tail test, 则对应的P-value = 0.9442 (极其接近1，而远离0）
即使选1-tail test，P-value仍然高达 0.4721 （就是上面的一半），也仍然是非常远离0

还是那个问题：Chi-square and proportion test 到底是个什么关系？

煮酒正熟

数值分析 发表于 2019-11-18 11:05
哦，原来如此，那么你这p-value是怎么算的？

我们的 Z value and P-value 都是这么算的

https://www.khanacademy.org/math ... proportions-example

或者到这里直接查表（它也给出公式了）：
https://www.socscistatistics.com/tests/ztest/default2.aspx

总之我和松叶牡丹都是用proportion test算的，为什么你们都用chi-square?

煮酒正熟

独角兽 发表于 2019-11-19 02:18
我的基础知识更加混混。我自己学的statistics相关，但好像根本对proportion test 没有印象了。Chi Square ...

你基础混是因为你懒得搞
我基础混是因为我笨得一比

其实近十年来我倒是觉得自己比从前变聪明了一些，主要体现在商务思维上，但看高数和艰深一些的统计学还是一个头两个大

我那道题的考察点本身也不是让人当场算P-value，考的就是那个self selection bias。小师妹当然是轻松过关。我面过的人到目前为止都不能给出正确答案，只有两个老印我稍微一点就立即明白了。这种我就很开心地收入麾下了。其他老印老美老中，即使我解释了，他们也还是转不过来。

这也就罢了。我们公司有个 Senior Director，这个电话项目其实就是他搞的，他做分析就是按那个错误的来，而我当时需要把他那个部门和我自己做的一堆项目做一个汇总，我当然要按照正确的来。结果这老美看到我做的结果有点不开心，但主要是不明白，就和我交换了两个电邮。我自认为已经解释得很清楚了，他还是不明白。逼的我放大招儿，直接问他

我：你的实验组和对照组是不是随机分的？
他：那必须的呀！
我：既然是随机的，那这个组里有什么pattern，那个组应该也类似，对不？
他：... 对
我：既然如此，你实验组里有60%的人不接电话，然后他们流失率高达9点几，你的对照组里是不是应该也有60%左右的这种人呢？

然后？

然后就没下文了

煮酒正熟

独角兽 发表于 2019-11-18 00:41
没细想，根据直觉先来说两句。这个项目应该不成功吧。如果以按降低到7.5%才算比较成功的话。
不要盯着通话 ...

这个电话战役是另一个部门做的，我们部门确实有segmentation，但因为这个电话战役是其他部门的，就没用segmentation。我们部门这个segmentation 把所有会员分成五个 persona，每个都有个很长的名字，其实除了有两个segment (persona) 确实有些与众不同之外，另外三个在行为模式上没啥区别。我觉得这个模型不是很成功。到目前为止我只用它做 post mortem analysis，就是人死了以后解剖看看他是怎么死的，但是人已经死了你即使整明白了也救不活了，卡卡

而且目前为止这个segmentation在 direct mail campaign 上的表现很不稳定，所以无法用它来 inform targeting.

但是师妹说的这个 --- 做电话营销需要用segmentation，我们公司从VP级到下面并没有这个认识。如果这是业界普遍的操作的话，我会多留意并实时提议的，也谢谢分享

煮酒正熟

togo 发表于 2019-11-19 02:41
仿佛记得卡方检验（chi-square)在自由度=1的时候就是equal proportion test
恰好这道题的DF=1 , 所以p值 ...

哦，按我的理解，之所以 degree of freedom = 1，是因为我们使用了一个参数 mean 做了估算，而没有使用第二个参数。看起来 proportion test 是 chi-square test 的一个特例...

煮酒正熟

松叶牡丹 发表于 2019-11-18 10:59
对的，有bias，但是成本上看，接不通电话是没有成本的，说明这部分call center费用是花到了打电话有用的 ...

接不通电话也还是有成本的。美国大部分call center 的 cost accounting 都是这样算的：

这种 outbound dial，如果第一次就打通了比并且说上话了，会有计时器记下通话时间
如果第一次没打通，只要不是坏号，call center rep 就会先记下来，然后在当天晚一些时候再打。通常的做法是上午打一次，不通，就中午打，再不通，下午打；第二天周而复始，直到打足一个预先设定的数目（通常是5-10次）才会彻底放弃加入ghost number list

所以打不通的电话也都会计入 call center rep 的工作时间的。

call center rep 每天的有效工作时间是 8 小时 x 约60%

call center rep 是拿基本工资的；加班费加倍。此外，大部分 call center rep 都是短期招聘的，旺季招进来三个月，但至少要提前一个月招进来做培训，所以这个培训费也会摊入那些打通和打不通的电话。再就是每个call center rep会有两级管理人员，他们的薪资也是要摊入所有打通和打不通的电话的

煮酒正熟

老马丁 发表于 2019-11-19 22:09
看见有些朋友对于chi-sq有问题，我这里抛个石头小结一下。
chi-sq是个分布，df=1的chi-sq就是一个标准正态 ...

多谢教授！contingency tabel和费雪测试那里看明白了，其他的关于两个test的关系我再继续琢磨
至少我现在确知 我们比较实验组对照组的方法是正确的。chi-sq在我的工作中貌似从无应用案例，如果有过一个我估计现在也就门儿清了

煮酒正熟

老马丁 发表于 2019-11-19 22:09
看见有些朋友对于chi-sq有问题，我这里抛个石头小结一下。
chi-sq是个分布，df=1的chi-sq就是一个标准正态 ...

对了教授，要不我们开个群组吧，专聊职场里遇到的商务问题和解决方法，解决方法包括硬技术也包括小聪明。也可以捎带聊公司人际关系。你做正我做副，有空就聊没空就搁着，怎么样？

煮酒正熟

平沙落雁 发表于 2019-11-19 17:39
不太理解像这种意在留住客户的商业行为干嘛要用进攻型的电话推销术？因为一般人都是安于现状的， ...

师妹这个问题问得很有道理。电话的确比信函或电邮更攻，而且留住客户的精髓某种意义上就是让他别老想着他是我的会员

不过我们这个行业有些特殊：
1 我们的会员83%都是65岁以上的老人。
（我是卖Medicare的，当然不是政府CMS那种所谓original Medicare，而是保险公司提供的 Medicare Advantage + part D）
总的来说上班族很讨厌接这种商业电话，但退休的老年人不那么拒绝，因为他们时间富裕，而且比较老派儿，喜欢传统的人和人之间的语言沟通，再就是有些老人比较孤独，可能还有些期待商业电话。当然，老年人里面肯定也有很多和上班族一样很讨厌商业电话的，但比之上班族，不拒绝电话的人比例要高很多

2 我们这个医疗保险太复杂，光看保险条文还是会有一堆问题，如果能有个对保险细节条款很精通的大活人帮你答疑，这个对部分会员来说 他们还是很期待的

怎么个复杂法呢？先给你四个最简单的数字，就可能把人绕晕：
premium
deductible
maximum out of pocket
expected out of pocket

然后还有一堆东西，比如你的network里都有些啥医生，你去看PCP copay多少，看专科医生copay多少，用救护车copay多少，用急救服务copay多少，急诊室手术(outpatient surgery) copay多少，住院第一天自己掏多少钱，第二到第N天自己掏多少，N+1之外自己掏多少。如果觉得还不够麻烦，那么可以把其中部分copay换成 coinsurance (%)

formulary... 比如说你有三种病，需要长期服用8种药，那些是generic，那些是tier 2 那些是tier 4。那些昂贵的药物你的copay是多少。

再就是有没有牙医保险，有没有免费健身俱乐部，durable healthcare equipment copay多少，一个大长单子上各种手术，哪个手术需要 pre-certification （就是要保险公司先过目同意才能做）。手术以后有几天免费三餐

所有所有这一堆，你今年的保险刚整清楚，明年会有一堆东西要变，最痛苦的是formulary的变化，你原来的药物升级成很昂贵的药物了...
---------------------------

我也不喜欢电话项目，但是确实有一部分会员很期待接到电话。我们的任务是要能预测出哪个会员更希望接到电话

煮酒正熟

pcb 发表于 2019-11-20 08:15
哈哈哈哈哈哈

BTW， 急诊室手术(outpatient surgery) ，这个应该叫门诊手术，与是否急诊无关，关键点是 ...

骚瑞，手滑，确实是门诊手术。谢纠偏

煮酒正熟

平沙落雁 发表于 2019-11-20 09:23
呃呃，师兄说了这一堆，关键的问题还是没整出来，那就是你们客户的自然流失率里有一部分是无法避免的，因 ...

你说的因素确实存在，我们这里叫 involuntry lapse, 就是“非本人意愿流失”，但这部分非常小，比如我们每年12月要流失8%的会员，其中只有0.25%是非本人意愿流失，其中死亡是0.2%，失掉政府Medicare因此丧失资格的是0.05%

所以死亡能不可控因素导致的客户流失非常小，可以忽略不计。绝大部分流失的客户都是去了竞争对手那里。当然，我们这里只看到 one side of the story，事实上我们从竞争对手那里抢过来的会员，要多过我们流失给他们的，只不过那块是acquisition，不归我管（那块其实比较简单，砸钱就是）