美国最好的工作

煮酒正熟

一脚门里一脚门外的也算？

煮酒正熟

晨枫 发表于 2016-1-24 12:48
怎么不算？算！别废话了，发红包吧！

半个数据科学家只有人家一半儿的工资，和各位同学一比简直是弱爆了

煮酒正熟

fcboliver 发表于 2016-1-24 13:20
你以为老酒家一屋子的路易13家俱哪来的？

你就跟着起哄吧

煮酒正熟

Product Marketing Manager 与 Marketing Manager，哦，还有Brand (Management) Manager，Marketing and Communication Manager, Regional Marketing Manager, Marketing Campaign Manager, Marketing Analytics Manager, Database Marketing Manager, Digital Marketing Manager, Channel Marketing Manager, Media (Marketing) Manager, Marketing Strategy Manager, Market Research Manager, CRM Manager... 甚至再加上 Product Manager，这些头衔，都属于营销范畴。有人可能会对俺把Product Manager灿贺进来表示反对，其实从传统对营销的4P定义来看，产品管理也属于营销。

之所以有这么多名目繁多的头衔，除了当代营销的三大要素 --- 产品，市场，数据，之外，主要原因还是各行业，各公司的商战和传统运作方式有所不同，也就是说 the way they compete in the market place, and the way they execute their plan/strategy and operate their business，有所不同。

先说第一点。

product manager, pricing manager, product marketing manager这些东西虽然也包括市场和数据，但其基本出发点是产品。

然后，Marketing Strategy Manager, Marketing and Communication Manager, Regional and Sales Marketing Manager, Brand Manager, Media Manager... 这些虽然和数据甚至产品都有或多或少的关联，但其基本出发点是市场。

最后，DB Marketing Manager, Marketing Analytics Manager, CRM Manager, Digital Marketing Manager, 还有Market Research Manager 这些，虽然也会与市场和产品有交集，但其基本出发点是数据，和分析研究。

还有些头衔，由于各行业各公司运作方式有所不同，归口也不太一样。比如 channel manager，可以是没多少技术能力的relation management individual，也可以是吃技术和数据分析饭的。关键看各公司肿么定义channel...

回到Product Marketing Manager与Marketing Manager的问题上，前者的出发点是产品，通常是在一个主要基于市场需求做产品发展和推广的行业或公司里面（苹果这种闭门造车，造出来你们就必须喜欢的强盗式公司，对市场需求比较藐视，但大多数公司没有苹果这么牛掰，还是会极其重视倾听市场的声音），其位置介于 Product Management 和 Marketing and Sales之间。Marketing Manager的出发点是市场，责任范围非常宽泛，包括决定如何使用营销预算，如何与更前段的Regional and Sales Manager，以及“参谋部”的营销战役与分析部门协同，做营销战役；举办具有营销意义的活动(seminar, conference, infosession...），同时也大多要和printing house, gift company等vendor打交道，还要操心Communication部分，比如营销战役的实体信函电子邮件该怎么写，大型活动有什么tagline...

煮酒正熟

老兵帅客 发表于 2016-1-25 09:26
已经大白菜了，俺们土狼屯的小公司里面，一堆的big data specialist，张嘴一聊，连基本的数据库概念都没 ...

这个问题要辩证地来看，发展地来看。不过在开侃之前俺先表个态：俺跟你是一伙儿的，根子在数据库和数据方面；那帮小孩子的根子在所谓的大数据，统计学，和机器学习 machine learning，数据不是他们的强项。但是，我很痛苦地承认，他们的技能，虽然因为他们对数据不熟而派不上用场，但却极受市场追捧。这些小孩子的第一步是找到一份做数据分析的工作，大公司小公司关系不大。然后在里面摸爬滚打两年，这两年里面会被逼着，捏着鼻子去扣数据库，去钻数据，去忍受公司老鸟儿们的白眼儿和轻视... 两年过后，他们对数据仍然是一知半解，但足够他们在应聘时连哄带骗地一通神哨儿了。他们“大数据”的技术底子，加上他们自称的懂数据，以及他们在公司里摸爬滚打两年后磨练出来的程度不同的圆滑和职业精神， 足以让他们获得一份六位数或者高五位的薪资了。接下来就是拿着这份高薪继续摸爬滚打，也许会因为能力不足被赶走，但这些孩子对数据的熟悉度肯定在增加，对公司的人事和运作的认知也在提高。这些对其他专业的孩子也是一样，但这些孩子和其他专业的孩子相比的优势就是他们的大数据技能。

再过5年或10年，大学里面批量生产出来的大数据毕业生会蜂拥进入职场，但那个时候，现在这批孩子大多数已经对数据有了足够的浸淫，也因此在公司里站稳了脚跟，将来那批孩子对他们冲击有限。另一方面，霉果目前对大数据的需求呈幂指数增长，大部分公司可以access海量数据，却完全是因为招不到affordable的大数据人才，才不得不scale back on their analytics needs 的。一旦市场上出现大量大数据人才，我的猜测是，底薪的水平不会降低，但公司招募的大数据分析员的数量会激增。

所以象俺这样的，现在也只能吭哧吭哧地跟着学python, spark, H2O等等这些大数据新玩意儿

煮酒正熟

sylvia 发表于 2016-1-25 18:48
您７位数？

兔美女肿么糊涂啦？俺酒味数啊

煮酒正熟

老兵帅客 发表于 2016-1-25 19:42
别着急，您还记得当年的web developer吧，也就是会写点页面那玩意儿的，也能挣大钱，不过没几年而已。那 ...

大数据和当年的web developer很不一样。web developer有吮马根基啊？纯属花拳绣腿。今天的大数据则是有根基的，其根基有两个，一是数据，一是统计学和机器学习。在具备必要资质的前提下，前者需要多年浸淫（好比金庸笔下的内功），后者则需要formal training（类似金庸笔下的奇异招式比如斗转星移，凌波微步，打狗棒法这些）。那帮刚毕业的小孩子属于有过人的招式但内功是零。一旦这些孩子在公司里混个两三年，有了点儿内功基础，他们的过人招式就能得到一定程度的发挥，就能打出很眩目的武功来，就能吸引下一个师父（公司）的注意力，有机会进一步修炼和提高他们的内力。这些孩子的目标是，5-10年之内成为名副其实的数据科学家，data scientist.  吮马是数据科学家？就目前来说，数据科学家有两个主要来源，一是做数据和数据库的，就是data engineer，另一个是玩统计学的，也就是statistician.  数据工程师学了统计学，学到一定深度，就摇身一变成为数据科学家；统计学家本身就有个“家”字，但不懂数据，所以这帮家伙们要学数据，学到一定深度，也就成为数据科学家了。所以有人开玩笑说，数据科学家就是那些在统计学家里面最懂数据的，和在数据工程师里面最懂统计学的家伙们～

再说大数据里面的这些技法，比如machine learning，还有text mining。这些东西非常powerful，但并不那么好用，或者说至少不会比传统统计学技法和工具（比如SPSS, Matlab, SAS) 更好用。其实这些新东西因为是open source的，应该说比传统那些更难用些。之所以有些人说它们好用，完全是因为针对今日互联网上新出现的一系列data and business challenges，这些新技法有能力去应对，去解决，而传统的structured data和分析工具（比如我赖以为生的SAS）在这些新的挑战面前完全是束手无策！所以准确地说，不是这些新工具新技法更容易学习和使用，而是它们更厉害更powerful.  一个例子就是，亚马逊的数据系统里面有海量的reviews，那帮孩子（当然是对数据有过两三年浸淫的）就有本事develop a machine learning model to detect 来自中国的卖假货的商家，还有本事针对这些unstructured的数据做text mining，获得consumer sentiment方面的洞见，这样可以skip掉昂贵又天然biased不靠谱儿的survey questionnaire, focus group等等传统的市场研究手段，而基于实时的，更少偏见的，样本量=总数量（无须抽样）的数据获取更富价值的商业洞见。而这一切，对于传统的relational database and structured data，以及传统的统计学和分析手段来说，完全是不可想象的。之所以我觉得这个东西未来的需求极大，就是因为未来的商业行为和社交活动，主要都是依托网络发生进行，而人们在网上的商业行为和社交活动所蕴含的数据，于无数商家而言，都是无价之宝。

煮酒正熟

老兵帅客 发表于 2016-1-25 21:10
不要那么贬低web developer，要是没有底层那些支持，例如多线程、javascript的底层东西，还有dreamweaver ...

老兵对大数据的了解似乎有待加深啊... 数据科学家的工作，说到底，有较大艺术成份。诚然，拉数据(data query)这个是死的，但即使是最死的这一块，我也看不出十年之内会被自动化的可能，因为你首先要确定要调什么数据，只有当你确定了要调什么之后，调数据这个动作才是个死动作，可问题是要确定调什么数据需要人类智能，其根源是对商业问题的理解和翻译（也就是把商业问题转换成数据问题）。这一块艺术性比较小。但数据整理和建模则都更富于艺术创造性。10年之后也许会有人写出程序来，实现调数据，整理数据，和建模一体化，但这种机械化的东西做出来的东西，是无法和经验丰富的数据科学家相比的。再未来，20年，30年之后，那个时候也许高智能机器人都出来了，也许能够替代大部分数据科学家的工作，但造价恐怕还是极其昂贵的。再过若干年，造价下来了，全面取代数据科学家了，不过真到了那个时候，我们所处的社会里面有很多工作都会被智能机器人所取代了。于是这个问题就变成一个社会问题甚至哲学问题了，而不再是关于大数据就业前景的问题了。所以还是表说辣么远了。反正十年的时间一晃就过，到时候咱们再回来看看今天的讨论吧

煮酒正熟

老兵帅客 发表于 2016-1-25 22:01
刚才我抽时间看了一下大数据相关的事情，感觉就是云计算、分布计算基础上的data mining，而data mining的 ...

软件开发当然是艺术性的活动（虽然我没做过）。

你第一段说的那些，不错，都是大数据范畴，而且你说的也都对，云计算, mapreduce这些属于硬件范畴，很多公司（比如我们这里）为了解答全新的商业问题，而不得不建立能够处理天文数量的数据的全新的数据系统（Apache 的 Hadoop），这一块产生了大量data architect 和 data engineer职位的需求。这个也算是大数据时代带来的工作机会吧，不过这一块是暂时的，不太能sustain.  比较能持续的是 data science 的从业人员，有点儿类似于软件工程师吧。这一块，说到底，实际上是商业问题研究的一个延伸，是商业向数据要答案的这样一个延伸。由于这个商业本质（商业 近乎 艺术），要求从业人员对商业问题与数据之间的转化和关联有深刻和细微的体察，这种东西就很难被自动化程序所取代。你提到的算法，也许就是我说的machine learning？这一块... 比商业问题更容易被程序化，当然也不太可能是这三五年内会发生的。

煮酒正熟

晨枫 发表于 2016-1-25 22:13
那怎么解决数据的相关性和causality问题呢？

神牛说的对。模型只能找出存在相关性的因素来。比如最常见的general linear model，左边一个y，右边一长串x.  人脑的作用就是确定什么是y.  比如我知道我2016年1月份有五百万人买我的医疗保险，我可以做两个预测，一是这五百万人，哪些人会在下个月就跟我说拜拜，哪些人会在三月份说拜拜... 以此类推，这就是所谓的survival prediction.  另一个预测是，这五百万人，人均每月会产生多少医疗和医药费用。

对前一个预测，number of months they'll stay with me 就是我的y.  其他的，他们的年纪，他们已经在我这儿呆了多少个月，他们有没有慢性病.. 等等，就是我的x.  如果一个人，是我多年的客户，而且有慢性病，另一个人今年1月份才成为我的客户，而且年轻，身体健康，那么显然前面那个人比后面这个人更有可能呆的时间更久（因为这个人有病，经常需要看医生，而他呆了这么多年都没换保险公司，说明他对我们公司提供给他的network比较满意，如果硬换保险公司，他没把握新保险公司提供的network和我们的一样好）。谁可能导致谁，这个是人脑做出的判断。建模，是要在人脑做出这些商业性的也是艺术性的判断之后，才能开始的。

煮酒正熟

晨枫 发表于 2016-1-25 22:13
那怎么解决数据的相关性和causality问题呢？

上面那个例子是基于传统的商业问题的回答。对于这种问题，传统的建模手段就是经典统计学的（比如SAS）。现在大数据如日中天，大数据范畴中的machine learning开始挑战经典统计学，于是也有人开始用machine learning这种算法来建模。在模型的预测准确性方面，以我的观察，两者互有胜负。当然，现在是大数据时代，你更容易听到machine learning KO classic statistical modeling的故事
这是预测准确性方面。但在 transparency 方面，machine learning处于劣势，因为它无法如经典统计学那样，告诉你，holding everything else equal, 假如你的慢性病数量从0增加到1，你未来留在我们公司的月份会增加3.781个月... 根本原因就是，machine learning不关心why，而只是告诉你他们之间相关

问题是，来自网络的大量新兴商业问题，根本就不关心why，而只在意相关性。在这种情况下，machine learning就没有劣势。而经典统计学模型不喜欢有太多x的特点，令其在应对网络相关的新兴商业问题时，预测性不佳。

煮酒正熟

老兵帅客 发表于 2016-1-25 22:43
一个疑问，“要求从业人员对商业问题与数据之间的转化和关联有深刻和细微的体察”，这种经验应该是与行业 ...

的确存在这个问题。所以一般跳槽的话，大多还是在自己熟悉的行业里面跳。但是如果你对某类数据分析和商业分析非常熟，那么跨行业跳槽的时候，只要是新东家很需要你的这种数据分析和商业分析技能，那么就会好很多。当然，行业变了，数据都需要从头开始学，这个是逃不掉的。俺自己就是从信用卡和贷款风险管理这些跳到医疗保险业的，前两年也是非常苦，要花大量时间学习这一行里面的数据

煮酒正熟

晨枫 发表于 2016-1-26 00:12
哈，这就和我的理解差不多了。我对这些机器学习、人工智能从来不相信，they have their places, but the ...

我对机器学习的了解也很粗浅。以我粗浅的了解来说，这个东西肯定不是吮马silver bullet或是万能解药，而是针对一些特定问题最为有效。机器学习一个比较常见的应用就是，我们去亚马逊网站，登录以后浏览了一些商品，结果它似乎对你有了一定了解，并且把你给“记住”了，以后只要你一登录，它就给你列一些商品，里面经常会有你感兴趣的商品。油条帮也是这样。还有linked-in，过一段时间就给你推介一堆人，说你仔细看看，这堆人里有没有你认识的。我从来没告诉过linked-in我去过西西河，也来艾滋生，但它居然就给我推介了好几个河友，包括宝贝小猪，禅妹@禅人 ，从前河里的倥偬飞人，和纳子等等。感觉机器学习对关联性和pattern的捕捉能力很强，另一个巨大优势就是面对天文级数的数据全无惧色应对裕如

煮酒正熟

晨枫 发表于 2016-1-26 00:18
你这些都没有问题，模型就是界定输入数据和输出数据之间的相关性的，问题出在输入数据集内部存在相关性。 ...

你说的是multi-collinearity吗？

建模的程序通常是 ---
1. define universe
2. append all variables that are potentially model inputs (or model features);
3. split the Train and Validation population; 通常Train 占70%，validation 30%;
4. variable selection; 就是决定那些variables 最终成为model features;
5. train the model;
6. local validation (using the 30% Validation population) and out-of-time validation;
7. create model deck and present to senior management

如果两个independent variable几乎完全相关，那么在variable selection这一步就留一个丢一个。
在经典统计学领域里面，常用的variable selection方法包括backward stepwise（逐步减少variables), forward stepwise(逐步添加）, and bootstraping..

煮酒正熟

晨枫 发表于 2016-1-26 00:51
这就不可能是好模型……

我猜，一方面是模型的叠加使用导致结果不可预测，再一个是模型没有算到基于自己这个模型所做出的市场行为，反过来会为市场所追踪和使用... 所以，单独看每一个模型都很美很好，但使用起来就会出一些预想不到的问题。这还没算花街年景好的时候高级金领不断跳槽导致后继者对前任的复杂模型吃不透所引发的问题呢

煮酒正熟

冰蚁 发表于 2016-1-26 09:30
大数据目前处于非常原始的阶段，和以前的统计/ data mining并没有特别显著的区别。大部分公司挂个大数据的 ...

以我个人在我们公司成立21个月的Data Science （数据科学）部门的观感来说，在大数据/数据科学这一行里，除了少数西海岸高科技类型公司，在2010年以前就建立了数据科学organization，并大量招募大数据分析员，因而将大数据的分析方法与数据本身结合的较好之外，大部分传统公司都处于你所说的这个阶段。对于大部分传统公司比如Macy's，一个普遍性难题是，懂数据懂business的人不会玩儿大数据那些分析手段，而会玩儿大数据分析手段的这批都是小孩子，刚进公司，自然不懂业务也不懂数据甚至人际交往能力都有缺陷。有的公司，比如我们这里，采取的人事策略就是，先招进来，让老人带新人，将业务知识和数据知识传授给新人，同时老人也可以从新人那里学到大数据方法。这个策略现在看来是彻底的捣乱失败再捣乱再失败... 根结有两个，人的问题和外部因素。人的问题：老人保守，怕教会了你自己的饭碗就丢了；新人狂傲，不待见学这些很枯燥无味的商务和数据，另外也没有耐心教老鸟。外部原因就是，西海岸一堆高科技公司吼吼地招有一定经验的大数据分析员。我们公司的作用最终就是帮他们西海岸的亚马逊等等免费培训了两年，然后这帮小崽子们就都飞啦