问题：如何从数据里估算普瓦松分布的均值？

晨枫

一般估算均值是简单的算术平均，但我的问题比较特别，其实都不是统计问题。
- Q4 u2 u' B7 o
, g# h4 ?' }. K- A是这样的，我有一个吸收塔，从塔顶到塔底有一个温度分布，形状大体像普瓦松分布：


2 N( j9 a- u* q! B8 r9 |+ q9 |9 h
6 [' @* d5 r- u9 m5 }3 C, O我要估算峰值出现在哪块塔板，所以想到用统计的办法。实际上，统计里这是概率密度，曲线高低代表在这一点的采样“数量”，但我在每一个点只有一个数据点。说到底，我就是要拟合一个“钟形曲线”，然后找峰值所在点。相当于上图中红线（或者lambda=2）里横轴1-2之间的位置。
4 y, I9 S  d. R5 N
- v% o/ F8 N0 R9 v正态分布有现成的计算办法，但这样的“扭曲正态分布”或者普瓦松分布有什么简单办法吗？我需要能在DCS上实现，所以不能用太复杂的离线算法。
/ C3 s' y; N2 p/ R  p, T
爱坛里博士多如狗，教授满地走，想象起来，或许有谁在工作中碰到过类似的问题？

晨枫

没人理我？都在忙着吃年夜饭？
& c3 \8 b. h3 [: @
@煮酒正熟 @holycow @tanis @关中农民 @老马丁 @Dracula

晨枫

holycow 发表于 2019-2-3 22:43
: v$ C9 p5 E7 f9 p9 u- Z4 |; @泊松分布？我还是没理解你釆样拿到了哪些数据点

是我描述得不好。再来一遍。

2 x" h  \& B* v$ k% B4 Y我有一条样子像泊松分布的温度分布曲线，但只有几个稀疏的点，想用类似泊松分布的曲线内插，然后计算峰值所在的横坐标点。

这要用于在线计算，不能搞非线性最小二乘之类的复杂算法。

怎么弄？

晨枫

松叶牡丹 发表于 2019-2-3 22:45
没怎么看明白题目，您是说已知y值，要求对应正态分布？

( _6 U3 |; j% S0 O( J' b( n" l5 X抱歉抱歉，差不多就是这个意思，不过不是传统的对称正态分布，而是歪向一边的skewed normal distribution，请见5楼，不知道是否描述清楚一点？

晨枫

松叶牡丹 发表于 2019-2-3 22:45
没怎么看明白题目，您是说已知y值，要求对应正态分布？

如果太麻烦，最后可能也就用对称的正态分布近似了。反正都是近似……

晨枫

松叶牡丹 发表于 2019-2-3 22:52
如果精度不要求很高的话，不知道查表法的精度能不能达到要求。那个倒是最快。 ...

+ @( f) C- u7 f# o3 S  E
查表再内插，这要做成在线计算还是有点麻烦了？

晨枫

煮酒正熟 发表于 2019-2-3 22:58
统计学我只明白最最基本的，泊松分布也理解不深。问几个傻问题吧：一共多少块塔板？为什么每块塔板只能取到 ...

$ x2 D: O! V. ?) f" ~7 _5 W& y+ A咳咳，这个其实不是统计问题，是从有限的温度测量估计温度分布曲线的问题。吸收塔一共20块塔板，每块塔板只有一个温度测量点，连续测量（每15秒采样一次）。

; \9 I% X. i  y* h/ x  O& t! F这温度分布随工艺条件而变，所以这个峰值和凸起一直在动来动去。目视很容易看出峰值在那里，但要用数值办法实时确定，反而犯难了。

晨枫

tanis 发表于 2019-2-3 23:00
原来是泊松分布。。。 惭愧，连最小二乘法都属于复杂算法了。。。还真不知道有什么其他的简便方法。这一 ...

切，我有那东西，还费这个事吗？Matlab、Maple，什么不能上啊！问题是我需要在线计算，而且只有FORTRAN一级的语言从头现编，还不能太耗费CPU时间，耽误了实时控制就偷鸡不成蚀把米了。

晨枫

松叶牡丹 发表于 2019-2-3 23:00
9 W$ {9 A6 H  u' I1 [, r做成在线计算器，那就不能查表了，反而太麻烦。坐等观摩高手们过招。

: i! R0 O: Y5 F7 O9 m% u估计吃完年夜饭，就该忙着数红包了。

晨枫

tanis 发表于 2019-2-3 23:09
目视是指看数据点脑补么？ 所以一共20个数据点（塔板），然后最高温度可能在点之间？ 15s一次，速度很慢 ...

2 R6 Q: U7 b% s. a; u, b3 _正是：看数据点然后脑补。人工就是这么干的。但操作工要照管的事情太多，一会儿不看，可能就错过了，就可能坏事。
9 F, U& e* C- H6 d
, v" h6 t% f; o$ d化工上DCS的采样分基本回路和先进回路，前者一般每秒一次，甚至1/4秒一次，后者每15、30、60秒一次就够了。过程时间常数动辄几十分钟，太快的采样没必要。另一方面，CPU的速度（还是Morotola 68040）和网络带宽（4 megabits 烹per second）有限，不宜太快，还要扫描几百、几千个回路，不宜太快。安全连锁回路更快，在毫秒级，但那不用作连续控制，两回事。
; a: q, f' L* O) `# ~& _7 x$ Q
9 w7 ~# w7 O. n3 ?; `0 \工控级的CPU和网络都用特别成熟（翻译：特别古老）的技术，和实验室、离线是两回事。

在线计算是因为我要把这个峰值点用到控制回路里。拍照、图像识别、离线拟合，这绕的弯子太大，中间节点太多，可靠性根本靠不住，哪里打一个嗝，就可能造成process upset，就是几十万、上百万的损失，那就划不来了。

晨枫

松叶牡丹 发表于 2019-2-3 23:12
  n  }( l; S' g  ^# ~) V- \您是说每块塔板都是15秒测量一次，所以每15秒要同时给出20个塔板的20个正态分布式子？ ...

! a- i5 x6 }. L0 C# R0 M2 J5 C3 V每15秒要对20块塔板的温度拟合一条样子像正态分布的曲线。15秒只是计算间隔，每次实际计算其实只有毫秒级的窗口，因为同一个CPU还要分时管好多别的事呢。

晨枫

tanis 发表于 2019-2-3 23:12
找温度第二，第三高的两个点，拟合个直线，取中间的那个位置

- u7 u8 ?9 Q" l9 O塔板是等间距分布的，这样我还不如直接取温度最高的那一块了

晨枫

松叶牡丹 发表于 2019-2-3 23:21
! A" Q% {' j- C7 s/ {降低精度，把一系列正态分布离散化为有限几个histogram，每次测试点先第一步进行范围判断，然后归到不同 ...

' q% C% m/ R1 ^/ J9 N5 \9 h
  b  N1 p' u0 ?  z& }一把抓住：我的问题正是从histogram变换为某种分布，最想poison分布或者log normal distribution，不行的话正态分布也行。有什么现成的计算方法吗?

晨枫

tanis 发表于 2019-2-3 23:27
* O# Z- C( {9 t& l哦哦。。。 那就取最高和第二个的中间位置 有人工干预的时候就用人工，人忘了看就用这个。。。 ...

6 c, ~4 S& G+ p/ q% ^这也是个办法，总是有点“心有不甘”……

晨枫

松叶牡丹 发表于 2019-2-3 23:21
( {: F: j3 G$ t$ K降低精度，把一系列正态分布离散化为有限几个histogram，每次测试点先第一步进行范围判断，然后归到不同 ...

0 p6 l% R$ d! F唉，MATLAB里有histfit命令，干的正是我要的，可惜没法“偷”过来用啊

晨枫

tanis 发表于 2019-2-3 23:37
Matlab 直接有poissfit啊。。。
9 l+ v8 {: n* Z0 R
我感觉人类脑补的水平估计和取中值也差不了多少了既然连忘了看也 ...

问题是我没法把MATLAB装进DCS里用啊。嗯，如果不行的话，可能也只能内插取中值了。

晨枫

松叶牡丹 发表于 2019-2-3 23:41
: `/ u  O& r+ Y  P  m3 }+ a您这个采样数据如果有之前很长时间的大批量数据的话，要不选一部分建模，建立比如10个distribution式子，用 ...

. y9 s( c  q: A( o这个好像不行？我需要的是实时估计当前的峰值点，历史数据能帮什么忙呢？

晨枫

gnomegordon 发表于 2019-2-3 23:55
如果问题是拟合若干点的光滑曲线 找到最大值，kernel density 就好，matlab里的histfit 也是基于这个算法。 ...

十分感谢！打开看到的是SRC文件，还在找FORTRAN……

晨枫

松叶牡丹 发表于 2019-2-4 00:07
历史数据建模自己写算法做验证用。不过如果可以像楼上那位说的可以找到现成library调用，kernel density  ...

多谢！这个kernel density以前没有玩过，正在研究中……

晨枫

Dracula 发表于 2019-2-4 00:24
说实话，你这个题目我没看懂。
, O; s9 z+ {7 b" Q9 w/ i
& V) w$ a9 _* m& z但如果你你单纯就是想实现

1 D( d7 r' R' U3 E. i2 S  n) i有了 μ和 σ想计算峰值就容易了，我的问题是如何从histogram计算log normal的 μ和 σ。看来这也是个办法，把数据log一下，再按normal做。我也想到过这个办法，就是不大确定。明天试试，上班的活儿用下班的时间试，可不划不来嘛。