这是我的第59篇原创
统计学是一个用数学研究现实世界的学科，研究的手段就是搜索、整理、分析、描述数据等手段。你看，跟数据分析师的工作是不是很像啊？
统计学家是一个很有意思的职业，早期的统计学家大量的工作都花在了数据搜集和整理上了。
比如现在数理统计的奠基人英国数学和统计学家费希尔，长期在农业试验站搞生物实验，其实就是种地去了。
他们研究的目标都是很实用的问题。你看很多名词就知道了，什么假设检验、幸存者偏差、遗传算法、期望、生命表、鱼塘抽样、双盲测试等等，一看就明白研究的是啥。
这几年大数据火的不行不行的。很多人对大数据的理解是我们拥有全量数据了，可以不用做估算了，也不用做抽样统计了。咱先不对这个说法做任何评判，先看几个统计学家捞鱼的故事，之后你就会对这个问题有更进一步的理解了。
怎么知道池塘有多少条鱼？你在老家承包了一个大池塘，但是你不知道里面有多少条鱼，这没法进行管理啊，这可咋办？
数鱼跟数羊不一样，数羊可以通过围栏来清点，数过的在一边，没数过的在另一边。但是鱼是会游来游去的，而且会上下左右乱游，这可没法精确清点。怎么办呢？
统计学家数数，统共分两步：
1、先随便捞一批鱼（比如10网，共1000条），打上标记，放池塘；
2、过一阵，再随便捞一批鱼（共800条），数一下有标记的占多少（比如有16条）。
这样就能估算出来了：
1000条鱼与池塘总鱼数X的关系是1000：X
有标记的鱼与样本量的关系是16:800。
因为两次都是随机捞的，这两次随机的概率分布基本是一致的。所以可以用一次的抽样的分布当做概率，然后推算总量：
1000:X=16:800，X=50000条，鱼塘大概有5万条鱼。
这就是抽样概率的实际应用-总量估算，这招在很多需要总量估计的地方都能用到。
怎样保证每一条鱼都同样幸运？突然有一天，上帝给你一个任务：需要从池塘中挑选100条鱼进入天堂，你必须要保证公平。上帝在给你任务的时候，却忘了给你对应的能力。这可该咋办啊？
没关系，统计学家来帮你。
你同样不知道这个池塘有多少条鱼，因此保证每一条鱼都有公平的被选入的机会，就是一个非常困难的事情了。不过统计学家早已研究过了：
1、先捞100条鱼，放在备选筐中；
2、然后不断的捞鱼，拿其中一只过来，给他摇奖，号箱里是1-101号，如果摇的号在1-100之间，就入选，并从备选筐中随便捞一条鱼做好标记扔回去，否则把刚捞出来的鱼好标记扔回去。然后以后只捞没有标记的鱼就能达成公平的要求了。
3、继续重复第二个步骤，捞没有标记的鱼。每多一条鱼，就往号箱里加一个数，摇中了就放备选筐，没摇中就做标记扔回池塘里。比如捞了一上午了，捞出了第10000只鱼，这时候号箱里有10000个号，这时候给鱼摇奖，摇到1-100号，就留下，否则就打标记扔回去。
这就是传说中的“水塘采样/抽样”。有人说，这跟大数据有啥关系啊？这个可太有关系了！
水塘采样的大数据应用水塘采样可以解决在总量未知的情况下进行同等概率的采样，而以下场景正好需要一种方法解决这个问题：
1、在内存不够大的时候，对全量数据进行随机采样；
这个应用场景是解决数据倾斜。我们需要对全量样本进行采样，得知数据的分布，然后根据数据分布进行分区，这样，每个节点分到的数据基本上是均匀的，也就解决了数据倾斜的问题。
2、在数据流中，对全量数据进行随机采样；
这个应用场景是实时数据处理，在流数据过来的时候，数据总量是不知道的，这时候就得用水塘采样法解决流式数据随机采样了。在线机器学习就会使用这种方法。
3、在分布式节点数据源进行随机采样。
这个应用场景是解决分布式数据来源进行随机采样的。比如在机器学习时，需要对全量数据进行随机采样，但是数据是存在很多个节点中的，你如果把所有数据都读取一遍，然后再采样，那简直太慢了。Flink就用了水塘采样，速度又快，又很精准。
另外，我们用的A/B Test和质检也会用到各种抽样哦！听过买桃子的笑话吗？
小明去买桃子，买回来的每个桃子上都被咬了一口，原因是他需要吃一口才能确认桃子甜不甜。
我们买回来的所有产品都有质检这一关的。我们不可能把每一个产品都破坏性质量检验，这跟上面的小明没啥区别。
比如说这个，膨化食品袋中的小东西。这是是用来监测食品袋中是否会混入金属用的。是质检手段之一。厂家有意往产品中随机添加这些测试芯片，然后在出厂前进行芯片回收，用以确定该条产品线是否安全。一旦在出厂前找到了这些芯片，就说明前面的所有金属检测手段都失效了。
所以再有人跟你说：因为大数据的“全量”，所以不需要“抽样”统计时，你就可以随便抛出这几个应用场景打他的脸了。
总结一下，原因有三：
1、大数据的“全量”有个前提，就是你的“全量”真的是全量。而绝大多数情况我们都无法做到真正的全量。
2、并且即便是我们有全量数据了，因为全量数据太多了，为了保证效率，有时候我们也会用抽样；
3、有些事情真的不能全量。比如A/B Test和质检。
这些统计专业知识不是专门研究这些的人，压根就不会这样想，这也是为什么机器学习对数学、统计功底要求高的原因。所以啊，加油吧少年！好好学习，才能涨工资啊。
往期精彩回顾
干货|架构师的视角看透中台
热文|大数据工程师体系职业路径全解
干货 |什么才叫做懂业务？分析的5个层次
如果你觉得有趣，就请帮忙分享一下