颹蕭蕭

在采样的背景下，马尔科夫链的状态就是样本点，状态转移概率就是基于当前样本点采集下一个样本的概率。问题的核心在于构造出马尔科夫过程的状态转移矩阵，使得该过程的稳态分布是我们期望采样的分布。.........

拒绝-接收采样（reject sampling）

通用函数随机变量的公共方法名称备注rvs产生服从指定分布的随机数pdf概率密度函数pmf离散概率质量函数cdf累计分布函数sf残存函数（1-CDF）ppf分位点函数（CDF的逆）isf逆残存函数（sf的逆）fit对一组随机取样进行拟合，最大似然估计方法找出最适合取样数据的概率密度函数系数。常见分布名称含义betabeta分布fF分布gamma伽马分布poisson泊松分布

多项分布假设一次实验有 K 种结果，每种结果对应的概率分别为：p1,…,pKp_1, \ldots, p_Kp1​,…,pK​，且满足：p1+p2+⋯+pK=1p_1 + p_2 + \cdots + p_K = 1p1​+p2​+⋯+pK​=1则进行 M 次实验，每种结果分别出现 m1,…,mKm_1, \ldots, m_Km1​,…,mK​ 的概率为：P(m1,…,mK;p)=CMm1p1m1⋅CM−m1m2p2m2⋯CmKmKpKmK=(CMm1CM−m1m2⋯CmKmK)(p1m1p2

Beta 分布，Beta 函数，Beta-Binomial 共轭

通常讲解吉布斯采样都要先介绍 MH 采样，但是这不应该是必须的，容易把人搞糊涂了。

Box-Muller 变换的程序检验

在应用数学中，维纳-辛钦定理（英语：Wiener–Khinchin theorem），又称维纳-辛钦-爱因斯坦定理或辛钦-柯尔莫哥洛夫定理。该定理指出：宽平稳随机过程的功率谱密度是其自相关函数的傅里叶变换。

两个特例特例1：x+y<1x+y < 1x+y<1——两个随机数之和小于1结果是紫色部分，为1/21/21/2特例2：x+y+z<1x+y+z< 1x+y+z<1——三个随机数之和小于1结果为深底下面的，占整个体积的1/61/61/6锥体积=1/3∗底面积∗高=1/3∗1/2∗1∗1锥体积=1/3*底面积*高=1/3 * 1/2 * 1 *1锥体积=1/3∗底面积∗高=1/3∗1/2∗1∗1这个 1/6 可以利用截面与底面的相似比关系，通过简单的积分求得：

文章目录假设检验错误分类第一类错误：拒绝正确的零假设第二类错误：接受错误的零假设基本步骤假设检验假设检验是推论统计中用于检验统计假设的一种方法主要目的： 是在有关总体参数的两个相互对立的假设中，通过抽样检验来进行抉择基本思想：小概率事件在一次试验中基本不会发生基本思路：对总体参数设定一个假设利用由样本获得的样本统计量，以检验总体参数是否符合假设对此假设做出决策，接收或拒绝此假设错误分类第一类错误：拒绝正确的零假设α=P(Reject H0∣H0 is&nb

背下来就完了

这道题想都没想就是 0.5，第二个孩子是男是女不是一样吗！！！然而答案是 13/27，好吧，让我来昧着初心强行解释一下：把这道题必须用贝叶斯公式来做，因为我也不知道多出来的信息“周二出生”引起多少改变。贝叶斯公式：P(2男∣1男周二)=P(2男，至少1男周二)P(1男周二)=P(至少1男周二∣2男)P(2男)P(1男周二)P(2男|1男周二) = \frac{P(2男 ，至少1男周二)}{P(1男周二)} = \frac{P(至少1男周二|2男)P(2男)}{P(1男周二)}P(2男∣1男周

对正整数n，欧拉函数是小于或等于n的正整数中与n互质的数的数目（因此φ(1)=1）。此函数以其首名研究者欧拉命名(Euler’s totient function)，它又称为Euler’s totient function、φ函数、欧拉商数等。ϕ(x)=x(1−1p1)⋯(1−1pk)\phi(x) = x (1-\frac{1}{p_1}) \cdots (1-\frac{1}{p_k})ϕ(x)=x(1−p1​1​)⋯(1−pk​1​)其中 p1,p2,…,pkp_1, p_2,\ldots.

总体均值 μ=1N∑xi\mu = \frac{1}{N}\sum x_iμ=N1​∑xi​， 总体方差 σ2=1N∑i(xi−μ)2\sigma^2 = \frac{1}{N}\sum_i (x_i - \mu)^2σ2=N1​∑i​(xi​−μ)2样本均值 xˉ=1n∑xi\bar{x} = \frac{1}{n}\sum x_ixˉ=n1​∑xi​， 样本方差 S2=1n−1∑i(xi−xˉ)2S^2 = \frac{1}{n-1}\sum_i (x_i - \bar{x})^2S2=n−11​∑i

转载自：输出ING一、幸存者偏差描述关注于眼前那些经历了某些过程而幸存下来的人或物，却忽视了不在视线范围内的未幸存下来的人或物。举例二战中美国军方想加强飞机的防护，从而降低被敌军击落的几率。根据返航回来的飞机，可以看到弹孔主要分布于机翼和飞机尾部，而驾驶舱、发动机和油箱的弹孔则非常稀少。因为机翼和飞机尾部弹孔更多，军方认为应该加强这两个部位的防护。但给美国海军提供智囊顾问服务的沃德教授却提出了加强机身防护的建议，他认为：此次统计的样本，仅包含没有因敌火射击而坠毁并安全返航的轰炸机。

在MCMC(三)MCMC采样和M-H采样中，我们讲到了M-H采样已经可以很好的解决蒙特卡罗方法需要的任意概率分布的样本集的问题。但是M-H采样有两个缺点：一是需要计算接受率，在高维时计算量大。并且由于接受率的原因导致算法收敛时间变长。二是有些高维数据，特征的条件概率分布好求，但是特征的联合分布不好求。因此需要一个好的方法来改进M-H采样，这就是我们下面讲到的Gibbs采样。1. 重新寻找合适的细...

在MCMC(二)马尔科夫链中我们讲到给定一个概率平稳分布π\piπ, 很难直接找到对应的马尔科夫链状态转移矩阵PPP。而只要解决这个问题，我们就可以找到一种通用的概率分布采样方法，进而用于蒙特卡罗模拟。本篇我们就讨论解决这个问题的办法：MCMC采样和它的易用版M-H采样。1. 马尔科夫链的细致平稳条件在解决从平稳分布$\pi$, 找到对应的马尔科夫链状态转移矩阵$P$之前，我们还需要先看看马尔...

采样方法证明几何解释首先需要了解概率密度函数的几何意义：概率密度函数曲线和 xxx 轴围成一个区域，每个点 xix_ixi​ 所在的高度正比于 PX(xi)P_X(x_i)PX​(xi​)....

前文介绍了，对随机变量做函数变换 Y=f(X)Y = f(X)Y=f(X) 后的概率密度函数 (PDF) 之间的变化：PY(y)=PX(f−1(y))∣df−1(y)dy∣=PX(x)∣dxdy∣P_Y(y) = P_X(f^{-1}(y))\left|\frac{df^{-1}(y)}{dy}\right| = P_X(x) \left|\frac{dx}{dy}\right|PY​(y)...

文章目录问题描述解问题描述已知 X∼PX(x)X \sim P_X(x)X∼PX​(x)，Y=f(X)Y = f(X)Y=f(X)，求 YYY 的概率密度函数 PY(y)P_Y(y)PY​(y).解当 fff 为递增函数时，考察 YYY 的累计分布函数FY(y)F_Y(y)FY​(y):FY(y)=Pr(Y≤y)=Pr(X≤f−1(y))=FX(f−1(y))F_Y(y) = Pr(Y...

L1L_1L1​ 正则项与 Laplace 分布如果参数的先验分布为拉普拉斯分布：P(θi)=λπexp⁡(−λθi2)P(\theta_i) = \frac{\lambda}{\sqrt{\pi}} \exp(-\lambda \theta_i^2)P(θi​)=π​λ​exp(−λθi2​)等价于：min⁡θ∑i∣∣f(xi)−yi∣∣2+λ∑j∣θj∣\min_\theta \...

先验概率，后验概率，似然函数，边际似然

边际分布、条件分布、两个高斯分布的乘积

独立：P(AB) = P(A)P(B)互斥：P(AB) = 0

高斯混合模型，期望极大算法，python实战 ！！！

蒙特·卡罗方法（Monte Carlo method），也称统计模拟方法，是指使用随机数（或伪随机数）来解决计算问题的方法.

lOcal Weighted regrESSion

分位数（Quantile），亦称分位点，是指将一个随机变量的概率分布范围分为几个等份的数值点，常用的有中位数（即二分位数）、四分位数、百分位数等。

SARIMA(p,d,q)(P,D,Q,s) 季节性自回归移动平均模型

通常可以使用两种指标：Z分数 和 四分位距（IQR）计算一个样本的 z 分数，就是减去均值再除以标准差，如果绝对值大于三倍标准差，就认为这个样本异常，属于离群点。对于正态分布的数据，用 Z 分数为指标，有千分之三的离群点用 IQR 为指标，判定的方式为：在四分位点上加上1.5倍IQR，这个范围之外的都是离群点，正态分布有千分之七的离群点。IQR 常用来画箱线图，所以箱线图也可以用来直观...

用累积分布函数（CDF）计算期望

多维高斯分布

一道条件概率题:A coin, having probability **p** of landing heads, is continually flipped until at least one head and one tail have been flipped.(a) Find the expected number of flips needed.(b) Find the expected number of flips that land on heads.

一个帽子引发的血案！

假设在一次抽奖活动中，你需要集齐 m 种卡片，每次抽中任意类型卡片的概率是相等的，即1/m 。那么要集齐所有类型，平均要抽多少次？

指数分布的样本和是充分统计量