0. 摘要
本文主要介绍 B e t a Beta Beta 分布和 G a m m a Gamma Gamma 分布之间的关系, 以及两者的采样方法. 其实, PyTorch、Numpy、Scipy 等一些机器学习包已经实现了对这两种分布的包装, 本文主要目的是理解背后的大致原理.
1. Beta 分布
设 X ∼ B e t a ( α , β ) X \sim Beta(\alpha, \beta) X∼Beta(α,β), 概率密度函数为: f ( x ; α , β ) = 1 B ( α , β ) x α − 1 ( 1 − x ) β − 1 \begin{aligned} f(x; \alpha, \beta) = \frac{1}{\Beta(\alpha,\beta)} x^{\alpha-1}(1-x)^{\beta-1} \end{aligned} f(x;α,β)=B(α,β)1xα−1(1−x)β−1 其中 x ∈ ( 0 , 1 ) , α , β > 0 x \in (0,1), \alpha, \beta > 0 x∈(0,1),α,β>0.
更具体的介绍见博文《beta分布及共轭Bernoulli分布-先验、后验、预测分布》.
2. Gamma 分布
设 X ∼ Γ ( α , β ) X \sim \Gamma(\alpha, \beta) X∼Γ(α,β), 概率密度函数: f ( x ; α , β ) = β α Γ ( α ) x α − 1 e − β x \begin{aligned} f(x; \alpha, \beta) &= \frac{\beta^\alpha}{\Gamma(\alpha)} x^{\alpha-1} e^{-\beta x} \end{aligned} f(x;α,β)=Γ(α)βαxα−1e−βx 其中 α > 0 \alpha \gt 0 α>0 控制形状, β > 0 \beta \gt 0 β>0 控制缩放.
3. 惊叹于文心一言, 太厉害了
提问: 已知 X , Y X,Y X,Y 相互独立, 都服从 G a m m a Gamma Gamma 分布, 请推导 X X + Y \frac{X}{X+Y} X+YX 服从 B e t a Beta Beta 分布.
答: 为了证明 X X + Y \frac{X}{X+Y} X+YX 服从 B e t a Beta Beta 分布，我们可以按照以下步骤进行推导：
第一步，根据题目已知， X X X 和 Y Y Y 是相互独立的随机变量，且都服从 G a m m a Gamma Gamma 分布。设 X ∼ G a m m a ( α , λ ) , Y ∼ G a m m a ( β , λ ) X \sim Gamma(\alpha, \lambda),~ Y \sim Gamma(\beta, \lambda) X∼Gamma(α,λ), Y∼Gamma(β,λ)，其中 α , β , λ > 0 \alpha, \beta, \lambda>0 α,β,λ>0.
第二步，根据 G a m m a Gamma Gamma 分布的概率密度函数，我们有： f X ( x ) = λ α Γ ( α ) x α − 1 e − λ x , x > 0 f Y ( y ) = λ β Γ ( β ) x β − 1 e − λ y , y > 0 \begin{aligned} f_X(x) =& \frac{\lambda^\alpha}{\Gamma(\alpha)} x^{\alpha-1} e^{-\lambda x}, x \gt 0 \\ f_Y(y) =& \frac{\lambda^\beta}{\Gamma(\beta)} x^{\beta-1} e^{-\lambda y}, y \gt 0 \end{aligned} fX(x)=fY(y)=Γ(α)λαxα−1e−λx,x>0Γ(β)λβxβ−1e−λy,y>0 第三步，为了求 X X + Y \frac{X}{X+Y} X+YX 的分布，我们考虑随机变量 U = X X + Y U=\frac{X}{X+Y} U=X+YX 和 V = X + Y V=X+Y V=X+Y 的联合分布。注意到 U U U 和 V V V 的变换是可逆的，即 X = U V , Y = V ( 1 − U ) X=UV,~ Y=V(1−U) X=UV, Y=V(1−U)。
第四步，根据随机变量变换的联合概率密度函数，我们有： f U , V ( u , v ) = f X , Y ( u v , v ( 1 − u ) ) ∣ ∂ ( x , y ) ∂ ( u , v ) ∣ f_{U,V}(u,v) = f_{X,Y}(uv,v(1−u))\left|\frac{\partial(x,y)}{\partial(u,v)}\right| fU,V(u,v)=fX,Y(uv,v(1−u)) ∂(u,v)∂(x,y) 其中，雅可比行列式 ∣ ∂ ( x , y ) ∂ ( u , v ) ∣ = v \left|\frac{\partial(x,y)}{\partial(u,v)}\right| = v ∂(u,v)∂(x,y) =v.
第五步，将 f X ( x ) f_X(x) fX(x) 和 f Y ( y ) f_Y(y) fY(y) 代入第四步的公式中，得到： f U , V ( u , v ) = λ α Γ ( α ) ( u v ) α − 1 e − λ u v ⋅ λ β Γ ( β ) ( v ( 1 − u ) ) β − 1 e − λ v ( 1 − u ) ⋅ v = λ α + β Γ ( α ) Γ ( β ) u α − 1 ( 1 − u ) β − 1 v α + β − 1 e − λ v \begin{aligned} f_{U,V}(u,v) =& \frac{\lambda^\alpha}{\Gamma(\alpha)} (uv)^{\alpha-1} e^{-\lambda uv} \cdot \frac{\lambda^\beta}{\Gamma(\beta)} (v(1-u))^{\beta-1} e^{-\lambda v(1-u)} \cdot v \\ =& \frac{\lambda^{\alpha+\beta}}{\Gamma(\alpha)\Gamma(\beta)} u^{\alpha-1} (1-u)^{\beta-1} v^{\alpha+\beta-1} e^{-\lambda v} \end{aligned} fU,V(u,v)==Γ(α)λα(uv)α−1e−λuv⋅Γ(β)λβ(v(1−u))β−1e−λv(1−u)⋅vΓ(α)Γ(β)λα+βuα−1(1−u)β−1vα+β−1e−λv 第六步，注意到 f U , V ( u , v ) f_{U,V}(u,v) fU,V(u,v) 可以分解为 f U ( u ) f_{U}(u) fU(u) 和 f V ( v ) f_{V}(v) fV(v) 的乘积，即： f U , V ( u , v ) = f U ( u ) ⋅ f V ( v ) f_{U,V}(u,v) = f_{U}(u) \cdot f_{V}(v) fU,V(u,v)=fU(u)⋅fV(v) 其中: f U ( u ) = 1 B ( α , β ) u α − 1 ( 1 − u ) β − 1 , 0 < u < 1 f V ( v ) = λ α + β Γ ( α + β ) v α + β − 1 e − λ v , v > 1 \begin{aligned} f_{U}(u) =& \frac{1}{\Beta(\alpha,\beta)} u^{\alpha-1} (1-u)^{\beta-1}, & 0 \lt u \lt 1 \\ f_{V}(v) =& \frac{\lambda^{\alpha+\beta}}{\Gamma(\alpha+\beta)} v^{\alpha+\beta-1} e^{-\lambda v}, & v \gt 1 \end{aligned} fU(u)=fV(v)=B(α,β)1uα−1(1−u)β−1,Γ(α+β)λα+βvα+β−1e−λv,0<u<1v>1 这里， B ( α , β ) \Beta(\alpha,\beta) B(α,β) 是 B e t a Beta Beta 函数，与 G a m m a Gamma Gamma 函数的关系为 B ( α , β ) = Γ ( α ) Γ ( β ) Γ ( α + β ) \Beta(\alpha,\beta) = \frac{\Gamma(\alpha)\Gamma(\beta)}{\Gamma(\alpha+\beta)} B(α,β)=Γ(α+β)Γ(α)Γ(β)。
第七步，由于 f U , V ( u , v ) f_{U,V}(u,v) fU,V(u,v) 可以分解为 f U ( u ) f_{U}(u) fU(u) 和 f V ( v ) f_{V}(v) fV(v) 的乘积，根据随机变量的独立性，我们知道 U U U 和 V V V 是独立的。
第八步，根据第七步的结论， U = X X + Y U=\frac{X}{X+Y} U=X+YX 的边缘分布就是 f U ( u ) f_{U}(u) fU(u)，即 B e t a Beta Beta 分布 B e t a ( α , β ) Beta(α,β) Beta(α,β)。
综上，我们证明了 X X + Y \frac{X}{X+Y} X+YX 服从 B e t a Beta Beta 分布。
以上一字未改哦! 非常简洁, 确实厉害. 不足之处在于其对步骤的划分不是很合理, 主要是第一步和第二步, 感觉合起来比较好.
[注1]: 关于二元概率分布的变量代换, 请参阅《二重积分的换元公式及其应用简介(高等数学入门系列拓展阅读)》.
[注2]: 同时得到结论 “ V = X + Y ∼ G a m m a ( α + β ) V = X+Y \sim Gamma(\alpha+\beta) V=X+Y∼Gamma(α+β)”.
4. 采样
这是 Wikipedia 中对 Beta 分布采样方法的描述. 也即, 我们只需要从
X
∼
G
a
m
m
a
(
α
,
1
)
X \sim Gamma(\alpha,1)
X∼Gamma(α,1) 和
Y
∼
G
a
m
m
a
(
β
,
1
)
Y \sim Gamma(\beta,1)
Y∼Gamma(β,1) 中分别独立地采样两个随机数
x
,
y
x,y
x,y, 就能得到随机数
x
x
+
y
\frac{x}{x+y}
x+yx, 其相当于采样自
B
e
t
a
(
α
,
β
)
Beta(\alpha, \beta)
Beta(α,β). 这也许就是所谓的不需要拒绝接受采样吧.
但是,
G
a
m
m
a
(
α
,
1
)
Gamma(\alpha,1)
Gamma(α,1) 就好采样了吗?
大概意思是说:
- 分布 G a m m a ( 1 , 1 ) Gamma(1,1) Gamma(1,1) 就是指数分布 E x p ( 1 ) Exp(1) Exp(1), 其可以采用 Inverse Transform Sampling, 轻而易举的到 − l n U ∼ G a m m a ( 1 , 1 ) -lnU \sim Gamma(1,1)~ −lnU∼Gamma(1,1) (其中 U ∼ U n i f o r m ( 0 , 1 ] U \sim Uniform(0,1] U∼Uniform(0,1]);
- G a m m a Gamma Gamma 分布有一个叫 α \alpha α-addition 的性质, 可以使 − ∑ k = 1 n l n U k ∼ G a m m a ( n , 1 ) -\sum_{k=1}^{n} lnU_k \sim Gamma(n,1) −∑k=1nlnUk∼Gamma(n,1).
4.1 G a m m a ( 1 , 1 ) Gamma(1,1) Gamma(1,1)
设 X ∼ G a m m a ( 1 , 1 ) X \sim Gamma(1,1) X∼Gamma(1,1), 则其概率密度函数为 f X ( x ) = 1 Γ ( 1 ) e − x = e − x , x ≥ 0 f_X(x) = \frac{1}{\Gamma(1)} e^{-x} = e^{-x}, x\ge0 fX(x)=Γ(1)1e−x=e−x,x≥0 则累积分布函数为 F X ( x ) = 1 − e − x F_X(x) = 1 - e^{-x} FX(x)=1−e−x 按照逆变换采样, U = F X ( x ) ∼ U n i f o r m ( 0 , 1 ) U=F_X(x) \sim Uniform(0,1) U=FX(x)∼Uniform(0,1), 则 x = − l n ( 1 − U ) x = -ln(1-U) x=−ln(1−U) 哎, 为什么和 Wikipedia 的 − l n U -lnU −lnU 不一致? 其实 ( 1 − U ) ∼ U n i f o r m ( 0 , 1 ) (1-U) \sim Uniform(0,1) (1−U)∼Uniform(0,1). 即, 从 U n i f o r m ( 0 , 1 ) Uniform(0,1) Uniform(0,1) 中采样的到 U U U, 计算 x = − l n U x = -lnU x=−lnU 就得到对 G a m m a ( 1 , 1 ) Gamma(1,1) Gamma(1,1) 的采样.
4.2 α \alpha α-addition 性质
前面已经说过 “ V = X + Y ∼ G a m m a ( α + β ) V = X+Y \sim Gamma(\alpha+\beta) V=X+Y∼Gamma(α+β)”, 那么 n n n 个 G a m m a ( 1 , 1 ) Gamma(1,1) Gamma(1,1) 加起来, 就服从 G a m m a ( n , 1 ) Gamma(n,1) Gamma(n,1) 了, 故而对 G a m m a ( n , 1 ) Gamma(n,1) Gamma(n,1) 的采样很简单: − ∑ k = 1 n l n U k -\sum_{k=1}^{n} lnU_k −k=1∑nlnUk 独立地从 U n i f o r m ( 0 , 1 ) Uniform(0,1) Uniform(0,1) 中采样 n n n 个样本, 再按照上面的式子计算就好了.
如此以来, 从分布 B e t a ( α , β ) Beta(\alpha, \beta) Beta(α,β) 中采样易如反掌:
- 搞一个均匀分布 U n i f o r m ( 0 , 1 ) Uniform(0,1) Uniform(0,1) 的生成器, 生成 ( α + β ) (\alpha + \beta) (α+β) 个随机数 { U i } 1 α + β \{U_i\}_1^{\alpha + \beta} {Ui}1α+β;
- 计算 x = − ∑ k = 1 α l n U k x = -\sum_{k=1}^{\alpha} lnU_k x=−∑k=1αlnUk, y = − ∑ k = α + 1 α + β l n U k y = -\sum_{k=\alpha+1}^{\alpha+\beta} lnU_k y=−∑k=α+1α+βlnUk;
- x x + y \frac{x}{x+y} x+yx 为所求采样.
前提是
(
α
,
β
)
(\alpha, \beta)
(α,β) 均为整数. 对于非整数的情况, 还是需要接受-拒绝采样:
