在看一篇有关证据学习的文章时,文中使用了狄利克雷分布,对此很是迷惑,在搜索大量资料后总结了有关狄利克雷的相关知识。希望可以帮助有需要者快速简单理解。本文中主要的论述来自上述链接。
Beta分布
在了解狄利克雷分布之前,首先需要了解Beta分布,因为狄利克雷分布其本质上就是Beta分布的多元表示。因此本文主要介绍Beta分布,以引出狄利克雷分布。
我们都了解二项分布,其中若随机变量 X 付出参数为 n 和 q 的二项分布,则其概率密度函数为
\(
\begin{align}
\begin{split}
p(x)=\begin{pmatrix} n\\ x \end{pmatrix}q^x(1-q)^{n-x}
\end{split}
\end{align}
\)
如果将其看作是关于 q 的函数,即表示某件事件以概率 q 出现成为了一个事件,其本身也具有了概率。此时某种事件已经可以看作是一个已知的固定事件,即 x,n为常数,我们只是在考虑概率的概率。这时将其表述为一个分布为
\(
\begin{align}
\begin{split}
f(q)=kq^a(1-q)^b
\end{split}
\end{align}
\)
其中 a,b 是常数,则对于此时的事件所有概率出现总和应当为1。有
\(
\begin{align}
\begin{split}
f(q)=kq^a(1-q)^b \end{split}
\end{align}
\)
\(
\begin{align}
\begin{split}
\int_{0}^{1}f(q)dq=\int_{0}^{1}kq^a(1-q)^bdq=k\int_{0}^{1}q^a(1-q)^bdq=1 \end{split}
\end{align}
\)
\(
\begin{align}
\begin{split}
k=\frac{1}{\int_{0}^{1}q^a(1-q)^bdq}\
\end{split}
\end{align}
\)
对于Beta分布,通常记为B(a+1,b+1),这里 +1 我认为只是为了和Gamma函数对应起来更加简洁。
\(
... read more