先验分布:

未训练前对数据分布的假设

后验分布:

基于未训练前的假设+训练数据

想象有 A、B、C 三个不透明的碗倒扣在桌面上,已知其中有且仅有一个瓷碗下面盖住一个鸡蛋。此时请问,鸡蛋在 A 碗下面的概率是多少?应该是1/3。现在发生一件事:有人揭开了 C 碗,发现 C 碗下面没有蛋。此时再问内:鸡蛋在 A 碗下面的概率是多少?应该是1/2。注意,由于有“揭开C碗发现鸡蛋不在C碗下面”这个新情况,对于“鸡蛋在 A 碗下面”这件事的主观概率由原来的 1/3 上升到了1/2。这里的先验概率就是 1/3,后验概率是 1/2,也就是说“先”和“后”是相对于引起主观概率变化的那个新情况而言的

期望构建一个变量Z服从正态分布,有一个生成器G,G(Z)得到的分布和原数据集的分布一致
假设我们有数据,希望得到X的分布p(X),而X本身很复杂,无法得到分布表达式,我们需要先把X的分布转换到Z的分布(可学习),再从Z的分布回到X的分布

其中p(X|Z)是根据生成器生成出来的数据的分布,而

我们假设Z的后验p(Z|X)服从正态分布,然后从数据中训练得到p(Z|X)的均值和方差

计算KL散度作为loss,假设每个维度相互独立

vae损失函数