vae学习
先验分布:
未训练前对数据分布的假设
后验分布:
基于未训练前的假设+训练数据
想象有 A、B、C 三个不透明的碗倒扣在桌面上,已知其中有且仅有一个瓷碗下面盖住一个鸡蛋。此时请问,鸡蛋在 A 碗下面的概率是多少?应该是1/3。现在发生一件事:有人揭开了 C 碗,发现 C 碗下面没有蛋。此时再问内:鸡蛋在 A 碗下面的概率是多少?应该是1/2。注意,由于有“揭开C碗发现鸡蛋不在C碗下面”这个新情况,对于“鸡蛋在 A 碗下面”这件事的主观概率由原来的 1/3 上升到了1/2。这里的先验概率就是 1/3,后验概率是 1/2,也就是说“先”和“后”是相对于引起主观概率变化的那个新情况而言的
期望构建一个变量Z服从正态分布,有一个生成器G,G(Z)得到的分布和原数据集的分布一致
假设我们有数据
其中p(X|Z)是根据生成器生成出来的数据的分布,而
我们假设Z的后验p(Z|X)服从正态分布,然后从数据中训练得到p(Z|X)的均值和方差
计算KL散度作为loss,假设每个维度相互独立
而
vae损失函数