Adversarial Autoencoder

AAE:combination of GAN and VAE

use MMD term on the Hidden Representations to push the domains close in the latent space of AAE; → 减小source domains的中间表示的距离;

use the adversarial training to push the domains latent distribution to a prior distribution; →对抗训练使得对齐好的domains的中间表示分布的q(En(x)) 贴合引入的先验分布p(h),从而保证了所有domain地中间表示q(En(x))遵循相同的分布,使得模型可以泛化到unseen的target domain;

缺点: 默认domains之间的P(Y|X)是stable的(invariant的);如果P(Y|X)会随着P(X)的改变而变,那么得到的结果虽然P(En(X))是domain-invariant的,但是P(En(X), Y)不是,仍不能实现Domain Generalization

Untitled

Encoder: En

Decoder: De

Classifier: C

Discriminator: D

$$ \min_{P,Q,C}\max_{D}L_{cls}+\lambda_0L_{re-construct}+\lambda_1L_{MMD}+\lambda_2L_{gan} $$

$$ L_{gan}=\mathbb{E}{h\sim p(h)}logD(h)+\mathbb{E}{x\sim p(x)}log(1-D(En(x))) $$

训练好后,把一个unseen的domain输入encoder,得到hidden representation,再输入分类器即可完成Domain Generaliaztion;