xx
CONTENTS 19 Autoencoders 19.1 Deterministic Autoencoders . . . . . . . . . . . . . . . . . . . . . 19.1.1 Linear autoencoders . . . . . . . . . . . . . . . . . . . . . 19.1.2 Deep autoencoders . . . . . . . . . . . . . . . . . . . . . . 19.1.3 Sparse autoencoders . . . . . . . . . . . . . . . . . . . . . 19.1.4 Denoising autoencoders . . . . . . . . . . . . . . . . . . . 19.1.5 Masked autoencoders . . . . . . . . . . . . . . . . . . . . . 19.2 Variational Autoencoders . . . . . . . . . . . . . . . . . . . . . . . 19.2.1 Amortized inference . . . . . . . . . . . . . . . . . . . . . 19.2.2 The reparameterization trick . . . . . . . . . . . . . . . . . Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
563 564 564 565 566 567 567 569 572 574 578
20 Diffusion Models 20.1 Forward Encoder . . . . . . . . . . . . . . . . . . . . . . . . . . . 20.1.1 Diffusion kernel . . . . . . . . . . . . . . . . . . . . . . . 20.1.2 Conditional distribution . . . . . . . . . . . . . . . . . . . 20.2 Reverse Decoder . . . . . . . . . . . . . . . . . . . . . . . . . . . 20.2.1 Training the decoder . . . . . . . . . . . . . . . . . . . . . 20.2.2 Evidence lower bound . . . . . . . . . . . . . . . . . . . . 20.2.3 Rewriting the ELBO . . . . . . . . . . . . . . . . . . . . . 20.2.4 Predicting the noise . . . . . . . . . . . . . . . . . . . . . . 20.2.5 Generating new samples . . . . . . . . . . . . . . . . . . . 20.3 Score Matching . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20.3.1 Score loss function . . . . . . . . . . . . . . . . . . . . . . 20.3.2 Modified score loss . . . . . . . . . . . . . . . . . . . . . . 20.3.3 Noise variance . . . . . . . . . . . . . . . . . . . . . . . . 20.3.4 Stochastic differential equations . . . . . . . . . . . . . . . 20.4 Guided Diffusion . . . . . . . . . . . . . . . . . . . . . . . . . . . 20.4.1 Classifier guidance . . . . . . . . . . . . . . . . . . . . . . 20.4.2 Classifier-free guidance . . . . . . . . . . . . . . . . . . . Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
581 582 583 584 585 587 588 589 591 592 594 595 596 597 598 599 600 600 603
Appendix A Linear Algebra A.1 Matrix Identities . . . . . . . . . . . . . . . . . . . . . . . . . . . A.2 Traces and Determinants . . . . . . . . . . . . . . . . . . . . . . . A.3 Matrix Derivatives . . . . . . . . . . . . . . . . . . . . . . . . . . A.4 Eigenvectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
609 609 610 611 612
Appendix B
Calculus of Variations
617
Appendix C
Lagrange Multipliers
621
Bibliography
625
Index
641