Shanghai Key Lab of Intelligent Information Processing
School of Computer Science
Fudan University

Courses
《生成模型原理与应用》(Sept. 2023-Dec. 2024)

一、主讲老师

  • 周水庚教授 (sgzhou@fudan.edu.cn

  • 办公室:江湾校区交叉二号楼D4021

  • 电话:31242359

  • 主页:https://webplus.fudan.edu.cn/sgzhou/main.psp

二、课程性质

  3学分学位专业课,共16周56学时

三、预修课程

  概率论,统计分析,程序设计,算法导论,机器学习

四、课程简介

  生成模型(Generative Model)是概率统计、机器学习和深度学习中的一类重要模型,通常用于随

机生成可观测数据,如图像、文本、声音等。本课程面向研究生(特别是博士生),介绍各种重要生成

模型,如自回归模型、变分自编码器、生成对抗网络等的基本原理与关键技术,学习如何从未知的概

率分布中取样。目前,生成模型是一个非常活跃的研究领域,本课程介绍的大多数模型都是最近10年

中发展的。因此,本课程与当前的研究进展紧密结合,将提供学生阅读该领域最新论文所需的背景知

识。此外,本课程还将介绍生成模型方法在图像、视频、文本、声音和生物医学等领域的实际应用。

五、教学目标

  通过本课程的学习,让学生达到以下几个目标:

  1.了解生成模型的相关背景知识,能够无障碍地阅读该领域最新的研究论文;

  2.针对若干重要的生成模型,熟悉其基本的建模过程、算法原理以及关键技术;

  3.针对若干应用领域,学会选择合适的生成模型,并进行算法实现;

  4.启发学生思维,提出新的模型,将模型应用于解决实际问题。

六、参考教材

  • 《Machine Learning:A Probabilistic Perspective》Kevin Murphy, 2012.9.7

  • 《Deep Generative Modeling》Jakub M.Tomczak,2022

  • 近10年相关学术期刊(IEEE,TPAMI,AI,JMLR等)、会议(ICML,ICLR,ICCV,NeurIPS,CVPR,AAAI,IJCAI

    等)论文

七、课程考核

  • 成绩计算:出勤20% + 论文报告30% + 课程论文50%

八、课程安排

课程周

时间

内容

课件

第 1 周

9月5日

生成模型介绍、概率模型基础知识

第0讲

第1讲

第 2 周

9月12日

离散生成模型:先验、似然、后验、朴素贝叶斯模型

第2讲

第 3 周

9月19日

主题模型:概率潜在语义分析模型、LDA

第3讲

第 4 周

9月26日

连续生成模型:高斯混合模型、隐马尔科夫模型

第4讲

第 5 周

国庆放假


第 6 周

10月10日

能量模型:能量模型的基本概念、RBM、DBM、DBN

第5讲

第 7 周

10月17日

自回归模型:线性自回归、神经自回归(NADE、RNADE)、RNN、Transformer

第6讲

第 8 周

10月24日

生成对抗网络: 无似然学习、GAN、GAN的三个主要问题、模型评估、经典的GAN模型(CGAN、fGAN、DCGAN、WGAN)

第7讲

第 9 周

10月31日

变分自编码器:隐变量模型、自动编码器(AE)、变分自编码器(VAE)、条件自编码器(VAE)、降噪(Denoising VAE)、对抗自编码器(AAE)

第8讲

第 10 周

11月7日

生成流模型:变量变换公式、生成化流模型的基本概念、NICE、RealNVP、Glow

第9讲

第 11 周

11月14日

扩散模型:基本概念、DDPMScore-based SDE

第10讲

第 12 周

11月21日

GPT及其变种:Transformer, GPT-1,GPT-2,GPT-3,InstructGPT

第11讲

第 13 周

11月28日

生成模型在图像处理领域的应用

第12讲

第 14 周

12月5日

生成模型在语音处理领域的应用

第13讲

第 15 周

12月12日

生成模型在文本处理领域的应用

第14讲

第 16 周

12月19日

生成模型在视频处理领域的应用

第15讲


Back to Shuigeng's Homepage




Email: sgzhou AT fudan DOT edu DOT cn
访问量:  1000