学术报告

题      目：深度神经网络可迁移性的统一量化框架研究

报  告  人：刘李  助理教授  (邀请人：李进开 )

                                   香港科技大学（广州）

时      间：12月26日  15：00-16：00

地     点：数科院西楼111报告厅

报告人简介:

        刘李目前是香港科技大学（广州）的助理教授、博导。2018年9月，她在法国格勒诺布尔阿尔卑斯大学和法国国家科学研究中心共属的GIPSA-lab1获得博士学位。她的主要研究方向是多模态视听语音识别与生成以及医疗人工智能等。她目前在人工智能领域已以第一作者身份或通讯作者发表论文超过35篇，其中包括此领域顶级杂志和会议TPAMI, TMM, TMI, Neurips, ICCV, ECCV, ACM MM等。她曾担任2022年语音信号处理顶会ICASSP的Local Chair (China site) 。她曾荣获“深圳市海外高层次人才-孔雀人才计划”。作为项目负责人，她主持国家自然科学基金委员会-青年基金项目、广东省区域联合基金-青年基金项目、阿里巴巴创新研究计划项目、腾讯AI Lab犀牛鸟专项计划等。她曾在2017年荣获法国Sephora Berribi数学与计算机领域女性科学家奖。她分别于2022、2023年获得深圳市科协人工智能优秀论文奖。

摘      要：

        深度神经网络(Deep Neural Network, DNN)目前是许多人工智能应用的基础。DNN的可迁移性指其利用在一个领域学习的知识（即参数）以解决另外其他领域问题的能力。这种能力在小样本学习中起到十分关键的作用。关于预训练DNN的可迁移性目前有两个普遍的共识：（1）源域和目标域之间的巨大域差会显著降低预训练模型的可迁移性，（2）DNN中靠近输入的较低层比靠近输出的较高层更具可迁移性。然而，目前尚未有研究系统地探究预训练参数在迁移学习中的作用以及表现。据此，我们首先提出第一个用于使用优化路径长度来测量DNN参数可迁移性的定量方法。通过分析12个具有代表性的图像数据集，我们发现，数据集领域差距对可迁移性的影响很小，而下游数据的多样性和数量大小起到更重要的角色。另外，我们发现DNN的中间层最具有可迁移性。通过大量的实验分析验证，我们创新性地提出了一套人工智能迁移学习的统一量化框架，它能定量的研究DNN的层可迁移性，进一步推动了这个领域的深度理解与发展。

        欢迎老师、同学们参加、交流！