学院要闻

统计学院研究生学术午餐会第七期

闫怡博:Transfer learning for high-dimensional data with heavy-tailed noise

2023年9月26日11:30-13:00,统计学院2023年第7期研究生学术午餐会在小教楼307举行。本次学术午餐会的主讲嘉宾是统计学院的闫怡博博士后,研究方向为高维统计学、统计机器学习。统计学院谌自奇老师主持午餐会。


在午餐会上,闫怡博老师分享了近期从事的针对厚尾分布迁移模型的工作。闫老师首先介绍了迁移学习的背景,即借助source domain的信息改进target domain模型的精度。随后,他讲解了迁移学习领域相关的前沿文献。迁移学习的基本假设之一为source domain估计量与target domain对应估计量的差异比较小。且在一般的回归问题研究中,常假设噪声服从次高斯分布,即噪声的尾部概率不大。而当噪声具有厚尾分布时,目前的方法,如LASSO,可能不再适用。


针对噪声厚尾的问题,闫老师提出了一种稳健的方法来进行迁移学习。这一方法融合了卷积秩回归(convoluted rank regression)的思想,应用卷积核光滑化方法,同时避免了参数估计的有偏性,且改进了计算效率。闫老师进一步提出了相应的检测方法来识别可迁移的source domains,这种方法基于数据分割和交叉匹配得分计算。在理论上,闫老师研究得到了参数估计风险的非渐近上界,在合适的条件下,这一上界优于经典LASSO方法得到的上界。数值实验也说明了新方法的优良结果。


同学们对模型中一些参数的选取、模拟实验的设定及非参数情形的前沿进展和闫老师进行了讨论。结束时大家表示意犹未尽,期待下一次的午餐会。

 

 

 

文|徐顺拓

图|徐顺拓

编辑|


发布者:张瑛发布时间:2023-09-28浏览次数:10