近日,欧洲杯正规下单平台ACM协同创新团队的最新研究成果被深度学习领域顶级国际学术会议The International Conference on Learning Representations (ICLR)正式录用。
论文录用信息如下:
Yisong Huang, Jin Li, Xinlong Chen, Yang-Geng Fu*. "Training Graph Transformers via Curriculum-Enhanced Attention Distillation", accepted by ICLR 2024.
该研究成果由欧洲杯正规下单平台ACM团队21级硕士生黄益颂、20级硕士生李进、21级博士生陈鑫龙,在傅仰耿教授指导下完成。
Graph Transformers(GTs)在图级别任务上表现出色,但在节点分类任务中,尤其是在半监督设置下,GTs容易遭受过拟合的风险,训练GTs仍然是一项巨大的挑战。该论文提出了一个基于课程学习的注意力蒸馏方法,其中涉及到在Local Graph Transformer 和Global Graph Transformer之间进行注意力蒸馏,同时还引入了课外熵和top-k剪枝两项改进,约束了学生模型的行为,有效缓解了过拟合问题。此外,该方法通过课程学习动态调整学生模型的注意力分配,进一步提高了模型的性能和泛化能力。相比于现有的方法,该方法在同质图和异质图上取得了更优异的性能。
ICLR由深度学习领域的两位杰出学者Yoshua Bengio和Yann LeCun 牵头创办,自2013年开始每年举办一次,是全球深度学习领域公认的顶级学术盛会。ICLR 2024是其第十二届会议,计划于2024年5月7日至11日在奥地利维也纳召开。ICLR 2024共收到7262篇投稿,录用率约为31%。