近日，太原理工大学计算机科学与技术学院关磊副教授以第一作者兼通讯作者在CCF A类国际顶级期刊IEEE Transactions on Knowledge and Data Engineering（简称IEEE TKDE）上发表最新研究论文，题目为“PipeOptim：Ensuring Effective 1F1B Schedule With Optimizer-Dependent Weight Prediction”。论文由太原理工大学陈永乐教授，国防科技大学李东升研究员、卢锡城研究员，以及山西大学梁吉业教授、王文剑教授共同合作完成。IEEE Transactions on Knowledge and Data Engineering是中国计算机学会(CCF)推荐的A类顶级国际期刊，在数据挖掘领域享有极高的学术声誉。
论文提出了一种基于权重预测的异步流水线并行训练算法PipeOptim，通过使用预测的“未来权重”执行前向传播来同时缓解1F1B（One Forward, One Backward）异步调度导致的权重不一致和权重陈旧问题。从而在使用异步流水线并行训练算法训练大规模深度神经网络模型时，既能保证较高的吞吐量，又具有良好的收敛性和泛化能力。该研究成果有望为高效训练大模型提供重要的并行算法支持。
图1 基于权重预测异步流水线并行训练示意图
图2 在Tiny-ImageNet上训练ResNet-101(左)和Inception-V3(右)结果对比
关磊副教授主要从事深度学习与并行与分布式计算的前沿交叉研究，以第一作者在Nature（Letter）、IEEE TPAMI、IEEE TKDE、JCST、ICDM、ICASSP等国际著名期刊和学术会议上发表论文10余篇，是中国人工智能学会（CAAI）高级会员。
论文链接：https://ieeexplore.ieee.org/document/10891748
学校主页
新闻动态
