近日，依托国家林草局森林生态大数据重点实验室和云南省窦万春专家工作站，我校大数据与智能工程学院的智能软件技术与应用团队在计算机科学领域权威期刊《Future Generation Computer Systems》（简称FGCS，属于中科院SCI小类学科一区TOP期刊，影响因子7.307，是中国计算机学会推荐的国际学术期刊）上发表题为《An adaptive DNN inference acceleration framework with?end-edge-cloud collaborative computing》研究论文。该论文以2020级系统科学硕士研究生刘国志为第一作者，代飞教授为通讯作者，开云在线平台-开云网页版为第一完成单位。
图1?论文封面
深度神经网络（Deep Neural Networks，DNNs）是人工智能的关键技术，被广泛应用于计算机视觉、自然语言处理和语音识别等领域。为了满足移动设备上DNN任务推理的实时性需求，DNN协同推理逐渐成了主流的解决方案。
现有的DNN协同推理加速方法主要采用单点划分方式，即将DNN模型划分为两部分，一部分分配到移动设备上执行，另一部分则是卸载到边缘服务器或云服务器上执行，这使得移动设备、边缘服务器和云服务器计算资源利用不充分。
针对上述问题，文章提出了一种端-边-云协同环境中自适应的DNN推理加速框架，如图2所示。该框架分为三个阶段：预测阶段、划分阶段和协同推理阶段。首先，该文提出了一种基于神经网络的时延预测模型来预估DNN层在异构计算平台上的执行时延，其中采用神经网络来充分提取与DNN层执行时延有关的非线性特征。其次，该文设计了一种DNN计算划分算法来识别两个最优划分点，该算法将DNN计算划分为三个块（即数据密集型块、混合型块和计算密集型块）。然后，协同推理阶段根据划分结果，将数据密集型块分配到移动设备上执行以降低数据的传输时延、混合型块和计算密集型块则卸载到边缘服务器和云服务上执行以加速任务的计算速度。最后，本文对提出的框架进行了有效性验证。
图2?一种端-边-云协同环境中自适应的DNN推理加速框架
该研究得到国家自然科学基金项目、云南省基础研究重点项目和云南省窦万春专家工作站等资助。（来源：大数据与智能工程学院/图：刘国志?/文：代飞、吴梦帆/审核：林开文/初审：李颖/复审：史桓恺/终审：张武先/责任编辑：史桓恺）
论文链接：https://www.sciencedirect.com/science/article/abs/pii/S0167739X22003570
