博士生徐大亮的论文《Niagara: Scheduling DNN Inference Services on Heterogeneous Edge Processors》荣获11月28日在意大利罗马召开的国际服务计算领域旗舰会议ICSOC 2023（21st International Conference on Service-Oriented Computing）杰出论文奖（Distinguished Paper Award）。ICSOC 2023是面向服务计算的国际学术盛会，是CCF软件工程领域的推荐B类会议，专注于探讨服务科学、服务导向计算以及相关领域的最新研究和发展。该论文第一作者徐大亮博士生主要研究方向为移动计算与系统软件；第二作者李晴博士后主要研究方向为卫星计算、边缘计算。
近年来，各种智能边缘应用（例如智慧医疗、娱乐和智能家居应用）已成为我们日常生活中不可或缺的组成部分。这些应用通常依赖于深度神经网络（DNNs）进行复杂的感知解读，如用户环境和物理环境等。为了确保实时的用户体验，这些边缘应用，比如违规操作检测、沉浸式在线购物和增强现实表情，通常倾向于依赖一组灵活可靠的边缘DNN推理服务完成功能。然而，在资源受限的边缘设备上执行这些DNN服务面临着一个重大挑战：推理任务的吞吐量低。
本文提出了Niagara，一个新颖的旨在通过合理调度边缘设备上可用的异构处理器来最大化系统的吞吐量的系统。Niagara面临着两个关键挑战：不确定的工作负载和高调度复杂性。为了有效解决这些挑战，Niagara利用预测模型来预测即将到来的工作负载模式，并通过离线调度优化和在线服务调度策略的结合来协调在异构处理器上的服务分配。已有实验结果表明，Niagara可以将DNN推理的吞吐量提高高达4.67倍，同时满足相同严格的推理延迟要求。此外，Niagara已成功部署在现实世界的电力供应变电站中，用于检测违规情况，在其为期六个月的部署期间保证了持续、无事故的运行，极大地节约了人工成本。
该工作思路新颖，并被实际部署在110KV变电站中，以解决违规操作检测需要耗费大量人力成本的问题，受到了审稿人，与会学者，ICSOC组委会和工业界同行的一致赞赏和认可。
图1：Niagara架构图
