后香农时代 ICT 领域的十大挑战问题.ppt

《后香农时代 ICT 领域的十大挑战问题.ppt》由会员分享，可在线阅读，更多相关《后香农时代 ICT 领域的十大挑战问题.ppt（44页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、中国科学:数学2021 年 第 51 卷 第 7 期:1095 1138SCIENTIA SINICA Mathematica综 述后香农时代 ICTICT 领域的十大挑战问题徐文伟,张弓,白铂,艾超,吴瑾华为技术有限公司,深圳 518129E-mail:,收稿日期:2021-01-21;接受日期:2021-05-06;网络出版日期:2021-05-31;*通信作者摘要 本文以未来万物互联的智能社会的愿景为出发点,从信息产生、传输和处理的角度,深入剖析信息通信(information and communications technologies,ICT)行业在信息论、运筹学、控制论、计算理论

2、和人工智能方面未来发展中面临的技术挑战,并提出十个重要挑战问题.文章首先详细阐述这些技术挑战问题的背景、问题定义以及学术界和工业界当前的研究进展.其次针对这些问题给出潜在的解决思路和未来的研究方向.最后提出要解决十大挑战难题所面临的理论突破机会,包括:需要超越经典的香农信息论,建立语义信息论体系;需要突破深度神经网络,建立可解释的深度神经网络理论体系;需要突破经典的排队论和优化理论体系,建立网络排队论和网络优化理论方法;需要突破功耗和复杂度的约束,建立近似计算理论体系.关键词信息论 概率论 优化理论 运筹学 反问题 非线性 Schrodinger 方程 深度神经网络(DNN)近似计算MSC C

3、(20 020 0)主题分类00A07,11T71,35-02,35Q41,35Q61,41-02,68-02,68M10,68M20,68P20,68P30,68T07,68W25,78-02,78A46,93-02,93A16,93C57,94-02,94A05,94A15,94A24,94A29,94A34,94B27,94B351 1前言未来的世界将是一个万物互联的智能社会.任何人与物可以在任何时间、任何地点进行通信,信息基础设施可以为每个家庭、每个企业和每个社会提供数字化的智能服务.未来万物互联的智能社会,将具有全数字化、全互联化和全智能化三个显著特征:(1)全数字化未来的物理环境以

4、及对其控制、操作和运行的系统将实现全数字化.数字化不仅使得信息可以低成本传播和复制,解决模拟信息复制和传播的高昂成本和信息失真问题,而且方便了信息的深层次英文引用格式:Xu W W,Zhang G,Bai B,et al.Ten key ICT challenges in the post-Shannon era(in Chinese).Sci Sin Math,2021,51:10951138,doi:10.1360/SSM-2021-0013c 20 021 1 中国科学杂志社 徐文伟等:后香农时代 ICT 领域的十大挑战问题处理:模拟世界的信息的处理主要依靠人的智慧和经验,而数字化世界的

5、信息更多地可以依靠机器来自动化处理.(2)全互联化数以万亿计的“物”将通过网络实现互联,通过信息流动提高物理世界运行的效率,进而推动社会进步.1998 年,Watts 和 Strogatz1 发现了人与人连接的小世界 WS 模型和网络效应,即人与人之间可以通过小于 6 跳实现联接建立社会关系,从而给出了 Milgram 连锁信实验的数学解释.随着人们之间普遍的互联,以及超级联接节点的存在,人与人的距离已经小于 3.5(参见文献 2),也就是度小于 3.5.在物理世界,当前不同行业的传感器节点都以烟囱式部署,节点间的度还比较高.未来会逐步形成互联互通,而且不同行业的传感器会与边缘云和数据中心等超

6、级节点形成互联,联接度会逐步减小,带来网络联接效率和信息流动效率的提升,从而提升物理世界的效率.从经济角度来看,全球互联指数(参见文献 3)表明一个国家的经济发展情况与其宽带基础设施正相关,而且存在拐点.对处于宽带基础设施建设阶段的发展中国家而言,国家数字化发展将出现乘数效应,催生一系列互联网企业的发展机会,从而推动经济增长;处于宽带基础设施成熟阶段的国家,将有望进入经济发展的新周期.(3)全智能化自从 Hinton 的 DNN(deep neural network)算法在 ImageNet 上取得突破以来(参见文献 4),随着算力的提升,DNN 已经在图像识别等感知领域展现出超越人类的潜力

7、,相信在不远的将来会有更强大的算法突破.DNN 等人工智能技术的发展不仅可以协助人们提高效率,而且将帮助人们实现人类无法胜任的工作,将极大提升社会效率.从上述三个特征来看,数字化智能社会,其本质是对数字化后的信息的流动进行有效的(智能化的)控制.从信息论的角度,信息流动可以分为信息产生、信息传输和信息处理三个环节,在未来的数字化智能社会,这三个环节都存在较大的挑战:(1)信息产生环节需要更高效率的信息编码机制.1998 年图灵奖获得者 Jim Gray 预测,数据量每 18 个月将翻一番.未来将面临全行业的数字化,将有更多的传感器被部署,将产生更多的数据.现有的数据编码方式遇到前所未有的挑战:

8、首先,从信息产生的源头出发,研究更高效的信源编码实现信息的高效表示.未来信息服务的对象不仅仅是人,也包含机器,需要研究面向机器任务的高效的编码机制.其次,语义通信作为高等生物通信的手段,需要研究语义通信的基本理论问题,超越经典的信息论.再次,DNN 作为智能化的一个手段,如果要提供普适的智能化服务,需要从基础上解决 DNN 的理论可解释性问题,确保 DNN 在信息系统中的安全可信、泛化和高效.最后,全联接世界中,人-人、人-机和机-机联接的基本规律是什么,需要进行合理的建模来解决网络服务质量与资源效率之间的规律问题.(2)信息传输环节信息传输的效率是信息传输的核心问题.首先,要解决通信网络的高

9、效覆盖问题.无线网络可以进行移动通信,是解决网络覆盖问题的重要手段.现代信息的传输方法在香农信息论的指导下,已经发展了七十年,在点到点的信道容量方面已经趋近容量限.信道编码技术从卷积码、Turbo 码发展到LDPC 码和 Polar 码(参见文献 5),编码效率已经逼近经典的香农限.因此,需要进一步拓展空间等新的自由度,实现频谱效率的提升.其次,随着信息传输能耗的增加,人们更关心每瓦特传输的信息1096中国科学:数学 第 51 卷 第 7 期图 1 1 挑战问题与信息分类对应关系量,需要探索能耗约束下的信息效率问题.由于无线的覆盖问题,基站的数量巨大,能耗效率问题对于无线通信尤其重要.再次,需

10、要从网络的视角来思考信息的整体传输效率问题(参见文献 6).最后,信息的传输问题还需要从端到端的角度来系统思考信息流的整体效率.在整体信息系统中,存在信息的存储和计算,从而给信息的传输带来新的维度,需要从运筹学的维度来探索系统的整体最优性.信息网络是一个十分复杂的巨系统,在考虑最优性的同时,还需要思考系统的可实现性,尽量用最简单的方法实现系统的最优性.近些年来,人们也在探索新的信息网络覆盖模式,如空天地网络和海洋网络,从而把通信延伸到更加广阔的未知地带,如深海通信、深空通信、人体网络和分子网络.这些都为未来提供了新的创新空间和新的挑战.(3)信息处理环节信息处理包含信息存储和计算两个方面.在信

11、息存储方面主要涉及主存和温冷存储领域,需要解决信息存储的访问带宽、延迟、持久性和可靠性的问题.在主存领域,主要解决信息的存储延迟,需要寻找新的材料实现纳秒甚至是皮秒级别的快速存储;而在温冷存储领域,需要考虑持久性和可靠性的问题,除了材料本身的制约,需要探索新的编码机制,通过编码算法实现高可靠性.在计算方面需要考虑信息计算的新模式.传统的冯 诺依曼架构,有内存墙和功耗墙的问题.数据处理的搬移延迟太大,频繁访问内存导致的功耗太大,难以持续发展.新的计算模式不断涌现,诸如内存计算和存算一体等新的形态出现,大大提高了算力发展的潜力.如 Hennessy 和 Patterson7 所揭示的,未来可能会走

12、向应用驱动的计算范式.FPGA、GPU、ASIC、光计算、量子计算和 CPU 各种形态将不是一个互相取代的关系,而是各自发挥所长,整体上实现系统最优的计算任务.从理论上我们需要思考传统的基于精确计算的模型是否可以持续发展的问题,需要找到一个理论体系解决高效计算问题,实现算力的可持续增长.综上所述,在信息产生、信息传输和信息处理的各个环节中存在大量基础的和挑战性的问题.针对这些问题进一步凝练,在各个环节挑选出一些代表性问题如图 1 所示.在信息产生环节,需要探索语义信息论、通用数据的极致无损压缩、DNN 的可解释性和网络流量建模及性能分析的问题;在信息的传输环节,需要探索 Massive MIM

13、O 容量域、光纤通信的非线性信道补偿和大规模通信网络的最优化控制的问题,其中流量建模及性能分析既属于信息产生的问题,又对信息的传输产生重要的影响;在信息处理环节,需要探索反问题高精度快速求解、高性能代数几何码的快速译码和大规模网络近似计算的问题.这些问题当前制约着整个行业的进一步快速发展.本文后续章节按如下逻辑展开:首先讲述十大问题中每个问题的背景和问题的定义;然后阐述1097徐文伟等:后香农时代 ICT 领域的十大挑战问题图 2 2 可靠传输通信模型学术界和工业界的最新进展,并给出未来研究方向的建议;最后结合十大问题给出总结,为 ICT 领域基础技术研究发展给出建议.2 2语义信息论问题2.

14、12.1 背景1948 年,Shannon8 解决了点到点可靠通信理论问题,包括:(1)信源信道分离定理:证明了信源与信道满足无记忆或广义平稳遍历特性情况下,当码长趋于无穷时,分别设计信源和信道编码即可实现最优通信;(2)信源压缩定理:熵是无损信息压缩的极限;(3)信道容量定理:只要传输速率小于信道容量,即可通过信道编码实现可靠通信.可靠传输通信模型参见图 2.Shannon 在原本的信息论的定义中只定义了可靠信息传输的问题.后来在 1949 年,Shannon 和Weaver(参见文献 9)指出,通信应该包含三个层次的内容:层次一(语法问题):通信符号如何准确地传输.层次二(语义问题):传输

15、的符号如何精确地表达期望的含义.层次三(语用问题):传递意义如何有效地影响期望的行为.我们熟知的 Shannon 信息论主要集中在技术问题,对语义问题和语用问题尚没有定论.可靠机器推理下的信息传输问题正是语义问题,突破语义问题可能会为通信界带来颠覆性的新技术和新产业机会.2.22.2 问题定义随着通信的不断发展,它已经成为万物互联的一个基础.通信的目的是为了精确传输发送者期望表达的含义.目前的做法是将发送者的发送信息转换成比特进行准确传输,接收者通过比特恢复发送信息从而推断发送者所期望表达的含义.语义通信则是直接通过对发送信息进行编码来精确表达期望的含义.在这个框架下,信息的语义抽取可以等效于

16、一个编码问题,期望语义的推理可以等效于一个解码过程,需要解决的核心问题是信息的语义抽取如何影响语义推理的准确性.语义通信(参见图 3)的首要难点在于编码器编码速率与解码器解码准确率的关系问题.由经典信息论可知,从可靠传输的角度,只要编码信息熵不变,解码器就可以无损地恢复出原始信息.从 AI(artificial intelligence)和机器学习的层面看,语义通信需要解决以下问题:1098中国科学:数学 第 51 卷 第 7 期图 3 3 语义通信模型(1)语义编码器的表达能力首先,在大量应用场景的实践中,深度神经网络(DNN)表现出了远远超越“浅层”神经网络(即只有一个隐藏层的神经网络)的

17、表达能力和实用效果,因此“深度”是非常重要的因素;其次,已有的理论研究大多数集中于“浅层”神经网络,还无法刻画“深度”的作用;最后,对具有特殊结构的神经网络(例如卷积神经网络中的 pooling、batch normalization、dropout、离散参数值等)的逼近论研究仍然非常罕见.这些问题将影响编码器的表达能力.(2)最优编码与网络容量正如 Shannon 定理之于编码的意义,逼近论给出的结果是表达能力的理论极限,并没有指明达到极限的具体算法.究竟用何种方法才能最大地发挥出神经网络的表达能力?目前普遍流行的做法是采用随机梯度下降法(stochastic gradient decent

18、,SGD)及其变种方法进行训练.但这些方法能否达到网络容量,这也是没有解决的问题.(3)解码器与速率的关系在满足解码准确率的前提下,信息的速率要求是什么?即刻画通信速率与解码器准确率之间的关系.2.32.3 业界研究进展2.3.12.3.1 语义表达能力“通用逼近定理”可以用来考察任意宽度的浅层神经网络,在文献 10 中表述为:令 :R R为一个有界的、单调递增的连续函数,0,1n 上的连续函数空间表示为 C(0,1n).给定任意函数f C(0,1n)和 0,存在一个正整数 m 和实常数 、b 和 w,其中 i=1,.,m 且 j=1,.,n,iiij则函数()mnf(x,.,x)=iw x+

19、bi(2.1)1nijji=1j=1是函数 f(x,.,x)的近似,其误差满足1nsup(x1,.,xn)0,1n|f(x,.,x)f(x,.,x)|0,存在一个全连接、激活函数为 ReLU(rectifier linear unit)且宽度不大于n+4 的神经网络 N 使得神经网络表示的函数 f 满足N|f(x,.,x)f(x,.,x)|dx dx I(T;Y)I(T;Y)I(Y;Y).(2.4)1L信息瓶颈理论的基本观点认为 DNN 的目的是通过数据驱动的方式求解下述信息瓶颈问题:min I(T(X);X).T(X):I(T(X);Y)=I(X;Y)(2.5)可以看到,T(X)从 X 中提

20、取了 Y 的全部信息,同时又排除了 X 中与 Y 无关的所有信息.但是,Saxe等14 通过实验反驳了信息瓶颈方法对 DNN 的解释.此后,信息瓶颈方法转向考虑端-云混合部署的机器学习问题.这类问题考虑将 DNN 切分并分别部署在用户终端和数据中心,如联邦学习和分裂学习.Li 等15 于 2018 年考虑了这类问题的最优编码速率界.具体而言,在训练阶段,我们期望得到一个经验编码器 e 和经验推断器 f;在推断阶段,我们要求误差小于 的前提下最小化编码器的输出nn速率.有趣的是,该理论通过在训练阶段引入 minimax 机制尝试建立训练误差和推断误差之间的函数关系(参见文献 16).另一方面,结

21、合逼近论的结果,经过训练并收敛的 DNN 可以视为某个函数f 的有效逼近.此时,我们可以将 DNN 的推断过程考虑为面向函数计算的信息传递过程.事实上,信息论的许多学者很早就注意到,如果信息传输的目标不是可靠通信(即无差错地恢复原始信息),而是计算信息的某个函数 f 的数值,那么当这个函数满足一定条件时,可以大幅度减少所需要传输的信息量.该领域的早期研究主要集中在简单代数计算上.例如,Korner 和 Marton17 在 1979 年的研究发现当计算信息的函数为模 2 和时,可以达到比 Slepian-Wolf 码更好的信源编码速率域.具体而言,考虑两个相关信源 X 和 Y,满足1 pPrX

22、=Y=1=PrX=Y=0=(2.6)2和pPrX=0,Y=1=PrX=1,Y=0=.(2.7)2如果传输 X 和 Y 的目标是计算 Z=X Y,则需要的传输速率域为(R,R):RYXYXH(X|Y),RY H(Y|X).如果采用 Slepian-Wolf 码,则速率域为(R,R):R H(X|Y),RXYX1100中国科学:数学 第 51 卷 第 7 期H(Y|X),R+RY H(X,Y).1987 年,Han 和 Kobayashi18 研究了一般函数计算所需的信息量X问题,并且给出了判定函数计算的编码速率域可以优于 Slepian-Wolf 码的条件.当解码端知道 Y 时,Orlitsky

23、 和 Roche19 运用图上熵(graph entropy)的概念,刻画了一般函数计算信源 X 所需传输的信息量.另一方面,Appuswamy 等20 和 Guang 等21 研究了网络拓扑结构对函数计算的影响.但是,截至目前尚没有人研究 DNN 计算的编码速率域与 Slepian-Wolf 码的关系问题.2.3.32.3.3 语义解码与通信容量关系信息论根源于统计物理,许多概念、方法和结论都有非常深刻的内在联系(参见文献 22).从概念上讲,统计物理是研究大量相互作用的微观粒子所构成系统的宏观性质的学科.对信息论而言,这种微观粒子可以理解为比特.熵、互信息、信道容量和码率等都是描述相互作用

24、的比特所构成系统的宏观量.无论是信息论还是统计物理,我们都特别关注当微观粒子数或相互作用超过特定门限时,突然出现的宏观现象,即所谓“相变现象”.例如,在可靠通信问题中,当通信速率大于信道容量时,可靠通信就不可能实现;在模 2 和计算问题中,当信息速率小于 H(X|Y)或 H(Y|X)时,无差错计算就不可能实现.从上述角度来看,机器学习处理的也是大量相互作用的数据.因此,从统计物理的角度出发研究机器学习算法的相变现象就是非常重要的研究方向.2013 年,Advani 等23 系统地总结了对研究复杂神经系统有重要意义的统计物理方法,如 Spin Glass 模型、Cavity 方法和 Replic

25、a 方法等用以分析和处理复杂统计物理现象的工具.值得注意的是,通过 Replica 方法我们可以得知,许多无监督学习方法(如主成分分析)在特定信号模型的特定参数下会完全失效.举例而言,考虑 Spiked Wigner模型 AA=uuuuT+WW,其中 0,u u=1,WW Rnn 为对称矩阵,并且对于 1 6 i j 6 n 有2WW N(0,1/n)以及对于 1 6 i 6 n 有 WW N(0,2/n).如果用 v v 表示对应于 AA 的最大特征ijii0值的特征向量,则当 0 6 6 1 时,我们有T0lim v v u u=0.(2.8)n这个结论表明,当数据中的有用信息 u u 的

26、“功率”很小时,即使收集所有的数据也不可能通过主成分分析得到 u u.很显然,DNN 也可以看作是大量相互作用的神经元所构成的系统.因而,考虑用统计物理工具研究 DNN 的学习能力是一个很自然的思路.2019 年,Gabri 等24 采用 Replica 方法分析了随机权重的两层神经网络,并分析了神经网络中熵和互信息的变化.进一步地,Aubin 等25 提出了严格的方法来分析两层神经网络模型.他们证明对于一个很大的参数集合,近似消息传递算法可以在多项式时间内实现最优学习.一个很有意义的发现是,存在一些场景,在信息论意义下是可以达到很低的泛化误差的,但是近似消息传递算法却无法实现.因此,尽管 D

27、NN 逼近论告诉我们 DNN 在一定条件下可以以任意精度逼近特定的连续函数,但是从计算上看,要实现这样的逼近需要指数级的训练时间.然而上述分析仅仅考虑两层神经网络,对于更深层的神经网络的逼近能力及计算上的可实现性仍然是未知的.2.42.4 未来研究方向本节简要讨论了万物互联时代通信模型的发展状况,并提出了语义通信的概念.以语义通信为1101徐文伟等:后香农时代 ICT 领域的十大挑战问题出发点分析了语义通信中存在的挑战与问题,包括:语义通信容量问题、语义编码能力问题以及语义表达能力问题.目前进展还非常初步,背后的基本原理仍然需要学术界和工业界更多地深入研究.面向未来,我们简要归纳语义信息论未来

28、的研究方向:(1)语义编码能力逼近论考虑的网络结构很有限,并且仅给出了存在性的结果.如何通过算法实现逼近效果仍然是开放性问题.同时,逼近效果对训练数据的依赖程度也需要研究.此外,如果逼近的函数和实际的数据生成模型不匹配,其泛化能力会有何种损失也需要进一步分析.(2)语义通信容量逼近论考虑确定性函数的近似问题,主要用于建模分析 DNN 的信息提取能力.信息论则研究随机事件的逼近过程,因而可以端到端地建模深度学习,包括:数据的生成过程和 DNN 的信息提取过程.但信息论的信源编码部分主要针对独立或 Markov 信源,而信道则主要考虑离散无记忆信道.对十分复杂的数据生成模型,熵和互信息并不能有效地

29、描述 DNN 的信息提取极限,故需要发展广义信息测度.同时,由于难以写出 DNN 所逼近的函数 f,如何根据 f 的性质来降低数据中的信息量仍然是开放性问题.(3)语义解码能力统计物理方法与信息论的关系十分密切.值得注意的是 Replica 方法及其推广的方法在研究一些无监督学习和浅层神经网络的学习能力方面取得了较好的结果,但是当深度增加时,上述分析方法遇到了困难.因此,如何进一步推广 Replica 方法是一个重要问题.3 3通用数据的极致无损压缩问题3.13.1 背景数据压缩是通信和存储领域的核心技术.不管是在数据传输还是在数据存储环节,高效的缩减都可以直接提升带宽、显著降低成本.随着智能

30、社会催生的数据量爆炸式增长,最近五至十年,全球顶尖的 IT 巨头们如 Google 和 Facebook 等纷纷推出各自研发的新一代压缩算法,以相比传统压缩算法更高的压缩率和更低的复杂度,实现极致压缩,从而优化通信系统的使用效率,提升用户体验.3.23.2 问题定义数据压缩理论和 Shannon 在 20 世纪 50 年代建立的通信理论有密切的关系.从信息论发展的历史来看,最早的压缩理论基于对数据产生形式(“信源”)的假设.Shannon 理论8 中的信源压缩定理建立了前缀编码的最优性理论.在信源编码定理中揭示出对随机变量 X 进行 D 进制前缀编码,其对应的最优码长满足不等式H(X)6 L

31、2r 对分段线性激活函数 如(ReLU)的深度神经网络是不可实现的;dr(2)逼近速率 p (,2r 不能通过连续的权重分配达到d;d(3)如果逼近速率 p (,rd2r 可以通过 ReLU网络达到 那么神经网络的层数满足,L cWpd/r1,d其中 c 为与 p、r 和 d 相关的非负常数.1108中国科学:数学 第 51 卷 第 7 期从应用的角度来看,人们通常对 DNN 的表示能力不加怀疑,而限制模型的实际表现的关键首先在于参数优化.最近,人们发现神经网络越宽越容易训练,NTK(neural tangent kernel)理论对于过参数化神经网络给出了一种解释(参见文献 45).当神经网

32、络宽度趋于无穷大时,损失函数的景观在统计意义上变得非常简单,全局最优点普遍存在,甚至随机初始化也能够很容易到达全局最优点(参见文献 45,46).同样是基于 NTK 的思想,人们开始对神经网络的泛化能力进行理论分析(参见文献47).不过,这方面研究还刚刚开始,距离完全解释 DNN 还有较大的差距.上述的 NTK 理论是在 DNN 的宽度方向连续化的极限理论,即当 DNN 宽度趋于无穷时,离散的求和被近似为连续的积分.如果在 DNN 的深度方向也做连续化近似,就自然地与微分方程联系起来.近年来有许多这方面的工作,试图从常微分方程或偏微分方程的角度研究和解释 DNN 的内在机理.例如,人们发现残差

33、网络(residual network)对应于微分方程的 Euler 离散格式(参见文献19,20,48,49),并且一般形式的 DNN 也可以通过残差网络连续化为微分方程(参见文献 19).不过,传统微分方程理论的关注点和 DNN 有所不同,如何能在新领域中发挥传统理论的威力仍是一个需要长期研究的课题.由 Shannon8 创立的信息论是一个有成功范式的理论,指导了通信产业的发展(参见文献 50).2017 年,Schwartz-Ziv 和 Tishby13 提出了 DNN 的信息瓶颈理论解释,从另一个角度刻画了 DNN的表示能力.这一理论一度引起轰动,然而,Saxe14 在 2018 年质

34、疑了 Schwartz-Ziv 和 Tishby 的结论.这一方向还有待进一步发展.4.44.4 未来研究方向关于 DNN 可解释性问题,如下方向值得进一步研究:(1)发展大数据科学理论和工具,深入挖掘和准确刻画特定类型数据空间的结构,如自然图像空间特征;(2)针对这些具体的数据空间研究 DNN 的函数表示能力;(3)研究 DNN 训练优化问题中目标函数的景观特点,并针对这种特性设计优化算法;(4)对 DNN 避免过拟合的机制给出可信的解释.5 5网络流量建模和性能分析问题5.15.1 背景随着整个社会数字化程度的提高,各种信息和数据可以接入网络,网络业务逐渐从以话音业务为主演进到由数据业务主

35、导.近年来,5G 通信、云服务、VR 与 AR、物联网、无人驾驶等技术和应用的兴起,使得网络中的数据业务爆发,进一步加剧网络的承载压力.除了个人用户常用的电子商务、多媒体游戏、远程教学、视频会议、视频点播等,企业用户也希望通过 VPN 技术,将分布在各地的分支机构连接起来,开展一些事务性应用,比如访问公司的数据库或管理远程设备.网络的普及,业务的多样化,使互联网流量激增,容易产生网络拥塞,增加转发时延,严重时还会产生丢包,导致业务质量下降甚至不可用.与此同时,用户对高质量、高速率、低延时的网络服务的要求越来越高,而且存在多种差异化 SLA(service level agreement,服务等

36、级约定)要求,为 SLA 保1109徐文伟等:后香农时代 ICT 领域的十大挑战问题证造成巨大挑战.传统上,解决网络拥塞的最直观办法是增加网络的带宽,但是从运营、维护的成本考虑,这是不现实的,最有效的解决方案就是应用一个“有 SLA 保证”的策略对网络拥塞进行管理.QoS(quality of service,服务质量)技术就是在这种背景下发展起来的.目前存在多种 IP QoS 服务模型,其中应用最广的是区分服务模型(DiffServ),每种业务数据包被标识为一定的服务类型并记录在包头字段里,在每一跳转发分组时使用一定的调度机制体现服务等级.现网转发设备的转发服务机制较为灵活和复杂,不仅有单层

37、的普通 QoS 调度,还有多层次 HQoS 调度,同时还有主动队列管理、出口整形、联合整形等属性,涉及参数众多,目前工程上主要基于专家经验进行配置,缺乏性能理论保障,资源利用率不高.发掘现网流量的基本模型和规律、建立网络转发服务机制的合理模型,对 SLA 保证有重要意义.我们希望对网络系统建立一个 SLA 理论模型,准确刻画现网流量和转发服务过程,从而准确计算SLA 性能.SLA 理论模型将支撑多种网络运维使能,例如在给定的 SLA 要求下,根据 SLA 理论方法可以准确预测流量门限,进行容量规划,并且为调度配置提供重要指导.5.25.2 问题定义(1)现网流量的数学建模网络中同时存在众多种类

38、的业务流量,流量生成与用户行为模式、网络拓扑、网络协议等因素耦合在一起.流量经常具有时变、突发、相关与自相似等特性,超出了传统流量模型的刻画能力.针对现网流量,有如下几个重要问题:如何建立准确的流量模型?如何有效预测流量?如何实现流量特征的在线学习?(2)服务过程的数学建模服务过程包括单台网络转发设备的服务过程以及网络端到端的服务过程.网络转发设备的转发服务机制较为灵活和复杂,不仅有单层调度器(QoS),还有多层次调度(HQoS),同时还有主动队列管理、出口整形、联合整形等属性;参见图 9 和 10.网络端到端的服务过程包括了多个转发设备的级联,复杂度更高.如下几个问题非常重要:如何建立基于真

39、实转发设备的数学模型?如何建立网络端到端服务过程的数学模型?如何做到不仅模型准确,而且能够支持 SLA 性能的可计算?(3)保证高精度 SLA 要求的转发动态调优图 9 9 单层的多优先级队列调度图 1010 多层次的多优先级队列调度1110中国科学:数学 第 51 卷 第 7 期除了平均速率、平均时延等传统指标,业务 SLA 要求还包括很多高精度的指标要求,比如时延分布等,现有技术无法支持.那么,能否提供一种动态调优方法,及时有效调整大量的网络转发参数?5.35.3 业界研究进展网络业务流量建模是 SLA 性能分析的基础.经典的网络流量业务模型主要有 Poisson 到达模型和幂率模型.5.

40、3.15.3.1 PoissonPoisson 到达模型Poisson 到达模型是最早的业务模型之一,可以较好地描述话音业务,广泛应用于传统的公共交换电话网(public switched telephone network)和传统无线 3G 蜂窝网容量规划(cellular systemcapacity planning).在该模型中,在区间 t,t+事件到达数目的概率分布为e()kP(N(t+)N(t)=k=,k=0,1,.,(5.1)k!其中 是一个正数,是固定的参数,通常称为到达率(arrival rate)或强度(intensity).给定时间区间t,t+内,事件到达数目随机变量 N

41、(t+)N(t)呈现 Poisson 分布,其参数为.基于 Poisson到达模型可以计算平均业务量,从而有助于网络规划决策.假定每一信道的吞吐量相同,当给定平均业务量(average offered traffic)时,可确定最小需要信道个数;当给定信道个数时,针对 Poisson 模型的业务突发,可以用 Erlang B 或 Erlang C 公式计算阻塞概率.5.3.25.3.2 幂律模型幂律模型常见于复杂网络的研究,用以描述复杂网络中节点的度分布.近年来,研究者观察到网络数据业务也一定程度上服从幂律分布,例如 80/20 法则,即网络中 20%的流是“大象流”,但它们占用了 80%流量

42、;80%的流是“小鼠流”,仅占 20%流量.基于网络流量呈现幂律特性的假设,斯坦福大学团队提出的 SIFT 算法(参见文献 51),通过预先检测大象流,对它们进行特别预处理,从而保障提升整体网络性能.在无线 LTE 网络流量中,通过分析大量数据样本,文献 52 提出 LTE 流量的幂律模型,即 LTE 每个传输时隙内到达的业务数据包个数和数据包长度分别服从某种幂律分布.例如,业务数据包个数服从 Zeta 分布:p,n=0,0Pr(Nt=n)=(5.2)ns(1 p),n=1,2,.,0(s)其中,(s)表示 Riemann-Zeta 函数,参数 s 0,p 表示到达包数为零的概率.0业务数据包

43、长度服从 Pareto 分布:mx+10,xm,f(x)=(5.3)其他,其中,参数 m 0 和 0.基于 LTE 流量的幂律模型,制出幂率业务的爱尔兰表格,推广了基于 Possion 模型的经典爱尔兰表格(参见文献 52,53).1111徐文伟等:后香农时代 ICT 领域的十大挑战问题5.3.35.3.3 SLASLA 性能分析在业务流量建模的基础上,还需要对网络转发服务系统建模,给出 SLA 性能分析:(1)单服务器 FIFO 队列考虑泛化的到达过程和服务过程,学术界提出 G/G/1 排队模型用于描述单服务器数据业务排队服务模型.此时求解排队性能有以下方法:(1)使用 Lindley 积分

44、方程(参见文献 54)以及Wiener-Hopf 方法(参见文献 55),求解涉及 Laplace 变换、反变换,一般仅能数值法求解,计算复杂度高;(2)在 Heavy-Traffic 条件下可以使用尾分布近似(参见文献 56),但在轻、中等负载率下误差较大.(2)多队列的单层级调度此时建模需要考虑如何刻画多队列之间对总带宽的竞争关系.近年来这方面研究有一些进展,文献 57 采用较为简化的到达模型来降低复杂度;文献 58 考虑比较泛化的到达过程,但是对调度建模较为简化,假设系统内所有排队者同时均分总带宽,难以刻画真实网络系统中多优先级队列带宽分配算法.(3)多队列的多层级调度现网中经常采用多层

45、级的调度来实现多层级的优先级保障,这种系统的分析难度比单层级更为复杂.现有工作中有一部分侧重性能分析,基于传统 Poisson 到达假设和特定的简化系统拓扑,求解平均排队长度和平均时延(参见文献 59,60);另一部分如文献 61,62 侧重于系统实现,但是缺少理论保障.(4)级联网络排队系统目前对于 Jackson 网络(参见文献 63)有结论,但一般的级联网络尚无结论.Jackson 网络属于理想化模型,需要服从一系列的假设条件,例如所有节点的外部到达都必须是 Poisson 流量.在现实中,Jackson 网络的假设条件几乎均不满足,亟需一种泛化的级联网络模型.5.45.4 未来研究方向

46、网络流量建模和性能分析问题的主要研究方向包括:现网流量建模问题、转发设备建模问题、网络端到端建模问题以及转发性能优化问题.在这些方向上,现有研究还远远不足,需要在更多实测场景数据基础上,结合排队论、DNN 算法等工具,对模型泛化、SLA 求解效果等方面进行深入研究:(1)现网多种场景的数据业务流量的数学建模、特征提取、流量预测以及生成算法,其中现网流量特征提取和流量预测的在线算法目前仍是开放问题.(2)大规模多层级调度服务系统建模、SLA 性能高效求解.单转发设备经常需要服务几千个队列,并且使用多层级调度,这一问题的相关工作非常少,属于开放问题.(3)泛化的端到端级联网络建模、SLA 性能高效

47、求解.一般级联网络的排队论分析属于开放问题,针对实际应用可能需要提出逼近函数,并给出损失分析.(4)基于现网流量、转发服务过程和 SLA 需求,如何优化转发性能?如何实现网络设备转发参数动态调优?该问题在未来网络应用上有重要意义,仍需要深入探索.(5)网络流量建模的本质问题是网络业务的不确定性问题,需要分析不确定业务模型下网络的服务质量保证问题.现有的数学工具都是基于经典的概率模型,而非线性期望理论(参见文献 48)从1112中国科学:数学 第 51 卷 第 7 期非独立同分布的假设出发,对于不确定性建模问题能够从理论上提供一个新的工具,需要探索利用非线性期望理论解决此问题的可行性.6 6Ma

48、ssiveMassive MIMOMIMO 容量域问题6.16.1 背景点对点通信系统的可靠传输速率的理论上限(即信道容量)是 Shannon8 在其 1948 年的开创性论文中首先提出的,文献 50 给出了加性高斯白噪声(additive white Gaussian noise,AWGN)有限带宽线性信道对应的容量公式为()PC=W log 1+,(6.1)N0W其中 W 是信号带宽,P 和 N0 分别是信号和噪声的功率.单位频谱的信道带宽 C/W 称为频谱效率,常常用来衡量信道传输能力.Shannon 信道容量定义了通信系统不可逾越的可靠传输速率限,该公式也是指明无线通信工作者研究方向的

49、灯塔,也称之为 Shannon 容量极限.自 Shannon 信道容量诞生以来,通信领域的工作者不断研发新的理论和技术(如信道编码、网络编码、信号处理、资源分配、干扰管理、交换和路由技术等),以使实际通信网络的信息传输能力逼近该极限.到目前为止,点到点通信系统已经可以逼近 Shannon 容量.作为无线通信领域天线技术的重大突破之一,MIMO 通过增加收发端天线数,实现了端到端容量的有效提升.20 世纪 90 年代,贝尔实验室的 Telatar 和 Foschini 等学者首次给出了 MIMO 信道的容量表达式(参见文献 64)()PC=E log det I I+HHHH,(6.2)rt式中,t 与 r 分别为发射天线数与接收天线数,发射功率约束为 P,HH 为维度为 r t 的信道矩阵,I I为 r 阶单位矩阵.r在接下来的十余年中,MIMO 技术相继完成了在 WLAN、3G 及 4G 网络中的标准化,成为商用无线网络中的核心技术之一.为了进一步提升系统容量,Thomas Marzetta 团队提出了 MassiveMIMO 的概念,其基站(参见图 11)采用大规模天线阵列(参见文献 65).目前学术界对于 MassiveMIMO 的渐近容量持有有界与无界两种不同观点(参见文献 66,67),可应用于实际工程中的Massive MIMO 天线数上限及其相应容量等问题仍需进