中国电信IP城域网组网技术方案 .docx

一、设计原则4二、设备用途说明和命名规则92.1 Site 代码92.2设备命名规则102.3设备用途描述11三、网络架构203.1核心骨干模块(backbone) 213. 2 I NTERNETd 63/169)连接点模块243.3 IPVPN服务模块273. 4 商业I NTERNET接入模块353. 5小区I NTERNET接入模块393. 6政府上网接入模块433.7主机托管模块45四、设备互连484.1远程连接484. 2本地连接514. 3设备插槽分配策略524.4 VLAN编号和用途说明54五、IP地址595. 1 IP地址模式595.2域内路由协议（IGP） 605. 3 IP地址分配605.4 IP子网规划63六、和163/169的连接686.1 缺省路由686.2 EBGP出口路由设计706.3 在多出口上实现流量均衡71七、MPLS VPN PE-CE 的连接73八、VPN 的 INTERNET 接入766.4 1 VPN INTERNET 网关766.5 2 VPDN FOR VPN79九、NMS网段83十、安全控制88H-、QOS9311.1可选择的工具9311.2实现的模型96附件一：IP地址分配计划表103-5-n电附件二:小区INTERNET接入方案1181、SSO (Service-Sign-On)系统1182. Redback SMS宽带接入服务器1243.两种方式的比较。127附件三：图表129一、设计原则随着深圳电信的互联网业务的快速发展，可以预测的用户需求在几 年内将成几何级数增长，同时，随着中国加入WTO的时间表的逼近， 来自各个方面的竞争压力不断增加。但是，目前深圳电信的互联网基 础设施还不够发达，不足以迅速占领市场的制高点，在未来的竞争中 立于不败之地。因此，深圳电信局决定建设一个先进的、灵活的、可靠的、基于标 准的城市骨干通信平台，使得深圳电信能够基于这个平台，针对市场 上IP用户的大量宽带多媒体应用的需求，迅速推出一系列崭新的宽带 多媒体业务，从而吸引更多的用户，增加市场竞争力，实现网络的商 用价值，并为今后满足市场新的业务需求而迅速推出新的业务打好基 础。深圳IP城域网一期工程的建设目标是将IP城域网建成为数据业务 的统一骨干平台，在此平台上为政府、企业、学校提供高速接入，同 时提供VPN等增值业务。基于以上的建立目标，深圳IP城域网的设计原则为：(1)可靠性原则；(2)可扩充性原则；(3)简单和易于管理的原则；(4)可以集中管理的原则；(5)效率高；(6)和现有网络有较好的集成；(7)安全性；网络可靠性通过下述的设计思路来达到：- 在网络核心层进行Part ial meshed冗余物理连接;- 接入层设备通过Dua I homi ng双连接到核心层；- 网络采用多出口设计到Internet (163/169)；- 在接入层采用Route summar izat ion减少边缘链路 波动对核心的影响；- 合理采用静态路由，提高可靠性；网络可扩充性通过下述的设计思路来达到：- 网络采用明显的“核心一分布”层次结构；- 简单而有效的IP地址分配策略；- 采用可靠和可扩展的IGP路由协议；简单和易于维护性通过下述设计思路来达到：- 所有的网络设备被分配专门的用途；- 避免复杂的配置；- 网络设备命名直观而易记；- 统一的slot、port、VLAN的分配策略;- 每台设备都配有loopback地址，易于维护；集中管理通过下述设计思路来达到：- 为中央网络管理系统配有专门的管理网段；- 从中央网管网段可以到达所有设备；- VPN PE-CE连接从NMS网段同样可以到达；- 为所有互连网段包括VPN PE-CE连接都采用合法IP 地址；运行的高效性通过下述设计思路来达到：- 核心层互连链路采用相同接口类型和相同速率，便 于作负载平衡；- 城域网内部采用缺省路由配合IGP metric作出口选 择；- 和Internet的多连接上采用BGP MED特性进行负载 分担；和现有网络的集成通过下述设计思路来达到：- 采用开放的、标准的路由协议将城域网分为多个路 由区域，现有网络可以通过单独的域连接上来；- 和Internet(163/169) BGP连接通过保留的AS 号，这样不会影响广东省和中国电信163/169网络 出国的BGP路由；安全性通过下述设计思路来达到：- 对所有重要事件进行log;- 限制对设备的SNMP和TELNET ；- 采用NTP协议对全网的设备进行同步；- 对不安全的端口上将路由协议进行Passive,防止 不必要的路由泄露；- 对网络设备的User和Privi lege状态进行存取控 制；网络总体结构如图所示:-9-图一深圳IP城域网一期工程网络图西乡中学西乡小学宝安中学宝安教育局1111信息化小区信息化小区企业上网一.二二福田中学、实验学校三三二教育学院、电子技校外语学院-龙岗区教 育局等骨干深圳大学,代登严2二一枢纽沙头角南山茵数 育局等N 企业上网POS 2.5G GE 1000MFE 100M! ! VPNlW' : Hii ! ! J 信息化小CE router福山法教"信息化小段:区Cisco 3620育局等企业上网触区教育局等O2R&S二、设备用途说明和命名规则2.1 Site 代码SiteSite Code枢纽SN黄木岗HMG电信DX南山NS新安XA龙中LZ沙头角STJ东港中心DG新南头XNT机关专用局JG蛇口SK鸿波HB龙脉LM-11-O2R&SSite代码是地点名的拼音缩写而成。前11个site是本期工程所 要安装设备的点，后2个site不涉及设备安装。2. 2设备命名规则M-HMG-12012-AIUnique Ide.g. A - 1st 12012; B-2nd 12012Site CodeEquipment TypeMAN解释：(1) 设备类型为 “6509” 代表 Catalyst 6509 switch的 LAN switch 部分；-io-O2R&S设备类型为 “6509R” 代表Catalyst 6509switch 的 routing 部分:6509R1 代表安装在 6509 的primarysuperv i sory card 上的 MSFC feature card ；6509R2 代表安装在 6509 的 Redundant superv i sory card 上的 MSFC feature cardo2. 3设备用途描述SiteDeviceDev i ce NameUsageMode 1枢纽楼GSR12012M-SN-12012-AMPLS core router7507M-SN-7507-AMPLS PE router3620M-SN-3620-AVPN Management CE router2924M-XLM-SN-2924-AVPN access concentrator2924M-XLM-SN-2924-BCommerc i a I Internet accessconcentrator6509-MSFCM-SN-6509R1-AInter-VLAN rout i ng6509-MSFCM-SN-6509R2-AInter-VLAN rout i ng6509M-SN-6509-ACommun i ty Internet accessconcentrator黄木岗GSR12012M-HMG-12012-AMPLS core router7513M-HMG-7513-AMPLS PE router2924M-XLM-HMG-2924-AVPN access concentrator2924M-XLM-HMG-2924-BCommerc i a I Internet accessconcentrator6509-MSFCM-HMG-6509R1-AInter-VLAN rout i ng6509-MSFCM-HMG-6509R2-AInter-VLAN rout i ng6509M-HMG-6509-ACommunity Internet access concentrator电信GSR12012M-DX-12012-AMPLS core router7507M-DX-7507-AMPLS PE router2924M-XLM-DX-2924-AVPN access concentrator2924M-XLM-DX-2924-BCommercial Internet accessconcentrator6509-MSFCM-DX-6509R1-AInter-VLAN rout i ng6509-MSFCM-DX-6509R2-AInter-VLAN rout i ng6509M-DX-6509-ACommun i ty Internet access concentrator6509-MSFCM-DX-6509R1-BInter-VLAN rout i ng6509-MSFCM-DX-6509R2-BInter-VLAN rout i ng6509M-DX-6509-BReserved for 163 serverhost i ng i n DX东港中心6509-MSFCM-DG-6509R1-AInter-VLAN rout i ng6509-MSFCM-DG-6509R2-AInter-VLAN rout i ng6509M-DG-6509-AServer host i ng6509-MSFCM-DG-6509R1-BInter-VLAN rout i ng6509-MSFCM-DG-6509R2-BInter-VLAN rout i ng6509M-DG-6509-BServer host i ng南山GSR12012M-NS-12012-AMPLS core router7507M-NS-7507-AMPLS PE router2924M-XLM-NS-2924-AVPN access concentrator2924M-XLM-NS-2924-BCommerc i a I Internet access concentrator6509-MSFCM-NS-6509R1-AInter-VLAN rout i ng6509-MSFCM-NS-6509R2-AInter-VLAN rout i ng6509M-NS-6509-ACommun i ty Internet access concentrator新南头6509-MSFCM-XNT-6509R1-AInter-VLAN rout i ng6509-MSFCM-XNT-6509R2-AInter-VLAN rout i ng6509M-XNT-6509-AServer host i ng6509-MSFCM-XNT-6509R1-BInter-VLAN rout i ng6509-MSFCM-XNT-6509R2-BInter-VLAN rout i ng6509M-XNT-6509-BServer host i ng新安GSR12012M-XA-12012-AMPLS core router7507M-XA-7507-AMPLS PE router2924M-XLM-XA-2924-AVPN access concentrator2924M-XLM-XA-2924-BCommerc i a I Internet accessconcentrator龙中GSR12012M-LZ-12012-AMPLS core router7507M-LZ-7507-AMPLS PE router2924M-XLM-LZ-2924-AVPN access concentrator沙头角GSR12012M-STJ-12012-AMPLS core router7507M-STJ-7507-AMPLS PE router2924M-XLM-STJ-2924-AVPN access concentrator2924M-XLM-STJ-2924-BCommerc i a I Internet accessconcentrator蛇口7507M-SK-7507-AMPLS PE router2924M-XLM-SK-2924-ACommercial Internet accessconcentrator机关专用局6509-MSFCM-JG-6509R1-AInter-VLAN rout i ng6509-MSFCM-JG-6509R2-AInter-VLAN rout i ng6509M-JG-6509-AGovernment agency Internet access concentrator-17-设备用途说明：(1) MPLS Core Router 设备用作MPLS核心Labe I交换路由器； 不直接连接任何用户； 所有核心层路由器之间、核心路由器和PE路由器之间的连 接必须 MPLS Enab led； 核心路由器只能运行独一的IGP路由协议；(2) MPLS PE Router 设备用作 MPLS provider edge router (PE)； 所有VPN用户端的连接终结在PE上； 同时，PE路由器作为Internet分布层接入路由器； PE在IGP上作为ABR,进行路由聚合；(3) VPN Access Concentrator 设备用于VPN扇出，上联链路为PE路由器GE VLAN Trunk； 每一个FE交换端口属于一个单独的VLAN ； 每个FE交换端口和用户设备通过FE-to-Fiber单模光纤转 换器连接；注：该转换连接不属本次工程范畴(4) Commerc i a I Internet Access Concentrator 设备用于商业用户的高速Internet接入； 每一个FE交换端口属于一个单独的VLAN ； 每个FE交换端口和用户设备通过FE-to-Fiber单模光纤转 换器连接；注：该转换连接不属本次工程范畴(5) Inter-VLAN Rout i ng 设备用作Inter-VLAN路由，这些VLAN是通过Switch建立 起来的； 同时，该设备还用于Internet接入路由器； 设备在IGP中作为ABR,进行路由聚合；(6) Commun i ty Internet Access Concentrator 设备用于小区用户高速Internet接入； Supervisory Engine上的GE端口通过多模光纤连接到本 地的MPLS core路由器上； VLAN1用于Inter-VLAN路由器(MFSC)作为管理网段； VLAN通过FE-to-Fiber单模光纤转换器和小区的用户设备相连;-21-注：该转换连接不属本次工程范畴(7) Server Hosting 设备(LAN交换机)用于连接各种主机托管服务器； Supervisory Engine上的GE端口通过单模光纤连接到远 程的MPLS core路由器上； VLNA1作于Inter-VLAN路由器(MFSC)作为管理网段；(8) VLAN Management CE Router设备作为一个CE路由器，连接中央网管网段，通过VPN连 接到所有的用户VPN上，以便于中央网管对所有PE CE链 路和CE路由器进行管理； 一个FE端口连接到本地PE上网管专用FE端口，另一个 FE端口连接到Local Server Hosting以太网交换机上， 通过网管专用网段和网管主机相连接；(9) Government Internet Access Concentrator 设备用作政府机构上网的接入集中器，提供高速Internet 连接； 6509上的supervi sory eng i ne的GE 口通过单模光纤连接 到最近的 MPLS Core Router ； VLAN1用于I nter-VLAN路由器(MFSC)作为管理网段； VLAN通过FE-to-Fiber单模光纤转换器和小区的用户设备相连；注：该转换连接不属本次工程范畴-23-三、网络架构深圳IP城域网在网络结构上分成核心层和接入层，在功能上提供 VPN互连、高速商业Internet接入、高速小区Internet接入、政府上 网接入、主机托管连接等多种服务类别。因此，为了在一种清晰的结 构上进行网络设计，对网络进行功能模块的划分，将深圳IP城域网分 为以下几个模块：A核心骨干模块> I nternet (163/169)连接点模块>IP VPN服务模块A商业Internet接入模块A小区Internet接入模块»政府上网接入模块A主机托管模块InternetCommunityInternet AccessGovernmentInternet AccessServiceHl III3.1核心骨干模块(backbone)1、结构城域网的核心骨干模块由分布在GSR12012路由器构成，分别是：M-SN-12012-AM-HMG-12012-AM-DX-12012-AM-NS-12012-AM-XA-12012-A7个不同地点的7台Cisco枢纽的GSR12012黄木岗的GSR12012电信的GSR12012南山的GSR12012新安的GSR12012龙中的GSR12012M-LZ-12012-AM-STJ-12012-A沙头角的 GSR12012这7台GSR12012通过P0S接口卡单模光纤以partial meshed结构 互连；为了确保核心骨干模块的MPLS标签分配和路由表的稳定，这7 台GSR12012及它们之间互相连接的Link必须独立地分配在IGP的area 0域中。从其它模块学到的路由在进入Core之前必须先进行Aggregate 或Summarize,以免造成对Core的路由影响。ServiceModules2、实现作为IP城域网的核心，要承载包括IPv4和MPLS VPN两种不同的 traffic,所以，每台Core Router必须是能够支持Tag Switchingo 在这种配置下，MPLS VPN的traffic被Tag Switched,而普通IPv4 的 traffic 被 routedo-25-O2R&S下面是一台 Core router 的 Sa叩le conf iguration:Tag-switching advertise-tagsinterface pos 2/0description “SM01 fiber link to M-XA-12012-A pos 2/0”ip address 123. 123. 1. 1 255. 255. 255. 252tag switching ip为了减少Tag Switch的目标lable,可以采取access list的方法来限制标签的分配。配置如下:Tag-switching advertise-tags for 1Access-list 1 permit 123. 123. 1. 230/ loopback 0address of M-SN-7507-AAccess-/ist 1 permit 123. 123. 1. 231/loopback 0 address of M-HMG-7513-AAccess-/ist 1 permit 123. 123. 1. 232/ loopback 0address of M-DX-7507-AAccess-/ist 1 permit 123. 123. 1. 233/ loopback 0addressof M-NS-7507-AAccess-/i st 1permit123.123.1. 234/ /oopback 0addressof M-XA-7507-AAccess-/i st 1permit123.123.1. 235/ /oopback 0addressof M-LZ-7507-AAccess-/i st 1permit123.123.1. 236/ /oopback 0addressof M-STJ-7507-A在上面的配置下,Tag Switching在限于目标地址是MultiProtocoI BGP neighbor 的 Core Router 的 Ioopback 地址，大大减轻了 Core Router在Lable分配上的开销。其它traffic进行普通路由。3. 2 Internet (163/169)连接点模块3结构在本期IP城域网工程中，黄木岗和电信的两台Core Router： M-HMG-12012-A和M-DX-12012-A作为和163/169连接的边界路由器。其中，黄木岗M-HMG-12012-A通过一条0C-48链路连接到163；电 信M-DX-12012-A通过一条GE链路连接到163。-27-在广东省163扩容工程结束后，这种连接将改变。到那时，2台新 加入的GSR路由器M-SN-12012-B和M-NS-12012-B将代替本期工程中 的2台边界路由器作为新的163出口路由器。边界路由功能随之而转 移到新的GSR路由器上。在第六章中将详细讲述和163边界路由器的路由策略，包括如何在 多出口点之间进行 Inbound traffic 和 Outbound traffic 的 load balance,以及如何保证路由对称性的问题。2、实现深圳IP城域网和163网之间运行BGP路由协议，下面是M-HMG-12012-A 的 Samp Ie Conf i gurat i on：router bgp 65001no synchronizat/onnetwork 123. 123. 0. 0 mask 255. 255. 224. 0 neighbor 123. 123. 1. 46 remote-as 123“2. 5 Gbpsneighbor 123. 123. 1. 46 description/ inks to HB 163 Backboneneighbor 123. 123. 1. 46 version 4 neighbor 123. 123. 1. 46 fi I ter-1 i st 1 in neighbor 123. 123. 1. 46 fi/ter-1ist 10 outip as-path access-/ist 1 deny 八*ip as-path access-/ist 10 permit 八$ip route 123. 123. 0. 0 255. 255. 224. 0 null 0ip route 0. 0. 0. 0 0. 0. 0. 0 123. 123. 1. 46城域网的边界路由器不从163路由器学习任何Internet路由，所有IP城域网不知道的路由都通过缺省路由送至163网络。3.3 IP VPN服务模块1、结构IP VPN服务模块包括向用户提供IP-VPN服务的路由器和交换机， 路由器主要是7507或7513,交换机主要是2924。这些设备包括：Provider Edge (PE) Router (Cisco 7500 series routers): M-SN-7507-A M-HMG-7513-A M-DX-7507-A M-NS-7507-A M-XA-7507-A M-LZ-7507-A M-STJ-7507-AVPN Access Concentrator (Cisco Catalyst 2924M-XL LAN switches): M-SN-2924-A M-HMG-2924-A M-DX-2924-A M-NS-2924-A M-XA-2924-A-29-O2R&S M-LZ-2924-A M-STJ-2924-A所有 VPN Access Concentrator 2924M-XL 都是 100MbaseT 以太网 交换机，通过GE链路连接到7500系列路由器上。该GE链路被定义为multi-VLAN Trunko2924M-XL上的每个100M端口被映射到一个单独的VLAN上，7500路由器上为每个VLAN建立一个sub-i nterfaceoM-DX-7507-Apoint-to-point links-31-要向用户提供IP-VPN服务，需要进行下列步骤： 在 VPN Access Concentrator 2924M-XL 上分配一个 100M 端 口； 通过FE-to-Fiber单模光纤转换器连接用户端的设备； 将分配到的100M端口映射到VPN Access Concentrator 2924M-XL 的一个 VLAN±； 在 PE 7500 的 GE 端 口 上为该 VLAN 建立一个 sub-i nterface ； 将该sub-interface联系到一个VPN上； 在用户端，用户提供CE路由器通过100M端口连接到PE上。2、实现A、 VLAN TrunkTrunk是交换机之间或交换机和路由器之间的点到点链路，trunk 在整个网络内承载multi -VLAN的流量。目前有两种trunk封包技术， 一种是 Cisco 专用技术 ISL(lnter Switch L i nk),另一种是 I EEE 802. 1Q,是国际标准。在本次城域网工程中，使用IEEE 802. 1Q作为 i nter-VLAN 的 trunk 封包技术。下面是 2924M-XL 用作 VPN Access Concentrator 的 Samp I e Conf i gurat i on：interface gigabitethernet 1/1switchport mode trunkswitchport trunk encapsulation dot10下面是 PE 路由器 7500 的 trunk 端口的 Samp I e configuration：interface gigab i tether net 8/0/0. 103encapsulation dot10 103ip address 123. 123. 4. 1 255. 255. 255. 252B、 MPLS VPNMPLS采用虚拟路由表的方法来实现一个路由器上多个VPN的路由 表。每一个 VPN 对应一个或多个 VRFs (VPN rout i ng/forward i ng instance) o VRF定义连接到PE上的VPN成员(一个site)资格。一个 VRF 包括一个 IP 路由表、一个 CEF(cisco express forwarding)表、 几个相关联的端口、和一些控制路由的规则和参数。用户site和VPN之间可以不是对应的，一个用户site可以是多个VPN的成员。但是，一个用户site只可以和一个VRF相关联。一 个用户s i te的VRF包括所有该s i te所属VPN到该s i te的路由。数据包的路由和交换由VRF路由表和单独的CEF表所控制,每一个 VPN对应一个路由表和一个CEF表，这样可以防止packet被交换到不 关联的端口上去，同时也防止不关联的端口的packet被交换到该VPN 中。VPN路由信息的传播由VPN route-target communities来控制， 这主要是通过BGP的extended communities属性来实现的。VPN路由 信息的传播通过下述的方法进行工作：当一条从CE处学习到的VPN路由被inject到BGP中时，- 些VPN route target communities属性被赋于它；其中主 要包括route-target属性，该属性决定这些route将被 export 到哪些 VRFo每个VRF配置有一个import route-target列表,该列表指 明了一个BGP的update中的commun i ty属性应该包含什么 route-target才能被目标VRF接受。比如，某一个VRF的 import route-target 列表指明 route-target communities Ax B 和 C,这样，每一个 MP-iBGP 的 update 中 communities 属性的route-target中有A或B或C的route将被import 到该VRF中。一个PE路由器可通过静态路由、RIP或BGP从CE处得到某一个IP 前缀的路由，该前缀是标准IPv4的前缀。然后，PE通过加上一个8字 节的RD (route distinguisher)将它转换成为一个VPN-1 Pv4的前缀。 通过这种方法，可以使用户地址唯一，即使用户使用的是I ANA规定的 保留地址。用于生成VPN-1 Pv4前缀的RD (route d i st i ngu i sher)由PE 路由器的VRF配置命令指定。MP BGP 协议为 VPN 的每个 VPN-IPv4 前缀传递 NLRI (Network Layer Reachabi I ity I nformat i on) o BGP实体之间的通信有两种可能,AS内 的 iBGP和AS间的EBGP,PE-PE和PE-RR(route ref lector)之间为 iBGP, PE-CE 之间为 EBGPoBGP 协议通过 BGP 多协议扩展(BGP mu 11 i protoco I extens i ons 参 见 RFC 2283, Multiprotocol Extens i ons for BGP - 4)来传递 VPNT Pv4 的路由可达性信息，多协议扩展的BGP采用的方法为限定BGP的peer 只能从其它VPN的同伴处得到BGP路由。IP包经过MPLS标签交换到其目标地址，其选路的基础是VRF路由 表和VRF CEF表。PE路由器为每一个从CE路由器学到的前缀产生一个label,然后 将这个lab这作为一个BGP Communities属性附加到BGP更新中传递 出去。当一个源PE路由器从CE路由器处得到一个IP包，它使用从目 标PE路由器学到的label将该IP包发送出去。当目标PE路由器得到 这个labeled IP包后，将label从IP包中去除，作为一个纯IP包发 送到CE路由器。当labeled IP包在核心骨干部分传递时，其基于IabeI switching 或traffic engineered path进行，一个用户的IP包在核心穿行时， 携带了 2层label ：第一层label指示到正确的目标PE路由器；-3!-O2R&S第二层label给目标PE路由器指示，到哪一个其连接的site链路。下面以黄木岗M-HMG-7513-A为例，给出建立一个名为“educat ion” 的 VPN 的 samp Ie conf i gurat i on：Stepl: create vrf i nstanceip vrf education! Define VPN Routinginstance “education ”rd 65001:101! Spec i fy the routedistinguisherroute-target both 65001:101! Configure import andexport route-targets for “education”Step 2: Activating PE exchange of VPNv4 NLRI over iMP-BGP:router bgp 65001! Configure BGPsess i onsno synchronizat/onno bgp default ipv4-activate! Deact i vatedefault IPv4 advertisementsneighbor 123. 123. 1. 230 remote-as 65001! Def i ne I BGPsession with another PEneighbor 123. 123. 1.230 description " M-SN-7507-AIo