YD∕T 3822-2021 内容分发网络技术要求 业务统计信息(通信).pdf

ICS 33.040.40L78中 华 人 民 共 和 国 通 信 行 业 标 准YDYD/T 20内容分发网络技术要求 业务统计信息The technical requirements of Content delivery network business statistics（报批稿）20-发布20-实施中华人民共和国工业和信息化部 发布 目 次 前 言.II 1 范围.1 2 术语定义及缩略语.1 2.1 术语及定义.1 2.2 缩略语.1 3 概述.1 4 调度统计信息.2 4.1 命名要求.2 4.2 统计信息格式要求.2 4.3 DNS 域名解析统计信息.3 4.4 应用层重定向调度统计信息.3 5 分发系统统计信息.3 5.1 文件命名.4 5.2 格式要求.4 5.3 用户访问统计信息.4 5.4 回源统计信息.5 5.5 IPTV 业务统计信息.6 6 系统统计信息.8 6.1 命名要求.8 6.2 格式要求.8 6.3 系统操作统计信息.8 6.4 系统运行统计信息.9 7 统计信息采集模式.9 8 安全性要求.9 前 言 本标准按照GB/T 1.1-2009给出的规则起草。请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别这些专利的责任。本标准由中国通信标准化协会提出并归口。本标准起草单位：中国移动通信集团公司、中国信息通信研究院、中国电信集团有限公司、中兴通讯股份有限公司、网宿科技股份有限公司 本标准主要起草人：郭嵩、聂秀英、杨崑、李昂、陈戈、缪川杨、吴慧芳1 内容分发网络技术要求内容分发网络技术要求 业务统计信息业务统计信息 1范围 本标准描述了内容分发网络中业务统计信息的要求，主要内容包括：业务统计信息的类型、命名及格式要求、字段定义、采集方式及安全性要求等方面的内容。本标准适用于内容分发网络的建设及运营。2术语定义及缩略语 2.1术语及定义 下列术语及定义适用于本文件。2.1.1 UTF-8 8-bit Unicode transformation format 是一种针对Unicode的可变长度字符编码，又称万国码。2.2缩略语 下列缩略语适用于本文件。CDN 内容分发网络 Content Delivery Network DNS 域名系统 Domain Name System HTTP 超文本传输协议 Hyper Text Transfer Protocol IP 互联网协议 Internet Protocol FTP 文件传输协议 File Transfer Protocol URL 统一资源定位器 Uniform Resoure Locator 3概述 CDN在运营过程中会生成大量的业务统计信息，通过对业务统计信息进行统计和分析，对于CDN的运营维护具有重要的指导意义，并且通过制定统一的统计信息格式和要求，也有助于CDN虚拟运营商统一管理对接的多个CDN系统，并可通过对各CDN系统业务统计信息的汇总分析，对外提供各类业务运营分析数据。通过对各类业务统计信息的采集和分析，可实现以下功能：a)当某网元出现故障或异常告警时，可以通过排查当前网元生成的统计信息来定位问题原因；2 b)通过对分发子系统生成的用户访问统计信息进行采集处理可生成报表用于系统计费；c)通过对原始统计信息进行分析，可以生成CDN运营统计数据并可提供界面展现用于指导运营。本标准将对CDN中各系统生成的业务统计信息提出规范性要求。依据CDN业务统计信息记录内容不同，将业务统计信息分为三类：a)调度系统统计信息：DNS域名解析统计信息、应用层重定向调度统计信息；b)分发系统统计信息：用户访问统计信息、回源统计信息及IPTV业务统计信息；c)系统日志：系统操作统计信息；本标准仅定义各类业务统计信息的基本字段，在满足本标准定义的字段要求基础之上，各 CDN 系统应支持针对运营需求、业务需求等个性化需求对业务统计信息字段灵活扩展。4调度统计信息 调度系统应按要求，输出调度统计信息文件，以支撑系统运营分析，调度统计信息包括DNS域名解析统计信息和应用层重定向调度统计信息。4.1命名要求 统计信息文件采用CDN_Type_NodeId_DeviceId_DateTime_Index.log的方式进行命名，其中各字段意义如下：a）CDN：固定字符串，表示该统计信息是内容分发网络的统计信息；b）Type：统计信息类型：1)DNS代表域名解析统计信息；2)302代表应用层重定向统计信息；c）NodeId：内容网络节点ID，全网唯一；d）DeviceId：设备ID，节点内唯一；e）DateTime：表示生成该文件生成时间，采用UTC格式，其格式为：年年年年月月日日时时分分秒秒，如20070703201200表示文件生成时间为2007年7月3日20时12分00秒；f）Index：统计信息文件序号，从1开始递增，用于对超长的统计信息文件进行切割。4.2统计信息格式要求 统计信息文件采用UTF-8文本格式。文件中每一行作为一条记录，各条记录之间用“回车、换行符”作为分隔并在文件中连续书写。3 文件中每条记录的属性值按顺序排列，各属性间使用分隔符（建议使用“|”）分隔，在生成文件时若相应的属性值为空，则用大写字符串“NULL”表示。4.3DNS域名解析统计信息 DNS域名解析统计信息的属性项如表1所示：表1 DNS域名解析统计信息属性项表 字段名称 说明 请求处理时间 接收到请求的时间戳 请求源 IP 发起 DNS 解析的源 IP 地址，支持 IPv4/IPv6 请求目的 IP 发起 DNS 解析的目的 IP 地址，支持 IPv4/IPv6 目标域名 需要进行解析的目标域名 解析结果 返回给用户的域名解析结果，支持多个解析地址或 CNAME域名，多个结果之间用“，”分隔 生存时间（TTL）域名解析的生命周期 4.4应用层重定向调度统计信息 应用层重定向统计信息的属性项如表2所示：表2 应用层重定向统计信息属性项表 字段名称 说明 请求处理时间 接收到请求的时间戳 用户 IP 地址 发起请求的用户的源 IP 地址，支持 IPv4/IPv6 用户请求 IP 地址 用户请求的目的 IP 地址，支持IPv4/IPv6 目标 URL 用户请求的目标 URL 目标 IP 重定向的目标 IP，支持IPv4/IPv6 重定向 URL 返回给用户的重定向后的 URL 5分发系统统计信息 4 5.1文件命名 统计信息文件采用CDN_Type_NodeId_DeviceId_DateTime_Index.log的方式进行命令，其中各字段意义如下：a）CDN：固定字符串，表示该统计信息是内容分发网络的统计信息；b）Type：统计信息类型：1)Access：用户访问统计信息；2)Source：回源统计信息；3)IPTV：IPTV业务统计信息。c）NodeId：内容网络节点ID，全网唯一；d）DeviceId：设备ID，节点内唯一；e）DateTime：表示生成该文件生成时间，其格式为：年年年年月月日日时时分分秒秒，如20070703201200 表示文件生成时间为2007年7月3日20时12分00秒；f）Index：统计信息文件序号，从1开始递增，用于对超长的统计信息文件进行切割。5.2格式要求 统计信息文件采用UTF-8文本格式。文件中每一行作为一条记录，各条记录之间用“回车、换行符”作为分隔并在文件中连续书写。文件中每条记录的属性值按顺序排列，各属性间使用分隔符（建议使用“|”）分隔，在生成文件时若相应的属性值为空，则用大写字符串“NULL”表示。5.3用户访问统计信息 边缘节点应记录用户发起的访问请求信息，并生成用户访问统计信息，统计信息的属性项如表3所示：表3 用户访问统计信息属性项 字段名称 说明 记录时间 写入的时间 缓存设备信息 缓存服务器 IP 地址，支持 IPv4/IPv6 用户 IP 地址 发起请求的用户的源 IP 地址，支持 IPv4/IPv6 用户请求 IP 地址 用户请求的服务器 IP 地址，支持 IPv4/IPv6 HTTP 方法 HTTP 请求的 Method 字段内容 HTTP 版本 HTTP 请求的 VERSION 字段内容 HTTP 主机 HTTP 请求的 Host 字段内容 HTTP 统一资源标识符 HTTP 请求的 URI 字段内容 5 HTTP 用户代理 HTTP 请求的 User-agent 字段内容 HTTP 引用 HTTP 请求的 Referer 字段内容 HTTP 内容类型 缓存设备向用户返回的 HTTP 应答的 Content-type 字段内容 HTTP 状态码 缓存设备向用户返回的 HTTP 应答的 Status-code 字段内容 缓存命中状态 用户请求是否命中缓存 缓存服务端口 程序为用户提供服务的端口号 缓存吐出流量 本次请求缓存向用户吐出的流量 请求开始时间 用户请求开始的时间 请求结束时间 用户请求结束的时间 首字节响应时间 收到用户 HTTP 请求后到向用户发送第一个字节的时间。URL 哈希值 用户请求 URL 计算的唯一标识，仅用于缓存内部识别资源 请求断开标识 用于区分是客户侧或服务侧的因素断开请求 回源源 IP 地址 本次请求回源使用的源 IP 地址，支持 IPv4/IPv6 回源目的 IP 地址 本次请求回源访问的目的 IP 地址，支持 IPv4/IPv6 回源 HTTP 方法 本次请求回源的请求的 Method 字段内容 回源 HTTP 主机 本次请求回源的请求的 Host 字段内容 回源 HTTP 统一资源标识符 本次请求回源的请求的 URI 字段内容 回源 HTTP 内容类型 源站向缓存返回的 HTTP 应答的 Content-type 字段内容 回源 HTTP 状态码 源站向缓存返回的 HTTP 应答的 Status-code 字段内容 回源关闭状态 缓存与源站间连接关闭状态 回源缓存控制 源站向缓存返回的可缓存状态 回源最大生命值 源站向缓存返回的 Max-age 状态 回源文件大小 回源文件的大小 缓存保存状态 本次请求的回源内容是否在缓存中进行保存 回源服务端口 回源时源站提供服务的端口号 回源流量 本次请求回源产生的流量 回源请求开始时间 回源请求开始的时间 回源请求结束时间 回源请求结束的时间 源站首字节响应时间 向源站发送 HTTP 请求后收到源站返回的第一个字节的时间。内容提供商标识 客户 ID 名称 内容长度 源站向缓存返回的 HTTP 应答的 Content-Length 字段内容 资源大小 HTTP 请求的 Range 字段内容 断开原因 边缘节点记录原因，0-异常挂断，1-正常 5.4回源统计信息 当下级节点向汇聚节点或内容中心发起回源请求时，节点应根据回源信息生成回源统计信息，回源统计信息的属性项如表4所示：表4 回源统计信息属性项 字段名称 说明 6 记录时间 写入的时间 缓存设备信息 缓存服务器 IP 地址，支持 IPv4/IPv6 回源类型 主动回源或被动回源 回源源 IP 地址 本次请求回源使用的源 IP 地址，支持 IPv4/IPv6 回源目的 IP 地址 本次请求回源访问的目的 IP 地址，支持 IPv4/IPv6 回源 HTTP 方法 本次请求回源的请求的 Method 字段内容 回源 HTTP 版本 本次请求回源的请求的 VERSION 字段内容 回源 HTTP 主机 本次请求回源的请求的 Host 字段内容 回源 HTTP 统一资源标识符 本次请求回源的请求的 URI 字段内容 回源 HTTP 内容类型 源站向缓存返回的 HTTP 应答的 Content-type 字段内容 回源 HTTP 状态码 源站向缓存返回的 HTTP 应答的 Status-code 字段内容 回源关闭状态 缓存与源站间连接关闭状态 回源缓存控制 源站向缓存返回的可缓存状态 回源最大生命周期 源站向缓存返回的 Max-age 状态 回源文件大小 回源文件的大小 缓存保存状态 本次请求的回源内容是否在缓存中进行保存 回源服务端口 回源时源站提供服务的端口号 回源流量 本次请求回源产生的流量 回源请求开始时间 回源请求开始的时间 回源请求结束时间 回源请求结束的时间 源站首字节响应时间 向源站发送 HTTP 请求后收到源站返回的第一个字节的时间。5.5IPTV业务统计信息 边缘节点记录IPTV业务信息，并生成IPTV业务统计信息，统计信息的属性项如表5所示：表5 IPTV业务统计信息属性项 字段名称 说明 版本 话单版本号，便于后续话单格式兼容性设计。会话编号 会话编号，最大长度32字节字符串 用户代码 用户代码：从AuthInfo中解析。没有则不填。用户IP 用户IP地址：从AuthInfo中解析。非托管模式和OTT服务可以从请求数据包中获取，支持IPv4/IPv6。内容服务类型 内容服务类型：00-点播，01-直播，02-回看,03-时移，04-文件，05-其他。访问协议 访问协议 0 x01-IPTV TS RTSP，0 x02-HPD 0 x04-ISMA RTSP0 x08-HLS 内容编号 内容编号，内容对应的ContentID 7 内容提供商ID 内容提供商ProviderID，和ContentID一起组成CDN全局唯一内容标识二元组UniContentID。开始时间 用户请求开始时间。为北京时间。其格式为：年年年年月月日日时时分分秒秒+08，如20070703201200+08 表示用户服务请求时间为北京时间2007 年7 月3 日20 时12 分00 秒。结束时间 用户请求结束时间。为北京时间。其格式为：年年年年月月日日时时分分秒秒+08，如20070703201200+08 表示用户服务请求时间为北京时间2007 年7 月3 日20 时12 分00 秒。节点编号 服务节点编号。设备IP 最终服务的设备IP。IPv4或IPv6均可。如：“192.18.89.1”服务总流量 服务总流量。单位为Mbps。服务时长 服务时长，不包括用户暂停的时间。单位为s。服务结束原因 服务结束原因：0:正常挂断 1:超时 2:服务器主动中断 3:计费时间到 4:计费流量到 99:其它，其中3和4暂时预留，目前没有计费确认接口。异常结束简单描述 服务异常结束简单描述，英文描述（0:正常挂断 1:超时 2:服务器主动中断 3:计费时间到 4:计费流量到 99:其它），其中3和4暂时预留，目前没有计费确认接口。时移次数 频道服务过程中进入时移的次数，根据时移统计开关配置启动。PC业务没有就不填。对于HLS，就是1次。时移时长 时移服务的时长，不包括暂停的时间，根据时移统计开关配置启动，为时延结束时间-开始时间。单位s。PC业务没有就不填。时移流量 时移服务的流量。单位为Mbps。PC业务没有就不填。时移最大偏移时长 用户时移过程中与直播点偏移的最大时长，根据时移统计开关配置启动，单位是s。PC业务没有就不填。调度原因 服务调度原因：1)本地命中服务。（本地命中）2)http边中继边服务。（本地未命中拉流）URL 用户访问完整PlaybackURL（含参数）。HLS最高码率 最高的HLS服务码率，单位为Mbps HLS最低码率 最低的HLS服务码率，单位为Mbps HLS平均码率 平均的HLS服务码率，单位为Mbps 保留字段1 保留字段1 保留字段2 保留字段2 保留字段3 保留字段3 保留字段4 保留字段4 保留字段5 保留字段5 8 6系统统计信息 6.1命名要求 统计信息文件采用CDN_Type_NodeId_DeviceId_DateTime_Index.log的方式进行命令，其中各字段意义如下：a）CDN：固定字符串，表示该统计信息是内容分发网络的统计信息；b）Type：统计信息类型：1)Operator：系统操作统计信息；2)Working：系统运行统计信息。c）NodeId：内容网络节点ID，全网唯一；d）DeviceId：设备ID，节点内唯一；e）DateTime：表示生成该文件生成时间，其格式为：年年年年月月日日时时分分秒秒，如20070703201200 表示文件生成时间为2007年7月3日20时12分00秒；f）Index：统计信息文件序号，从1开始递增，用于对超长的统计信息文件进行切割。6.2格式要求 统计信息文件采用UTF-8文本格式。文件中每一行作为一条记录，各条记录之间用“回车、换行符”作为分隔并在文件中连续书写。文件中每条记录的属性值按顺序排列，各属性间使用分隔符（建议使用“|”）分隔，在生成文件时若相应的属性值为空，则用大写字符串“NULL”表示。6.3系统操作统计信息 系统操作统计信息的属性项如表5所示：表5 系统操作统计信息属性项 字段名称 说明 用户名 需要查看的用户的名称。用户 IP 地址 需要查看的用户的 IP 地址支持 IPv4/IPv6。操作描述 描述该用户进行的操作。操作结果 描述用户执行该操作后的结果。统计信息等级 需要查看的统计信息的级别。统计信息级别由高到低为：关键、重要、普9 通。操作时间 需要查看的统计信息的操作时间。6.4系统运行统计信息 系统运行统计信息如表6所示：表6 系统运行统计信息属性项 字段名称 说明 时间 用于记录系统时间 系统行为 记录系统自身运行记录，如重启，配置加载等 行为结果 描述上述行为结果，如启动正常，配置加载失败等 原因 描述上述结果原因，如配置内容错误等 7统计信息采集模式 调度统计信息由CDN全局内容路由生成，并存储在本地，支持采用FTP/SFTP的方式周期上报至CDN的管理平台。分发系统统计信息由边缘节点、汇聚节点及内容中心产生，其中用户访问统计信息由边缘节点根据其服务用户情况生成，并将生成的统计信息存储在本地；回源统计信息由汇聚节点及内容中心根据下级节点发起回源请求生成，并将生成的统计信息存储在本地；系统统计信息由边缘节点、汇聚节点及内容中心根据用户系统操作行为生成，并将生成的统计信息存储在本地。CDN各子系统应按照系统配置周期性生成各类统计信息，并支持对节点统计信息进行完整性校验，支持采用FTP/SFTP的方式定时上报至CDN的管理平台，也支持以FTP/SFTP的方式作为服务器端对外提供统计信息下载功能。CDN各子系统支持本节点统计信息在非压缩状态下本地存储时长15天，超过15天后，以ZIP压缩方式保存不少于6个月。应支持根据对接系统及业务需求，延长统计信息保存时间。8安全性要求 统计信息中的敏感信息应加密存储，加密算法可根据需要选择DES、AES、RSA等。