电子商务系统结构电子讲义第四章精选文档.ppt

电子商务系统结构电子讲义第电子商务系统结构电子讲义第四章四章电子商务系统结构1浙江大学电子服务研究中心本讲稿第一页，共五十九页第第4章章 性能建模及分析性能建模及分析 4.4 服务器软件竞争模型服务器软件竞争模型4.4.1 竞争模型实例竞争模型实例4.4.2 电子商务网站中的软件竞争电子商务网站中的软件竞争4.4.3 为软件竞争建模为软件竞争建模4.5 电子商务网站工作负载分析电子商务网站工作负载分析4.5.1 Web流量的工作负载特性流量的工作负载特性4.5.2 客户行为描述客户行为描述4.5.3 从从HTTP日志到日志到CBMG4.5.4 从从HTTP日志到日志到CVM4.5.5 在资源级别上描述工作负载在资源级别上描述工作负载4.5.6 电子商务网站基准测试程序电子商务网站基准测试程序4.6网站性能分析实践网站性能分析实践电子商务系统结构2浙江大学电子服务研究中心本讲稿第二页，共五十九页商务模型商务模型功能模型功能模型客户模型客户模型资源模型资源模型商务过程要素商务过程要素商务过程要素商务过程要素顾客行为模型顾客行为模型顾客行为模型顾客行为模型功能结构导航功能结构导航功能结构导航功能结构导航ITIT体系结构和设备体系结构和设备体系结构和设备体系结构和设备商务视角商务视角商务视角商务视角技术视角技术视角技术视角技术视角内部因素内部因素内部因素内部因素外部因素外部因素外部因素外部因素这个参考模型由四层组成，分成两个主要单元。上层单元集中于商务的特这个参考模型由四层组成，分成两个主要单元。上层单元集中于商务的特这个参考模型由四层组成，分成两个主要单元。上层单元集中于商务的特这个参考模型由四层组成，分成两个主要单元。上层单元集中于商务的特性以及通过电子商务站点提供服务的过程。下层单元集中于客户与站点交性以及通过电子商务站点提供服务的过程。下层单元集中于客户与站点交性以及通过电子商务站点提供服务的过程。下层单元集中于客户与站点交性以及通过电子商务站点提供服务的过程。下层单元集中于客户与站点交互的方式以及他们对站点基础设施资源提出的要求。互的方式以及他们对站点基础设施资源提出的要求。互的方式以及他们对站点基础设施资源提出的要求。互的方式以及他们对站点基础设施资源提出的要求。电子商务系统结构3浙江大学电子服务研究中心本讲稿第三页，共五十九页4.1 排队论（数学基础）排队论（数学基础）应用场合(公用电话、售票、网站、银行等)三要素：顾客、服务台、服务分类：顾客到达的性质：顾客数量、到达形式、到达时间间隔排队规则：等待、损失服务规则：FCFS、LCFS、PR、SIRO服务台数量和排队方式：单服务台单队列、多服务台单队列、多服务台多队列、多服务台串联服务电子商务系统结构4浙江大学电子服务研究中心本讲稿第四页，共五十九页排队论中的常用标记排队论中的常用标记n-系统中的客户数-顾客到达的平均速率（p/s）-平均服务速率（p/s）Pn(t)-时刻t系统中有n个顾客的概率c-服务台的个数M-顾客相继到达的时间间隔服从负指数分布D-顾客相继到达的时间间隔服从定长分布Ek-顾客相继到达的时间间隔服从k阶Erlang电子商务系统结构5浙江大学电子服务研究中心本讲稿第五页，共五十九页排队系统的符号表示排队系统的符号表示A/B/C:d/e/fA-顾客到达的概率分布（M、D、Ek）B-服务时间的概率分布（M、D、Ek）C-服务台个数（N）d-排队系统的最大容量（N）e-顾客源的最大容量（N）f-排队规则（FCFS、LCFS）例如：M/M/1:/FCFS 电子商务系统结构6浙江大学电子服务研究中心本讲稿第六页，共五十九页三种分布函数三种分布函数Poisson分布Poisson流的定义：平稳、无后效、普通、有限-顾客到达的平均速率负指数分布到达客户数服从-Poisson，则到达时间间隔服从-负指数分布-平均服务速率k阶Erlang分布负指数分布的随机变量之和服从k阶Erlang分布电子商务系统结构7浙江大学电子服务研究中心本讲稿第七页，共五十九页基本排队模型基本排队模型M/M/1:/FCFS基本排队模型处于概率稳态的条件0(到达速率)(离去速率)系统中有n个顾客的概率为 Pn(t)=n(1-),=/,n=0,1,2系统的运行指标系统中的平均顾客数L=/(1-)队列中的平均顾客数Lq=2/(1-)=L电子商务系统结构8浙江大学电子服务研究中心本讲稿第八页，共五十九页基本排队模型基本排队模型M/M/1:/FCFS系统的运行指标系统空闲的概率P0=1-系统忙碌的概率1-P0=顾客在系统中的停留时间XX服从参数为 的负指数分布顾客在系统中的平均逗留时间WW=1/()电子商务系统结构9浙江大学电子服务研究中心本讲稿第九页，共五十九页基本排队模型基本排队模型M/M/1:/FCFS系统的运行指标顾客在队列中的平均逗留时间Wq Wq=/()电子商务系统结构10浙江大学电子服务研究中心本讲稿第十页，共五十九页例题例题1高速公路入口处设有一个收费通道，汽车到达服从Poisson分布，平均到达速率为100辆/小时，收费时间服从负指数分布，平均收费时间为15 秒/辆，求:1.收费处空闲的概率；2.收费处忙碌的概率；3.系统中分别有1，2，3辆车的概率；电子商务系统结构11浙江大学电子服务研究中心本讲稿第十一页，共五十九页例题例题1解答解答=100 辆/小时，1/=15 秒/辆 =240 辆/小时=/=100/240=5/121.空闲概率:P0=1-=1-5/12=0.5832.忙碌概率:1-P0=0.4173.系统中有1辆车的概率:P1=(1-)=0.243 系统中有2辆车的概率:P2=2(1-)=0.101 系统中有3辆车的概率:P3=3(1-)=0.0421电子商务系统结构12浙江大学电子服务研究中心本讲稿第十二页，共五十九页例题例题2高速公路入口处设有一个收费通道，汽车到达服从Poisson分布，平均到达速率为200辆/小时，收费时间服从负指数分布，平均收费时间为15 秒/辆，求:1.系统中的平均车辆数L；2.队列中的平均车辆数Lq；3.车辆在系统中的平均逗留时间W；4.车辆在队列中的平均时间Wq电子商务系统结构13浙江大学电子服务研究中心本讲稿第十三页，共五十九页例题例题2解答解答=200 辆/小时，1/=15 秒/辆 =240 辆/小时=/=200/240=5/6L=/(1-)=5/6/(1-5/6)=5Lq=2/(1-)=L=5/6*5=4.17W=1/()=1/(240-200)=0.025 h=90 sWq=/()=W=5/6*90=75 s电子商务系统结构14浙江大学电子服务研究中心本讲稿第十四页，共五十九页Little公式公式L=WLq=WqL=Lq+W=Wq+1/电子商务系统结构15浙江大学电子服务研究中心本讲稿第十五页，共五十九页有限队列模型有限队列模型M/M/1:N/FCFS系统中有k个顾客的概率为 Pk(t)=1/(N+1),k=0,1,2N系统的运行指标系统中的平均顾客数L=/(1-)(N+1)N+1/(1-N+1)队列中的平均顾客数Lq=L 1-N(1-)/(1-N+1)=L (1-PN)令e=(1-PN)，e=e/则Lq=L e 电子商务系统结构16浙江大学电子服务研究中心本讲稿第十六页，共五十九页有限队列模型有限队列模型M/M/1:N/FCFS系统的运行指标顾客在系统中的平均逗留时间WW=L/e 顾客在系统中的平均逗留时间WWq=Lq/e=W 1/电子商务系统结构17浙江大学电子服务研究中心本讲稿第十七页，共五十九页4.2 4.2 性能建模及其分析性能建模及其分析 性能模型的概念性能模型的作用性能模型的需求信息性能模型的基本原理 建立简单的性能模型 电子商务系统结构18浙江大学电子服务研究中心本讲稿第十八页，共五十九页性能模型性能模型的概念的概念性能模型表达了工作负载使用系统资源的方法，描述了决定系统性能的主要因素。这些模型使用由资源模型和工作负载模型提供的信息。性能模型被用来计算传统的性能度量标准如响应时间、吞吐量、利用率和平均队列长度，以及新的面向商务的性能度量标准，诸如收入总额或者损失总额 可以分为两个范畴：分析模型和仿真模型 电子商务系统结构19浙江大学电子服务研究中心本讲稿第十九页，共五十九页分析模型分析模型分析模型通过公式来详细说明系统的不同部件之间的交互。例如HTTP事务响应的最小可能时间：RTmin=RTT+请求时间min+站点处理时间+答复时间min其中RTT是网络传输的固有的环路时间，请求时间min=请求大小/带宽是将请求发送到电子商务站点所需的最小时间，站点处理时间是电子商务站点处理请求所花的时间，答复时间min=答复大小/带宽是将答复从电子商务站点发送给客户的所需的最小时间。电子商务系统结构20浙江大学电子服务研究中心本讲稿第二十页，共五十九页仿真模型仿真模型仿真模型通过运行一个仿真程序来模拟一个真实系统的行为。一个仿真程序的结构是基于被仿真的系统的状态和改变系统状态的事件的。仿真程序通过计算事件和系统相关条件的持续时间来测量性能。仿真的最主要的好处是它的通用性。电子商务系统结构21浙江大学电子服务研究中心本讲稿第二十一页，共五十九页性能模型的作用性能模型的作用性能模型帮助我们理解复杂系统的定量行为：在电子商务和基于网络的应用程序的基础结构的设计中，各种问题要求使用模型来测量可供选择的系统。大部分电子商务应用程序是在多级环境中操作的。电子商务应用程序通常是由在不同主机上运行的过程组合而成的。应用程序在设计时通常没有考虑到网络花费。所以，模型可以被用来分析分布式应用程序的性能和评估网络的影响。电子商务系统结构22浙江大学电子服务研究中心本讲稿第二十二页，共五十九页性能模型的作用（续）性能模型的作用（续）复杂应用程序的性能调整是一个巨大的领域。当一个电子商务应用程序出现了性能问题时，解答问题的强制步骤是调整基础的系统。这个意味着测量系统并且试着指出性能问题的根源：应用程序设计、性能匮乏、负载超额或者是基础结构的问题（即网络、服务器、ISP）。性能模型可以通过回答假设性分析问题，而不是在生产环境中进行任何变化，来帮助发现性能问题。电子商务系统结构23浙江大学电子服务研究中心本讲稿第二十三页，共五十九页性能模型的作用（续）性能模型的作用（续）在Internet上进行商务活动意味着要处理不可预测的通信量。同时，客户要求电子商务公司在响应时间、可用性和可靠性方面提供高质量的服务。面对这样多的风险，容量规划是电子商务的关键技术。容量规划的核心是它预测站点性能的能力，容量规划必须能够预测一个给定配置的站点在执行由客户生成的给定的工作负载时站点的性能。电子商务系统结构24浙江大学电子服务研究中心本讲稿第二十四页，共五十九页建模建模/预测范例预测范例 性能分析性能分析性能建模性能建模性能预测性能预测真真 实实 系系统统收集数据收集数据性能测量性能测量建立模型建立模型获得参数获得参数解答模型解答模型验证模型验证模型设设 计计 系系统统 的的 性性能能确认模型确认模型修改模型修改模型电子商务系统结构25浙江大学电子服务研究中心本讲稿第二十五页，共五十九页客户端客户端/服务器端交互图服务器端交互图(CSID)一个CSID包括节点（矩形和圆圈）和连接这些节点的箭头。CSID的节点表示在执行电子商务功能期间对客户端和/或服务器端的访问。圆形节点通常代表执行电子商务功能期间涉及的服务器，圆圈节点内部的标注（如WS、AS、DB）指出了服务器的名称。CSID中的弧线用p,m类型的对来标注，其中p是消息发送的概率，m是消息的字节大小。通过CSID中的节点表示的客户和服务器的各种资源的消耗在对同一个客户端或服务器端的不同访问中可能是不同的。电子商务系统结构26浙江大学电子服务研究中心本讲稿第二十六页，共五十九页服务时间和服务需求服务时间和服务需求 电子商务事务的定义服务时间构成服务器上的服务时间通信网络的服务时间 队列、等待时间和响应时间 电子商务系统结构27浙江大学电子服务研究中心本讲稿第二十七页，共五十九页服务时间和服务需求服务时间和服务需求 电子商务事务（Transaction）的定义：一个电子商务的事务被定义为一个来自客户的要求执行电子商务站点所提供的功能的请求。考虑被一个电子商务事务使用的任意一个资源i。这里有不同层次的资源。我们可能正在研究高层次的资源，如付款和认证服务器。或者我们对低层次的资源感兴趣，如处理器和服务器的磁盘或者一个LAN的段，甚至是一个路由器。一个事务在它结束之前，可能需要访问资源i多次。电子商务系统结构28浙江大学电子服务研究中心本讲稿第二十八页，共五十九页队列、等待时间和响应时间队列、等待时间和响应时间电子商务中的事务在其执行过程中，必须使用许多不同的资源，例如网络服务器、数据库服务器和付款服务器。每当一个事务或者请求访问一个资源时，它必须排在队列里以等待使用这个资源。响应时间=等待时间+服务时间(4.14)这里响应时间是指每次对资源的访问中，事务花在排队和获得服务上的时间。电子商务系统结构29浙江大学电子服务研究中心本讲稿第二十九页，共五十九页性能定律性能定律 利用率定律 利用率=到达速率*每事务平均服务时间/队列资源数 强制流模型 平均吞吐量=平均访问对列数*单位时间完成事务数 服务需求定律 服务需求=系统吞吐量*利用率 Little定律 黑盒子中的客户的平均数量=黑盒子的吞吐率*客户平均停留时间 电子商务系统结构30浙江大学电子服务研究中心本讲稿第三十页，共五十九页利用率定律利用率定律系统中的资源i的利用率Ui定义为资源忙碌的时间比例。所以，如果我们在秒内监视队列i，发现资源在Bi秒内忙碌，它的利用率Ui就是Bi/。假设在相同的时间内，系统结束了C0个事务。这表明这个队列的平均吞吐量是Xi=C0/。将这个关系结合利用率的定义，我们得到以下关系Ui=Bi/=Bi/(C0/Xi)=(Bi/C0)Xi=Si Xi(4.17)电子商务系统结构31浙江大学电子服务研究中心本讲稿第三十一页，共五十九页注意到在等式(4.17)中，我们使用了这事实，每个事务的平均服务时间Si等于资源的忙碌时间（Bi）除以监测时间内被服务的事务的数目。在平衡状态中，到达率i=平均吞吐量Xi 我们得到Ui=Xi Si=i Si(利用率到达速率*每事务平均服务时间)(4.18)电子商务系统结构32浙江大学电子服务研究中心本讲稿第三十二页，共五十九页强制流模型（强制流模型（Forced Flow）根据平均访问数Vi的定义，每个结束的事务要平均通过队列i的次数为Vi。所以，如果每个单位时间结束X0个事务，则每个单位时间内Vi X0个事务访问了资源i。所以，队列i的平均吞吐量Xi是Vi X0。这简单的结果就是强制流定律，记为Xi=Vi X0（4.19）电子商务系统结构33浙江大学电子服务研究中心本讲稿第三十三页，共五十九页服务需求定律服务需求定律服务需求Di定义为：评价访问次数Vi 平均服务时间 Si它可以很容易地由系统吞吐量和利用率来表示，只要结合利用率和强制流规则。Di=Vi Si=(Xi/X0)(Ui/Xi)=Ui/X0电子商务系统结构34浙江大学电子服务研究中心本讲稿第三十四页，共五十九页LittleLittle定律定律一个队列进入稳定状态以后，可以用下列参数来描述队列的特性：队列的请求平均达到速率(以每秒请求到达的个数计算)N队列的平均长度，即队列中等待和正在接受服务的请求的平均个数。T一个请求通过队列所需的平均时间，包括在队列中等待的时间加上接受服务的时间。于是N=T这就是著名的Little定理。电子商务系统结构35浙江大学电子服务研究中心本讲稿第三十五页，共五十九页瓶颈和可扩展性分析瓶颈和可扩展性分析渐进性的界限 在极端负载的条件下，也就是低负载或者高负载的情况下，确定系统的吞吐量和响应时间的界限 分类开放式模型：允许请求到达、通过各种资源（如电子商务站点的服务器）和离开系统。封闭式模型：只允许固定数量的请求 电子商务系统结构36浙江大学电子服务研究中心本讲稿第三十六页，共五十九页4.3 电子商务站点性能建模与分析电子商务站点性能建模与分析简单例子单队列法队列网络模型多类队列网络电子商务系统结构37浙江大学电子服务研究中心本讲稿第三十七页，共五十九页简单例子简单例子在线玩具商店在线玩具商店电子商务系统结构38浙江大学电子服务研究中心本讲稿第三十八页，共五十九页单队列模型单队列模型单队列模型是一种最基本的队列模型，它包括接受请求进程、服务进程、作为等待服务的请求队列的空间和辅助服务进程的资源个数。队列代表一种资源（比如处理器、I/O和网络等），可以用函数S(n)来描述。S(n)表示当队列中有n个请求时，平均每个请求的服务时间。注意，队列这个术语表示的是等待队列加上资源本身。队列中的请求的个数n,称为队列的长度 电子商务系统结构39浙江大学电子服务研究中心本讲稿第三十九页，共五十九页在队列网络中有3种资源，它们的主要区别在于请求是否排队等候服务，以及平均服务时间S(n)是否取决于队列长度n.这3种资源类型包括：负载无关(Load-independent)资源：这类资源具有等待队列，但平均服务时间不依赖于负载，即对所有n,S(n)=S。负载依赖(Load-dependent)资源:这类资源具有等待队列，但平均服务时间依赖于工作负载，即S(n)的结果取决于n。延迟(Delay-resources)资源:这类资源没有队列，所以每个请求在延时资源上所花时间就是请求的服务时间。平均服务时间不依赖于资源上的请求数，即对所有n,S(n)=S。电子商务系统结构40浙江大学电子服务研究中心本讲稿第四十页，共五十九页假设假设无限队列假设。假设系统不拒绝任何到达的请求，所有到达的请求都排队等候服务。相似工作负载(Homogeneous workload)假设。系统不区分请求的类型，所有请求都被看作是相同的，建模者关心的只是请求的个数。做这个假设是合理的，因为基于WEB的应用，请求类型有限，可以归为几个大类。运作均衡（Operational equilibrium）假设。在一个观察时段的起始时刻系统中的请求数大致等于这个时段终止时刻系统中的请求数（这个时段内系统中请求个数可以有变化），也就是说在一个足够长的观察时间内，离开系统的请求个数和到达系统的请求个数大致相同。Markovian假设。系统中等待的和正在被服务的请求个数作为系统状态的唯一描述参数，过去的状态和当前的分析没有任何关系，也就是说，系统如何到达某个状态,以及在状态停留多少时间并不在我们考虑之列，我们唯一感兴趣的是当前系统处于状态。电子商务系统结构41浙江大学电子服务研究中心本讲稿第四十一页，共五十九页单队列模型的解决方案单队列模型的解决方案 我们从决定如何描述搜索服务器的状态开始。根据以上给定的假设，这个搜索服务器的状态描述只有一个参数服务器中等待或正在接受服务的请求的个数。选择这样一个简单的状态描述参数就隐含了一个假设：过去的状态和当前分析无关。这就意味着如何达到某个状态K，以及在这个状态维持多少时间并没有关系，唯一有关系的是系统处在状态K,这就是无记忆或Markovian假设。电子商务系统结构42浙江大学电子服务研究中心本讲稿第四十二页，共五十九页状态转换图状态转换图(State transtition(State transtition diagram,STD)diagram,STD)可能的状态用整数0,1,2,k,来表示。由于无限访问人数和无限队列长度这两个假设，状态的数目是无限可列的。我们画一个状态转换图(State transtition diagram,STD)。电子商务系统结构43浙江大学电子服务研究中心本讲稿第四十三页，共五十九页流均衡假设流均衡假设流出（flow out）边界是指任何导致从边界内的一个状态到边界外的一个状态的转换，流入（flow in）边界指任何导致从边界外的一个状态到边界内的一个状态的转换。下面是一个flow-out=flow-in等式集：flow-in=flow-out P1=P0 P2=P1 Pk=Pk-1 电子商务系统结构44浙江大学电子服务研究中心本讲稿第四十四页，共五十九页 K=1,2,（4.38）由于P0+P1+Pk+=1于是：系统的利用率系统的利用率电子商务系统结构45浙江大学电子服务研究中心本讲稿第四十五页，共五十九页Pk=(1-U)Uk 这就是说系统的状态分布只依赖于利用率，而不是单独的和。获得Pk以后，根据平均值的定义，我们可以计算得到队列的平均长度：当当Ux的概率以 减小。这里x是一个大值，00 分布的尾部是 。在Web上当来自Web服务器的大多数文件都较小时，获得一个大文件的概率是不可忽略的。电子商务系统结构55浙江大学电子服务研究中心本讲稿第五十五页，共五十九页许多研究经验表明:小图片占用了绝大多数的网络流量;文档大小和请求频率成反比;HTTP流量呈现自相似，也就是说，它从微妙到分钟的时间跨度内显示出相似的突发流量模式电子商务系统结构56浙江大学电子服务研究中心本讲稿第五十六页，共五十九页电子商务网站基准测试电子商务网站基准测试:TPC-W:TPC-W 精确的工作负载特性描述可以用来建立基准测试程序组。这种程序组可以估测和比较竞争系统。目前Web服务器的工作负载产生程序包括:Mindraft的Webstore、SPEC的SPECWEB96和SPECWEB99、SURGE等。事务处理性能委员会(the Transaction Processing Performance Council,TPC)刚刚发布了TPC-W。它是第一个以对支持电子商务活动的网站的评估为目标的基准测试程序。这一节我们概要介绍这个基准测试程序，感兴趣的读者可以参阅TPC-W规范。电子商务系统结构57浙江大学电子服务研究中心本讲稿第五十七页，共五十九页TPC-WTPC-W商务模型商务模型 TPC-W商务模型是一个在网上出售产品和服务的B2C模型。网站提供的功能包括：浏览选中的商品（比如最好的卖主和新的产品），搜索已存在的产品的信息，查看产品细节信息，下单、查找以前的交易纪录等。定购单在交互中用SSL包装，采用RSA、RC4和MD5算法加密，客户在购买之前应该先在网站上注册。电子商务系统结构58浙江大学电子服务研究中心本讲稿第五十八页，共五十九页TPC-WTPC-W商务模型商务模型(续续)网站提供一个供用户查找的目录，目录中每一项是一个产品描述和一张5k大小的略图。TPC-W对网站客户数据库维护、目录、订单和信用卡交易进行了规范。所有数据库修改必须是ACID(原子性、一致性、独立性和持久性)。目录大小是TPC-W最主要的衡量参数，目录中的项数可以是以下之一:1000,10000,100000,1000000和10000000。电子商务系统结构59浙江大学电子服务研究中心本讲稿第五十九页，共五十九页