数据库原理查询处理及查询优化n.pptx

第9章 关系查询处理及查询优化1 关系数据库系统的查询处理2 关系数据库系统的查询优化3 代数优化4 物理优化第1页/共71页查询优化分类代数优化关系代数表达式的优化。物理优化存取路径和底层操作算法选择。第2页/共71页1 关系数据库系统的查询处理1.1 查询处理步骤1.2 实现查询操作的算法示例第3页/共71页1.1 查询处理步骤第4页/共71页查询分析对查询语句进行扫描、词法分析和语法分析 从查询语句中识别出语言符号 进行语法检查和语法分析 第5页/共71页查询检查 根据数据字典对合法的查询语句进行语义检查 根据数据字典中的用户权限和完整性约束定义对用户的存取权限进行检查 检查通过后把SQL查询语句转换成等价的关系代数表达式 RDBMS一般都用查询树(语法分析树)来表示扩展的关系代数表达式 把数据库对象的外部名称转换为内部表示 第6页/共71页查询优化查询优化选择一个高效执行的查询处理策略 查询优化分类 代数优化：指关系代数表达式的优化物理优化：指存取路径和底层操作算法的选择查询优化方法选择的依据基于规则(rule based)基于代价(cost based)基于语义(semantic based)第7页/共71页查询执行 依据优化器得到的执行策略生成查询计划代码生成器(code generator)生成执行查询计划的代码 第8页/共71页1.2 实现查询操作的算法示例一、选择操作的实现 二、连接操作的实现第9页/共71页一、选择操作的实现 例1Select*from student where ；考虑的几种情况：C1：无条件；C2：Sno200215121；C3：Sage20；C4：SdeptCS AND Sage20；第10页/共71页选择操作典型实现方法1.简单的全表扫描方法 对查询的基本表顺序扫描，逐一检查每个元组是否满足选择条件，把满足条件的元组作为结果输出 适合小表，不适合大表2.索引(或散列)扫描方法 适合选择条件中的属性上有索引(例如B+树索引或Hash索引)通过索引先找到满足条件的元组主码或元组指针，再通过元组指针直接在查询的基本表中找到元组 第11页/共71页选择操作的实现（续）例1-C2 以C2为例，Sno200215121，并且Sno上有索引(或Sno是散列码)使用索引(或散列)得到Sno为200215121 元组的指针通过元组指针在student表中检索到该学生例1-C3 以C3为例，Sage20，并且Sage 上有B+树索引使用B+树索引找到Sage20的索引项，以此为入口点在B+树的顺序集上得到Sage20的所有元组指针通过这些元组指针到student表中检索到所有年龄大于20的学生。第12页/共71页选择操作的实现（续）例1-C4 以C4为例，SdeptCS AND Sage20，如果Sdept和Sage上都有索引：算法一：分别用上面两种方法分别找到SdeptCS的一组元组指针和Sage20的另一组元组指针求这2组指针的交集到student表中检索得到计算机系年龄大于20的学生算法二：找到SdeptCS的一组元组指针，通过这些元组指针到student表中检索对得到的元组检查另一些选择条件(如Sage20)是否满足把满足条件的元组作为结果输出。第13页/共71页二、连接操作的实现 连接操作是查询处理中最耗时的操作之一 本节只讨论等值连接(或自然连接)最常用的实现算法 例2 SELECT*FROM Student，SC WHERE Student.Sno=SC.Sno；第14页/共71页连接操作的实现（续）1.嵌套循环方法(nested loop)2.排序-合并方法(sort-merge join 或merge join)3.索引连接(index join)方法 4.Hash Join方法 第15页/共71页嵌套循环方法(nested loop)对外层循环(Student)的每一个元组(s)，检索内层循环(SC)中的每一个元组(sc)检查这两个元组在连接属性(sno)上是否相等如果满足连接条件，则串接后作为结果输出，直到外层循环表中的元组处理完为止 第16页/共71页排序-合并方法如果连接的表没有排好序，先对Student表和SC表按连接属性Sno排序 取Student表中第一个Sno，依次扫描SC表中具有相同Sno的元组当扫描到Sno不相同的第一个SC元组时，返回Student表扫描它的下一个元组，再扫描SC表中具有相同Sno的元组，把它们连接起来 重复上述步骤直到Student 表扫描完第17页/共71页200215121200215122200215123200215124.200215121 1 92200215121 2 85200215121 3 88200215122 2 90200215122 3 80.排序-合并连接方法示意图第18页/共71页排序-合并方法的特点Student表和SC表都只要扫描一遍如果2个表原来无序，执行时间要加上对两个表的排序时间对于2个大表，先排序后使用sort-merge join方法执行连接，总的时间一般仍会大大减少 第19页/共71页索引连接(index join)方法步骤：如果原来没有该索引，在SC表上建立属性Sno的索引。对Student中每一个元组，由Sno值通过SC的索引查找相应的SC元组 把这些SC元组和Student元组连接起来 循环执行，直到Student表中的元组处理完为止 第20页/共71页Hash Join方法步骤：划分阶段(partitioning phase)：对包含较少元组的表(比如R)进行一遍处理把它的元组按hash函数分散到hash表的桶中试探阶段(probing phase)：也称为连接阶段(join phase)对另一个表(S)进行一遍处理，把S的元组散列到适当的hash桶中。把元组与桶中所有来自R并与之相匹配的元组连接起来 第21页/共71页2 关系数据库系统的查询优化2.1 查询优化概述2.2 一个实例第22页/共71页查询优化概述（续）查询优化的优点用户不必考虑如何最好地表达查询以获得较好的效率于系统可以比用户程序的“优化”做得更好(1)优化器可以从数据字典中获取许多统计信息，而用户程序则难以获得这些信息(2)如果数据库的物理统计信息改变了，系统可以自动对查询重新优化以选择相适应的执行计划。非关系系统中必须重写程序，而重写程序在实际应用中往往是不太可能的。(3)优化器可以考虑数百种不同的执行计划，程序员一般只能考虑有限的几种可能性。(4)优化器中包括了很多复杂的优化技术，这些优化技术往往只有最好的程序员才能掌握。系统的自动优化相当于使得所有人都拥有这些优化技术第23页/共71页RDBMS代价模型集中式数据库执行开销主要包括：磁盘存取块数(I/O代价)处理机时间(CPU代价)查询的内存开销 I/O代价是最主要的 分布式数据库总代价=I/O代价+CPU代价+内存代价通信代价 第24页/共71页查询优化的总目标选择有效的策略求得给定关系表达式的值使得查询代价最小(实际上是较小)第25页/共71页一个实例查询要求求选修了2号课程的学生姓名。假设student表中有1000个学生记录，SC表中有10000个选课记录，其中选修了2号课程的记录为50个。sql查询语句SELECT Student.Sname FROM Student,SC WHERE Student.Sno=SC.Sno AND SC.Cno=2;第26页/共71页一个实例等价的关系代数表达式第27页/共71页第一种情况1 计算广义笛卡儿积 元组连接的一般方法在内存中尽可能多的装入某个表（如Student）的若干块元组，留出一块存放另一个表（如SC表）的元组。然后把SC中的每个元组和Student中每个元组连接，连接后的元组装满一块后就写到中间文件上，再从SC中读入一块和内存中的Student元组连接，直到SC处理完。再装入若干Student元组，读入一个SC元组，重复上述过程，直到Student表处理完。假设一块能装入10个Student元组或100个SC元组，内存中存放5块Student元组和1块SC元组。读块总数1000/10+1000/（10*5）*10000/100=2100其中student表100块，SC表20遍，每遍100块，若每秒读/写20块，则总共花销105秒。连接后的元组数：103*104=107，若每块装10个元组，则写块时间为106/20=5*104s第28页/共71页第一种情况2 作选择运算读中间文件，花销时间为5*104s。满足条件的元组为50个，均可以放在内存。3 作投影在Sname上投影，得到最终结果。总时间忽略所有的内存处理时间：105+2*5*104 105s第29页/共71页第二种情况计算自然连接 读块时间：105s写块时间自然连接的结果远远少于广义笛卡尔积的结果，若为104，则时间104/10/20=50s。作选择运算读中间文件时间50s作投影操作进行投影输出。总时间105+50+50=205s第30页/共71页第三种情况对SC作选择运算只需读一遍SC表，存取100块花费时间为5s,由于结果50条记录，不需用中间文件。作连接运算读入Student表，和内存中的SC元组连接，只需读一遍Student表共100块，时间为5s。把结果投影输出在Sname上投影输出。总时间5+5=10s第31页/共71页有索引的情况假定SC表的Cno字段上有索引，第一步就不必读取所有的SC元组而只需读取Cno=2的那些元组（50个）。存取的索引块和SC中满足条件的数据块大约34块。若Student表在Sno上也有索引，则第二步也不必读取所有的Student元组，因为满足条件的SC记录仅50个，涉及最多50个Student记录，因此读取Student表的块数也可以大大减少。这样，总的存取时间将减少到数秒。第32页/共71页3 代数优化3.1 关系代数表达式等价变换规则 3.2 查询树的启发式优化第33页/共71页3.1 关系代数表达式等价变换规则 代数优化策略：通过对关系代数表达式的等价变换来提高查询效率 关系代数表达式的等价：指用相同的关系代替两个表达式中相应的关系所得到的结果是相同的两个关系表达式E1和E2是等价的，可记为E1E2 第34页/共71页关系代数等价变换规则1.连接、笛卡尔积交换律设E1和E2是关系代数表达式，F是连接运算的条件，则：第35页/共71页等价变换规则2.连接、笛卡尔积结合律设E1、E2和E3是关系代数表达式，F1和F2是连接运算的条件，则：第36页/共71页等价变换规则3.投影的串接定律第37页/共71页等价变换规则4.选择的串接定律第38页/共71页等价变换规则5.选择与投影的交换律第39页/共71页等价变换规则6.选择与笛卡尔积的交换律第40页/共71页等价变换规则7.选择与并运算的交换第41页/共71页等价变换规则8.选择与差运算的交换第42页/共71页等价变换规则9.投影与笛卡尔积的交换第43页/共71页等价变换规则10.投影与并的交换第44页/共71页3.2 查询树的启发式优化典型的启发式规则查询树的启发式优化算法第45页/共71页典型的启发式规则1.选择运算应尽可能先做。在优化策略中这是最重要、最基本的一条2.把投影运算和选择运算同时进行如有若干投影和选择运算，并且它们都对同一个关系操作，则可以在扫描此关系的同时完成所有的这些运算以避免重复扫描关系3.把投影同其前或其后的双目运算结合起来4.把某些选择同在它前面要执行的笛卡尔积结合起来成为一个连接运算5.找出公共子表达式如果这种重复出现的子表达式的结果不是很大的关系并且从外存中读入这个关系比计算该子表达式的时间少得多，则先计算一次公共子表达式并把结果写入中间文件是合算的当查询的是视图时，定义视图的表达式就是公共子表达式的情况第46页/共71页查询树的启发式优化算法算法：关系表达式的优化输入：一个关系表达式的查询树 输出：优化的查询树方法：(1)利用等价变换规则4把形如F1F2Fn(E)变换为F1(F2(Fn(E)。(2)对每一个选择，利用等价变换规则49尽可能把它移到树的叶端。(3)对每一个投影利用等价变换规则3，5，10，11中的一般形式尽可能把它移向树的叶端。(4)利用等价变换规则35把选择和投影的串接合并成单个选择、单个投影或一个选择后跟一个投影。使多个选择或投影能同时执行，或在一次扫描中全部完成第47页/共71页查询树的启发式优化算法（续）(5)把上述得到的语法树的内节点分组。每一双目运算(，-)和它所有的直接祖先为一组(这些直接祖先是(，运算)。如果其后代直到叶子全是单目运算，则也将它们并入该组但当双目运算是笛卡尔积()，而且后面不是与它组成等值连接的选择时，则不能把选择与这个双目运算组成同一组，把这些单目运算单独分为一组 第48页/共71页查询树的启发式优化（续）例4 下面给出例3中 SQL语句的代数优化示例。(1)把SQL语句转换成查询树，如下图所示 查询树第49页/共71页查询树的启发式优化（续）为了使用关系代数表达式的优化法，假设内部表示是关系代数语法树，则上面的查询树如下图所示。关系代数语法树 第50页/共71页查询树的启发式优化（续）(2)对查询树进行优化利用规则4、6把选择SC.Cno=2移到叶端，查询树便转换成下图所示的优化的查询树。这就是9.2.2节中Q3的查询树表示优化后的查询树 第51页/共71页4 物理优化4.1 基于规则的启发式优化4.2 基于代价的优化第52页/共71页4.1 基于规则的启发式优化一、选择操作的启发式规则 二、连接操作的启发式规则 第53页/共71页基于规则的启发式优化(续)一、选择操作的启发式规则:1.对于小关系，使用全表顺序扫描，即使选择列上有索引 2.对于选择条件是主码值的查询，查询结果最多是一个元组，可以选择主码索引，一般的RDBMS会自动建立主码索引。3.对于选择条件是非主属性值的查询，并且选择列上有索引。要估算查询结果的元组数目如果比例较小(10%)可以使用索引扫描方法否则还是使用全表顺序扫描第54页/共71页基于启发式规则的存取路径选择优化(续)4.对于选择条件是属性上的非等值查询或者范围查询，并且选择列上有索引要估算查询结果的元组数目如果比例较小(10%)可以使用索引扫描方法否则还是使用全表顺序扫描 5.对于用AND连接的合取选择条件如果有涉及这些属性的组合索引优先采用组合索引扫描方法如果某些属性上有一般的索引则可以用例1-C4中介绍的索引扫描方法否则使用全表顺序扫描。6.对于用OR连接的析取选择条件，一般使用全表顺序扫描第55页/共71页基于启发式规则的存取路径选择优化(续)二、连接操作的启发式规则：1.如果2个表都已经按照连接属性排序 选用排序-合并方法2.如果一个表在连接属性上有索引 选用索引连接方法3.如果上面2个规则都不适用，其中一个表较小 选用Hash join方法第56页/共71页基于启发式规则的存取路径选择优化(续)4.可以选用嵌套循环方法，并选择其中较小的表，确切地讲是占用的块数(b)较少的表，作为外表(外循环的表)。理由：设连接表R与S分别占用的块数为Br与Bs连接操作使用的内存缓冲区块数为K分配K-1块给外表如果R为外表，则嵌套循环法存取的块数为Br+(Br/K-1)Bs显然应该选块数小的表作为外表 第57页/共71页4.2 基于代价的优化 启发式规则优化是定性的选择，适合解释执行的系统解释执行的系统，优化开销包含在查询总开销之中。编译执行的系统中查询优化和查询执行是分开的可以采用精细复杂一些的基于代价的优化方法。第58页/共71页基于代价的优化（续）一、统计信息 二、代价估算示例 第59页/共71页基于代价的优化（续）一、统计信息基于代价的优化方法要计算各种操作算法的执行代价，与数据库的状态密切相关 数据字典中存储的优化器需要的统计信息：1.对每个基本表该表的元组总数(N)元组长度(l)占用的块数(B)占用的溢出块数(BO)第60页/共71页基于代价的优化（续）2.对基表的每个列n该列不同值的个数(m)n选择率(f)如果不同值的分布是均匀的，f1/m如果不同值的分布不均匀，则每个值的选择率具有该值的元组数/Nn该列最大值n该列最小值n该列上是否已经建立了索引n索引类型(B+树索引、Hash索引、聚集索引)第61页/共71页基于代价的优化（续）3.对索引(如B+树索引)索引的层数(L)不同索引值的个数索引的选择基数S(有S个元组具有某个索引值)索引的叶结点数(Y)第62页/共71页基于代价的优化（续）二、代价估算示例 1.全表扫描算法的代价估算公式如果基本表大小为B块，全表扫描算法的代价 costB如果选择条件是码值，那么平均搜索代价 costB/2第63页/共71页基于代价的优化（续）2.索引扫描算法的代价估算公式如果选择条件是码值如例1-C2，则采用该表的主索引若为B+树，层数为L，需要存取B+树中从根结点到叶结点L块，再加上基本表中该元组所在的那一块，所以cost=L+1如果选择条件涉及非码属性如例1-C3，若为B+树索引，选择条件是相等比较，S是索引的选择基数(有S个元组满足条件)最坏的情况下，满足条件的元组可能会保存在不同的块上，此时，cost=L+S 第64页/共71页基于代价的优化（续）如果比较条件是，操作假设有一半的元组满足条件就要存取一半的叶结点通过索引访问一半的表存储块cost=L+Y/2+B/2如果可以获得更准确的选择基数，可以进一步修正Y/2与B/2第65页/共71页基于代价的优化（续）3.嵌套循环连接算法的代价估算公式4.1中已经讨论过了嵌套循环连接算法的代价costBr+Bs/(K-1)Br 如果需要把连接结果写回磁盘，costBr+Bs/(K-1)Br+(Frs*Nr*Ns)/Mrs其中Frs为连接选择性(join selectivity)，表示连接结果元组数的比例Mrs是存放连接结果的块因子，表示每块中可以存放的结果元组数目。第66页/共71页基于代价的优化（续）4.排序-合并连接算法的代价估算公式如果连接表已经按照连接属性排好序，则costBr+Bs+(Frs*Nr*Ns)/Mrs。如果必须对文件排序需要在代价函数中加上排序的代价对于包含B个块的文件排序的代价大约是(2*B)+(2*B*log2B)第67页/共71页5 小 结查询处理是RDBMS的核心，查询优化技术是查询处理的关键技术 本章讲解的优化方法 启发式代数优化基于规则的存取路径优化基于代价的优化本章的目的：希望读者掌握查询优化方法的概念和技术 第68页/共71页示例结果Project(Sname)Select(SC.Cno=2)joint(Student.Sno=SC.Sno)StudentSC语法树SnameSC.Cno=2 Student.Sno=SC.SnoStudentSC关系代数语法树SnameSC.Cno=2 Student.Sno=SC.SnoStudentSC优化后语法树第69页/共71页作业第四版P275：1、2、3、4第70页/共71页谢谢您的观看！第71页/共71页