怎样提高数据库查询效率.doc
《怎样提高数据库查询效率.doc》由会员分享,可在线阅读,更多相关《怎样提高数据库查询效率.doc(38页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、【精品文档】如有侵权,请联系网站删除,仅供学习与交流怎样提高数据库查询效率.精品文档. 如何提高数据库查询效率 来源:IT综合信息网1.对查询进行优化,应尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上建立索引。 2.应尽量避免在 where 子句中对字段进行 null 值判断,否则将导致引擎放弃使用索引而进行全表扫描,如:select id from t where num is null可以在num上设置默认值0,确保表中num列没有null值,然后这样查询:select id from t where num=03.应尽量避免在 where 子句中使用!=或操
2、作符,否则将引擎放弃使用索引而进行全表扫描。4.应尽量避免在 where 子句中使用 or 来连接条件,否则将导致引擎放弃使用索引而进行全表扫描,如:select id from t where num=10 or num=20可以这样查询:select id from t where num=10union allselect id from t where num=205.in 和 not in 也要慎用,否则会导致全表扫描,如:select id from t where num in(1,2,3)对于连续的数值,能用 between 就不要用 in 了:select id from t
3、 where num between 1 and 36.下面的查询也将导致全表扫描:select id from t where name like %abc%若要提高效率,可以考虑全文检索。7.如果在 where 子句中使用参数,也会导致全表扫描。因为SQL只有在运行时才会解析局部变量,但优化程序不能将访问计划的选择推迟到运行时;它必须在编译时进行选择。然而,如果在编译时建立访问计划,变量的值还是未知的,因而无法作为索引选择的输入项。如下面语句将进行全表扫描:select id from t where num=num可以改为强制查询使用索引:select id from t with(in
4、dex(索引名) where num=num8.应尽量避免在 where 子句中对字段进行表达式操作,这将导致引擎放弃使用索引而进行全表扫描。如:select id from t where num/2=100应改为:select id from t where num=100*29.应尽量避免在where子句中对字段进行函数操作,这将导致引擎放弃使用索引而进行全表扫描。如:select id from t where substring(name,1,3)=abc-name以abc开头的idselect id from t where datediff(day,createdate,2005
5、-11-30)=0-2005-11-30生成的id应改为:select id from t where name like abc%select id from t where createdate=2005-11-30 and createdate2005-12-110.不要在 where 子句中的“=”左边进行函数、算术运算或其他表达式运算,否则系统将可能无法正确使用索引。11.在使用索引字段作为条件时,如果该索引是复合索引,那么必须使用到该索引中的第一个字段作为条件时才能保证系统使用该索引,否则该索引将不会被使用,并且应尽可能的让字段顺序与索引顺序相一致。12.不要写一些没有意义的查询,
6、如需要生成一个空表结构:select col1,col2 into #t from t where 1=0这类代码不会返回任何结果集,但是会消耗系统资源的,应改成这样:create table #t(.)13.很多时候用 exists 代替 in 是一个好的选择:select num from a where num in(select num from b)用下面的语句替换:select num from a where exists(select 1 from b where num=a.num)14.并不是所有索引对查询都有效,SQL是根据表中数据来进行查询优化的,当索引列有大量数据重复
7、时,SQL查询可能不会去利用索引,如一表中有字段sex,male、female几乎各一半,那么即使在sex上建了索引也对查询效率起不了作用。15.索引并不是越多越好,索引固然可以提高相应的 select 的效率,但同时也降低了 insert 及 update 的效率,因为 insert 或 update 时有可能会重建索引,所以怎样建索引需要慎重考虑,视具体情况而定。一个表的索引数最好不要超过6个,若太多则应考虑一些不常使用到的列上建的索引是否有必要。16.应尽可能的避免更新 clustered 索引数据列,因为 clustered 索引数据列的顺序就是表记录的物理存储顺序,一旦该列值改变将导
8、致整个表记录的顺序的调整,会耗费相当大的资源。若应用系统需要频繁更新 clustered 索引数据列,那么需要考虑是否应将该索引建为 clustered 索引。17.尽量使用数字型字段,若只含数值信息的字段尽量不要设计为字符型,这会降低查询和连接的性能,并会增加存储开销。这是因为引擎在处理查询和连接时会逐个比较字符串中每一个字符,而对于数字型而言只需要比较一次就够了。18.尽可能的使用 varchar/nvarchar 代替 char/nchar ,因为首先变长字段存储空间小,可以节省存储空间,其次对于查询来说,在一个相对较小的字段内搜索效率显然要高些。19.任何地方都不要使用 select
9、* from t ,用具体的字段列表代替“*”,不要返回用不到的任何字段。20.尽量使用表变量来代替临时表。如果表变量包含大量数据,请注意索引非常有限(只有主键索引)。21.避免频繁创建和删除临时表,以减少系统表资源的消耗。22.临时表并不是不可使用,适当地使用它们可以使某些例程更有效,例如,当需要重复引用大型表或常用表中的某个数据集时。但是,对于一次性事件,最好使用导出表。23.在新建临时表时,如果一次性插入数据量很大,那么可以使用 select into 代替 create table,避免造成大量 log ,以提高速度;如果数据量不大,为了缓和系统表的资源,应先create table,
10、然后insert。24.如果使用到了临时表,在存储过程的最后务必将所有的临时表显式删除,先 truncate table ,然后 drop table ,这样可以避免系统表的较长时间锁定。25.尽量避免使用游标,因为游标的效率较差,如果游标操作的数据超过1万行,那么就应该考虑改写。26.使用基于游标的方法或临时表方法之前,应先寻找基于集的解决方案来解决问题,基于集的方法通常更有效。27.与临时表一样,游标并不是不可使用。对小型数据集使用 FAST_FORWARD 游标通常要优于其他逐行处理方法,尤其是在必须引用几个表才能获得所需的数据时。在结果集中包括“合计”的例程通常要比使用游标执行的速度快
11、。如果开发时间允许,基于游标的方法和基于集的方法都可以尝试一下,看哪一种方法的效果更好。28.在所有的存储过程和触发器的开始处设置 SET NOCOUNT ON ,在结束时设置 SET NOCOUNT OFF 。无需在执行存储过程和触发器的每个语句后向客户端发送 DONE_IN_PROC 消息。29.尽量避免大事务操作,提高系统并发能力。30.尽量避免向客户端返回大数据量,若数据量过大,应该考虑相应需求是否合理 数据库高手请进!如何提高数据库的查询效率?有多少种方法?1:影响最大的是在数据库端家索引。 2:如果数据库字段很多,建议使用Select 字段列表 的方式而不使用Select * 3:
12、请使用TQuery或TADOQuery,并且WHERE语句一定要建立索引,尽量少使用TTable或TADOTable. 4:多使用存储过程。 5:对于ORACLE和SYBASE数据库要使用BDE,而对于MS SQL SERVER 使用ADO方式连接。同时,对于ORACLE和SQL SERVER,OLE DB的效率要比ADO效率高。BDE应该是效率比较低下的一种方式,这个在开发过程中我们有过比较。 另外:尽量保持建立的数据库连接,不必每次都重新连接数据库。这在SQL SERVER和ACCESS下表现不明显,但是在ORACLE中就非常明显,因为ORACLE的建链时间非常长,大约有2秒钟,而SQL和
13、ACCESS大约只需0.01秒。 在查询语句中,要考虑where语句中的字段顺序。 尽量不用ORDER BY语句(数据量比较大的时候)对于一个有超过百万条记录的数据表,怎么才能提高效率。 VB+ADO+SQL SERVER2000. 我能想到的有建立索引、使用存储过程。还有什么其他办法吗?拆表,升级硬件。检索时尽量带参数,要用的数据才检出来。对关联字段建索引; 优化SQL语句,减少或避免多表连结。添加内存、CPU 建立视图 充分利用高速缓存 充分利用索引和SQL语句语法 无关紧要的查询可以进行脏读建索引的选择必须结合SQL查询、修改、删除语句的需要,一般的说法是在WHERE里经常出现的字段建索
14、引。如果在WHERE经常是几个字段一起出现而且是用AND连接的,那就应该建这几个字段一起的联合索引,而且次序也需要考虑,一般是最常出现的放前面,重复率低的放前面。 如有一张员工表,和部门表.1、直接用select * from 员工表,部门表 where 员工表.部门ID=部门.ID。 2、select * from 员工表。然后当程序选择到某个员工后,再根据部门的ID 来选择部门信息。 这两种方法,哪个效率高如果是需要同时显示所有员工的部门信息,则第一种方法好; 如果是用户选中一个员工再带出来该员工的部门信息,则第二种方法好; 在真正需要的时候才从数据库提取数据.1。比较具有相同类型的列。
15、2。比较中应尽量使索引列独立。 3。在like模式的起始处不要使用通配符 例如:where name like %string% 优化为:where name like string% 4。帮助优化程序更好的评估索引的有效性 可用isamchk 或 myisamchk 的-analyze选项给优化程序提供更好的信息,以便分析键值的分布。 5。利用EXPLAIN检验优化程序操作。 检查用于查询中的索引是否能很快的排除行 一个表中大概有20万以上的条目(做音乐查询)/ 每次查询都需要在这个表的两个字段中查寻/(歌手和歌名) 如何提高效率?需要达到至少每秒30次的查询/而cpu尽量占用低一点 请问如
16、何处理数据库和程序才能达到好的效果? perl写的程序。谢谢了。 表如下 id 歌手 歌曲 url 专辑 格式 性别 xxx xxx xxx xxx . 创建索引 建索引的目的是为了更好的查询,但是不要盲目建索引,有时候适得其反。 遵循这样的原则: 1.搜索的索引列,不一定是索要选择的列 例如:select col_a from tbl1 left join tbl2 on tbl1.col_b=tbl2.col_c where col_d=expr 在这查询重视合作索引列的是tbl1.col_b and tbl2.col_c and col_d 2.使用唯一索引:对于唯一值的列,索引的效果最
17、好,而具有多个重复值的列 其索引效果最差。 3.使用短索引:应该指定一个前缀的长度,只要有可能就应该这样做 例如:varchar(100)列,对前10个或者20个字符内,多数值是唯一的那就不要对整个列索引。 4.利用最左索引:在创建n列的索引时,实际是创建了mysql可利用的n个索引,多列索引可以起几个索引的作用,因为可以利用索引中最左边的列集来匹配。 ps: mysql不能使用不涉及左前缀的搜索。 5.不要过渡索引: 每个额外的索引都是要占额外的磁盘空间,并降低写操作的性能。 6.考虑在列上进行比较的类型: 索引可用于、=、和 between 运算。 查询速度慢的原因很多,常见如下几种: 1
18、、没有索引或者没有用到索引(这是查询慢最常见的问题,是程序设计的缺陷) 2、I/O吞吐量小,形成了瓶颈效应。 3、没有创建计算列导致查询不优化。 4、内存不足 5、网络速度慢 6、查询出的数据量过大(可以采用多次查询,其他的方法降低数据量) 7、锁或者死锁(这也是查询慢最常见的问题,是程序设计的缺陷) 8、sp_lock,sp_who,活动的用户查看,原因是读写竞争资源。 9、返回了不必要的行和列 10、查询语句不好,没有优化 可以通过如下方法来优化查询 : 1、把数据、日志、索引放到不同的I/O设备上,增加读取速度,以前可以将Tempdb应放在RAID0上,SQL2000不在支持。数据量(尺
19、寸)越大,提高I/O越重要. 2、纵向、横向分割表,减少表的尺寸(sp_spaceuse) 3、升级硬件 4、根据查询条件,建立索引,优化索引、优化访问方式,限制结果集的数据量。注意填充因子要适当(最好是使用默认值0)。索引应该尽量小,使用字节数小的列建索引好(参照索引的创建),不要对有限的几个值的字段建单一索引如性别字段 5、提高网速; 6、扩大服务器的内存,Windows 2000和SQL server 2000能支持4-8G的内存。配置虚拟内存:虚拟内存大小应基于计算机上并发运行的服务进行配置。运行 Microsoft SQL Server? 2000 时,可考虑将虚拟内存大小设置为计算
20、机中安装的物理内存的 1.5 倍。如果另外安装了全文检索功能,并打算运行 Microsoft 搜索服务以便执行全文索引和查询,可考虑:将虚拟内存大小配置为至少是计算机中安装的物理内存的 3 倍。将 SQL Server max server memory 服务器配置选项配置为物理内存的 1.5 倍(虚拟内存大小设置的一半)。 7、增加服务器CPU个数;但是必须明白并行处理串行处理更需要资源例如内存。使用并行还是串行程是MsSQL自动评估选择的。单个任务分解成多个任务,就可以在处理器上运行。例如耽搁查询的排序、连接、扫描和GROUP BY字句同时执行,SQL SERVER根据系统的负载情况决定最
21、优的并行等级,复杂的需要消耗大量的CPU的查询最适合并行处理。但是更新操作UPDATE,INSERT,DELETE还不能并行处理。 8、如果是使用like进行查询的话,简单的使用index是不行的,但是全文索引,耗空间。 like a% 使用索引 like %a 不使用索引用 like %a% 查询时,查询耗时和字段值总长度成正比,所以不能用CHAR类型,而是VARCHAR。对于字段的值很长的建全文索引。 9、DB Server 和APPLication Server 分离;OLTP和OLAP分离 10、分布式分区视图可用于实现数据库服务器联合体。联合体是一组分开管理的服务器,但它们相互协作分
22、担系统的处理负荷。这种通过分区数据形成数据库服务器联合体的机制能够扩大一组服务器,以支持大型的多层 Web 站点的处理需要。有关更多信息,参见设计联合数据库服务器。(参照SQL帮助文件分区视图) a、在实现分区视图之前,必须先水平分区表 b、在创建成员表后,在每个成员服务器上定义一个分布式分区视图,并且每个视图具有相同的名称。这样,引用分布式分区视图名的查询可以在任何一个成员服务器上运行。系统操作如同每个成员服务器上都有一个原始表的复本一样,但其实每个服务器上只有一个成员表和一个分布式分区视图。数据的位置对应用程序是透明的。 11、重建索引 DBCC REINDEX ,DBCC INDEXDE
23、FRAG,收缩数据和日志 DBCC SHRINKDB,DBCC SHRINKFILE. 设置自动收缩日志.对于大的数据库不要设置数据库自动增长,它会降低服务器的性能。 在T-sql的写法上有很大的讲究,下面列出常见的要点:首先,DBMS处理查询计划的过程是这样的: 1、 查询语句的词法、语法检查 2、 将语句提交给DBMS的查询优化器 3、 优化器做代数优化和存取路径的优化 4、 由预编译模块生成查询规划 5、 然后在合适的时间提交给系统处理执行 6、 最后将执行结果返回给用户其次,看一下SQL SERVER的数据存放的结构:一个页面的大小为8K(8060)字节,8个页面为一个盘区,按照B树存
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 怎样 提高 数据库 查询 效率
限制150内