第10章 Redis的缓存设计与优化ppt课件（完整版）.pptx

《第10章 Redis的缓存设计与优化ppt课件（完整版）.pptx》由会员分享，可在线阅读，更多相关《第10章 Redis的缓存设计与优化ppt课件（完整版）.pptx（23页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、第10章 Redis的缓存设计与优化ppt课件（完整版）Redis 6 开发与实战主讲教师：XXX大数据教材Redis 6开发与实战学院：XXX邮箱：XXX办公地点：XXX办公电话：XXX推荐教材Redis 6 开发与实战 作者：张云河、王硕出版：人民邮电出版社配套：PPT+实验指导特点：覆盖Redis 6版本的绝大部分核心特性，面向初学者的行文分格，加上大量的辅助图片等。第十章 RedisRedis的缓存设计与优化大数据教材Redis 6开发与实战主讲： XXX 主审： XXX第5章Redis的持久化第1章初始Redis 第2章Redis常用数据类型第3章Redis常用命令第4章Redis高

2、级主题 第5章Redis缓存的持久化第6章Redis集群环境部署第7章Redis开发与实战第8章Spring Boot与Redis整合应用第9章Redis监控第10章Redis的缓存设计与优化内容导航：第10章 Redis的缓存设计与优化主讲：* 主审： *Redis缓存的收益和成本缓存雪崩缓存穿透布隆过滤器内容导航：Redis缓存的收益和成本缓存穿透Redis缓存的收益和成本使用Redis作为缓存有以下优点:1， 高速读写Redis可以帮助解决由于数据库压力造成的延迟现象，针对于很少改变的数据并且经常使用的数据，我们可以把这写数据放入内存中。这样可以一方面减少数据库压力，一方面提高读写效率。

3、2， 降低后端负载后端服务器通过缓存降低负载，业务端使用Redis可以降低后端数据库MySQL的负载等。 使用Redis缓存带来的代价:1， 数据不一致程序的缓存层和数据层有时会不一致，这和更新数据策略有关。2， 代码维护成本原本只需要读写MySQL就能实现功能，但加入了Redis缓存之后就要去维护缓存中的数据，增加了代码复杂度。3， 堆内缓存可能带来内存溢出的风险影响用户进程如ehCache、loadingCache、java虚拟机栈、方法区、本地方法栈、程序计数器 。内容导航：缓存雪崩缓存穿透缓存雪崩1，什么是缓存雪崩？ 数据未加载到缓存中，或者缓存在同一时间大面积的实效，从而导致所有请求

4、都去查数据库，导致数据库CPU和内存负载过高，甚至数据库宕机。2，有什么解决方案来防止缓存雪崩？a)使用互斥锁(mutex) -使用mutex互斥锁来防止缓存雪崩，使用Redis的SETNX命令去set一个mutex key，当操作返回成功时，再执行查询数据库的操作并回设Redis缓存。否则，就重试执行xget缓存的方法。b)数据预热 - 缓存预热就是应用上线后，将相关的缓存数据直接加载到缓存系统。这样用户就可以直接查询事先被预热的缓存数据。c)双层缓存策略 - Cache1为原始缓存，Cache 2为拷贝缓存，Cache 1失效时，可以访问Cache 2，Cache 1缓存失效时间设置为短期

5、，Cache 2的实效时间设置为长期。d)定时更新缓存策略 - 失效性要求不高的缓存，容器启动初始化加载，采用定时任务更新或移除缓存。e)设置不同的过期时间，让缓存失效的时间点尽量均匀。内容导航：缓存穿透1， 什么是缓存穿透？ 缓存就是数据交换的缓冲区。缓存的主要作用是提高查询效率。在企业开发的软件系统中常常使用Redis作为缓存中间件，当请求到达服务器端时，优先查询缓存中的数据，在缓存中不存在时，再查询数据库，如果查询到数据会将数据写回缓存，使得下一次同样的请求能够命中缓存中的数据。一些攻击性请求会特意查询缓存中不存在的数据时，就会产生缓存穿透。 缓存穿透是指查询一个不存在的数据，比如查询的

6、数据如果在缓存Redis没有查询到，需要去数据库查询，如果查询不到数据则不写入缓存，这将导致这个不存在的数据每次请求都到数据库去查询，进而对数据库进行流量冲击造成缓存穿透。缓存穿透缓存穿透内容导航：缓存穿透2，有什么解决方案来防止缓存穿透？a)采用布隆过滤器BloomFilter有关布隆过滤器的相关知识，在下节详细介绍。b)缓存空值如果一个查询返回的数据为空，不管是数据不存在，还是系统故障。程序仍然把这个空结果进行缓存(cache)处理，但它的过期时间会很短，可以不超过五分钟。通过设置的默认值直接存放到缓存中，这样第二次在缓存中就可以查询到值了，而不会继续访问数据库，如下图所示。内容导航：布隆

7、过滤器缓存穿透布隆过滤器简绍维基百科 ： 布隆过滤器 布隆过滤器（英语：Bloom Filter）是1970年由布隆提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都远远超过一般的算法，缺点是有一定的误识别率和删除困难。 布隆过滤器（Bloom Filter）是一种空间效率很高的随机数据结构，它利用位数组很简洁地表示一个集合，并能判断一个元素是否属于这个集合。布隆过滤器是由一个很长的bit数组和一系列哈希函数组成的，数组的每个元素都只占1 bit空间，并且每个元素只能为0或1。 布隆过滤器还拥有k个哈希函数

8、，当一个元素加入布隆过滤器时，会使用k个哈希函数对其进行k次计算,得到k个哈希值，并且根据得到的哈希值，在维数组中把对应下标的值置位1。判断某个数是否在布隆过滤器中，就对该元素进行k次哈希计算，得到的值在位数组中判断每个元素是否都为1，如果每个元素都为1，就说明这个值在布隆过滤器中。内容导航：布隆过滤器缓存穿透布隆过滤器简绍 将需要查询的数据放入缓存(Cache)的布隆过滤器中(Bloom Filter)，当请求(Request)向后台系统查询数据时，先去系统缓存中的布隆过滤器进行查找，如果查询的数据在布隆过滤器不存在，就不用查询数据库了，然后给请求一个未查询到数据的返回结果，从而避免了对数据

9、库的查询压力。 布隆过滤器中(Bloom Filter)是一个判断元素是否存在集合的快速的概率算法。Bloom Filter有可能会出现错误判断，但不会漏掉判断。也就是Bloom Filter判断元素不再集合，那肯定不在。如果判断元素存在集合中，有一定的概率判断错误。因此，Bloom Filter”不适合那些“零错误的应用场合。内容导航：布隆过滤器缓存穿透布隆过滤器简绍 而在能容忍低错误率的应用场合下，Bloom Filter比其他常见的算法（如哈希函数，折半查找）极大节省了空间，如下图所示。内容导航：布隆过滤器缓存穿透 布隆过滤器很常用的一个功能是用来去重，比如在爬虫中常见的一个需求：目标网

10、站URL可以有成千上万个，怎么判断某个URL是否被爬虫访问过呢？简单的方法可以把爬虫采集过的每个URL存入数据库中，每次一个新的URL过来就到数据库查询是否访问过。比如： 但是随着爬虫爬取过的URL越来越多，每次请求查询都要访问数据库一次，判断某个URL是否在访问过使用SQL查询效率并不高，除了数据库之外，还可以使用Redis的Set结构也可以满足这个需求，并且性能优于数据库。但是Redis 也存在一个问题，耗费过多的内存，这时候可以使用布隆过滤器来解决去重问题，相比于数据库和Redis的Set结构，使用布隆过滤器可以很好的避免性能和内存占用的问题。 我们通常使用Redis作为数据缓存，当请求

11、进来时先通过key去Redis缓存中查询，如果查询的数据在Redis缓存中不存在，就会去查询数据库中的数据。如果这种请求量很大时会造成缓存穿透，会给数据库造成很大的查询压力从而影响系统的性能，这时就需要用到布隆过滤器来解决缓存穿透问题了。内容导航：布隆过滤器缓存穿透解决缓存穿透的方法 方法一: 当数据库和Redis中都不存在key，查询数据库会返回null。需要在Redis中使用SETEX key null expireTime，设置一个过期时间expireTime,这样当再次请求key时,Redis会直接返回null，而不用再次查询数据库。 方法二:使用Redis提供的布隆过滤器redisb

12、loom模块，同样是将存在的key放入到布隆过滤器中。当请求进来时，先去过滤器中校验key是否存在，如果key不存在直接返回null，也不用再次查询数据库了。布隆过滤器的用途是判断过滤器中是否存在该数据，从而减少没有必要的数据库请求。内容导航：布隆过滤器缓存穿透Redis加载布隆过滤器模块 Redis官方提供的布隆过滤器在Redis4.0以后才正式推出，将布隆过滤器作为一个插件加载到Redis 服务器中，给Redis提供了强大的布隆去重功能。 在本节中，我们将学习如何在Redis服务器上加载布隆过滤器插件。 在github官网搜索RedisBloom下载最新发布的源码，点击页面的”Clone

13、or download”按钮后选择”Download Zip”选项，下载RedisBloom-master.zip到本地硬盘。上传RedisBloom-master.zip到Linux服务器，在Linux服务器上进行解压编译。内容导航：布隆过滤器编译后得到动态库redisabloom.so ，如下图所示。拷贝动态库redisbloom.so到 /usr/local/redis/conf目录下。 启动Redis加载布隆过滤器插件主要有两种方法。 第一种方法：启动Redis时，使用参数-loadmodule启动即可加载bloom filter插件。从上图可以看出在Redis启动时加载了bf插件。内

14、容导航：布隆过滤器第二种方法：在配置文件redis.conf中通过loadmodule指令加载插件，加上如下内容然后使用redis-server命令启动Redis。启动Redis服务器后的消息如下所示。从上图可以看出在Redis启动时加载了bf插件。内容导航：布隆过滤器1，布隆过滤器命令布隆过滤器命令的基本语法如下。参数说明error_rate指允许布隆过滤器的错误率，取值范围在0-1之间，数值越小，占用内存越大，操作时占用的cpu资源越大。initial_size指过滤器的容量，当实际存储的元素个数超过initial_size值后，过滤器的准确率就会下降。默认的容错率error_rate是0

15、.01，容量initial_size是100。如果不通过该命令来新建过滤器，BF.ADD 命令添加值时会自动创建过滤器，但会使用默认的容量与容错率。内容导航：布隆过滤器添加元素到布隆过滤器中，如果过滤器不存在，则会自动创建，使用默认的容量与容错率。BF.EXISTS命令判断某个元素是否在过滤器中，检查过滤器中是否存在该元素，不存在返回0，存在返回1。2，布隆过滤器的实例使用bf命令新建布隆过滤器urls。使用这个命令要注意一点：执行这个命令之前过滤器的名字应该不存在，如果执行操作之前过滤器的名字已经存在就会报错：内容导航：布隆过滤器在项目中使用布隆过滤器使用IDEA新建Maven项目命名为RedisbloomDemo，本案例文件名为”RedisChapter10RedisbloomDemo”，内容如下。在RedisbloomDemo项目的pom.xml引入以下类库：内容导航：布隆过滤器新建测试类RedisbloomDemo，本案例使用”RedisbloomDemo.java”，内容如下。程序运行得到以下结果：学 习 进 步 ！作者：张云河、王硕大数据教材Redis 6开发与实战最新版