最新完全用nosql轻松打造千万级数据量的微博系统PPT课件.ppt

《最新完全用nosql轻松打造千万级数据量的微博系统PPT课件.ppt》由会员分享，可在线阅读，更多相关《最新完全用nosql轻松打造千万级数据量的微博系统PPT课件.ppt（11页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、完全用完全用nosqlnosql轻松打造千万轻松打造千万级数据量的微博系统级数据量的微博系统Your company sloganYour company slogan重要小提示重要小提示架构说明架构说明架构说明架构说明 本架构只是起着抛砖引玉的作用本架构只是起着抛砖引玉的作用,只介绍大概的架构只介绍大概的架构.本架构注重的是可以动本架构注重的是可以动态扩展集群种的服务器。关于图片附件态扩展集群种的服务器。关于图片附件,数据备份等架构数据备份等架构,今天不作介绍今天不作介绍.有兴趣的话可以找我讨论有兴趣的话可以找我讨论.已有类似本架构的微博系统已经在实际运用已有类似本架构的微博系统已经在实际运

2、用IDID一致性的一致性的一致性的一致性的问题问题 通常通常IDID是由是由mysqlmysql自增来产生的自增来产生的.但是在分布式集群里这样的自增但是在分布式集群里这样的自增IDID就带来各就带来各个服务器之间的一致性的问题。在本架构中的唯一个服务器之间的一致性的问题。在本架构中的唯一IDID是由是由rdtsc+rdtsc+两位随机两位随机整数拼接而成的整数拼接而成的6464位整数位整数 唯一唯一IDIDKey GPS ServerKey GPS Server KGSKGS是本架构重要组成部分是本架构重要组成部分.GPS.GPS大家都知道是定位的意思大家都知道是定位的意思.发送一条数据的发

3、送一条数据的IDID过去。过去。KGSKGS就会告诉你该就会告诉你该IDID所对应的数据存放在哪几台服务器上所对应的数据存放在哪几台服务器上.KGS.KGS是基是基于于TokyoCabinetTokyoCabinet存储存储,epoll,epoll 事件驱动的单进程事件驱动的单进程socketsocket serverserverYour company sloganYour company sloganYour company sloganYour company sloganYour company sloganYour company sloganYour company sloganY

4、our company sloganYour company sloganYour company sloganYour company sloganYour company sloganYour company sloganYour company sloganRedis listRedis list数据结构数据结构example4example4Redis 数据结构 list1.Following(有多少人订阅我的微博的列表)2.Followers(我订阅谁的微博的列表)3.Publish(我发布的微博消息列表)4.Subscribe（我订阅的消息包括我发布的信息）Your company

5、 sloganYour company slogan总结总结明星会员问题明星会员问题明星会员问题明星会员问题所谓的明星会员问题所谓的明星会员问题,就是刘德华来咱微博开了个微博。他有成千上万个订阅就是刘德华来咱微博开了个微博。他有成千上万个订阅者者.他发布一条微博消息。那得一下子发布到成千上万个订阅者那。多来他发布一条微博消息。那得一下子发布到成千上万个订阅者那。多来几个刘德华这样的明星微博几个刘德华这样的明星微博,咱们服务器不是要死翘翘了。所以我这里有咱们服务器不是要死翘翘了。所以我这里有个个publishpublish集群集群,根据订阅者分为活跃用户，一般用户，半死不活用户根据订阅者分为活跃

6、用户，一般用户，半死不活用户.根根据活跃度分到不同的快速据活跃度分到不同的快速publishpublish服务器或慢速服务器或慢速publishpublish服务器里去服务器里去.因为因为是纯内存的只是在是纯内存的只是在redis listredis list里加个信息里加个信息IDID。还是很快的。还是很快的理解不了本架构理解不了本架构理解不了本架构理解不了本架构 对于本架构理解的同学对于本架构理解的同学,请先阅读一下请先阅读一下Retwis.RetwisRetwis.Retwis是完全用是完全用redisredis写的简写的简单微博系统单微博系统,再结合本架构，多看几次就懂了。很快的再结合本架构，多看几次就懂了。很快的集群集群集群集群 本架构讲究的是高可用本架构讲究的是高可用,稳定，可动态扩展的架构稳定，可动态扩展的架构.谢谢大家谢谢大家结束语结束语谢谢大家聆听！谢谢大家聆听！11