2022年大型互联网架构演变历程 .pdf

《2022年大型互联网架构演变历程 .pdf》由会员分享，可在线阅读，更多相关《2022年大型互联网架构演变历程 .pdf（5页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、大型互联网架构演变历程1.课程目标1.1.了解互联网架构演变历程1.2.了解当前互联网架构中常用的一些1.3.站在巨人的肩膀上，我们的视野会更高一些2.淘宝技术这10 年2.1.淘宝现状高并发已经成为当前互联网企业面临的巨大挑战！例如2015 年“双十一”全球狂欢节正式落下帷幕，天猫最终交易额也达到了创纪录的912.17 亿元！参与交易国家和地区达到232个，双十一支付宝最高峰每秒处理的交易笔数是8.59 万笔，在线人数峰值达到4500 万。淘宝的核心技术（国内乃至国际的Top，这还是 2011 年的数据）拥有全国最大的分布式Hadoop 集群（云梯，2000 左右节点，24000 核 CPU

2、，48000GB内存，40PB 存储容量）全国分布 80+CDN 节点，能够自动找寻最近的节点提供服务，支持流量超过800Gbps 不逊于百度的搜索引擎，对数十亿商品进行搜索，全球最大的电商平台顶尖的负载均衡系统，顶尖的分布式系统，顶尖的互联网思想，功能多样运行极其稳定丰富的生态产业以及先进的数据挖掘技术,很多很多2.2.淘宝技术演变，摘自淘宝技术这十年马总在 2003 年 4 月 7 日秘密叫来阿里巴巴的十位员工，来到杭州一个隐秘的毛坯房，要求他们在一个月左右的时间内做出一个C2C 网站。结果当然还是直接买的快，一个基于 LAMP 架构的网站，原名是PHPAuction，老美开发的一个拍卖网

3、站。当然必须要做修改才能用。2003 年底，淘宝注册用户23 万，PV 31 万/day，半年成交额3371 万很显然 MySQL无法撑得起如此大的访问量，数据库瓶颈出现了。幸好阿里的DBA队伍名师资料总结-精品资料欢迎下载-名师精心整理-第 1 页，共 5 页 -足够强大，他们使用Oracle 替代了MySQL。Oracle 那时就已经有了强大的并发性访问设计连接池，从连接池取连接的耗费比单独建立连接少很多。但是PHP 当时并没有官方提供支持语言连接池特性，于是多隆前辈用Google（不会是Baidu）搜到了一个开源的 SQL Relay，于是数据库软件方面的瓶颈暂时解决了。随之而来的是面临

4、硬件性能瓶颈，阿里买了EMC的 SAN存储设备，加上Oracle 高性能RAC，硬件容量也暂时没问题了。因为 SQL Relay的问题实在过于严重，2004 年于是淘宝终于做出了跨时代的决策使用 Java重写网站。淘宝请了Sun 的高级工程师来帮忙做Java架构。那么他们是如何做到修改编程语言而不改变网站使用呢模块化替换，今天写好了A 模块，另开一个新域名，将连接指向该模块，同时别的模块不变，等到全部模块完成的时候，原域名放弃。Sun 公司坚持使用 EJB作为控制层，加上使用iBatis 作为持久层，一个可扩展且高效的Java EE 应用诞生了。送走 Sun 的大牛们之后，阿里的数据存储又遇到

5、了瓶颈，于是忍痛买了一台IBM 小型机，也就有了IOE（IBM+Oracle+EMC）这样的传说2004 年底，淘宝注册用户400 万，PV 4000 万/day，全网成交额10 个亿。2005 年 Spring 诞生了，早闻Spring 框架在 Web 应用不可或缺，而在淘宝网，Spring 也达到了 Rod Johnson设计它的目的替代EJB。2005 年底，淘宝注册用户1390 万，PV 8931 万/day，商品数目1663 万个。考虑到未来的发展，这样的设施架构只是勉强可以应付现在的要求。于是，CDN技术派上用场了，一开始使用商用的ChinaCache，后来使用章文嵩博士搭建低耗能

6、CDN网络，淘宝网的性能越来越好了。2006 年底，淘宝注册用户3000 万，PV 15000 万/day，商品数目5000 万，全网成交额169 亿元。淘宝在 2007 年之前，使用NetApp 的商用存储系统，但是仍然不够应付迅速增长的趋势。同年Google 公布了 GFS的设计思想，参照它的思想，淘宝也开发了自己的文件系统 TFS每个用户在TFS上拥有 1GB的图片存储空间，这些都得益于TFS集群的文件存储系统以及大量的图片服务器。淘宝使用实时生成缩率图，全局负载均衡以及一级和二级缓存来保证图片的访问优化与高效访问。淘宝的服务器软件使用Tengine，一个被优化过的nginx 模块。淘宝

7、分离出了UIC（User Information Center），供所有模块调用。多隆前辈再次为其编写出了TDBM，完全是基于内存的数据缓存（参考了memcached）。再然后，淘宝将TBstore 和 TDBM 合并，写出了Tair，一个基于Key-Value的分布式缓存数据系统。然后升级了自己的iSearch系统。2007 年底，淘宝注册用户5000 万，PV 25000 万/day，商品数目 1 个亿，全网成交额433亿元。.Dubbo 是阿里巴巴内部的SOA服务化治理方案的核心框架，每天为2000+个服务提供3,000,000,000+次访问量支持，并被广泛应用于阿里巴巴集团的各成员站

8、点。Dubbo 自2011 年开源后，已被许多非阿里系公司使用。名师资料总结-精品资料欢迎下载-名师精心整理-第 2 页，共 5 页 -3.技术发展历程总结3.1.单节点架构3.2.集群架构nginx-01nginx-02keepalivedRedis 集群Mysql 集群tomcat-01tomcat-02tomcat-03名师资料总结-精品资料欢迎下载-名师精心整理-第 3 页，共 5 页 -3.3.集群+分布式架构portal-webadmin-webpay-web注册中心商品服务订单服务收索服务数据库索引库后台管理系统商城门户搜索系统订单系统会员系统服务中间件 Dubbo商品服务内容服务单点登录服务订单服务搜索服务缓存redisMyCat 数据库中间件Mysql 数据库Mysql数据库Mysql数据库Mysql数据库Solr服务索引库消息队列ActiveMQ服务层表现层持久层名师资料总结-精品资料欢迎下载-名师精心整理-第 4 页，共 5 页 -名师资料总结-精品资料欢迎下载-名师精心整理-第 5 页，共 5 页 -