1-14-1-RAID磁盘阵列的原理与搭建-随堂笔记.docx

《1-14-1-RAID磁盘阵列的原理与搭建-随堂笔记.docx》由会员分享，可在线阅读，更多相关《1-14-1-RAID磁盘阵列的原理与搭建-随堂笔记.docx（35页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、1-17-RAID磁盘阵列的原理与搭建第1章 RAID概念磁盘阵列（Redundant Arrays of Independent Disks，RAID），有“独立磁盘构成的具有冗余能力的阵列”之意。 磁盘阵列是由很多价格较便宜的磁盘，以硬件（RAID卡）或软件（MDADM）形式组合成一个容量巨大的磁盘组，利用个别磁盘提供数据所产生加成效果提升整个磁盘系统效能。利用这项技术，将数据切割成许多区段，分别存放在各个硬盘上。 磁盘阵列还能利用同位检查（Parity Check）的观念，在数组中任意一个硬盘故障时，仍可读出数据，在数据重构时，将数据经计算后重新置入新硬盘中RAID里面有三大关键技术：镜

2、像、校验、条带我们说：RAID可以预防数据丢失，但是它并不能完全保证你的数据不会丢失，所以大家使用RADI的同时还是注意备份重要的数据RAID的创建有两种方式：软RAID（通过操作系统软件来实现）和硬RAID（使用硬件阵列卡）；在企业中用的最多的是：raid1、raid10和raid5。不过随着云的高速发展，供应商一般可以把硬件问题解决掉。1.1 RAID几种常见的类型RAID类型最低磁盘个数空间利用率各自的优缺点级 别说 明RAID0数据条带化2+100%读写速度快，不容错RAID1数据镜像化250%读写速度一般，容错RAID5带奇偶校验的条带集3+(n-1)/n读写速度快，容错，允许坏一块

3、盘RAID6带奇偶校验的条带集，双校验4+(n-2)/n读写快，容错，允许坏两块盘RAID10RAID1的安全+RAID0的高速450%读写速度快，容错RAID50RAID5的安全+RAID0的高速6(n-2)/n读写速度快，容错RAID60RAID5的安全+RAID0的高速8(n-4)/n读写速度快，容错1.2 RAID出现的原因RAID基本思想：把好几块便宜的硬盘通过一定组合方式把它组合起来，成为一个新的硬盘阵列组，从而使它能够达到高性能硬盘的要求RAID有三个关键技术： 镜像：提供了数据的安全性； 条带（块大小也可以说是条带的粒度），它的存在的就是为了提高I/O，提供了数据并发性 数据的

4、校验：提供了数据的安全第2章 企业级RAID 0, 1,5,10的工作原理2.1 RAID-0条带 （strping），也是我们最早出现的RAID模式需磁盘数量:2块以上(大小最好相同)是组建磁盘阵列中最简单的一种形式，只需要2块以上的硬盘即可.特点:成本低，可以提高整个磁盘的性能和吞吐量。RAID 0没有提供冗余或错误修复能力，速度快.任何一个磁盘的损坏将损坏全部数据；磁盘利用率为100%。2.2 RAID-1mirroring（镜像卷）需要磁盘两块以上原理:是把一个磁盘的数据镜像到另一个磁盘上，也就是说数据在写入一块磁盘的同时，会在另一块闲置的磁盘上生成镜像文件，(同步)RAID 1 mi

5、rroring（镜像卷），至少需要两块硬盘，raid大小等于两个raid分区中最小的容量（最好将分区大小分为一样），数据有冗余，在存储时同时写入两块硬盘，实现了数据备份；磁盘利用率为50%，即2块100G的磁盘构成RAID1只能提供100G的可用空间。如下图2.3 RAID-5需要三块或以上硬盘，可以提供热备盘实现故障的恢复；只损坏一块，没有问题。但如果同时损坏两块磁盘，则数据将都会损坏。 空间利用率： (n-1)/n 2/3 如下图所示奇偶校验信息的作用:当RAID5的一个磁盘数据发生损坏后，利用剩下的数据和相应的奇偶校验信息去恢复被损坏的数据。扩展异或运算:是用相对简单的异或逻辑运算（相同

6、为0，相异为1）A值B值Xor结果0001010111102.4 RAID10镜像+条带RAID 10是将镜像和条带进行两级组合的RAID级别，第一级是RAID1镜像对，第二级为RAID 0。RAID10也是一种应用比较广泛的RAID级别。 RAID 1+0的特点使其特别适用于既有大量数据需要存取，同时又对数据安全性要求严格的领域，如银行、金融、商业超市、仓储库房、各种档案管理等。2.5 RAID的选择2.6 RAID硬盘失效处理一般两种处理方法：热备和热插拔热备：HotSpareq 定义：当冗余的RAID组中某个硬盘失效时，在不干扰当前RAID系统的正常使用的情况下，用RAID系统中另外一个

7、正常的备用硬盘自动顶替失效硬盘，及时保证RAID系统的冗余性q 全局式：备用硬盘为系统中所有的冗余RAID组共享q 专用式：备用硬盘为系统中某一组冗余RAID组专用如下图所示：是一个全局热备的示例，该热备盘由系统中两个RAID组共享，可自动顶替任何一个RAID中的一个失效硬盘热插拔：HotSwapq 定义：在不影响系统正常运转的情况下，用正常的物理硬盘替换RAID系统中失效硬盘q 关键在于热插拔时电子器件的保护机制第3章 RAID的使用3.1 RAID的实现方式我们使用RAID，是在装系统前还是之后？l 硬RAID：需要RAID卡，我们的磁盘是接在RAID卡的，由它统一管理和控制。数据也由它来

8、进行分配和维护；它有自己的cpu，处理速度快操作视频链接： 密码：mfcbl 软RAID：通过操作系统实现管理软raid工具：mdadm，mdadm是linux下用于创建和管理软件RAID的命令，是一个模式化命令。常见参数解释：-C或-creat建立一个新阵列-r移除设备-A激活磁盘阵列-l 或-level=设定磁盘阵列的级别-D或-detail打印阵列设备的详细信息-n或-raid-devices=指定阵列成员（分区/磁盘）的数量-s或-scan扫描配置文件或/proc/mdstat得到阵列缺失信息-x或-spare-devicds=指定阵列中备用盘的数量-f将设备状态定为故障-c或-chu

9、nk=设定阵列的块chunk大小 ，单位为KB-a或-add添加设备到阵列-G或-grow改变阵列大小或形态-v -verbose 显示详细信息-S停止阵列3.2 模拟：RAID0环境：添加两个硬盘环境：添加两个硬盘, 我以分区做,添加两个分区3.2.1创建raid0rootpanda # rpm -qf which mdadmmdadm-3.3.2-7.el7.x86_64rootpanda # mdadm -C -v /dev/md0 -l 0 -n 2 /dev/sdc1 /dev/sdc2mdadm: chunk size defaults to 512Kmdadm: Defaulti

10、ng to version 1.2 metadatamdadm: array /dev/md0 started.3.2.2 查看阵列信息rootpanda # mdadm -Dmdadm: No devices given.rootpanda # mdadm -DsARRAY /dev/md0 metadata=1.2 name=panda:0 UUID=2882afcd:4cbb1881:17c5faf9:866dd41brootpanda # /dev/md0: Version : 1.2 Creation Time : Wed Dec 14 22:01:30 2016 Raid Leve

11、l : raid0 Array Size : 2095104 (2046.34 MiB 2145.39 MB) Raid Devices : 2 mdadm -D /dev/md0 Total Devices : 2 Persistence : Superblock is persistent Update Time : Wed Dec 14 22:01:30 2016 State : clean Active Devices : 2Working Devices : 2 Failed Devices : 0 Spare Devices : 0 Chunk Size : 512K Name :

12、 panda:0 (local to host panda) UUID : 2882afcd:4cbb1881:17c5faf9:866dd41b Events : 0 Number Major Minor RaidDevice State 0 8 33 0 active sync /dev/sdc1 1 8 34 1 active sync /dev/sdc2chunk值: 条带大小 它分有很多“块”（Chunk），如果块尺寸(Chunksize)设置过小就一定会增加占用的块数我们也可以把这个配置信息保存起来rootpanda # mdadm -Ds ARRAY /dev/md0 metad

13、ata=1.2 name=panda:0 UUID=551f2150:ccb1c188:7fcf3cc0:1c9144d3rootpanda # mdadm -Ds /etc/mdadm.confrootpanda # cat !$cat /etc/mdadm.confARRAY /dev/md0 metadata=1.2 name=panda:0 UUID=551f2150:ccb1c188:7fcf3cc0:1c9144d33.2.3 对创建的RAID0创建分区分区时，我们给它所有空间rootpanda # fdisk /dev/md0Welcome to fdisk (util-linu

14、x 2.23.2).Changes will remain in memory only, until you decide to write them.Be careful before using the write command.Device does not contain a recognized partition tableBuilding a new DOS disklabel with disk identifier 0x6c8bd2c5.Command (m for help): nPartition type: p primary (0 primary, 0 exten

15、ded, 4 free) e extendedSelect (default p): Using default response pPartition number (1-4, default 1): First sector (2048-4190207, default 2048): Using default value 2048Last sector, +sectors or +sizeK,M,G (2048-4190207, default 4190207): Using default value 4190207Partition 1 of type Linux and of si

16、ze 2 GiB is setCommand (m for help): wThe partition table has been altered!Calling ioctl() to re-read partition table.Syncing disks.rootpanda # ls /dev/md*/dev/md0 /dev/md0p13.2.4 格式化分区并挂载rootpanda # mkfs.xfs /dev/md0p1 meta-data=/dev/md0p1 isize=256 agcount=8, agsize=65408 blks = sectsz=512 attr=2,

17、 projid32bit=1 = crc=0 finobt=0data = bsize=4096 blocks=523264, imaxpct=25 = sunit=128 swidth=256 blksnaming =version 2 bsize=4096 ascii-ci=0 ftype=0log =internal log bsize=4096 blocks=2560, version=2 = sectsz=512 sunit=8 blks, lazy-count=1realtime =none extsz=4096 blocks=0, rtextents=0rootpanda # m

18、kdir /raid0rootpanda # mount /dev/md0p1 /raid0/rootpanda # df -h|tail -1/dev/md0p1 2.0G 33M 2.0G 2% /raid03.2.5 开机自动挂载rootpanda # umount /raid0/rootpanda # mount -amount: mount point /radi0 does not existrootpanda # vi /etc/fstab rootpanda # mount -arootpanda # dfFilesystem 1K-blocks Used Available

19、Use% Mounted on/dev/sda3 206234228 3024100 203210128 2% /devtmpfs 477820 0 477820 0% /devtmpfs 492364 84 492280 1% /dev/shmtmpfs 492364 7152 485212 2% /runtmpfs 492364 0 492364 0% /sys/fs/cgroup/dev/sr0 3947824 3947824 0 100% /media/dev/sda1 303788 130864 172924 44% /boottmpfs 98476 16 98460 1% /run

20、/user/42tmpfs 98476 0 98476 0% /run/user/0/dev/md0p1 2082816 33056 2049760 2% /raid0rootpanda # tail -1 /etc/fstab UUID=2c398f3c-462f-4106-a51e-7cadd8ef925b /raid0 xfs defaults 0 0rootpanda # cat /proc/mdstat -查看阵列运行状态信息Personalities : raid0 md0 : active raid0 sdc21 sdc10 2095104 blocks super 1.2 51

21、2k chunks unused devices: 3.3 模拟：RAID1实验内容如下：1）创建RAID12）添加1G热备盘3）模拟磁盘故障，自动顶替故障盘4）卸载阵列实验环境：创建分区 sdb3，sdb5，sdb6，大小为1Grootpanda /# fdisk /dev/sdb命令(输入 m 获取帮助)：p磁盘 /dev/sdb：21.5 GB, 21474836480 字节，41943040 个扇区Units = 扇区 of 1 * 512 = 512 bytes扇区大小(逻辑/物理)：512 字节 / 512 字节I/O 大小(最小/最佳)：512 字节 / 512 字节磁盘标签类型

22、：dos磁盘标识符：0x4971fe2c 设备 Boot Start End Blocks Id System/dev/sdb1 2048 2099199 1048576 83 Linux/dev/sdb2 2099200 4196351 1048576 83 Linux/dev/sdb3 4196352 6293503 1048576 83 Linux命令(输入 m 获取帮助)：t分区号 (1-3，默认 3)：1Hex 代码(输入 L 列出所有代码)：fd已将分区“Linux”的类型更改为“Linux raid autodetect”命令(输入 m 获取帮助)：t 转换分区类型分区号 (1-

23、3，默认 3)：2Hex 代码(输入 L 列出所有代码)：fd已将分区“Linux”的类型更改为“Linux raid autodetect”命令(输入 m 获取帮助)：t分区号 (1-3，默认 3)：3Hex 代码(输入 L 列出所有代码)：fd已将分区“Linux”的类型更改为“Linux raid autodetect”命令(输入 m 获取帮助)：p磁盘 /dev/sdb：21.5 GB, 21474836480 字节，41943040 个扇区Units = 扇区 of 1 * 512 = 512 bytes扇区大小(逻辑/物理)：512 字节 / 512 字节I/O 大小(最小/最佳)

24、：512 字节 / 512 字节磁盘标签类型：dos磁盘标识符：0x4971fe2c 设备 Boot Start End Blocks Id System/dev/sdb1 2048 2099199 1048576 fd Linux raid autodetect/dev/sdb2 2099200 4196351 1048576 fd Linux raid autodetect/dev/sdb3 4196352 6293503 1048576 fd Linux raid autodetect命令(输入 m 获取帮助)：wThe partition table has been altered!

25、Calling ioctl() to re-read partition table.正在同步磁盘。rootpanda # mdadm -E /dev/sdb6mdadm: No md superblock detected on /dev/sdb6没有检测到任何超级块，这意味着还没有创建RAID。rootpanda # mdadm -C -v /dev/md1 -l 1 -n 2 -x 1 /dev/sdb3 /dev/sdb5,6mdadm: Note: this array has metadata at the start and may not be suitable as a bo

26、ot device. If you plan to store /boot on this device please ensure that your boot-loader understands md/v1.x metadata, or use -metadata=0.90mdadm: size set to 1047552KContinue creating array? ymdadm: Defaulting to version 1.2 metadatamdadm: array /dev/md1 started.rootpanda # cat /proc/mdstat Persona

27、lities : raid0 raid1 md1 : active raid1 sdb62(S) sdb51 sdb30 1047552 blocks super 1.2 2/2 UU md0 : active raid0 sdb10 sdb21 2095104 blocks super 1.2 512k chunks unused devices: n md1:表示此阵列的设备名n active：表示此阵列正常读写n sdb62(S)表示是这个阵列第3个设备且是备用盘，sdb21是此阵列第2个设备，sdb10是此阵列第1个设备n 1047552 blocks：表示此阵列的大小，以块为单位（1

28、G）n 2/2：表示阵列中有2个磁盘，并且2个都在正常运行n 【UU】正常，如果异常有盘，是显示的3.3.1 将RADI信息保存到配置文件rootpanda # mdadm -DsvARRAY /dev/md0 level=raid0 num-devices=2 metadata=1.2 name=panda:0 UUID=2882afcd:4cbb1881:17c5faf9:866dd41b devices=/dev/sdb1,/dev/sdb2ARRAY /dev/md1 level=raid1 num-devices=2 metadata=1.2 spares=1 name=panda:

29、1 UUID=a8f10411:12116d26:a84838d5:15fae413 devices=/dev/sdb3,/dev/sdb5,/dev/sdb6rootpanda # mdadm -Dsv /etc/mdadm.conf rootpanda # cat !$cat /etc/mdadm.confARRAY /dev/md0 level=raid0 num-devices=2 metadata=1.2 name=panda:0 UUID=2882afcd:4cbb1881:17c5faf9:866dd41b devices=/dev/sdb1,/dev/sdb2ARRAY /de

30、v/md1 level=raid1 num-devices=2 metadata=1.2 spares=1 name=panda:1 UUID=a8f10411:12116d26:a84838d5:15fae413 devices=/dev/sdb3,/dev/sdb5,/dev/sdb6n spares=1表示：有热备盘1个3.3.2 检查 RAID 阵列rootpanda # mdadm -D /dev/md1/dev/md1: -raid设备名 Version : 1.2 Creation Time : Thu Dec 15 20:45:01 2016 -创建时间 Raid Level

31、: raid1 Array Size : 1047552 (1023.17 MiB 1072.69 MB) Used Dev Size : 1047552 (1023.17 MiB 1072.69 MB) Raid Devices : 2 Total Devices : 3 Persistence : Superblock is persistent Update Time : Thu Dec 15 20:45:07 2016 State : clean Active Devices : 2 -当前活动设备Working Devices : 3 -工作设备 Failed Devices : 0

32、 -失效设备 Spare Devices : 1 -热备盘数量 Name : panda:1 (local to host panda) UUID : a8f10411:12116d26:a84838d5:15fae413 Events : 17 Number Major Minor RaidDevice State 0 8 19 0 active sync /dev/sdb3 1 8 21 1 active sync /dev/sdb5 2 8 22 - spare /dev/sdb63.3.3 在RAID设备上创建文件系统rootpanda # mkfs.xfs /dev/md1meta-

33、data=/dev/md1 isize=256 agcount=4, agsize=65472 blks = sectsz=512 attr=2, projid32bit=1 = crc=0 finobt=0data = bsize=4096 blocks=261888, imaxpct=25 = sunit=0 swidth=0 blksnaming =version 2 bsize=4096 ascii-ci=0 ftype=0log =internal log bsize=4096 blocks=853, version=2 = sectsz=512 sunit=0 blks, lazy

34、-count=1realtime =none extsz=4096 blocks=0, rtextents=0rootpanda # mkdir /raid1rootpanda # mount /dev/md1 /raid1/rootpanda # df -hFilesystem Size Used Avail Use% Mounted on/dev/sda3 197G 2.9G 194G 2% /devtmpfs 467M 0 467M 0% /devtmpfs 481M 172K 481M 1% /dev/shmtmpfs 481M 7.0M 474M 2% /runtmpfs 481M

35、0 481M 0% /sys/fs/cgroup/dev/sr0 3.8G 3.8G 0 100% /media/dev/sda1 297M 128M 169M 44% /boottmpfs 97M 8.0K 97M 1% /run/user/0tmpfs 97M 16K 97M 1% /run/user/42/dev/md1 1020M 33M 988M 4% /raid13.3.4 创建测试文件3.3.5 自动挂载rootpanda # umount /raid1rootpanda # df 文件系统 1K-块 已用 可用 已用% 挂载点/dev/sda3 206234228 303393

36、2 203200296 2% /devtmpfs 477820 0 477820 0% /devtmpfs 492364 84 492280 1% /dev/shmtmpfs 492364 7148 485216 2% /runtmpfs 492364 0 492364 0% /sys/fs/cgroup/dev/sr0 3947824 3947824 0 100% /media/dev/sda1 303788 130864 172924 44% /boottmpfs 98476 16 98460 1% /run/user/42tmpfs 98476 0 98476 0% /run/user/

37、0rootpanda # echo /dev/md1 /raid1 xfs defaults 0 0 /etc/fstabrootpanda # mount -av/ ：已忽略/boot ：已经挂载swap ：已忽略/media ：已经挂载mount：/raid1 不包含 SELinux 标志 您刚将一个支持标签但未包含标签的文件系统挂载到了 SELinux 机器上。 受限制的应用程序可能会生成 AVC 消息，并被阻止访问该文件系统。 更多详细信息请参阅 restorecon(8) 和 mount(8)。/raid1 : successfully mountedrootpanda # df文件

38、系统 1K-块 已用 可用 已用% 挂载点/dev/sda3 206234228 3033932 203200296 2% /devtmpfs 477820 0 477820 0% /devtmpfs 492364 84 492280 1% /dev/shmtmpfs 492364 7148 485216 2% /runtmpfs 492364 0 492364 0% /sys/fs/cgroup/dev/sr0 3947824 3947824 0 100% /media/dev/sda1 303788 130864 172924 44% /boottmpfs 98476 16 98460 1

39、% /run/user/42tmpfs 98476 0 98476 0% /run/user/0/dev/md1 1044140 32932 1011208 4% /raid13.3.6 模拟损坏下面模拟RAID1中/dev/sdb3出现故障，观察/dev/sdb6备用盘能否自动顶替故障盘n 将/dev/sdb1指定为故障状态，cat /proc/mdstat查看阵列状态rootpanda # mdadm /dev/md1 -f /dev/sdb1mdadm: set /dev/sdb3 faulty in /dev/md1rootpanda # mdadm -D /dev/md1/dev/md1: Version : 1.2 Creation Time : Thu Dec 15 20:45:01 2016 Raid Level : raid1 Array Size : 1047552 (1023.17 MiB 1072.69 MB) Used Dev S