Linux集群文件系统简介.docx

Linux集群文件系统简介作者 Sheryl Calish集群文件系统在多个方面完善了 Oracle RAC的数据库集群功能。以下是它们的比照状况。通常，集群只是一组作为单一系统运行的效劳器（PC或者工作站）。但是，这个定义的外延不断显著扩 大；集群技术现在不但是一个动态领域，而且其各种应用程序正不断吸取的特性。此外，集群文件系统技 术（无论是开放源代码的还是专有的）在其功能方面正在快速趋同。很多人谈到集群应用程序和其中所使用的文件系统软件时，就象它们完全是一回事似的。更准确地说，大 多数集群包含两个主要组件：通过快速网络连接共享存储介质的效劳器和充当软件“粘合剂”使集群节点 保持协作的文件系统。在在inux文件系统精通指南” 一文中，我解释了文件系统方法和数据构造如何供给硬盘分区物理构造的 用户级视角。虽然各工程之间有所不同，但集群文件系统为集群的多个节点所做的工作是一样的：它们使 全部节点看上去都象是单一系统的一局部，同时允许集群的全部节点进展并发的读写操作。在本篇后续文章中，我们将从较高角度来介绍集群文件系统之间的总体差异以及Oracle真正应用集群 （RAC）环境的某些特性。刚接触集群、Linux文件系统或Oracle RAC的数据库治理员或系统治理员会发 该文很有教育意义。集群应用程序简介集群应用程序具有各种级别的成熟度和功能。它们包括： 高性能集群也称为并行集群或计算集群，通常用于那些支持大量计算处理的系统。在这些集群中， 并行文件系统在节点间安排处理资源，因而允许每个节点通过并发的读写同时访问同一文件。 NASA在二十世纪九十年月初期开发的Beowulf Linux集群就是最常见的例如。 高可用性（HA）集群特地为容错或冗余而设计。由于这些集群通常使用一个或多个效劳器进展处 理，所以当一个或多个效劳器停机时，这些效劳器能够担当其他效劳器的处理职责。 负载平衡或负载均衡集群在多个效劳器（通常是web效劳器）间尽可能平均地安排负载。 存储 集群用于SAN和具有不同操作系统的效劳器之间，供给对通用存储介质上的数据块的共享 访问。 数据库 集群将Oracle RAC作为平台，把很多集群文件系统特性引入到应用程序本身中。这些集群应用程序具有重叠的特性，其中一个或多个特性通常可在单个集群应用程序中找到一尤其是在 HA和负载均衡集群中。例如，Oracle RAC可以安装在HA集群文件系统上，从而将数据库集群的优点 引入HA集群应用程序，如： 共享资源一包括数据、存储器、硬盘和元数据一从而使多个节点看上去就像单一文件系统。 它们允许集群的全部成员同时读写文件系统。 将存储设备集合到单个磁盘卷中，从而因无需进展数据复制而提高了性能 可伸缩的容量、带宽和连接性 单个系统映像，为全部节点供给一样的数据视图。现在让我们来看一些可以选用的支持Oracle RAC并具有集群感知的Linux文件系统，以及它们如何完 善Oracle RAC的功能。可以运行Oracle的集群文件系统Oracle RAC 技术已经供给了诸如负载均衡、冗余、故障切换、可伸缩性、高速缓存和锁定等特性，因此 当Oracle数据文件位于安装有传统Linux文件系统（如ext2/ext3）的块设备上时会消灭功能的重复。在 这种状况下性能降低了，由于Oracle和文件系统的高速缓存消耗了内存资源。到写本文时为止，除了第三方集群文件系统之外，还有四种可选用的运行 Oracle RAC 的文件系统。按 Oracle的推举挨次，它们依次为：1 . Oracle自动存储治理2 . Oracle集群文件系统3 .网络文件系统4 .原始设备。Oracle自动存储治理（ASM） Oracle的一个特点就是，无论它在哪种环境中运行，一旦您获得一个 Oracle API,则全部的外观、体验和操作都一样。Oracle ASM是Oracle数据库10g的一个特性，它将 这种全都的环境扩展到存储治理方面，使用SQL语句、Oracle Enterprise Manager网格掌握或数据库配 置助手程序来创立和治理存储内容和元数据。将ASM用于Oracle数据库10g数据文件存储被认为是 最正确方法。ASM中的根本数据构造是磁盘组，它由一个或多个磁盘组成。在该语境中，“磁盘”可以是一个磁盘分区、 一个完整的磁盘、一个级联磁盘、一个存储设备的分区或者一个完整的存储设备。肯定要生疏到，ASM并非通用集群文件系统。相反，ASM是一个具有集群感知的文件系统，特地为处理 Oracle数据库文件、掌握文件和志文件而设计。ASM不应与规律卷治理器（LVM）共用，这是由于后 者会使ASM无法识别磁盘。ASM执行以下功能： 通过磁盘头中的ASM ID识别磁盘。 在磁盘组中的全部存储器间动态安排数据，供给可选的冗余保护，并且具有集群感知力量。 允许在Oracle数据库处于完全运转状态时进展主要的存储操作一无需停机即可添加、删除、 甚至将磁盘组移到的存储阵列尽管少见） 当添加或删除磁盘时，进展自动负载均衡和重均衡 通过使用故障组，供给额外的冗余保护 优化存储资源的使用。当安装在原始设备或者安装在Oracle所推举的那些使用ASM库驱动程序的块设备上时，ASM自身作 为实例来运行，该实例先于数据库实例启动。它使DBA能够创立、扩展和缩小磁盘，并将这些变化映射 到共享访问这些组的其他节点上的磁盘组。数据库实例能够在集群的多个节点间共享存储器的集群池。 ASM由Oracle通用安装程序安装。假设将ASM添加到一个现有的数据库中，则要确保将数据库设置 为附属于ASM实例，以便在启动时ASM实例先于所附属数据库启动。例如：$ srvctl modify instance -d 010G -i 010G1 -s +ASM1使O10G1实例附属于+ASM1实例。ASM实例与Oracle数据库实例的区分表现在以下几方面：1 .尽管可以使用几个V$视图来获得关于ASM实例的信息，但没有数据字典： V$ASM_DISKGROUP> V$ASM_CLIENT> V$ASM_DISK> V$ASM_FILE> V$ASM_TEMPLATE、V$ASM_ALIAS 和 V$ASM_OPERATIONo2 .您只能以SYSDBA或SYSOPER连接ASM 实例。3 .有五个初始化参数用于ASM实例，其中INSTANCE3YPE是必要的，并应当设置如下： INSTANCE_TYPE = ASMo在ASM实例中，DBA可以使用SQL语法或Enterprise Manager来：1 .使用一个或多个磁盘为存储池定义一个磁盘组2 .在磁盘组中添加和删除磁盘.定义一个故障组来增加数据冗余保护。通常这是磁盘组中一系列需要不连续运行的磁盘，它们共 享一种共用资源，如掌握器。可以通过Enterprise Monoger或通过V$ASM视图监视ASM磁盘组的状态。您还可以在创立数据库构 造时在一个数据库实例中引用它们来安排存储器。当您创立表空间、重做日志、归档日志文件和掌握文件时，通过在初始化参数或者在DDL中指定磁盘组， 您可以从数据库实例中引用ASM磁盘组。有关ASM的更多具体信息，请参见Lannes Morris-Murphy的OTN文章“自动的存储"、Aruo Nanda的 "Oracle数据库10g：为DBA供给的最重要的20个特性”中的ASM局部以及09cle数据库治理 员指南10g第1版(10.1)的第12章。Oracle集群文件系统(OCFS) OCFS特地为支持Oracle RAC应用程序的数据和磁盘共享而设计。它在 RAC集群的效劳器节点间供给全都的文件系统映像，充当原始设备的替身。除了简化集群数据库治理外， 它还在保持原始设备性能优势的同时抑制了原始设备的局限性。OCFS第1版支持Oracle数据文件、spfile,掌握文件、仲裁磁盘文件、归档口志、配置文件以及Oracle 集群注册表(OCR)文件(Oracle数据库10g中的文件)。设计它不是为了使用其他文件系统的文件，甚 至不是为了使用那些必需在集群每个节点上安装的Oracle软件一除非您使用第三方解决方案。止匕外， OCFS不供给诸如I/O安排(分割)等LVM功能，也不供给冗余功能。Oracle 支持用于 32 位和 64 位发行版本的 Red Hat Advanced Server 2.1 > Red Hat Enterprise Linux 3 和Novell SUSE (United Linux)上的OCFS第1版中的Oracle数据库，该数据库需要从可下载的二进 制文件进展安装。假设您自己对其进展重编译，则Oracle不供给支持。有三种不同的rpm程序包：5 .使用ocfstool命令和GUI环境或mkfs. ocfs来格式化OCFS分区。6 .手动挂载OCFS分区，或者在/etc/fstab中添加一项来实现自动挂载。有关这些步骤的更具体说明，请参见“最正确实践”文档。由于OCFS第1版没有编写成符合POSIX标准，所以诸如cp、dd. tar和textutils等文件命令需要 coreutils供给一个O_DIRECT开关。该开关使这些命令能够如同预期那样用于Oracle数据文件，即使 Oracle正在对这些一样的文件进展操作（只有当您运行第三方软件进展热备份时才会消灭问题）。使用 RMAN可以完全避开这个问题。假设您仍旧需要使用这些功能来完成各种维护任务；可以从 3束g*-4p田同Gte/aey跳网炎 下载能够实现这些命令的OCFS工具。相反，OCFS第2版（到2022年3月时仍为测试版）符合POSIX标准，并且支持Oracle数据库软件， 它可以安装在一个节点上并在集群的其他节点间共享。除了共享的ORACLE_HOME外，OCFS第2版的 其他特性还包括改进的元数据数据高速缓存、空间安排和锁定。此外还有改进的口志和节点恢复功能。网络文件系统（NFS）虽然ASM和OCFS是Oracle RAC的首选文件系统，但Oracle还支持经过认施 网络文件效劳器上的NFSO NFS是分布式文件系统，本文不对其作全面争论。有关更多信息，请访问 NFS主页。原始设备过去有一段时间内，原始设备是运行Oracle RAC的唯一选择。原始设备就是一个没有安装文 件系统的磁盘驱动器，可以被分成多个原始分区。原始设备允许绕过文件系统缓冲区高速缓存直接访问硬 件分区。要让Oracle RAC使用原始设备，必需在安装Oracle软件之前通过Linux raw命令将一个块设备绑定到 该原始设备：# raw /dev/raw/raw1 /dev/sdaminor 0minor 0minor 1mi nor 2/dev/raw/rawl:bound to major 8, # raw /dev/raw/raw2 /dev/sda1 /dev/raw/raw2:bound to major 8,raw /dev/raw/raw3 /dev/sda2/dev/raw/raw3:bound to major 8,在绑定后，您可以使用raw在绑定后，您可以使用raw命令来查询全部原始设备。# raw -qa/dev/raw/raw1:bound to major/dev/raw/raw1:bound to major8,mi nor 0/dev/raw/raw2:bound to major8,mi nor 1/dev/raw/raw3:bound to major8,mi nor 2mojor和minor数值确定了该内核的设备位置和驱动程序。major数值确定了总的设备类型，而minor数值 确定了属于该设备类型的设备数量。在上述例如中，majors是SCSI磁盘/dev/sda的设备类型。请留 意，设备不需要处于可访问状态即可运行上述命令。当我为了演示而运行上述命令时，我的系统没有连接 任何SCSI磁盘。这些命令的效果在我下一次重启动后将会消逝，除非我将这些命令放在类似 /etc/init.d/boot.local或/etc/init.d/dbora的引导脚本中，每当我的系统引导时，就会运行这些脚本。 在将块设备映射到原始设备后，您仍旧需要确保原始设备属于oracle用户和oinstall组。# Is -1 /dev/raw/raw1crw-rw1 root d i sk 162,1 Mar 23 2022 /dev/raw/raw1# chown oracle:oinstalI /dev/raw/raw1Is -1 /dev/raw/raw1crw-rw1 oracIe o i nstaI I 162,1 Mar 23 2022 /dev/raw/raw1然后您可以在 Oracle 数据文件与原始设备之间使用符号链接，以便使事情更易于治理。Linux内核2.4版中的原始设备限制中包括每分区一个原始设备的限制和每系统255个原始设备的限 制。Novell SUSE Enterprise Linux 63个原始设备文件，但可以使用mknod命令（需要有根权限） 创立最多255个原始设备。# Is /dev/raw/raw64Is:/dev/raw/raw64:No such fi Ie or di rectory # cd /dev/rawI inux:/dev/raw # mknod raw64 c 162 64Is /dev/raw/raw64/dev/raw/raw64以上的mknod命令需耍设备名、设备类型以及major和minor数值。本例如中的设备名是“raw64”， 设的堤“c”（表示它是一个字符设备）。该设备的major和minor数值分别是162和64。另外， Novell SUSE用户可以通过运行orarun rpm来安装这些设备。使用原始设备的其他缺点包括： 一个磁盘的原始分区数量限制为14o 不支持Oracle治理文件（OMF）。 无法重调整原始设备分区的大小，因此假设空间缺乏，则必需创立另一个分区来添加数据库文件。 原始设备显示为未使用空间，这可能导致其他应用程序将其掩盖。 向原始设备进展写操作的唯一方法是使用低级命令dd,该命令在设备或文件之间传输原始数据。 但是，您需要格外留神，确保恰当协调内存和磁盘上的I/O操作。 一个原始分区只能拥有一个数据文件、一个掌握文件或一个重做口志等等。假设您不使用ASM, 则您需要为每个与表空间关联的数据文件供给一个独立的原始设备。但是，一个表空间可以在不 同的原始设备分区中拥有多个数据文件。结论Oracle RAC供给了一个文件系统（集群的或非集群的）所具有的很多功能，最大程度地减轻了文件系统 本身的工作。如前所述，所需要的只是一个对Oracle RAC现有的、内在的数据库集群功能进展补充的文 件系统。尽管OCFS、NFS和原始设备也可能是可行的方法，但在大多数状况下，ASM会最大程度地实 现这一目的，从而被视为Oracle的最正确实践。还可以将ASM用于数据文件，OCFS用于表决磁盘、 OCR和Oracle主名目，以及在NFS存储器上使用ASM。将来我们还可以期盼另一个方法，就是OCFS第2版能够使用共享的Oracle主名目，从而完善ASM 上的共享存储器。Sheryl Calish是 Blue Heron Consulting 的一位特地争论 Linux 的 Oracle 开发人员。她还是佛罗里达州Oracle用户群的基金会主席和IOUG Linux SIG的销售主席。 OCFS内核模块，针对Red Hat和United Linux的分发版本各不一样。请认真验证您的内核版 本：$ uname -a Linux Iinux 2.4. 18-4GB #1 Wed Mar 27 13:57:05 UTC 2022 i686 unknown OCFS支持程序包 OCFS工具程序包。当您下载了这些rpm程序包后，执行以下安装步骤：1.在下载了 rpm程序包的名目中执行rpm -Uhv ocfs*. rpm命令安装这些程序包。2.确认已启用引导时自动挂载。3.自动使用ocfstool在集群中的每个节点上配置OCFSo还可以使用手动配置方法，详情请见 OCFS用户指南。这一步骤的最终结果是创立了 /etc/ocfs.conf文件，用于配置OCFSo4.运行ocfs loocLocfs,确保在启动时加载OCFS。