云计算基础教程实验大纲.pdf

《云计算基础教程实验大纲.pdf》由会员分享，可在线阅读，更多相关《云计算基础教程实验大纲.pdf（128页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、 云 计 算 基 础 教 程 实 验 指 导 书目 录 云 计 算 基 础 教 程 实 验 指 导 书.1实 验 一 MPI的 搭 建 及 OpenMP的 配 置.3实 验 二 集 群 系 统 的 管 理 与 任 务.9实 验 三 PBS.17实 验 四 MAUI.25实 验 五 Ganglia.27实 验 六 Nagios.33实 验 七 VMware虚 拟 机.50实 验 八 VirtualBox的 安 装 与 配 置.63实 验 九 Xen的 安 装 与 配 置.66实 验 十 KVM与 QEMU.80实 验 十 一 GNBD环 境 下 的 冗 余 磁 盘 阵 列.89实 验 十 二 H

2、DFS的 安 装 与 配 置.92实 验 十 三 NFS的 安 装 与 配 置.97实 验 十 四 LVM的 安 装 与 创 建.98实 验 十 五 LVM环 境 下 的 RAID镜 像.102实 验 十 六 Proxmox的 使 用.106实 验 十 七 基 于 Hadoop大 数 据 平 台 的 搭 建 与 配 置.114实 验 M PI的 搭 建 及 OpenMP的 配 置 1.MPI简 介 消 息 传 递 接 口(Message Passing Interface,MPI)是 目 前 应 用 较 广 泛 的 一 种 并 行 计 算 软 件 环 境，是 在 集 群 系 统 上 实 现 并

3、 行 计 算 的 软 件 接 口。为 了 统 一 互 不 兼 容 的 的 用 户 界 面，1992年 成 立 了 MPI委 员 会，负 责 制 定 MPI的 新 标 准，支 持 最 佳 的 可 移 植 平 台。MPI不 是 一 门 新 的 语 言，确 切 地 说 它 是 一 个 C 和 Fortran的 函 数 库，用 户 通 过 调 用 这 些 函 数 接 口 并 采 用 并 行 编 译 器 编 译 源 代 码 就 可 以 生 成 可 并 行 运 行 的 代 码。MPI的 目 标 是 要 开 发 一 个 广 泛 用 于 编 写 消 息 传 递 程 序 的 标 准，要 求 用 户 界 面 实

4、用、可 移 植，并 且 高 效、灵 活，能 广 泛 应 用 于 各 类 并 行 机，特 别 是 分 布 式 存 储 的 计 算 机。每 个 计 算 机 厂 商 都 在 开 发 标 准 平 台 上 做 了 大 量 的 工 作，出 现 了 一 批 可 移 植 的 消 息 传 递 环 境。MPI吸 收 了 它 们 的 经 验，同 时 从 句 法 和 语 法 方 面 确 定 核 心 库 函 数，使 之 能 适 用 于 更 多 的 并 行 机。MPI在 标 准 化 过 程 中 吸 收 了 许 多 代 表 参 加，包 括 研 制 并 行 计 算 机 的 大 多 数 厂 商，以 及 来 自 大 学、实 验

5、室 与 工 业 界 的 研 究 人 员。1992年 开 始 正 式 标 准 化 MPI,1994年 发 布 了 MPI的 定 义 与 实 验 标 准 MPI 1,相 应 的 MPI 2 标 准 也 已 经 发 布。MPI吸 取 了 众 多 消 息 传 递 系 统 的 优 点，具 有 很 好 的 可 以 执 行、易 用 性 和 完 备 的 异 步 通 信 功 能 等。MPI事 实 上 只 是 一 个 消 息 传 递 标 准，并 不 是 软 件 实 现 并 行 执 行 的 具 体 实 现，目 前 比 较 著 名 的 MPI具 体 实 现 有 MPICH.LAMMPI等，其 中 MPICH是 目 前

6、 使 用 最 广 泛 的 免 费 MPI系 统，MPICH2是 MPI 2 标 准 的 一 个 具 体 实 现，它 具 有 较 好 的 兼 容 性 和 可 扩 展 性，目 前 在 高 性 能 计 算 集 群 上 使 用 非 常 广 泛。MPICH2的 使 用 也 非 常 简 单，用 户 只 需 在 并 行 程 序 中 包 含 MPICH的 头 文 件，然 后 调 用 一 些 MPICH2函 数 接 口 将 计 算 任 务 分 发 到 其 他 计 算 节 点 即 可，MPICH2为 并 行 计 算 用 户 提 供 了 100多 个 C 和 Fortran函 数 接 口，表 I T 列 出 了 一

7、 些 常 用 的 MPICH2的 C 语 言 函 数 接 口，用 户 可 以 像 调 用 普 通 函 数 一 样，只 需 要 做 少 量 的 代 码 改 动 就 可 以 实 现 程 序 的 并 行 运 行，MPICH并 行 代 码 结 构 如 图 1-1所 示。表 0 7 常 用 的 MPICH2函 数 接 口 编 号 函 数 名 称 功 能 描 述(1 include“mpi.h”/包 含 MPICH 的 头 文 件(2).：H 其 他 代 码(3)MPl.lnit();II 初 始 化 MP1(4)MP1 Comm rank(MPl COMM WORLD.&rank圈 前 进 程 标 识

8、号(5)MPI Cotnm size(MPl COMM W ORLD,&siz);修 加 运 算 的 进 程 的 个 数(6)MPl_Bcast();II 广 播 发 送 任 务(7)./发 送 的 计 并 任 务(8)MPl_Rcduce();聚 集 各 节 点 运 算 结 果(9)MP1 Finalize();U 结 束 MP101 MPIJnit 初 始 化 MPI接 口 02 M PICommsize 通 信 器 进 程 数 03 M PICom m ranl 当 前 进 程 的 进 程 号 04 MPIBcast 广 播 方 式 发 送 数 据 05 MPIReduce 组 合 数

9、据 到 主 进 程 06 MPIFinalize 终 止 M PI图 1-1 M P I CH并 行 代 码 结 构 在 Linux集 群 环 境 下，MPICH2运 行 并 行 程 序 需 要 借 助 于 网 络 文 件 系 统(Network File System,NFS)共 享 工 作 区 和 使 用 SSH(Secure SHELL)通 过 网 络 发 送 共 享 工 作 区 中 的 并 行 可 执 行 代 码，其 中 NFS需 要 编 译 内 核 使 Linux支 持 网 络 文 件 系 统。NFS的 内 核 选 项 在 File System-*Network File Syst

10、em下，服 务 器 端 要 变 异 NFS Server Support,客 户 端 编 译 NFS Client Support0 下 面 以 在 Red Hat Enterprise Linux 5 上 安 装 MPICH2为 例 简 述 在 IBM Blade集 群 环 境 下 搭 建 MPI并 行 运 行 环 境 的 过 程。2.M P I的 搭 建 1)服 务 器 的 配 置(1)编 译 安 装 MPICH2MPICH2的 安 装 可 以 使 用 根 用 户 root安 装 也 可 以 使 用 普 通 用 户 权 限 安 装，这 里 我 们 以 root用 户 安 装 为 例，首 先

11、 创 建 MPICH2的 安 装 目 录，如/user/local/mpich2-instalL 然 后 指 定 mpich2-l.1.Oal.tar.gz 安 装 包，切 换 到 该 目 录 下 运 行./conf igure-pref ix=/user/local/mpich2-instal 1 指 定 MPICH2安 装 目 录，执 行 命 令 make&make install将 MPICH2的 可 执 行 程 序 及库 文 件 安 装 到/user/local/mpich2-install目 录 下。(2)设 置 NFS服 务 器 端 修/etc/exports,在 文 件 中 加

12、A/user/local/mpich2-install*(rw,no_root_squash,sync)指 定 将 MPICH2的 安 装 目 录(这 里 我 么 将 MPICH2安 装 目 录 作 为 工 作 区)通 过 NFS服 务 器 共 享 给 所 有 客 户 机。(3)设 置 SSH更 改/etc/hosts文 件，添 加 主 机 名 IP地 址，例 如：127.0.0.1 localhost.Localdomain localhost192.168.0.1 bclnl192.168.0.2 bcln2192.168.0.3 bcln3配 置 host,conf文 件 完 成 后，为

13、 了 使 节 点 相 互 通 信 不 需 要 输 入 密 码，还 要 进 行 安 全 验 证 的 配 置，使 用 ssh-keygen-trsa命 令 生 成 SSH密 钥 对。切 换 到/root目 录 下，cp id_rsa.pub authorize_keys将 公 钥 拷 贝 为 授 权 钥 匙，并 将 在/root目 录 下 生 成 的.ssh文 件 夹 拷 贝 到 所 有 节 点。这 里 我 们 使 用 了 IBM集 群 管 理 软 件 XCAT 的 并 行 拷 贝 命 令 pscp-r/root/.ssh bclnl-bclnl4:/root/一 次 性 地 将.ssh目 录 并

14、 行 拷 贝 到 所 有 的 计 算 节 点 上，避 免 重 复 多 次 运 行 SCP命 令 的 麻 烦。(4)修 改 环 境 变 量 profile在/etc/profile中 加 入 MICH2可 执 行 文 件 的 环 境 变 量 export PATH=n$PATH:/user/MPICH-instal 1/b i n 用 命 令 source/etc/profile 是 新 增 加 的 环 境 变 量 生 效。(5)添 加 mpd.conf文 件#echo asecretword=myword/etc/mpd.conf#echo/etc/mpd.conf#echo 600/etc/

15、mpd.conf(6)添 加 主 机 名 称 集 合 文 件 mpd.hosts文 件 在 mpd.hosts文 件 中 加 入 如 下 主 机 名：bclnlbcln22)客 户 端 的 配 置(1)挂 载 网 络 文 件 系 统 在/user/local目 录 下 创 建 mpich2-install文 件 夹，然 后 在/etc/fstab中加 入 需 要 挂 载 的 网 络 文 件 系 统,将 服 务 器 端 共 享 的 工 作 区 挂 载 到 本 地，内 容 如 下。Server:/user/local/mpich2-instal 1/user/local/mpich2-instal

16、1 nfsdefaylts 0 0(2)添 加 环 境 变 量 类 似 于 服 务 器 端，在/etc/profile中 加 入 MPICH2可 执 行 文 件 的 环 境 变 量 ecport PATH=$PATH:/user/MPICH-install/bin”,使 用 命 令 source/etc/prof i le是 新 增 加 的 环 境 变 量 生 效。3)MPICH2 测 试 切 换 到 工 作 区，运 行 mpdboot-n-f mpd.conf 启 动 mpi的 守 护 程 序，该 守 护 程 序 通 知 所 有 参 加 并 行 计 算 的 计 算 节 点，接 下 来 运 行

17、 mpiexec-n cpi命 令 测 试 由 MPICH2提 供 的 计 算 圆 周 率 的 并 行 程 序，若 运 行 完 毕 未 出 现 错 误 提 示，则 表 示 MPICH2的 环 境 配 置 成 功。3.OpenMP 简 介 OpenMP是 一 种 针 对 共 享 内 存 的 多 线 程 编 程 技 术(SMP是 配 合 OpenMP进 行 多 线 程 编 程 的 最 佳 硬 件 架 构)，是 由 一 些 具 有 国 际 影 响 力 的 大 规 模 软 件 和 硬 件 厂 商 共 同 定 义 的 的 标 准。它 是 一 种 编 程 指 导 语 句，指 导 多 线 程、共 享 内 存

18、 并 行 的 应 用 程 序 编 程 接 口，OpenMP是 一 种 能 被 用 于 显 示 指 导 多 线 程、共 享 内 存 并 行 的 应 用 程 序 编 程 接 口。其 规 范 由 SGI发 起。OpenMP具 有 良 好 的 可 移 植 性，支 持 多 种 编 程 语 言。OpenMP能 够 支 持 多 种 平 台，包 括 大 多 数 的 类 UNIX及 Windows NT系 统。OpenMP最 初 是 为 了 共 享 内 存 多 处 理 的 系 统 结 构 而 设 计 的 并 行 编 程 方 法，与 通 过 消 息 传 递 进 行 并 行 编 程 的 模 型 有 很 大 的 区

19、别。这 是 用 来 处 理 多 处 理 器 共 享 的 一 个 内 存 设 备 的 情 况。多 个 处 理 器 在 访 问 内 存 的 时 候 使 用 的 是 相 同 的 内 存 编 址 空 间。SMP是 一 种 共 享 内 存 的 体 系 结 构，分 布 式 共 享 内 存 将 多 及 的 内 存 资 源 通 过 虚 拟 化 的 方 式 形 成 一 个 统 一 的 内 存 空 间 提 供 给 多 个 机 器 上 的 处 理 器 使 用，OpenMP对 这 样 的 机 器 也 提 供 了 一 定 的 支 持。OpenMP的 编 程 模 型 以 线 程 为 基 础，通 过 编 译 指 导 语 句

20、 来 显 示 地 指 导 并 行 化，为 编 程 人 员 提 供 了 对 并 行 化 的 完 整 控 制。OpenMP使 用 Fork-Join(派 生 连 接，见 图 1-2)并 行 执 行 模 型。一 个 OpenMP程 序 从 一 个 单 个 线 程 开 始 执 行，在 程 序 某 点 需 要 并 行 时 程 序 派 生(Fork)出 一 些 额 外 的 线 程 组 成 线 程 组，被 派 生 出 来 的 线 程 称 为 组 的 从 属 线 程，并 行 区 域 中 的 代 码 在 不 同 的 线 程 中 并 行 执 行，程 序 执 行 到 并 行 区 域 末 尾，线 程 将 会 等 待

21、直 到 整 个 线 程 组 到 达，然 后 将 它 们 连 接(Join)在 一 起。在 该 点 处 线 程 组 中 的 从 属 线 程 终 止 而 初 始 主 线 程 继 续 执 行 直 到 下 一 个 并 行区 域 到 来。一 个 程 序 中 可 以 定 义 任 意 数 目 的 并 行 块，因 此，在 一 个 程 序 的 执 行 中 可 Foek-Join若 干 次。使 用 OpenMP在 编 译 器 编 译 程 序 时，会 识 别 特 定 的 注 释，而 这 些 特 定 的 注 释 就 包 含 着 OpenMP程 序 的 一 些 语 句。在 C/C+程 序 中，OpenMP是 以#pra

22、gma omp开 始，后 面 跟 具 体 的 功 能 指 令。在 OpenMP中 编 译 指 导 语 句 是 用 来 表 示 开 始 并 行 运 算 的 特 定 注 释，在 编 译 器 编 译 程 序 时，编 译 指 导 语 句 能 够 被 并 行 编 译 程 序 识 别，串 行 编 译 程 序 则 忽 略 这 些 语 句。并 行 编 译 程 序 根 据 这 些 指 导 语 句 将 相 关 代 码 转 换 成 在 并 行 计 算 机 中 运 行 的 代 码。一 条 编 译 指 导 语 句 由 directive（命 令/指 令）和 clause list（子 句 列 表）组 成。OpenMP的

23、 编 译 指 导 语 句 格 式 为：Spragma omp directive-name clause,ClausenewTineStructured-blockOpenMP的 所 有 编 译 指 导 语 句 由#pragma omp开 始，其 中 directive部 分 包 含 OpenMP 的 主 要 命 令，包 括 parallel、for、parallel for、section、sections、single,master,critical,flush、ordered、barrier 和 atomic。这 些 指 令 用 来 分 配 任 务 或 同 步。后 面 的 可 选 子 句

24、 Clause给 出 了 相 应 的 编 译 指 导 语 句 的 参 数,子 句 可 以 影 响 到 编 译 指 导 语 句 的 具 体 行 为，每 一 个 编 译 指 导 语 句 都 有 一 系 列 适 合 它 的 子 句，其 中 有 6 个 指 令（master、critical、flush、ordered、atomic、barrier）不 能 跟 相 应 的 子 句。new-line为 换 行 符，表 示 一 条 编 译 指 导 语 句 的 终 止。编 译 指 令 不 能 嵌 入 C、C+、Fortran语 句，C、C+、Fortran语 句 也 不 能 嵌 入 编 译 指 令。Open

25、MP运 行 时 库 函 数 用 来 设 置 和 获 取 执 行 环 境 相 关 的 信 息，其 中 也 包 含 一 系 列 用 一 同 步 的 API。要 使 用 运 行 时 库 函 数 所 包 含 的 函 数，应 该 在 相 应 的 源 文 件 中 包 含 OpenMP头 文 件，即 omp.h0 OpenMP运 行 时 库 函 数 的 使 用 类 似 与 相 应 编 程 语 言 内 部 的 函 数 调 用。有 编 译 指 导 语 句 和 运 行 时 库 函 数 可 见，OpenMP同 时 结 合 了 两 种 并 行 编 程 的 方 式，通 过 编 译 指 导 语 句，可 以 将 串 行 的

26、 程 序 逐 步 改 造 成 一 个 并 行 程 序，达 到 增 量 更 新 程 序 的 目 的，从 而 在 一 定 程 度 上 减 少 程 序 编 写 人 员 的 负 担。同 时，这 样 的 方 式 也 能 将 串 行 程 序 和 并 行 程 序 保 存 在 同 一 个 源 代 码 文 件 中，减 少 了 维 护 的 负 担。在 运 行 的 时 候，OpenMP需 要 运 行 函 数 库 的 支 持，并 会 获 取 一 些 环 境 变 量 来 控 制 运 行 的 过 程。这 里 提 到 的 环 境 变 量 是 动 态 函 数 库 中 用 来 控 制 函 数 运 行 的 一 些 参 数。4.O

27、penMP的 配 置 OpenMP的 配 置 非 常 简 单，GCC4.2 以 上 的 版 本 的 编 译 器 都 自 带 了 OpenMP的 头 文 件 和 库，几 乎 不 需 要 再 做 修 改 和 配 置 就 能 使 用 OpenMP实 现 共 享 内 存 并 行 运 行，下 面 我 们 通 过 一 个 实 例 来 阐 述 在 Linux下 如 何 配 置 OpenMPSinclude Int main(argc,argv)int argc;Char*argv;(Spragma omp parallelprintf(Hello world!nw);return 0;考 察 上 面 这 段

28、 简 单 的 Hello world代 码，可 以 看 出，除 了 多 了 一 行#pragmaomp parallel以 外，这 段 代 码 和 普 通 的 C 语 言 代 码 没 有 什 么 区 别，#pragma ompparallel是 一 条 OpenMP标 准 的 语 句，它 的 含 义 是 让 后 面 的 语 句 按 照 多 线 程 来 执 行。当 我 们 采 用 GCC编 译 时，加 入 OpenMP的 参 数-fopenmp,即 可 将 程 序 并 行 化，命 令 如 下：rootlocalhost gcc-fopenmp helloworld,crootlocalhost.

29、/a.outHello world!编 译、执 行 程 序，屏 幕 上 打 印 出 了 一 遍“Hell。world”。-fopenmp是 GCC编 译 支 持 OpenMP程 序 的 参 数，GCC4.2 以 上 的 版 本 默 认 支 持 OpenMPo由 于 系 统 环 境 变 量 中 的 NUM/HREADS的 默 认 为 1,所 以 程 序 只 使 用 一 个 线 程 来 执 行。如 果 要 使 用 多 线 程 执 行 程 序，可 以 修 改 环 境 变 量 NUM_OMP_THREADS,命 令 如 下：rootlocalhost NUM_OMP_THREADS=5rootloca

30、lhost export NUM_OMP_THREADSrootlocalhost./a.outHello world!Hello world!Hello world!Hello world!Hello world!以 上 命 令 表 示 给 线 程 数 量 的 环 境 变 量 NUM_OMPTHREADS赋 值 为 5 并 导 出，再 执 行 程 序,得 到 5 遍 的“Hello world!”,说 明 程 序 将 打 印 语 句 用 5 个 线 程 分 别 执 行 一 遍。如 果 不 希 望 受 到 运 行 系 统 环 境 变 量 的 限 制，也 可 以 将 代 码#pragma omp

31、parallel 替 换 成#pragma omp parallel num_threads(10),编 译 之 后 再 执 行 程 序，得 到 10遍“Hello world!”，这 是 无 论 环 境 变 量 NUM_OMP_THREADS的 值 为 多 少，都 只 得 到 10遍 的“HeH。world!”。实 验 二 集 群 系 统 的 管 理 与 任 务 1.XCAT简 介 一 个 普 通 的 小 规 模 集 群 系 统(节 点 小 于 10)在 没 有 集 群 管 理 软 件 进 行 管 理 的 情 况 下，通 过 手 动 安 装、配 置 每 台 计 算 节 点，其 工 作 量 的

32、 多 少 是 可 想 而 知 的，以 一 个 包 含 10个 节 点 的 集 群 系 统 为 例，在 每 一 台 计 算 节 点 上 安 装 操 作 系 统、配 置 并 行 计 算 机 环 境、同 步 集 群 用 户，在 保 证 不 出 错 的 情 况 下，花 费 的 时 间 大 约 是 两 个 小 时，10个 计 算 节 点 一 共 需 要 20个 小 时 左 右，这 还 是 一 个 比 较 小 的 集 群 系 统，如 果 像 石 油 勘 探、天 气 预 报 等 使 用 的 动 辄 几 百 个 节 点 的 集 群 系 统，照 这 种 方 法 逐 个 配 置 计 算 节 点，虽 然 耗 费 的

33、 时 间 太 多，而 且 要 重 启 计 算 节 点 也 必 须 逐 个 进 行，操 作 极 其 繁 琐，因 此 需 要 集 群 管 理 软 件 来 管 理 集 群 系 统，提 高 工 作 效 率。XCAT(Extreme Cluster Administration Toolkit)是 由 大 型 计 算 设 备 提 供 商 IBM开 发 的 一 套 集 群 管 理 套 件，在 I B M 的 刀 片 箱 上 集 成 了 一 个 K V M 的 硬 件 模 块，该 模 块 控 制 着 箱 内 的 所 有 刀 片，包 括 电 源 开 关、启 动 顺 序 等，X C A T 可 以 控 制 K

34、V M 模 块，用 户 可 以 通 过 该 套 件 实 现 集 群 计 算 节 点 的 管 理，使 得 集 群 管 理 更 容 易，用 户 只 需 要 安 装 好 管 理 节 点，配 置 好 X C A T 的 相 关 参 数，就 可 以 通 过 XCAT控 制 计 算 节 点 的 安 装(使 用 P X E 网 络 启 动 和 KickStart),配 置、重 启 等 操 作，特 别 是 使 用 X C A T 安 装 计 算 节 点，在 管 理 节 点 上 设 置 安 装 源 以 后，运 行 发 送 命 令,计 算 节 点 就 会 自 动 从 管 理 节 点 同 步 安 装 文 件，自 动

35、 将 管 理 员 设 置 好 的 软 件 包 等 安 装 到 计 算 节 点 上，无 需 管 理 员 诸 葛 安 装 和 配 置 每 台 计 算 节 点，为 集 群 管 理 员 节 省 了 大 量 时 间。2.X C A T的 配 置 XCAT能 帮 助 管 理 员 有 效 地 管 理 集 群，避 免 了 手 动 管 理 每 一 个 集 群 计 算 节 点 的 麻 烦。只 需 要 载 管 理 节 点 上 安 装 和 配 置 好 XCA T的 运 行 环 境，就 能 使 集 群 的 管 理 更 加 简 单，接 下 来 介 绍 XCAT的 安 装 与 配 置。1）XCAT安 装 的 前 提 条 件

36、 管 理 节 点 上 至 少 要 有 两 个 网 卡，一 个 对 内 部 的 计 算 节 点 进 行 管 理，一 个 对 外 提 供 计 算 应 用。除 此 之 外，还 需 要 如 下 4 个 XCAT的 软 件 包。xcat-dist-core-1.2.0-RC3.tgzxcat-dist-doc-1.2.0-RC3.tgzxcat-dist-ibm-1.2.0-RC3.tgzxcat-dist-oss-1.2.0-RC3.tgz2）安 装 X C A T 解 压 缩 前 面 列 出 的 XCAT必 须 的 4 个 软 件 包，如 果 将 这 4 个 软 件 包 解 压 到/opt/xcat

37、目 录 下 则 运 行 如 下 命 令。rootmanager#tar-xzvpf xcat-dist-core-1.2.0-RC2.tgz-C/opt/xcatrootmanager#tar-xzvpf xcat-dist-oss-1.2.0-RC2.tgz-C/opt/xcatrootmanager#tar-xzvpf xcat-dist-ibm-1.2.0-RC2.tgz-C/opt/xcatrootmanager#tar-xzvpf xcat-dist-doc-1.2.0-RC2.tgz-C/opt/xcat 安 装 包 解 压 完 成 后，会 在/opt/xcat中 生 成 安 装

38、脚 本 setupxcat,载 生 成 的 文 件 夹 中 进 行 XCAT的 首 次 安 装。rootmanager#./setupxcat 配 置 网 络 时 间 同 步 服 务 器（NTP）O设 置 N TP的 目 的 是 为 了 使 集 群 中 的 计 算 节 点 能 自 动 管 理 节 点 上 同 步 时 间，避 免 了 手 动 修 改 每 台 计 算 节 点 造 成 的 时 间 不 统 一 的 问 题，首 先 我 们 载 管 理 节 点 上 设 置 好 N T P服 务 器 端，编 辑/etc/ntp.conf配 置 文 件，载 文 件 中 输 入 如 下 内 容。#vi/etc/

39、ntp.confserver server 127.127.1.0fudge 127.127.1.0 stratum 10driftfile/var/lib/ntp/drift编 辑 ntp.conf完 成 后，需 要 载 服 务 器 开 启 NTP服 务，使 系 统 自 动 的 时 候 自 动 加 载 NTP服 务，命 令 如 下。#chkconfig level 345 ntpd on 定 义 集 群 XCAT对 计 算 节 点 的 管 理 主 要 依 靠 集 群 设 备 中 硬 件 的 定 义 信 息 表，这 个 表 由 管 理 员 载 集 群 管 理 节 点 上 配 置，表 2-1列

40、出 了 常 用 的 几 个 表 名 及 用 途。表 2-1 XCAT中 的 表 表 名 用 途 site.tabxCAT住 配 置 表，集 群 的 全 局 定 义 表，是 整 个 XCAT中 最 重 要 的 一 个 表，它 定 义 了 rsh路 径、rep路 径、安 装 计 算 节 点 需 要 的 tf tp目 录、集 群 的 域 名 解 析 服 务 器 地 址、管 理 节 点 的 名 称、使 用 的 作 业 管 理 系 统 名 称、资 源 调 度 器 名 称 等 nodehm.tab X CA T的 计 算 节 点 硬 件 管 理 表，记 录 了 节 点 名 称、高 级 系 统 管 理 适

41、配 器、电 源 类 型、终 端 类 型 等 硬 件 信 息 Nodelist.tab 定 义 集 群 中 多 有 节 点 的 名 称、节 点 从 属 组、运 行 状 态 等 Nodepos.tab 记 录 了 每 个 节 点 所 安 放 的 物 理 位 置 noderes.tab 定 义 节 点 组 名 称、节 点 的 启 动 方 式、tftp服 务 器 IP地 址、nfs服 务 器 IP地 址、安 装 启 动 的 网 卡 设 备 名 称 等 Nodetype.tab 定 义 节 点 的 系 统 类 型、构 架，使 用 的 镜 像 类 型 及 从 属 的 组 名 称 passwd.tab 定

42、义 各 种 管 理 设 备 使 用 的 用 户 及 密 码 postscripts.tab定 义 kickstar等 安 装 结 束 后 配 置 节 点 的 相 关 脚 本 Postdeps.tab 定 义 postscripts中 脚 本 的 相 互 依 存 关 系 Networks.tab 定 义 节 点 所 使 用 的 网 段、掩 码、网 关、DNS信 息conserver.tab 定 义 节 点 通 过 何 种 方 式 转 发 console信 息 mp.tab 定 义 节 点 的 管 理 设 备 及 在 插 槽 的 位 置 mpa.tab 定 义 管 理 设 置 的 类 型 及 使

43、用 何 种 方 式 进 行 管 理 等 定 义 好 XCAT管 理 集 群 的 表 以 后，就 可 以 在 系 统 管 理 节 点 上 创 建 DNS服 务、收 集 计 算 节 点 的 MAC地 址、创 建 DHCP服 务 等，按 照 传 统 的 方 式 配 置 这 些 服 务,不 仅 需 要 管 理 员 非 常 熟 悉 DNS、DH CP服 务 器 等 的 配 置，还 非 常 容 易 载 配 置 中 出 现 错 误。XCAT已 经 为 管 理 员 简 化 了 这 方 面 的 配 置，剩 下 的 事 情 就 交 由 XCAT自 动 执 行 安 装 配 置，不 仅 简 化 了 操 作，还 节 约

44、 了 时 间，同 时 在 保 证 所 有 表 配 置 信 息 不 出 错 的 情 况 下，XCAT能 将 这 些 服 务 器 安 装、配 置 正 确。下 面 分 别 给 出 了 创 建 DNS、收 集 MAC地 址 信 息、创 建 DHCP服 务 的 命 令。创 建 DNS服 务。#makedns 收 集 所 有 计 算 节 点 的 MAC地 址 信 息 至 mac.tabo#getmacs compute 创 建 DHCP服 务。#makedhcp-new-allmac 第 二 次 运 行 setupxcat,完 成 CAT的 安 装。#./setupxcat3.使 用 XCAT安 装 计

45、算 节 点 XCAT配 置 完 成 后，就 可 以 通 过 XCAT安 装 计 算 节 点 了，在 安 装 计 算 节 点 前,还 需 要 设 置 系 统 安 装 镜 像 及 NFS、TFTP服 务 等。首 先 要 利 用 Linux的 安 装 光 盘 建 立 安 装 计 算 节 点 需 要 的 操 纵 系 统 下 载 源，这 样 当 所 有 的 计 算 节 点 来 时 安 装 系 统 时 会 自 动 到 管 理 节 点 上 下 载 安 装 包 到 本 地 执 行 安 装。这 需 要 在 管 理 节 点 上 打 开 TFTP服 务，XCAT整 合 了 这 些 繁 琐 的 操 作，只 需 要 运

46、 行 一 个 命 令 copycds就 可 以 实 现，运 行 完 这 个 命 令 后，会 在 根 目 录 下 生 成 install文 件 夹，在 这 个 文 件 夹 下 生 成 系 统 的 安 装 源 文 件，以 6 4位 的 Red HatEnterprise Linux 为 例，生 成 目 录 为/instaH/rhel-SERVER5.3/x86_64,拷 贝 安 装 源 文 件 这 个 过 程 会 耗 费 约 10分 钟，具 体 时 间 根 据 管 理 节 点 的 性 能 而 有 差 异。拷 贝 完 安 装 源 文 件，接 下 来 再 复 制 XCAT 目 录 下 保 存 的 系

47、统 安 装 完 成 后 额 外 需 要安 装 的 软 件，命 令 如 下。#cd/opt/xcat#find post-print|cpio-dump/install安 装 源 和 额 外 安 装 的 软 件 配 置 完 成 后，需 要 建 立 计 算 节 点 启 动 的 镜 像 文 件,以 便 于 计 算 节 点 从 网 卡 启 动 时，自 动 从 管 理 节 点 上 下 载 启 动 镜 像 文 件，命 令 如 下。#cd/opt/xcat/stage#./mkstage完 成 上 面 的 设 置 以 后，为 确 保 XCAT正 常 控 制 计 算 节 点，可 以 先 进 行 电 源 管 理

48、 命 令 的 测 试，以 查 看 XCAT是 否 正 常 检 测 计 算 节 点 的 状 态，在 管 理 节 点 的 终 端 输 入 如 下 命 令。#rpower compute stat若 返 回 如 下 计 算 节 点 的 状 态 信 息，则 表 示 X C A T已 能 正 常 控 制 计 算 节 点，否 则 应 根 据 错 误 提 示，重 新 配 置 XCAT。B clnl:onBcln2:onBcln3:onBcln4:onB clnl2:onB clnl3:onB clnl4:on当 XCAT所 有 的 配 置 完 成 以 后，接 下 来 要 进 行 计 算 节 点 的 系 统

49、安 装，采 用 XCAT来 安 装 计 算 节 点 不 仅 能 节 省 大 量 的 时 间，而 且 所 有 的 计 算 节 点 的 环 境 都 是 一 样 的，XCAT安 装 计 算 节 点 非 常 简 单，只 需 要 运 行 几 个 命 令 即 可。剩 下 的 事 缴 费 XCAT处 理 就 可 以 了，首 先 要 通 过 XCAT设 置 计 算 节 点 的 启 动 顺 序，由 于 计 算 节 点 是 采 用 网 卡 引 导 安 装 的，因 此 需 要 将 网 卡 的 启 动 顺 序 设 置 在 最 前 面，命 令 如 下。#rbootseq compute n,ch该 命 令 的 作 用

50、是 设 置 计 算 节 点 的 启 动 顺 序 为 network、cdrom、floppy、harddisk o接 下 来 执 行 节 点 的 安 装 命 令。#nodeset blade install其 中 blade为 计 算 节 点 所 属 的 组，安 装 的 目 标 为 blade组 中 所 有 的 计 算 节 点，也 可 以 用 范 围 来 表 示，如 要 安 装 b c ln l至 b c ln l4的 计 算 节 点，可 以 用 命 令 nodesetbclnl-bclnl4 in stall,执 行 完 nodeset命 令 后，XCAT中 的 nodeset表 的 状 态