使用 RedHat AS 3.

0 自带 cluster 软件进行 HA 配置（修改版）

作者：七月飞雪 Email:xushli@163.net

初稿日期：2004 年 8 月 2 日

修改日期：2004 年 8 月 4 日

修改说明：

在本文最后，增加和图形界面下配置相对应的 Console 下 HA 配置的详细命令，如果您

的系统上没有安装 Xwindow，请在阅读完第三章前两小节后，跳过直接阅读第五章

写在前面的东东：

此篇文章参考了chinaunix论坛rdd兄弟文章http://www.chinaunix.net/jh/4/325828.html

（Vmware下RedHat AS 2.1 集群配置StepbyStep）的部分内容，另外参考了redhat官方网站上

说明文档《Red Hat Cluster Suite Configuring and Managing a Cluster》，较之AS2.1 的HA配置，

AS3.0 上的配置更加人性化，不过较之AS2.1 的配置也有了不少不一样的地方，这也是我没

能按rdd兄弟的文章配置成功的原因，网络上又几乎没有关于redhat AS3.0ＨＡ配置中文资

料，连Ｅ文的很少，我找来找去只找到了redhat官方网站上的配置说明，本人Ｅ文不好，只

好拿着金山词霸一个词一个词的去阅读这 200 多页的文档，相信读完这个文档，本人的计算

机英语水平又会提高不少。^_^

在这里感谢我亲爱的老婆对我的支持，这一个星期来我都研究到深夜１点多，电脑前的

凳子总“嘎嘎”做响，肯定打扰了老婆的睡觉，她昨天晚上还陪我一起阅读Ｅ文文档到凌晨

１点多，我才会死啃那晦涩的Ｅ文，于今天凌晨２：１５分配置成功！

此外也严重感谢屋里的那几个死蚊子，在我腿上叮了好几个大包，让我保持了清醒的头

脑，今天晚上回家我就回赠送它们点驱蚊药！

不好意思，废话太多了，进入正题，ＧＯ ＯＮ！

―――――――――――――――――――――――――――――――――――――――

实施系统软硬件环境

硬件：p4 2.4G，80G，512M DDR

宿主机系统：win2000pro sp4

虚拟机软件：Vmware GSX Server 3.1

 www.Chinaunix.net 七月飞雪 Email:xushli@163.net

一、安装 Vmware GSX Server 3.1 和 Redhat AS3.0 的基本系统

１．安装 Vmware GSX Server 3.1

相信大家都安装过 workstation，过程都差不多，这里就不多废话了，有一点要提醒

大家注意的是，VMware GSX Server 2.5 无法打开 Vmware workstation4.52 虚拟出来的

系统，GSX Server 2.5 比 4.52 出来的要早，所以。。。。。。。（是不是又废话了？^_^）

２．安装 Redhat AS3.0

是否安装 Xwindow 系统由自行决定，设置此系统 hostname 为 linux1,ip 为 10.0.0.155

３．COPY 并配置另一套 AS3.0 系统

将安装的第一套系统的文件复制到另一个文件夹，用编辑器打开 rhel3.vmx 文件修

改 displayName = "Linux1＂到＂Linux2＂

然后修改此系统的虚拟硬件配置，将网卡删除如下图所示，进行此步的原因是因为

从第一套系统 COPY 过来的文件如果同时运行，两个系统的ＭＡＣ地址会发生冲突

由于将网卡删除，所以必须删除后启动第二套系统，启动过程中 kudzu 进程会提示

系统有多余的配置文件（就是已经被删除网卡的配置文件），选择将多余的配置文

件删除，然后再关闭 linux2 系统，重新给 linux2 添一块网卡。再启动 linux2

------------------------------------------------------------------------------------------------------------ ２

转载时请保留作者的个人信息，谢谢
 www.Chinaunix.net 七月飞雪 Email:xushli@163.net

启动 linux2，启动过程中，由于重新添加了网卡，所以系统检测到了它，再重新配

置网卡，设置 linux2 IP 地址为 10.0.0.156,其它同 linux1。

（注：这样有人可能会觉得麻烦，不过网卡ＭＡＣ地址冲突，这也是没办法的事，

谁让咱们偷懒不想再重装一套系统呢）

这时候检查以下各文件，修改主机名，网络配置文件

#vi /etc/sysconfig/network

将 HOSTNAME=linux1 改为 HOSTNAME=linux2

#vi /etc/hosts

将 10.0.0.155 linux1 修改为 10.0.0.156 linux2

(注：有些朋友可能会问，怎么不直接把 hosts 文件里把 linux1,心跳地址都写进

去，其实我现在这么做是为了让文档更清晰些，到下一步的时候再添加这些，虽

然稍微麻烦点，但是可以避免一些朋友看不明白)

这样两套完整的 AS3.0 的系统就配置成功，进入第二阶段

二、使用 Vmware 虚拟出ＨＡ必需硬件设备，并进行配置

１．给两个系统各虚拟一个新的网卡

关掉两个系统，给两系统各一个增加以网桥方式工作的网卡，方法与第一图类似

２．创建共享磁盘

给 HA 系统创建共享磁盘 sdb，大小为 500M（自定义）,如下图所示

先打开 linux1 系统的设置，创建磁盘，磁盘文件名为，share.vmdk

选中 Allocate all disk space now 这一选项

------------------------------------------------------------------------------------------------------------ ３

转载时请保留作者的个人信息，谢谢
 www.Chinaunix.net 七月飞雪 Email:xushli@163.net

建议将新加磁盘的装入点设为 scsi 1:0，如下图所示，这就是系统的裸设备

然后打开 linux2 的设置，同样给 linux2 添加共享磁盘，不过这次选择已经存在的磁盘，

------------------------------------------------------------------------------------------------------------ ４

转载时请保留作者的个人信息，谢谢
 www.Chinaunix.net 七月飞雪 Email:xushli@163.net

使用的共享磁盘就是刚才为 linux1 创建的那个磁盘，如下图所示

同样在 Configuration editor 里面修改共享磁盘的”Vitual disk node”为 scsi 1:0

这样，就给两个系统各创建了一个新网卡，又创建了一个共享磁盘。由于系统启动

的时候会锁定磁盘，所以当启动 linux1 后共享磁盘被锁定了，linux2 就起不来了,因此

必须做一下设置，用编辑器打开两个 Vmware 文件夹的 rhel3.vmx 文件，最后增加一行：

------------------------------------------------------------------------------------------------------------ ５

转载时请保留作者的个人信息，谢谢
 www.Chinaunix.net 七月飞雪 Email:xushli@163.net

Disk.locking = false

这样硬件就配置好了

３．配置新添加的网卡

启动 linux1 系统，系统在启动时候会检测到新添加的网卡，选择配置，将第二块

网卡的 IP 设置为 192.168.123.1,其它默认

修改 linux1 系统的/etc/hosts 文件，改后内容如下

10.0.0.155 linux1

192.168.123.1 linux1

10.0.0.156 linux2

192.168.123.2 linux2

同时启动 linux2 系统，设置方法同 linux1

４．配置共享磁盘

在 linux1 里，

在 shell 里运行

#fdisk /dev/sdb //注使用 parted 也可以

将添加的共享磁盘，分为两个区：sdb1 和 sdb2,各 250M 大小

在两台服务器上分别编辑/etc/sysconfig/rawdevices 文件，将分区绑定到裸设备：

#vi /etc/sysconfig/rawdevices

加入

/dev/raw/raw1 /dev/sdb1

/dev/raw/raw2 /dev/sdb2

重启服务

#service rawdevices restart

启动完成后执行＃raw –qa,会显示以下内容

/dev/raw/raw1: bound to major 8, minor 17

/dev/raw/raw2: bound to major 8, minor 18

格式化共享磁盘,每个块大小为４Ｋ
mkfs.ext3 -j -b 4096 /dev/sdb1

mkfs.ext3 -j -b 4096 /dev/sdb2

------------------------------------------------------------------------------------------------------------ ６

转载时请保留作者的个人信息，谢谢
 www.Chinaunix.net 七月飞雪 Email:xushli@163.net

注：使用-b 选项将磁盘区块设置为４Ｋ，过小的区块会导致磁盘检查的时候耗费

过多的时间

然后在 linux2 里修改/etc/sysconfig/rawdevices 同上，

然后重新启动 rawdevices 服务，

raw –qa 检查系统

至此，硬件准备工作完成

三、安装并配置基本的 HA 系统

在这里我们只将 AS3.0 自带的 CLUSTER 服务配置好，涉及到具体的 http,ftp,mysql,oracle

的ＨＡ服务会在下一部分介绍

１．安装确认系统内安装了 AS3.0 的 HA 软件包

我们在这里要用到的软件包主要有两个，clumanager 和 redhat-config-cluster

请用 rpm –q 命令检查系统是否安装这两个软件包

２．如果没有安装可以通过以下方法安装

使用 ISO 或光盘，AS3.0 共有十一张光盘，我们平时常用的只有前四张，另外三张

为缘代码光盘，最后有四张扩展光盘，其中扩展光盘的第三张是集群软件，还包括

了 IPVS 等软件，从光盘上安装，如下图

------------------------------------------------------------------------------------------------------------ ７

转载时请保留作者的个人信息，谢谢
 www.Chinaunix.net 七月飞雪 Email:xushli@163.net

或者通过网络上下载到这两个软件包进行单独安装
rpm --Uvh clumanager-<version>.<arch>.rpm
rpm --Uvh redhat-config-cluster-<version>.noarch.rpm
注：网络上比较多的是 src 软件包，下载下来以后得使用 rpmbuild 命令进行重新编译，
然后在安装
３．开始基本的ＨＡ配置

在 linux1 系统上，启动 xwindows,我这里是 gnome,开始运行配置工具

选择左下角图标 => 系统设置 =>服务器设置 => Cluster

（或者在命令行里运行＃redhat-config-cluster）

出现以下画面(图里左上角乱码是因为我用的是远程ＸWINDOWS,设置有问题)

------------------------------------------------------------------------------------------------------------ ８

转载时请保留作者的个人信息，谢谢
 www.Chinaunix.net 七月飞雪 Email:xushli@163.net

下一步操作，点菜单栏里的群集－＞配置

------------------------------------------------------------------------------------------------------------ ９

转载时请保留作者的个人信息，谢谢
 www.Chinaunix.net 七月飞雪 Email:xushli@163.net

出现下图所示

------------------------------------------------------------------------------------------------------------ １０
转载时请保留作者的个人信息，谢谢
 www.Chinaunix.net 七月飞雪 Email:xushli@163.net

在 Cluster Name 处可以更改你设置集群的名字，在这里我设置为 test_cluster

然后我们开始添加集群内的成员，点菜单栏－＞新建 如下图所示

（注：此时保证列表处选中 Members，才可以出现下面内容）

将两台机器 Ip 都填写进去，如下图

在这里选中菜单栏里的 cluster->shared state,可以查看裸设备设置，如下图

------------------------------------------------------------------------------------------------------------ １１
转载时请保留作者的个人信息，谢谢
 www.Chinaunix.net 七月飞雪 Email:xushli@163.net

点击确定继续

然后打开菜单栏 clusterÆdaemon properties 出现以下窗口

这个窗口就是集群的配置窗口,详细的说明请查看 redhat 的官方文档

有一个说明的就是中间的那个滑动条,就是配置服务器探测等待 15 秒,我们不能设

的太小,这里我们就默认使用 15 秒

在 clumembd 这个窗口里选中 Enable Broadcast Heartbeating 然后点确定,这时候会弹

出一个窗口提示

因为我们配置的就是双节点的 HA,所以不用管它,直接点确定

然后在 cluster configuration 选择保存后退出此窗口

在菜单栏 群集Æ启动本地群集守护进程,稍等一会儿,就会出现以下状态

------------------------------------------------------------------------------------------------------------ １２
转载时请保留作者的个人信息，谢谢
 www.Chinaunix.net 七月飞雪 Email:xushli@163.net

这里就显示在 linux1 上的 cluster 配置成功

然后我们就要配置 linux2 了,配置 linux2 其实很简单,将 linux1 系统下/etc/cluster.xml

文件 COPY 到 linux2 的/etc/目录下就可以了

(注：cluster.xml 是在安装完两个软件包的时候不会产生，它是在第一次运行

redhat-config-cluster 命令的时候产生的，和 AS2.1 里的 cluster.conf 储存内

容相同，只不过换了格式而已。这就是集群主要的配置文件，一定要确保集群上

每个节点的此文件都是相同的，另外在 redhat 的官方文档上强烈警告用户：不要

去手动的修改这个 xml 文件)

将此文件 copy 上 linux2 以后，在 linux2 命令行里执行

＃service clumanager start

系统显示执行成功，再稍等一会儿，你就会发现在 linux1 上出现了变化，如下图

------------------------------------------------------------------------------------------------------------ １３
转载时请保留作者的个人信息，谢谢
 www.Chinaunix.net 七月飞雪 Email:xushli@163.net

启动关闭集群服务的命令是 service clumanager start | stop

注：如果你在配置完成以后不想用图形界面监控节点运行，在 shell 里运行

＃clustat –i 10 / / 状态监控，每 10 秒中刷新一次

出现如下结果
Cluster Status - test_cluster
13:57:22
Cluster Quorum Incarnation #1
Shared State: Shared Raw Device Driver v1.2
Member Status
------------------ ----------
10.0.0.155 Active <-- You are here
10.0.0.156 Ａctive
Service Status Owner (Last) Last Transition Chk Restarts
-------------- -------- ---------------- --------------- --- --------
------------------------------------------------------------------------------------------------------------ １４
转载时请保留作者的个人信息，谢谢
 www.Chinaunix.net 七月飞雪 Email:xushli@163.net

这样，一个没有包含任何服务的“裸”的集群系统就配置成功了，因为它没有包含

任何应用，也没有什么意义，下一步我们就在上面配置一个大家最常用的 http 服

务来测试一下

四、举例说明：配置 HTTP Server 的 HA 服务

１．给 http 服务增加共享磁盘

磁盘上将存储两个系统上 apache 共用的程序文件，也就是说，把 apache 的

DocumnetRoot 放到这个共享磁盘上，创建方法同创建裸设备时一样，请注意，这个共

享磁盘的作用不同于上面的裸设备

２．创建共享磁盘加载点，配置两台机器上的 http 服务

启动两台机器，我这里新添加硬盘为 sdc,我以 ext3 格式将其格式化，在每个机器

的根目录下创建文件夹 www,为 apache 的 web 目录，同时将创建的 sdc1 分区加载到/www

目录下

#mkdir /www

#mount /dev/sdc1 /www ／／这一步只在 linux1 上进行就行

然后安装 apache,这就不用多说了吧，指出一点是，两台机器上的 apache 安装必须

完全一样，包括配置文件，安装完成后，修改 httpd.conf，将其根目录指向/www，我这

里是用的是 AS3.0 自带的 apache2.0 的 RPM 包，

在 linux1 上，进入/www 目录，在此目录下保存一个 index.html 作测试使用

这样，两台机器上的 http 服务就完全配置完成

３．配置基于此集群的 http 服务

在 linux1 的 xwindows，启动集群配置工具（参看上），增加名为 httpd 的服务如图

------------------------------------------------------------------------------------------------------------ １５
转载时请保留作者的个人信息，谢谢
 www.Chinaunix.net 七月飞雪 Email:xushli@163.net

点菜单栏＂新建＂服务名为”httpd”，检测时间间隔设置为 4 秒，httpd 服务的启动脚本

就是 apache 的启动脚本，我这里使用的是 rpm 包默认安装的脚本/etc/rc.d/init.d/httpd

点＂确定＂，就增加了一个服务如下图所示

------------------------------------------------------------------------------------------------------------ １６
转载时请保留作者的个人信息，谢谢
 www.Chinaunix.net 七月飞雪 Email:xushli@163.net

如上图所示，选中 httpd 这个 service,单击菜单栏的”Add Child”，出现如下图

先给 httpd 服务增加共享设备 Add Device，设备点为我们创建的 sdc1,加载点为/www，

格式为 ext3，模式为”rw”读写模式

点确定，在给此服务添加一个 IP 地址，这个 IP 就是客户浏览器访问的 IP，我们设置为

10.0.0.157,掩码同网络设置，这里设置为 255.0.0.0,广播地址设置为 10.0.0.255

这样就完全添加成功了，如下图

------------------------------------------------------------------------------------------------------------ １７
转载时请保留作者的个人信息，谢谢
 www.Chinaunix.net 七月飞雪 Email:xushli@163.net

保存设置，回到集群监控状态

以上所有操作均是在 linux1 上进行，现在为保证 linux1 和 linux2 集群配置相同，将 linux1

的/etc/cluster.xml 复制到 linux2 的/etc/cluster.xml,同时启动两台机器上的集群服务，再次

查看监控状态图，就发现有新的服务添加了，点击上面的＂启用＂及＂运行＂此服务，

HTTP 服务就开始运行了

------------------------------------------------------------------------------------------------------------ １８
转载时请保留作者的个人信息，谢谢
 www.Chinaunix.net 七月飞雪 Email:xushli@163.net

这样，整个集群下的 http 服务就配置完成，并开始运行了

五、图形界面下配置相对应的 Console 下 HA 配置的详细命令

与图形界面配置相对应，Redhat 也提供了 Console 环境下的详细配置命令，其中主要

的配置命令就是 redhat-config-cluster-cmd 这个命令，还有其它的一组命令如 clusvcadm、

clushutdown 等，下面就同样以配置 httpd 服务为例子，对 Console 下的 HA 配置命令进行

详细的说明，请参照第四章节阅读

1、 列出当前集群名字

redhat-config-cluster-cmd --cluster

2、 设置当前集群名字为“test_cluster”

redhat-config-cluster-cmd --cluster --name='test_cluster'

3、 显示当前裸设备状态

redhat-config-cluster-cmd –sharedstate

4、 添加一个集群节点，名字为“10.0.0.155”

------------------------------------------------------------------------------------------------------------ １９
转载时请保留作者的个人信息，谢谢
 www.Chinaunix.net 七月飞雪 Email:xushli@163.net

redhat-config-cluster-cmd --add_member --name=10.0.0.155

5、 修改一个节点名字由 member2 到 member3

redhat-config-cluster-cmd --member=member2 --name=member3

6、 删除一个名为 member3 的节点

redhat-config-cluster-cmd --member=member3 --del_member

7、 列出当前集群内的服务

redhat-config-cluster-cmd –services

8、 添加一个名为 httpd 的服务

redhat-config-cluster-cmd --add_service --name=httpd

9、 列出名为 httpd 的这个服务下的子节点

redhat-config-cluster-cmd --service=httpd

10、设置 httpd 服务的相关信息，检测时间，启动脚本等等

redhat-config-cluster-cmd --service=httpd \

--checkinterval=15 \

--userscript=/etc/rc.d/init.d/httpd

11、删除名为 httpd 的集群服务

redhat-config-cluster-cmd --service=httpd \

--del_service

12、列出 httpd 服务的 ip 地址

redhat-config-cluster-cmd --service=httpd \

--service_ipaddresses

13、设置 httpd 的对外服务 IP 地址为 10.0.0.157

redhat-config-cluster-cmd --service=httpd \

--add_service_ipaddress \

--ipaddress=10.0.0.157

14、设置对方服务 ip 的掩码地址及广播地址

redhat-config-cluster-cmd --service=httpd \

--service_ipaddress=10.0.0.157 \

--netmask=255.0.0.0 \
------------------------------------------------------------------------------------------------------------ ２０
转载时请保留作者的个人信息，谢谢
 www.Chinaunix.net 七月飞雪 Email:xushli@163.net

--broadcast=10.0.0.255

15、删除 httpd 服务的 10.0.0.157 的这个 IP 地址

redhat-config-cluster-cmd --service=httpd \

--service_ipaddress=10.0.0.157 \

--del_service_ipaddress

16、列出 httpd 服务的设备

redhat-config-cluster-cmd --service=httpd \

--devices

17、给 httpd 服务添加共享磁盘 sdc1

redhat-config-cluster-cmd --service=httpd \

--add_device \

--name=/dev/sdc1

18、设置共享磁盘的参数

redhat-config-cluster-cmd --service=httpd \

--device=/dev/sdc1 \

--mount \

--mountpoint=/www \

--fstype=ext3 \

--options=rw \

19、启用 10.0.0.155 节点上的 httpd 服务

clusvcadm -e httpd -m 10.0.0.155

20、禁用 10.0.0.155 节点上的 httpd 服务

clusvcadm -d httpd -m 10.0.0.155

21、停止 10.0.0.155 节点上的 httpd 服务

clusvcadm -s httpd -m 10.0.0.155

更多信息请在控制台执行以下命令

＃man redhat-config-cluster-cmd

------------------------------------------------------------------------------------------------------------ ２１
转载时请保留作者的个人信息，谢谢
 www.Chinaunix.net 七月飞雪 Email:xushli@163.net

六、对配置好的服务进行简单的测试

１．基本功能的测试

在 win 的机器上 IE 里输入 10.0.0.157,你就可以看到你准备在/www 目录下的测试页

２．故障测试

任意的关闭掉其中一台机器，你就会发现 10.0.0.157 依然可以访问，你用 ssh 工具

去连接这个 IP 地址，就会发现你连接的就是现在正在运行的机器了。

３．手动的去关闭 apache 服务，集群软件依然会将 apache 服务启动起来，也就是说：

此时的服务由集群软件控制，而不是人为去控制了，除非你将 clumanger 服务停掉。

七、附加配置好的/etc/cluster.xml 供大家参考（Redhat 官方警告：勿要手动修改此文件）

<?xml version="1.0"?>
<cluconfig version="3.0">
<clumembd broadcast="yes" interval="750000" loglevel="5" multicast="no"
multicast_ipaddress="" thread="yes" tko_count="20"/>
<cluquorumd loglevel="5" pinginterval="2" tiebreaker_ip=""/>
<clurmtabd loglevel="5" pollinterval="4"/>
<clusvcmgrd loglevel="5"/>
<clulockd loglevel="5"/>
<cluster config_viewnumber="11" key="24bc70bf34ca71f0473ae3ddc34e2fc3"
name="test_cluster"/>
<sharedstate driver="libsharedraw.so" rawprimary="/dev/raw/raw1"
rawshadow="/dev/raw/raw2" type="raw"/>
<members>
<member id="0" name="10.0.0.155" watchdog="yes"/>
<member id="1" name="10.0.0.156" watchdog="yes"/>
</members>
<services>
<service checkinterval="4" failoverdomain="None" id="0" name="httpd"
userscript="/etc/rc.d/init.d/httpd">
<service_ipaddresses>
<service_ipaddress broadcast="10.0.0.255" id="0" ipaddress="10.0.0.157"
netmask="255.0.0.0"/>
</service_ipaddresses>
<device id="0" name="/dev/sdc1" sharename="">
<mount forceunmount="yes" fstype="ext3" mountpoint="/www" options="rw"/>
</device>
</service>
</services>
<failoverdomains/>
</cluconfig>
------------------------------------------------------------------------------------------------------------ ２２
转载时请保留作者的个人信息，谢谢
 www.Chinaunix.net 七月飞雪 Email:xushli@163.net

七、后记

使用 AS3.0 的集群软件，配置还是相当灵活的，在其官方文档上，就举例说明了如何里

用这个软件来配置 Oracle、MySQL、Samba、NFS、HTTP 等多种服务，我也正在准备去配

置一下 Oracle 的ＨＡ服务。

由于本人水平有限，本文里肯定有不少错误，其实有的地方我也是一知半解，有错误的

地方请大家指出，最近无事，我一直在研究集群、负载均衡这方面的东西，下一步就是作研

究一下 lvs 了，对此感兴趣的朋友可以一起来研究研究，Email:xushli@163.net。

在ＣＵ里混了两年多了，第一次认真的写篇东西，真是惭愧啊。。。。。。。。

CU 之七月飞雪

2004-8-2

转载时请保留作者的个人信息，谢谢

------------------------------------------------------------------------------------------------------------ ２３
转载时请保留作者的个人信息，谢谢