RHEL 5.5+DRBD+heartbeat+Oracle10R2双机安装的示例分析
这篇文章将为大家详细讲解有关RHEL 5.5+DRBD+heartbeat+Oracle10R2双机安装的示例分析，小编觉得挺实用的，因此分享给大家做个参考，希望大家阅读完这篇文章后可以有所收获。
1、操作系统版本：Red Hat Enterprise Linux Server release 5.5 (Tikanga)
2、Drbd、Heartbeat 文件版本及文件名列表（本人已经将以下文件打包为Heartbeat3.0.3.tar.bz2 ）：
Cluster-Resource-Agents-agents-1.0.3.tar.bz2
drbd-8.3.8.1.tar.gz
Heartbeat-3-0-STABLE-3.0.3.tar.bz2
Load drbd modules
Pacemaker-1-0-Pacemaker-1.0.9.tar.bz2 Pacemaker-Python-GUI-pacemaker-mgmt-2.0.0.tar.bz2
Reusable-Cluster-Components-glue-1.0.6.tar.bz2
3、网络配置（双网卡采用BOND模式）
RHEL5.5系统安装完成之后需要修改网络配置，首先将各节点中eth0、eth2分别设置为静态IP。修改节点hosts文件，内容如图
同时修改各节点/etc/sysconfig/network文件，将HOSTNAME一行的内容改为节点对应的主机名，如图（以node2为例）
4、节点名及存储分配
a、主机名及IP
====Node2====Hostname: node2.localdomainIp:10.109.1.38 ====Node3====Hostname: node3.localdomainIp: 10.109.1.39
b、DRBD镜像分区：
资源名称：oradata设备：/dev/drbd0
挂载点：/oradata （存放Oracle实例）
c、浮动主机名及IP
====Node1====Hostname: node1.localdomainIp: 10.109.1.37
5、安装Heartbeat
进入Linux根目录
cd /
建立HA目录
mkdir Ha
上传 Heartbeat3.0.3.tar.bz2文件到HA目录
进入HA目录
cd /HA/
5.1 解压Heartbeat压缩包，得到后续安装需要的各个安装文件
tar -jxvf Heartbeat3.0.3.tar.bz2
编译的顺序是：先Cluster Glue，再Resource Agents，然后才是Heartbeat。
解压Reusable-Cluster-Components
tar -jxvf Reusable-Cluster-Components-glue-1.0.6.tar.bz2
进入Reusable-Cluster-Components-glue-1.0.6目录
cd Reusable-Cluster-Components-glue-1.0.6
打开lib/stonith/main.c文件
vi lib/stonith/main.c
编辑：
找到其64行，将其注释掉。
找到其76到81行全部注释掉。
找到其390行，将其注释
使用以下两个进行配置
./autogen.sh./configure LIBS='/lib/libuuid.so.1'
使用如下命令创建Heartbeat管理用户：
groupadd haclient useradd -g haclient hacluster
使用如下命令编译并安装：
makemake install
5.2 解压Cluster-Resource-Agents
tar -jxvf Cluster-Resource-Agents-agents-1.0.3.tar.bz2
进入Cluster-Resource-Agents-agents-1.0.3目录
cd Cluster-Resource-Agents-agents-1.0.3
使用如下命令配置、编译并安装
./autogen.sh ./configuremakemake install
5.3 解压Heartbeat-3-0-STABLE
tar -jxvf Heartbeat-3-0-STABLE-3.0.3.tar.bz2
进入Heartbeat-3-0-STABLE-3.0.3目录
cd Heartbeat-3-0-STABLE-3.0.3
首先执行如下命令进行配置
./autogen.sh ./bootstrap ./ConfigureMe configuremake
此时系统会报一个hbaping.lo错误，我们需要使用如下一组命令对hbaping.loT文件进行改名操作：
cd liblscd plugins/lscd HBcommmv hbaping.loT hbaping.lo
之后再次执行以下两条命令进行安装操作，应该就不会报错了。
makemake install
使用cd /usr/etc/命令进入/usr/etc/目录中
使用cp -R ha.d/ /etc/命令将/usr/etc/ha.d全部复制到/etc/目录中
使用rm -rfv ha.d删除/usr/etc/中整个ha.d目录
使用cd /etc/命令进入/etc/目录中
使用ln -s /etc/ha.d /usr/etc/ha.d命令创建/etc/ha.d到/usr/etc/ha.d的软连接文件。
5.4 解压Pacemaker-1-0
tar -jxvf Pacemaker-1-0-Pacemaker-1.0.9.tar.bz2
进入Pacemaker-1-0-Pacemaker-1.0.9目录
cd Pacemaker-1-0-Pacemaker-1.0.9
执行如下命令配置、编译并安装
./autogen.sh ./ConfigureMe configuremakemake install
5.5 解压Pacemaker-Python-GUI
tar -jxvf Pacemaker-Python-GUI-pacemaker-mgmt-2.0.0.tar.bz2
进入Pacemaker-Python-GUI-pacemaker-mgmt-2.0.0目录
cd Pacemaker-Python-GUI-pacemaker-mgmt-2.0.0
首先执行如下命令
./bootstrap
使用rpm命令在RHEL5.5安装光盘中安装gettext-devel、intltool包，具体命令如下：
cd /media/RHEL_5.5\ i386\ DVD/Server/ rpm -ivh gettext-devel-0.14.6-4.el5.i386.rpm rpm -ivh intltool-0.35.0-2.i386.rpm
之后再次进入Pacemaker-Python-GUI-pacemaker-mgmt-2.0.0目录
cd Pacemaker-Python-GUI-pacemaker-mgmt-2.0.0
执行如下命令：
./ConfigureMe configure autoreconf -ifs ./bootstrapmakemake install
使用passwd命令设置 hacluster用户口令
将hbmgmtd复制到/etc/pam.d/目录
cp /usr/etc/pam.d/hbmgmtd /etc/pam.d/
6、安装DRBD
使用tar zxvf drbd-8.3.8.1.tar.gz解压该文件
使用cd /media/RHEL_5.5\ i386\ DVD/Server/进入光盘挂载目录中
使用rpm依次安装内核相关的源码包
rpm -ivh kernel-devel-2.6.18-194.el5.i686.rpm rpm -ivh kernel-headers-2.6.18-194.el5.i386.rpm rpm -ivh kernel-doc-2.6.18-194.el5.noarch.rpm
使用cd drbd-8.3.8.1命令进入drbd-8.3.8.1目录中依次执行如下命令配置、编译并安装
./autogen.sh ./configure --prefix=/usr --localstatedir=/var --sysconfdir=/etc/ --with-kmmakemake install
使用chkconfig --add drbd命令创建drbd服务启动脚本
使用chkconfig --add heartbeat命令创建heartbeat服务启动脚本
使用chkconfig heartbeat off命令关闭heartbeat服务
使用chkconfig drbd off命令关闭drbd服务
使用cat Load\ drbd\ modules >> /etc/rc.d/rc.sysinit命令将Load drbd modules中的内容添加到rc.sysinit系统文件的***部分，以便系统启动时能自动将drbd.ko驱动模块加载到核心中，正常使用drbd服务。(该步逐在rhel5.5中需要省略，否则drbd服务将无法正常启动)。
7、配置DRBD
7.1、修改各节点主机DEBD配置文件/etc/drbd.d/global_common.conf中usage-count 的参数为no,如图：
完成后存盘退出。
7.2、在各节点主机中创建文件/etc/drbd.d/oradata.res,并在oradata.res文件中添加如下内容：
resource oradata { # 资源组的名称 protocol C; startup { degr-wfc-timeout 120; # 2 minutes. 启动时连接其他节点的超时时间 } disk { on-io-error detach; # 当磁盘有错误时，不连接 } net { }syncer { rate 10M; # 设置主备节点同步时的网络速率***值 al-extents 257; } on node2.localdomain{ # 节点主机名 device /dev/drbd0; # 今后使用的设备 disk /dev/vda5; # 该节点上的用于存放数据的分区号 address 10.109.1.38:7788; # 该节点的IP地址 meta-disk internal; # meta data信息存放的方式 } on node3.localdomain{ device /dev/drbd0; disk /dev/vda5; address 10.109.1.39:7788; meta-disk internal; }}如图例：
7.3、初始化分区
在各节点上执行drbdadm create-md oradata命令，初始 化分区（创建meta data信息），这里的oradata即为配置文件中的资源组名称。
7.4、启动服务在两台节点服务器上启动drbd服务。如图：
之后用cat /proc/drbd 或 service drbd status 查看当前状态，出现下图信息说明DRBD服务已经正常启动了，如图：
※ 注意，现在两机器都是处于Secondary，即备机状态，还进行数据同步。
7.5、设置primary主机
在确认作为主数据服务器的机器上执行：
[root@node1 ~]# drbdadm adjust oradata[root@node1 ~]# drbdsetup /dev/drbd0 primary -o
这样，将把node1作为主机，把vda5中的数据以块的方式同步到node2中。可再次查看状态：
[root@node1 ~]# cat /proc/drbdversion: 8.3.8 (api:88/proto:86-94)GIT-hash: d78846e52224fd00562f7c225bcc25b2d422321d build by root@hatest1, 2010-07-07 08:59:440: cs:SyncSource ro:Primary/Secondary ds:UpToDate/Inconsistent C r---- ns:719756 nr:0 dw:0 dr:720896 al:0 bm:43 lo:0 pe:62 ua:36 ap:0 ep:1 wo:b oos:1378556 [=====>..............] sync'ed: 34.4% (1378556/2096348)K delay_probe: 149 finish: 0:04:59 speed: 4,580 (7,248) K/sec[root@node2 ~]# cat /proc/drbdversion: 8.3.8 (api:88/proto:86-94)GIT-hash: d78846e52224fd00562f7c225bcc25b2d422321d build by root@hatest1, 2010-07-07 08:59:440: cs:SyncTarget ro:Secondary/Primary ds:Inconsistent/UpToDate C r---- ns:0 nr:752096 dw:751584 dr:0 al:0 bm:45 lo:17 pe:49 ua:16 ap:0 ep:1 wo:b oos:1344764 [======>.............] sync'ed: 36.0% (1344764/2096348)K queue_delay: 2.9 ms finish: 0:02:11 speed: 10,224 (10,020) want: 10,240 K/sec
从蓝色比较的 地方，可区分主机在DRBD集群中的位置。使用下面的命令也可确认：
[root@node1 ~]# drbdadm role oradataPrimary/Secondary[root@node2 ~]# drbdadm role oradataSecondary/Primary
把 drbd服务设置为自启动方式：
[root@node1 ~]# chkconfig --level 235 drbd on[root@node2 ~]# chkconfig --level 235 drbd on
至此，镜像分区已创建完成。
最终同步完 成后，两机器drbd的状态会变为：
[root@hatest1 ~]# cat /proc/drbdversion: 8.3.8 (api:88/proto:86-94)GIT-hash: d78846e52224fd00562f7c225bcc25b2d422321d build by root@hatest1, 2010-07-07 08:59:440: cs:Connected ro:Primary/Secondary ds:UpToDate/UpToDate C r---- ns:2096348 nr:0 dw:0 dr:2096348 al:0 bm:128 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:0[root@hatest2 ~]# cat /proc/drbdversion: 8.3.8 (api:88/proto:86-94)GIT-hash: d78846e52224fd00562f7c225bcc25b2d422321d build by root@hatest1, 2010-07-07 08:59:440: cs:Connected ro:Secondary/Primary ds:UpToDate/UpToDate C r---- ns:0 nr:2096348 dw:2096348 dr:0 al:0 bm:128 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:0
7.6、DRBD中的split brain的处理
split brain实际上是指在某种情况下，造成drbd的两个节点断开了连接，都已Primary状态来运行。这通常发生在主节点断开，而备节点手动修改数据 后，因meta data数据不一致的情况。当drbd某primary节点连接对方节点准 备发送信息的时候如果发现对方也是primary状态，那么会会立刻自行断开连接，并认定当前已经发生split brain了，这时候他会在系统日志中记录以下信息："Split-Brain detected,dropping connection!"当发生split brain之后，如果查看连接状态，其中至少会有一个是StandAlone状态，另外一个可能也是StandAlone（如果是同时发现split brain状态），也有可能是WFConnection的状态。
DRBD可在配置文件中设定发生split brain时的处理机制，但这可能与实际情况不一致，不建议使用。若没有配置split brain自动解决方案，我们可以手动来处理。
首先我们必须要确定哪一边应该作为解决问题后的primary（也就是拥有***数据的一边）.一旦确定好这一点，那么我们同时也就确定接受 丢失在split brain之后另外一个节点上面所做的所有数据变更了。当这些确定下来后，我们就可以通过以下操作来恢复了：
（1）首先在确定要作为 secondary的节点上面切换成secondary并放弃该资源的数据：
drbdadm disconnect resource_namedrbdadm secondary resource_namedrbdadm -- --discard-my-data connect resource_name
（2）在要作为primary的节点重新连 接secondary（如果这个节点当前的连接状态为WFConnection的话，可以省略）
drbdadm connect resource_name
当作完这些动作之后，从新的primary到secondary的re- synchnorisation会自动开始（重新同步）。
7.7、格式化分区
7.7.1、与软RAID、LVM等类似，要使用DRBD 创建的镜像分区，不是直接使用/dev/vda5设备，而是在配置文件中指定的/dev/drbd0。同样的，不必等待初始化完成后才使用drbd0设 备。
[root@node1 ~]# drbdadm role oradataPrimary/Secondary[root@node1 ~]# mkfs.ext3 /dev/drbd0[root@node1 ~]# tune2fs -c 0 -i 0 /dev/drbd0
7.7.2注意事项
需要注意，drbd0设备只能在Primary一端使用，下面的操作都是会报错的：
[root@node2 ~]# mount /dev/vda5 /oradatamount: /dev/vda5 already mounted or /oradata busy[root@node2 ~]# drbdadm role oradataSecondary/Primary[root@node2 ~]# mount /dev/drbd0 /oradata/mount: block device /dev/drbd0 is write-protected, mounting read-onlymount: 错误的介质类型
另外，为避免误操作，当机器重启后，默认都处于Secondary状态，如要使用 drbd设备，需手动把其设置为Primary。
7.7.3、挂载
先把drbd0设备挂载到/oradata目录中：
[root@hatest1 ~]# mount /dev/drbd0 /oradata[root@hatest1 ~]# df -h /oradata文件系 统 容量 已用 可用 已用% 挂载点/dev/drbd0 2.0G 36M 1.9G 2% /oradata
8、安装ORACLE10.2
8.1、分别在各节点配置Linux内核参数。
以root身份登录后，进入etc目录，打开sysctl.conf文件，然后将以下内容写入图中位置：
kernel.shmall = 2097152kernel.shmmax = 1717986918kernel.shmmni= 4096kernel.sem = 250 32000 100 128fs.file-max = 65536net.ipv4.ip_local_port_range = 1024 65000net.core.rmem_default = 262144net.core.rmem_max = 262144net.core.wmem_default = 262144net.core.wmem_max = 262144
这些参数都可按照该列表填写，在这些参数中的shmmax（红色标注）则有自己的计算方法：内存以G为单位，将其换算成Byte单位在乘以80%，例如；2G内存，换算公式为
2*1024*1024*1024*80%=1717986918
8.2、创建oracle安装要求的用户名和用户组，并修改oracle用户环境变量（即修改oracle用户目录下的.bash_profile文件）
8.2.1、在两个节点中分别执行如下groupadd oinstall、groupadd dba、useradd -m -g oinstall -G dba oracle命令，创建oracle用户，如图
8.2.2、在各节点修改oracle环境变量， 以oracle用户身份，打开.bash_profile文件将如下内容添加到环境变量中,如图
export ORACLE_BASE=/oradataexport ORACLE_HOSTNAME=node1.localdomainexport ORACLE_HOME=$ORACLE_BASE/product/10.2.0/db_1export ORACLE_SID=orclexport ORACLE_TERM=xtermexport NLS_LANG=american_america.ZHS16GBK;export ORA_NLS33=$ORACLE_HOME/ocommon/nls/admin/dataLD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:/usr/lib:/usr/local/libexport LD_LIBRARY_PATHexport PATH=$PATH:$ORACLE_HOME/bin
8.3、创建ORACLE安装挂载点
在各oracle 安装节点使用如下命令创建DRBD资源挂载点，并修改挂载点属组
[root@node1 ~]# cd /[root@node1 /]# mkdir oradata[root@node1 /]# chown -R oracle:oinstall oradata
8.4修改IP地址为浮动IP并设置DEBD资源为primary
在安装oracle10G2的机器上首先需要将IP地址及主机名修改为未来浮动IP及主机名（这样主要是为了未来双机应用时oracle能顺利切换，并正常启动），执行drbdadm primary oradata命令 设置DRBD资源为primary如图：
执行drbdadm role oradata查看状态，如图：
8.5、挂载DRBD资源并修改资源属组
执行mount /dev/drbd0 /oradata命令挂载DRBD资源，如图：
之后执行mount命令查看信息，如图
信息中出现/dev/drbd0 on /oradata type ext3 (rw)行，说明资源挂载正常，之后执行
chown -R oracle:oinstall oradata
命令修改oradata属组，并使用ls -l查看信息，如图：
8.6、安装oracle10G2数据库
具体可以查看其他文档。
8.7、***配置
8.7.1、修改listenter.ora文件，添加如下内容，解决双机切换报监听ORA-12514错误问题。
(SID_DESC =(GLOBAL_DBNAME =orcl)(ORACLE_HOME = /oradata/product/10.2.0/db_1)(SID_NAME = orcl)
如图：
8.7.2、修改主机名为原节点主机名及IP。
8.7.3、终止在用oracle节点的各oracle进程，并卸载掉oracle资源；
在另一节点中挂载资源并启动oracle应用进程并进行测试。如果没有问题可进行HA的配置。
9、heartbeat的配置
9.1、配置authkeys
这里我用随机数来获得密钥，命令如下：
# (echo -ne "auth 1\n1 sha1 ";dd if=/dev/urandom bs=512 count=1 | openssl md5) > /etc/ha.d/authkeys# cat authkeys# chmod 600 /etc/ha.d/authkeys
效果如图：
9.2、配置ha.cf
使用命令vi /etc/ha.d/ha.cf编辑配置文件，修改为如下内容：
debugfile /var/log/ha-debuglogfile /var/log/ha-loglogfacility local0auto_failback nonemcast eth0 239.0.0.43 694 1 0udpport 694bcast eth0deadtime 30initdead 30keepalive 2node node2.localdomainnode node3.localdomaincompression bz2compression_threshold 2crm respawnapiauth mgmtd uid=rootrespawn root /usr/lib/heartbeat/mgmtd -v
之后存盘退出。如图
9.3、同步节点HA配置文件
执行# /usr/share/heartbeat/ha_propagate命令，并安提示输入同步节点主机root账户密码，如图
9.4、启动heartbeat
使用如下命令在两节点上启动heartbeat ：
#service heartbeat start
如图：
9.5、配置DRBD+Oracle的HA资源。
9.5.1、执行命令
# crm_attribute -t crm_config -n stonith-enabled -v false
或者
# crm configure property stonith-enabled="false"
关闭heartbeat的STONITH支持，避免启用了stonith而集群中又没有stonith资源时，集群中的资源都是无法启动的问题。
9.5.2、清空旧配置文件，以crm 交互方式提交如下命令：
# crmcrm(live)# configurecrm(live)configure# erasecrm(live)configure# commitcrm(live)configure# exit
清空旧配置文件。
9.5.3、关闭quorum
HA中有quorum的概念，即集群中必须有一半的节点处于online的状态，则集群被认为是have quorum（可以认为是达到合法节点数要求）。如果少于一半的节点在线，那么HA认为集群达不到节点数要求，从而拒绝启动集群中的资源。 但是这种策略对于2个节点的集群明显是不合理的，所以就会发生当2个节点的集群其中一个节点失效时所有的集群都无法启动的情况。
同样的，也关闭 STONITH，执行以下两条命令即可关闭quorun及STONITH支持
# crm configure property no-quorum-policy=ignore# crm configure property stonith-enabled="false"
9.5.3、使用pacemaker进行HA资源配置
把DRBD设置为主备资源，其他oracle资源放在同一个组里面，并通过"顺序"、"协同"等限制条件让两资源配合运行。根据监控的情况，加入 start 超时、monitor 间隔时间等操作。
进入crm 交互模式：
# crm configurecrm(live)configure#
然 后在configure状态下输入以下内容：
primitive drbd_oracle ocf:linbit:drbd \ params drbd_resource="oradata" \ op monitor interval="15s"primitive fs_oracle ocf:heartbeat:Filesystem \ params device="/dev/drbd/by-res/oradata" directory="/oradata" fstype="ext3"primitive ip_oracle ocf:heartbeat:IPaddr2 \ params ip="10.109.1.37" nic="bond0" cidr_netmask="24"primitive oracle_instant ocf:heartbeat:oracle \ op monitor interval="120" timeout="30" \ op start interval="0" timeout="120" \ params sid="orcl"primitive oracle_lsnrctl ocf:heartbeat:oralsnr \ params sid="orcl" \ operations $id="oracle_lsnrctl-operations" \ op monitor interval="10" timeout="30"primitive route_oracle ocf:heartbeat:Route \ operations $id="route_oracle-operations" \ params destination="0.0.0.0/0" gateway="10.109.1.1"group group_oracle ip_oracle route_oracle fs_oracle oracle_lsnrctl oracle_instant \ meta target-role="Started" is-managed="true"ms ms_drbd_oracle drbd_oracle \ meta master-max="1" master-node-max="1" \ clone-max="2" clone-node-max="1" notify="true"colocation oracle_on_drbd inf: group_oracle ms_drbd_oracle:Masterorder oracle_after_drbd inf: ms_drbd_oracle:promote group_oracle:start
***用commit 提交即可。
※ 说明：
a、根据DRBD官网的资料，ocf:heartbeat:drbd 已经被丢弃，不建议使用，故用ocf:linbit:drbd 代替；
b、IP的设定RA，用ocf:heartbeat:IPaddr2，其用 ip 命令设定虚拟IP，虚拟IP生效后，用ifconfig命令看不到，可用ip addr 查看；
c、输入上述命令时，可能会提示警 告，start、stop的超时时间少于建议值等，这可根据应用启动、停止的实际环境在"操作"中加入（可参考oracle_instant 资源）；
d、 ms 是设置"主备资源"；
e、colocation 是设置"协同"限制，即group_oracle和ms_drbd_oracle必须在同一台机器上运行，并且若ms_drbd_oracle不能作为 Master运行时，不会运行group_oracle，相反group_oracle的状态不会影响ms_drbd_oracle；
g、 order 是设置"顺序"限制，即先激活ms_drbd_oracle资源（把drbd设备设置为primary状态），然后再启动group_oracle组资 源；
f、挂载操作中，/dev/drbd/by-res/oradata是为了方便使用，由drbd创建的一个指向/dev/drbd0的链接；
h、 如果您输入的命令比较长，可以用"\"调到下一行继续，但是必须注意，下一行前面的空白只能用空格，不能用Tab等字符。
配置提交后，两资源会自动运行（根据全局配置，有延迟），也可手动使用如下命令启动资源：
# crm resource start group_oracle
9.6、HA的管理命令
9.6.1、查看HA状态，执行如下命令：
# crm status
执行效果如图：
9.6.2、手动切换，执行如下命令
# crm resource migrate group_oracle node2.localdomain
如图
切机前资源均在node3.localdomain上，执行命令后再次执行crm status命令可以看到资源已经全部被node2.localdomain接管。如图
9.7、维护
有时候，我们需要对当前主机进行维护，这时，可先把资源迁移到备机上，然后把主机设置为"非管理"的 standby状态，如图：
使用鼠标点击图中standby即可将选中主机设置为"非管理"状态，如图：
之后，就可以把主机上的heartbeat服务关掉，甚至关闭该机器或进行维护的工作。
关于"RHEL 5.5+DRBD+heartbeat+Oracle10R2双机安装的示例分析"这篇文章就分享到这里了，希望以上内容可以对大家有一定的帮助，使各位可以学到更多知识，如果觉得文章不错，请把它分享出去让更多的人看到。
