Sun Cluster 3.0u3(Disksuite 4.2.1、Oracle8.1.7)安装实例
参见:文档
http://bbs.chinaunix.net/forum/viewtopic.php?t=447032&show_type=new
Suncluster安装实例
硬件准备
2台E250主机,2个4口网卡、2个lvd-scsi卡、A1000阵列1个
软件准备:
Solaris 8(for SPARC安装光盘)、Solstice Disksuite 4.2.1(含在系统盘内)、Raid Manager 6.22.1、Oracle 8.1.7一套,suncluster3.0u3一
套
系统配置目标
两台机器跑一个oracle,可以任意failover。用disksuite做逻辑卷管理。suncluster做集群管理
——————————————————————————————————————————————————
系统配置
node1
主机名: sys1
ip: 10.1.1.1
netmask:255.255.255.0
安装系统时选择最大化安装
注意分区时留出c0t0d0s6、c0t0d0s7两个分区,其中s6应该大于150MB,c0t0d0s7应该大于10mb
s6的mount点为/globaldevices
node2
主机名:sys2
ip: 10.1.1.2
netmask:255.255.255.0
安装系统时选择最大化安装
分区要求同节点1
在安装系统之前修改OBP的相关设置:
进入OBP
ok probe-scsi-all
看看a1000阵列所连接的SCSI的物理地址,这里假设为:
/pci@1f,4000/pci@4/SUNW,isptwo@4
修改该节点的该SCSI卡的SCSI_ID
ok nvedit
0: probe-all
1: cd /pci@1f,4000/pci@4/SUNW,isptwo@4
2: 6 " scsi-initiator-id" integer-property
3: device-end
4: install-console
5: banner <Control C>
然后保存该设置
ok nvstore
ok setenv use-nvramrc? true
ok set-default local-mac-addresss? false
重启机器
ok reset-all
校验SCSI卡id更改的正确:
ok cd /pci@1f,4000/pci@4/SUNW,isptwo@4
ok .properities
——————————————————————————————————————————————
进入系统之后在2台主机分别做如下操作
安装Solstice Disksuite 4.2.1(在第二张软件盘中), Raid Manager 6.22.1
# pkgadd -d /cdrom/cdrom0/EA/DiskSuite4.2.1/sparc/pkgs
输入8 10 9 4然后回车开始安装四个软件包
安装rm6.22,同样使用pkgadd来安装,
安装结束,紧接着重启。
# shutdown -y -i6 -g0
在2个节点上同时做如下操作
# metadb -a -f -c2 c0t0d0s7
修改全局环境变量文件
# vi /etc/profile
在首行上加入:
# PATH=$PATH:/usr/lib/osa/bin:/usr/cluster/bin
在节点1上创建逻辑卷
# rm6启动图形,选择配置,创建10g的逻辑卷1个,200mb的逻辑卷1个
这里假设两个卷分别为:
c1t0d0 10gb
c1t0d1 200mb
顺便在两边修改/etc/system文件,省得一次重启时间
set noexec_user_stack=1
set noexec_user_stack_log=1
set nfssrv:nfs_portmon=1
set shmsys:shminfo_shmmax=4294967295
set shmsys:shminfo_shmmni=600
set shmsys:shminfo_shminfo_shmseg=100
set semsys:seminfo_semmap=200
set semsys:seminfo_semmni=2000
set semsys:seminfo_semmns=2000
set semsys:seminfo_semmnu=600
set semsys:seminfo_semume=200
set semsys:seminfo_semmsl=610
set semsys:seminfo_semopm=200
set semsys:seminfo_semvmx=65534
set msgsys:msginfo_msgmap=1024
set msgsys:msginfo_msgmax=8192
set msgsys:msginfo_msgmnb=2048000
set msgsys:msginfo_msgmni=1024
set msgsys:msginfo_msgssz=2048
set msgsys:msginfo_msgtql=1024
set msgsys:msginfo_msgseg=4096
set maxusers=300
set maxuprc=1200
set pt_cnt=256
两边都重启
——————————————————————————————————————————————
启动之后开始安装Sun Cluster 3.0软件
在节点1上
进入cluster软件的安装目录中。
# cd /....../Tools/
# ./scinstall选择交互式安装
选择option1来创建首个cluster node,依照提示一步步往下走,下面是我安装时的提示:
scinstall -ik \
-C oracl \
-F \
-T node=sys1,node=sys2,authtype=sys \
-A trtype=dlpi,name=qfe0 -A trtype=dlpi,name=qfe1 \
-B type=switch,name=switch1 -B type=switch,name=switch2 \
-m endpoint=:qfe0,endpoint=switch1 \
-m endpoint=:qfe1,endpoint=switch2
我这里不打patch,因此最后选择重启
在节点2上
进入cluster软件的安装目录中。
# cd /....../Tools/
# ./scinstall选择交互式安装
选择option2来加入node1的cluster,依照提示一步步往下走,下面是我安装时的提示:
scinstall -ik
-C oracl
-N sys1
-A trtype=dlpi,name=hme1 -A trtype=dlpi,name=hme2 \
-m endpoint=:hme1,endpoint=switch1 \
-m endpoint=:hme2,endpoint=switch2
我这里不打patch,因此最后选择重启
————————————————————————————————————————————————
下面开始激动人心的cluster配置过程
首先配置共享磁盘集(diskset)
在node1上设置可以使用该diskset的主机
# metaset -s oraset -a -h sys1 sys2
# scdidadm -L 查看10g的LUN的device id(这里假设为d3,注意不要把d3和sds中的d3混淆)
/dev/did/rdsk/d3
把d3(did)加入到diskset中
# metaset -s oraset -a /dev/did/rdsk/d3
使node1接管该diskset
# metaset -s oraset -t
创建sds的卷
# metainit oraset/d0 1 1 /dev/did/rdsk/d3s0
# metaset
# scstat -D 看看磁盘集是否正确
# newfs /dev/md/oraset/dsk/d0
——————————————————————————————————————————————————
创建cluster file system(在两边做)
# mkdir /app
# cat > /etc/vfstab
/dev/md/oraset/dsk/d0 /dev/md/oraset/rdsk/d0 /app ufs 2 yes global,logging
<control + d>
在节点1上做
# sclearcase/" target="_blank" >ccheck 如果没有报错,那么继续向下走
# mount /app
# df -k看看卷是否已经上来
同时在node2上也df -k,如果正常,那么/app也自动在node2上mount的。
———————————————————————————————————————————————————
创建仲裁设备,在node1上做
# scdidadm -L
这里假设A1000的200mb的LUN为/dev/did/rdsk/d4
# scconf -a -q globaldev=d4
# scconf -c -q reset
# scstat -q 查看设置是否正确
————————————————————————————————————————————————————
创建基本的资源组和共享IP地址,在两边做
在/etc/hosts文件中添加
10.1.1.3 sys3
这个sys3是为oracle做准备的。
首先在node1上创建一个新的空的oracle资源组
# scrgadm -a -g orarg -h sys1,sys2
添加共享ip
# scrgadm -a -S -j res1 -g orarg -l sys3
# scstat -g来查看一下
注:sys3对应的ip就是共享ip
—————————————————————————————————————————————————————
开始oracle的安装
两边做
# groupadd -g 101 dba
# useradd -u 110 -g dba -d /app/oradb -m -s /usr/bin/sh ora
# passwd ora
修改/app/oradb/.profile文件
添加如下内容
ORACLE_BASE=/app/oradb
ORACLE_HOME=$ORACLE_BASE/product/8.1.7
ORACLE_SID=cnc1
NLS_LANG=american_america.us7ascii
ORA_NLS33=$ORACLE_HOME/ocommon/nls/admin/data
LD_LIBRARY_PATH=$ORACLE_HOME/lib:$ORACLE_HOME/network/lib
CLASSPATH=$ORACLE_HOME/product/jlib:$ORACLE_HOME/jlib:$ORACLE_HOME/jre
PATH=$PATH:$ORACLE_HOME/bin:/bin:/usr/bin/:/usr/ccs/bin:/usr/local/bin
umask 022
export ORACLE_BASE ORACLE_HOME ORACLE_SID NLS_LANG ORA_NLS33
export LD_LIBRARY_PATH CLASSPATH PATH
插入oracle安装光盘
# oraInstaller 安装提示安装
修改listener.ora、tnsnames.ora文件在其中修改sys1为10.1.1.3
进入oracle中
# svrmgrl
connect internal;
grant connect, resource to "user1" identified by "user1" ;
alter user "user1" default tablespace system quota 1m on system;
grant select on v_$sysstat to "user1";
grant create session to "user" ;
grant create table to "user1" ;
shutdown immediate
exit;
$ lsnrctl stop
$ exit
————————————————————————————————————————————————————————
在两边安装oracle资源类型,完成suncluster的安装
用scinstall选择option4安装oracle资源类型
# scrgadm -a -t SUNW.oracle_server
# scrgadm -a -t SUNW.oracle_listener
创建oracle资源
# scrgadm -a -j res2 -g orarg
-t SUNW.oracle_server
-x Connect_string=user1/user1
-x ORACLE_SID=cnc1
-x ORACLE_HOME=/app/oradb
-x Alert_log_file=/app/oradb/oramesg
# scrgadm -a -j res3 -g orarg
-t SUNW.oracle_listener
-x LISTENER_NAME=listener
-x ORACLE_HOME=/app/oradb
启动oracle资源组
# scswitch -Z -g orarg
# scstat -g确认资源正常online