Oracle 12cR2 RAC安装配置及一些坑

Oracle 12cR2版本已经发布有一段时间，一直想测试安装RAC，从上周末到今天用了两个周末和今天一天的时间终于把RAC安装成功了。这里记录了安装时对操作系统的配置，以及安装过程中遇到的一些坑。

1、首先是操作系统的选择问题，Oracle现在认证的操作系统及内核版本如下：

Oracle Linux 7：

• Oracle Linux 7 with the Unbreakable Enterprise kernel 3:3.8.13-35.3.1.el7uek.x86_64 or later
  

• Oracle Linux 7 with the Red Hat Compatible kernel: 3.10.0-54.0.1.el7.x86_64 or later

Oracle Linux 6：

• Oracle Linux 6.4 with the Unbreakable Enterprise kernel 2: 2.6.39-400.211.1.el6uek.x86_64or later
  

• Oracle Linux 6.4 with the Red Hat Compatible kernel: 2.6.32-358.el6.x86_64 or later
  

Red Hat Enterprise Linux 7：

• Red Hat Enterprise Linux 7: 3.10.0-54.0.1.el7.x86_64 or later
  

Red Hat Enterprise Linux 6：

• Red Hat Enterprise Linux 6.4: 2.6.32-358.el6.x86_64 or later

SUSE Linux Enterprise Server：

• SUSE Linux Enterprise Server 12 SP1: 3.12.49-11.1 or later
  

今天安装成功是在rhel6.7操作系统上

[root@rhel6 ~]# uname -a
Linux rhel6 2.6.32-573.el6.x86_64 #1 SMP Wed Jul 1 18:23:37 EDT 2015 x86_64 x86_64 x86_64 GNU/Linux
[root@rhel6 ~]# cat /etc/redhat-release 
Red Hat Enterprise Linux Server release 6.7 (Santiago)

之所以选择使用rhel6.7，是因为之前在rhel7.2和OEL7.3上尝试安装过，但因为可能是有BUG或使用的笔记本的资源不够用导致没有安装成功。不过在rhel7.2上即使安装单实例的grid会报错CLSRSC-400: A system reboot is required to continue installing.。于是就选择了rhel6.7版本。

2、操作系统的资源分配问题

如果你是使用服务器，资源足够用那么可以忽略这一条。

如果想用笔记本上的虚拟机安装12cR2的RAC请慎重些，尤其是内存较小(小于16G)的。

我用的笔记本内存是12G，每个虚拟机分5G，其他应用全部关闭，内存一直撑在95%左右。另外同事的一台16G内存的笔记本在安装grid时，多次在85%左右时虚拟机直接重启，一直没有安装成功。

今天用的是公司同事配置的一台vmware esxi虚拟服务器，内存也只有16G，但没有其他虚拟机在跑，每台虚拟机分配了7G的内存，安装过程中内存也一直在90%以上。

3、操作系统的配置

这个没有什么好说的，直接按官方文档的要求一步一步的配置就行，下面给出了我做的配置，有兴趣的朋友可以参考：

#install rpms

yum install -y binutils*

yum install -y compat-libcap1*

yum install -y compat-libstdc++*

yum install -y compat-libstdc++*686*

yum install -y e2fsprogs*

yum install -y e2fsprogs-libs*

yum install -y glibc*686*

yum install -y glibc*

yum install -y glibc-devel*

yum install -y glibc-devel*686*

yum install -y ksh*

yum install -y libgcc*686*

yum install -y libgcc*

yum install -y libs*

yum install -y libstdc++*

yum install -y libstdc++*686*

yum install -y libstdc++-devel*

yum install -y libstdc++*686*

yum install -y libaio*

yum install -y libaio*686*

yum install -y libaio-devel*

yum install -y libaio-devel*686*

yum install -y libXtst*

yum install -y libXtst*686*

yum install -y libX11*686*

yum install -y libX11*

yum install -y libXau*686*

yum install -y libXau*

yum install -y libxcb*686*

yum install -y libxcb*

yum install -y libXi*

yum install -y libXi*686*

yum install -y make*

yum install -y net-tools*

yum install -y nfs-utils*

yum install -y sysstat*

yum install -y smartmontools*

yum install -y unixODBC*

yum install -y unixODBC-devel*

yum install -y unixODBC*686*

yum install -y unixODBC-devel*686*

#configure kernel

/etc/sysctl.conf

fs.aio-max-nr = 1048576

fs.file-max = 6815744

kernel.shmall = 67108864

kernel.shmmax = 274877906944

kernel.shmmni = 4096

kernel.sem = 250 32000 100 128

net.ipv4.ip_local_port_range = 9000 65500

net.ipv4.tcp_rmem = 4096 87380 4194304

net.ipv4.tcp_wmem = 4096 16384 4194304

net.core.rmem_default = 262144

net.core.rmem_max = 4194304

net.core.wmem_default = 262144

net.core.wmem_max = 1048576

#configure user limit

/etc/security/limits.conf 

grid soft nofile 1024

grid hard nofile 65536

grid soft nproc  2047

grid hard nproc  16384

grid soft stack  10240

grid hard stack  32768

oracle soft nofile 1024

oracle hard nofile 65536

oracle soft nproc  2047

oracle hard nproc  16384

oracle soft stack  10240

oracle hard stack  32768

#configure pam

/etc/pam.d/login

session  required  pam_limits.so

#configure network

/etc/hosts

#public

192.168.1.31 rac1

192.168.1.33 rac2

#private

192.168.0.11 rac1-priv

192.168.0.12 rac2-priv

#virtual

192.168.1.32 rac1-vip

192.168.1.34 rac2-vip

#scan ip

192.168.1.35 rac-scan

#configure hostname

/etc/sysconfig/network

HOSTNAME=rac1

#disable transparent hugepages

vi /etc/rc.local

if test -f /sys/kernel/mm/redhat_transparent_hugepage/enabled; then

   echo never > /sys/kernel/mm/redhat_transparent_hugepage/enabled

fi

#disable fireware

service iptables stop

chkconfig --del iptables

#disable selinux

/etc/selinux/config 

SELINUX=disabled

#create users and groups

groupadd -g 54421 oinstall

groupadd -g 54422 dba

groupadd -g 54423 oper

groupadd -g 54424 backupdba

groupadd -g 54425 dgdba

groupadd -g 54426 kmdba

groupadd -g 54428 asmoper

groupadd -g 54427 asmdba

groupadd -g 54429 asmadmin

groupadd -g 54430 racdba

useradd -u 54321 -g oinstall -G dba,asmdba,oper,asmadmin,asmdba,backupdba,dgdba,asmoper,kmdba,racdba oracle

useradd -u 54322 -g oinstall -G asmadmin,asmdba,asmoper grid

passwd oracle

passwd grid

#configure directories

mkdir -p /u01/app/12.2.0/grid

mkdir -p /u01/app/grid

mkdir -p /u01/app/oracle/product/12.2.0/db1

chown -R oracle:oinstall /u01

chown -R grid:oinstall /u01/app/12.2.0

chown -R grid:oinstall /u01/app/grid

chmod -R 775 /u01

#configure environment variables

rac1:

grid

export ORACLE_SID=+ASM1

export ORACLE_HOME=/u01/app/12.2.0/grid

export ORACLE_BASE=/u01/app/grid

export PATH=$ORACLE_HOME/bin:$PATH

oracle

export ORACLE_SID=rac1

export ORACLE_BASE=/u01/app/oracle

export ORACLE_HOME=$ORACLE_BASE/product/12.2.0/db1

export PATH=$ORACLE_HOME/bin:$PATH

rac2:

grid

export ORACLE_SID=+ASM2

export ORACLE_HOME=/u01/app/12.2.0/grid

export ORACLE_BASE=/u01/app/grid

export PATH=$ORACLE_HOME/bin:$PATH

oracle

export ORACLE_SID=rac2

export ORACLE_BASE=/u01/app/oracle

export ORACLE_HOME=$ORACLE_BASE/product/12.2.0/db1

export PATH=$ORACLE_HOME/bin:$PATH

#configure ssh

ssh-keygen -t dsa

ssh-keygen -t tsa

ssh rac1 cat ~/.ssh/id_rsa.pub >> authorized_keys

ssh rac2 cat ~/.ssh/id_rsa.pub >> authorized_keys

ssh rac1 cat ~/.ssh/id_dsa.pub >> authorized_keys

ssh rac2 cat ~/.ssh/id_dsa.pub >> authorized_keys

#configure raw disks

raw /dev/raw/raw1 /dev/sdb

raw /dev/raw/raw2 /dev/sdc

raw /dev/raw/raw3 /dev/sdd

raw /dev/raw/raw4 /dev/sde

raw /dev/raw/raw5 /dev/sdf

raw /dev/raw/raw6 /dev/sdg

chown grid:asmadmin /dev/raw/raw*

这里说一下配置磁盘，在Oracle12c里引入了MGMTDB的概念，这个在12.1的RAC里是与OCR在同一个磁盘组里，而且占用的空间大概有几个G，但到了12cR2中，MGMT可以与OCR在同一个磁盘组也可以单独使用一个磁盘组，Oracle默认是单独使用，但在12cR2中MGMTDB占的空间特别的大，要求磁盘空间要在38G以上才行。所以我这里分配的空间容量是sdb和sdc做OCR的磁盘，每个2G，sdd和sde做MGMT的磁盘，每个20G，sdf和sdg做DATA的磁盘。如果空间不中会安装时会报如下图的错误：

4、安装grid

这里说一说安装grid时需要注意的。

第一是在哪里解压，12cR2的grid的名字与以往版本的不同，linuxx64_12201_grid_home.zip，文件名字中带了一个home，我想这是Oracle想告诉大家这个文件直接解压到GRID_HOME下吧。也的确如此，直接把文件解压到指定的GRID_HOME目录下，它不需要安装时再把文件copy到GRID_HOME目录下了。解压完了记得把解压包从GRID_HOME中移走，免得在安装grid过程中还把这个压缩包也传到其他节点上去。

再来说安装，解压完后可以看到这个不象以前那样有一个grid目录，grid目录里runInstaller脚本等文件。这个解压就像是直接安装了一样，解压出来很多的文件。而且目录里也没有runInstaller脚本了，取而代之的是gridSetup.sh脚本，运行这个脚本来执行grid的安装。

之后在图形界面的各种选择与之前的版本没有太大的区别。安装完后执行root.sh脚本。在执行root.sh过程中出问题最多，这也是RAC能否安装成功的决定性因素。我做测试的过程中出现了如下三种报错：

CLSRSC-400: A system reboot is required to continue installing. 

CRS-1704: Initialization of the required component GPNP failed; details at (:CSSSC00005:) in 

CRS-2674: Start of 'ora.cssd' on 'node1' failed

Disk groups created successfully. Check /u01/app/grid/cfgtoollogs/asmca/asmca-170325AM010920.log for details.

2017/03/25 01:10:23 CLSRSC-184: Configuration of ASM failed

2017/03/25 01:10:27 CLSRSC-258: Failed to configure and start ASM

Died at /u01/app/12.2.0/grid/crs/install/crsinstall.pm line 2091.

查了GOOGLE和MOS都没有找到相关的文章来解决。不过今天在rhel6.7上没有出现上面的问题，顺利的安装成功了。

5、安装oracle软件和dbca创建数据库

安软件与dbca建库与之前的版本没有大太区别，软件还是用runInstaller来调图形界面安装，参照以往的方式安装就行了。

就先写到这里了，由于今天做测试时没有想到会安装成功，所以就没有做截图，但大体的流程还以往版本还是大同小异，这里也建议多对照官方文档进行操作，可以免去不必要的一些麻烦和错误。

官方文档：http://docs.oracle.com/database/122/CWLIN/toc.htm

参考：http://blog.csdn.net/ljunjie82/article/details/51577841