....................................
# .bash_profile

# Get the aliases and functions
if [ -f ~/.bashrc ]; then
      . ~/.bashrc
fi

alias ls="ls -FA"

# User specific environment and startup programs
export ORACLE_BASE=/u01/app/oracle
export ORACLE_HOME=$ORACLE_BASE/product/10.2.0/db_1
export ORA_CRS_HOME=$ORACLE_BASE/product/crs
export ORACLE_PATH=$ORACLE_BASE/common/oracle/sql:.:$ORACLE_HOME/rdbms/admin

# Each RAC node must have a unique ORACLE_SID. (i.e. orcl1, orcl2,...)
export ORACLE_SID=orcl1

export PATH=.:${PATH}:$HOME/bin:$ORACLE_HOME/bin
export PATH=${PATH}:/usr/bin:/bin:/usr/bin/X11:/usr/local/bin
export PATH=${PATH}:$ORACLE_BASE/common/oracle/bin
export ORACLE_TERM=xterm
export TNS_ADMIN=$ORACLE_HOME/network/admin
export ORA_NLS10=$ORACLE_HOME/nls/data
export LD_LIBRARY_PATH=$ORACLE_HOME/lib
export LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:$ORACLE_HOME/oracm/lib
export LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:/lib:/usr/lib:/usr/local/lib
export CLASSPATH=$ORACLE_HOME/JRE
export CLASSPATH=${CLASSPATH}:$ORACLE_HOME/jlib
export CLASSPATH=${CLASSPATH}:$ORACLE_HOME/rdbms/jlib
export CLASSPATH=${CLASSPATH}:$ORACLE_HOME/network/jlib
export THREADS_FLAG=native
export TEMP=/tmp
export TMPDIR=/tmp
....................................

OCFS2 / Clusterware를 위한 마운트 포인트 생성

마지막으로, 두 가지 Oracle Clusterware 파일을 저장할 OCFS2 파일시스템의 마운트 포인트를 생성합니다. root 계정 권한으로 아래와 같이 명령을 실행합니다:

$ su -
# mkdir -p /u02/oradata/orcl
# chown -R oracle:dba /u02

Create Login Script for oracle User Account

After creating the "oracle" UNIX user account on both nodes, make sure that you are logged in as the oracle user and verify that the environment is setup correctly by using the .bash_profile provided in this section.

Note: When you are setting the Oracle environment variables for each Oracle RAC node, ensure to assign each RAC node a unique Oracle SID! For this example, I used:

• linux1: ORACLE_SID=orcl1
• linux2: ORACLE_SID=orcl2

Login to each node as the oracle user account:

# su - oracle

# .bash_profile

# Get the aliases and functions
if [ -f ~/.bashrc ]; then
      . ~/.bashrc
fi

alias ls="ls -FA"

export JAVA_HOME=/usr/local/java

# User specific environment and startup programs
export ORACLE_BASE=/u01/app/oracle
export ORACLE_HOME=$ORACLE_BASE/product/10.2.0/db_1
export ORA_CRS_HOME=/u01/app/crs
export ORACLE_PATH=$ORACLE_BASE/common/oracle/sql:.:$ORACLE_HOME/rdbms/admin
export CV_JDKHOME=/usr/local/java

# Each RAC node must have a unique ORACLE_SID. (i.e. orcl1, orcl2,...)
export ORACLE_SID=orcl1

export PATH=.:${JAVA_HOME}/bin:${PATH}:$HOME/bin:$ORACLE_HOME/bin
export PATH=${PATH}:/usr/bin:/bin:/usr/bin/X11:/usr/local/bin
export PATH=${PATH}:$ORACLE_BASE/common/oracle/bin
export ORACLE_TERM=xterm
export TNS_ADMIN=$ORACLE_HOME/network/admin
export ORA_NLS10=$ORACLE_HOME/nls/data
export LD_LIBRARY_PATH=$ORACLE_HOME/lib
export LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:$ORACLE_HOME/oracm/lib
export LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:/lib:/usr/lib:/usr/local/lib
export CLASSPATH=$ORACLE_HOME/JRE
export CLASSPATH=${CLASSPATH}:$ORACLE_HOME/jlib
export CLASSPATH=${CLASSPATH}:$ORACLE_HOME/rdbms/jlib
export CLASSPATH=${CLASSPATH}:$ORACLE_HOME/network/jlib
export THREADS_FLAG=native
export TEMP=/tmp
export TMPDIR=/tmp

클러스터의 모든 Oracle RAC 노드에서 아래 작업을 수행합니다!

이 섹션에서 설명되는 명령 중 일부는 Oracle RAC 노드의 각 서버가 부팅될 때마다 반복적으로 실행되어야 합니다. 이 섹션은 오라클 환경의 Linux 커널 매개변수 설정에 관련한 매우 상세한 정보를 포함하고 있습니다. 명령을 스타트업 스크립트(/etc/sysctl.conf)에 포함시키는 방법은 섹션 15("Oracle RAC 노드를 위한 스타트업 커맨드")에서 설명되고 있습니다.

개요

이 섹션에서는 Oracle10g RAC 설치를 위한 사전 준비 단계로 Linux 서버를 설정하는 방법을 설명하고 있습니다. 이를 위해 서버의 스왑 공간 확인, 공유 메모리/세마포어 설정, 파일 핸들 최대 갯수 설정, IP 로컬 포트 영역 설정, oracle 계정의 shell limit 설정, 전체 커널 매개변수의 활성화, 클러스터 노드의 시간/날짜 설정 검증 등의 작업이 필요합니다.

매개변수들을 설정하는 방법에는 여러 가지가 있습니다. 예제 구성에서는 모든 커맨드를 /etc/sysctl.conf 파일에 포함시켜 변경 내용이 영구적으로 적용되도록 하는 방법이 사용됩니다.

Swap 공간의 설정

• Oracle10g Release 2 설치 환경은 최소 512MB의 메모리를 요구합니다. 참고: 설치 과정에서 swap 공간을 잘못 설정하는 경우 Oracle Universal Installer의 실행 도중 행(hang) 현상이 발생하거나 비정상 종료될 수 있습니다.) 
• 할당된 메모리 용량을 확인하는 방법이 아래와 같습니다:

  # cat /proc/meminfo | grep MemTotal
  MemTotal: 1034180 kB

• swap 공간의 메모리 용량을 확인하는 방법은 아래와 같습니다:

  # cat /proc/meminfo | grep SwapTotal
  SwapTotal: 2031608 kB

• 512MB 이하의 메모리를 사용하는 경우에는 임시 swap 파일을 생성함으로써 swap 공간을 추가할 수 있습니다. 이 방법을 이용하면 로우 디바이스(raw device)를 사용하거나 시스템의 리빌드(rebuild)를 수행하는 수고를 덜 수도 있습니다.

• 
  
  # dd if=/dev/zero of=tempswap bs=1k count=300000

  다음으로 파일 권한을 변경합니다:
  
  # chmod 600 tempswap

  마지막으로 해당 “파티션”을 swap 공간으로 포맷하고, 기존 swap공간에 추가합니다:
  
  # mke2fs tempswap
  # mkswap tempswap
  # swapon tempswap
  

공유 메모리의 설정

공유 메모리(shared memory)는 프로세스가 공유 메모리 세그먼트를 통해 공통 데이터 구조 및 데이터에 접근할 수 있게 합니다. 공유 메모리는 커널 작업을 수반하지 않으며 프로세스 간의 데이터 복제 작업이 불필요하기 때문에, IPC(inter-process communication)를 위한 가장 빠른 방법으로 선호되고 있습니다.  

오라클은 오라클의 백업 및 포어그라운드 프로세스를 위한 공유 메모리 영역으로 Shared Global Area (SGA)를 제공합니다. SGA는 데이터베이스 버퍼 캐시, 공유 SQL, 접근 경로 등의 저장에 활용되므로, SGA 크기의 설정에 따라 오라클의 성능이 크게 달라질 수 있습니다.

공유 메모리 설정을 확인하려면 아래와 같이 실행합니다:

# ipcs -lm
------ Shared Memory Limits --------
max number of segments = 4096
max seg size (kbytes) = 32768
max total shared memory (kbytes) = 8388608
min seg size (bytes) = 1

Setting의 설정

SHMMAX 매개변수는 공유 메모리 세그먼트의 최대 크기(바이트 단위)를 정의하는데 사용됩니다. 오라클 SGA는 공유 메모리로 구성되며, SHMMAX가 올바르게 설정되지 않은 경우 SGA의 크기가 제약될 수도 있습니다. 따라서 SGA의 크기보다 작지 않도록 SHMMAX를 설정해야 합니다. SHMMAX 매개변수가 잘못 설정된 경우에는 다음과 같은 에러가 발생합니다:

ORA-27123: unable to attach to shared memory segment

SHMMAX 매개변수의 설정값을 확인하려면 아래와 같이 실행합니다:

# cat /proc/sys/kernel/shmmax
33554432

SHMMAX의 디폴트 값은 32MB입니다. 이 사이즈는 Oracle SGA로 활용하기에는 너무 부족합니다. 필자는 보통 SHMMAX 매개변수를 2GB로 설정합니다. 그 방법이 아래와 같습니다:

• 아래 커맨드를 이용하여 /proc 파일시스템(/proc/sys/kernel/shmmax)에 변경 사항을 직접 적용하면 서버를 리부팅 하지 않고도 SHMAX 설정을 변경할 수 있습니다:

• # sysctl -w kernel.shmmax=2147483648
              

• 다음으로, /etc/sysctl.conf 스타트업 파일에 커널 매개변수를 추가하여 변경 사항을 영구적으로 적용합니다:

  # echo "kernel.shmmax=2147483648" >> /etc/sysctl.conf
              

SHMMNI의 설정

이제 SHMMNI 매개변수를 검토할 차례입니다. 이 매개변수는 시스템 전체에서 사용하는 공유 메모리 세그먼트의 최대 숫자를 설정하는데 사용되며 디폴트 값은 4096입니다.
SHMMNI 설정값을 확인하는 방법이 아래와 같습니다:

# cat /proc/sys/kernel/shmmni
4096

SHMMNI의 디폴트 설정값은 예제 구성의 Oracle RAC 10g Release 2 설치를 위해 충분한 수준입니다.

SHMALL의 설정

마지막으로 SHMALL 공유 메모리 커널 매개변수를 살펴 봅시다. 이 매개변수는 특정 시점에 시스템에서 사용 가능한 공유 메모리의 최대 크기(페이지 단위)를 정의합니다. 따라서 이 매개변수는 최소한 아래 값보다 커야 합니다:

ceil(SHMMAX/PAGE_SIZE)

SHMALL의 디폴트 사이즈는 2097152이며 아래 명령을 이용하여 확인할 수 있습니다:

# cat /proc/sys/kernel/shmall
2097152

SHMALL의 디폴트 설정값은 예제 구성의 Oracle RAC 10g Release 2 설치를 위해 충분한 수준입니다.

참고: i386 플랫폼 기반 Red Hat Linux의 페이지 사이즈는 4,096 바이트입니다. 하지만 bigpages를 이용하면 메모리 페이지의 사이즈를 더 크게 설정할 수 있습니다.)

Semaphore의 설정

이것으로 공유 메모리 설정은 완료되었습니다. 다음은 세마포어를 설정할 차례입니다. 세마포어(semaphore)란 (공유 메모리와 같은) 공유 리소스의 사용 과정에서 프로세스(또는 프로세스 내 쓰레드) 간의 동기화를 위해 사용되는 일종의 카운터(counter)입니다. 세마포어 셋(semaphore set)은 Unix System V에서 지원됩니다. 애플리케이션이 세마포어를 요청하는 경우, 운영체체는 “셋(set)”을 통해 세마포어를 지원합니다

세마포어 설정값을 확인하는 방법이 아래와 같습니다:

# ipcs -ls
------ Semaphore Limits --------
max number of arrays = 128
max semaphores per array = 250
max semaphores system wide = 32000
max ops per semop call = 32
semaphore max value = 32767

또는 아래 명령을 사용할 수도 있습니다:

# cat /proc/sys/kernel/sem
250 32000 32 128

SEMMSL의 설정

SEMMSL 커널 매개변수는 세마포어 셋 당 세마포어의 최대 갯수를 정의합니다.

오라클은 init.ora 파일의 PROCESS 인스턴스 매개변수의 (전체 데이터베이스 중) 최대값에 10을 더한 값을 SEMMSL의 설정값으로 사용할 것을 권장하고 있습니다. 또 SEMMSL의 값을 100 이상으로 설정하는 것이 권장됩니다.

SEMMNI의 설정

SEMMNI 커널 매개변수는 전체 Linux 시스템의 (“세마포어 셋”이 아닌) 세마포어의 최대 개수를 정의하는데 사용됩니다. 오라클은 SEMMNI를 100 이상의 값으로 설정할 것을 권장하고 있습니다.

SEMMNS의 설정

SEMMNS 커널 매개변수는 전체 Linux 시스템의 (“세마포어 셋”이 아닌) 세마포어의 최대 개수를 정의하는데 사용됩니다.

오라클은 각 데이터베이스의 PROCESSES 인스턴스 매개변수의 값을 모두 더한 뒤, 가장 큰 PROCESSES 값을 두 차례 더하고, 마지막으로 각 데이터베이스 별로 10을 더한 값으로 SEMMNS를 설정하도록 권고하고 있습니다

Linux 시스템에 할당될 수 있는 세마포어의 최대 개수를 결정하기 위해 다음과 같은 공식을 사용합니다. 아래의 두 항목 중 낮은 쪽을 적용합니다:

SEMMNS -or- (SEMMSL * SEMMNI)

SEMOPM의 설정

SEMOPM 커널 매개변수는 semop 시스템 호출 (system call) 별로 수행될 수 있는 세마포어 작업의 수를 설정하는데 사용됩니다.
semop 시스템 호출(함수)은 하나의 semop 시스템 호출을 통해 여러 개의 세마포어를 지원합니다. 세마포어 셋에서 가질 수 있는 세마포어의 최대값은 SEMMSL 매개변수를 통해 정의됩니다. 따라서 SEMOPM을 SEMMSL과 동일하게 설정하는 것이 권장됩니다.
오라클은 SEMOPM을 100 이상의 값으로 설정할 것을 권장하고 있습니다.

세마포어 커널 매개변수의 설정

마지막으로 세마포어 매개변수를 설정하는 방법에 대해 알아보겠습니다. 여기에서는 SEMOPM 만을 변경하고, 다른 설정은 디폴트 값을 그대로 사용하는 것으로 합니다.

• 아래 커맨드를 이용하여 /proc 파일시스템(/proc/sys/kernel/sem)에 변경 사항을 직접 적용하면 서버를 리부팅 하지 않고도 세마포어 매개변수를 변경할 수 있습니다.

  # sysctl -w kernel.sem="250 32000 100 128"

• 그런 다음, /etc/sysctl.conf 스타트업 파일에 커널 매개변수를 추가하여 변경 사항을 영구적으로 적용합니다:

  # echo "kernel.sem=250 32000 100 128" >> /etc/sysctl.conf
                

파일 핸들의 처리

Red Hat Linux 서버를 구성하는 과정에서, 사용 가능한 파일 핸들(file handle)의 수가 충분한지 확인하는 것은 매우 중요합니다. 파일 핸들의 최대 개수 설정에 따라 Linux 시스템에서 동시에 오픈할 수 있는 파일의 수가 달라지게 됩니다.

전체 시스템에서 사용 가능한 파일 핸들의 최대값을 확인하기 위해 아래 명령을 실행합니다:

# cat /proc/sys/fs/file-max
102563

• 아래 커맨드를 이용하여 /proc 파일시스템(/proc/sys/kernel/file-max)에 변경 사항을 직접 적용하면 서버를 리부팅 하지 않고도 매개변수를 변경할 수 있습니다:

  # sysctl -w fs.file-max=65536
            

• 그런 다음, /etc/sysctl.conf 스타트업 파일에 커널 매개변수를 추가하여 변경 사항을 영구적으로 적용합니다:

  # echo "fs.file-max=65536" >> /etc/sysctl.conf
            

# cat /proc/sys/fs/file-nr
825 0 65536

file-nr 파일에서 표시되는 3 개의 매개변수가 다음과 같습니다: 할당된 파일 핸들의 수, 현재 사용 중인 파일 핸들의 수, 할당 가능한 최대 파일 핸들의 수.

(참고: /proc/sys/fs/file-max의 값을 증가시키고자 하는 경우, 먼저 ulimit이 올바르게 설정되었는지 확인할 필요가 있습니다. 2.4.20 버전에서는 ulimit이 “unlimited”로 설정되는 것이 일반적입니다. ulimit 커맨드를 사용하면 ulimit 설정을 확인할 수 있습니다:

# ulimit
unlimited

IP 로컬 포트 범위의 확인

시스템이 1024 - 65000 사이의 로컬 포트를 허용하도록 설정합니다.

ip_local_port_range의 값을 확인하기 위한 커맨드가 아래와 같습니다:

# cat /proc/sys/net/ipv4/ip_local_port_range
32768 61000

ip_local_port_range의 디폴트 값은 32768 - 61000으로 설정됩니다. 오라클은 1024 - 65000의 로컬 포트 범위를 사용할 것을 권장하고 있습니다.

• 아래 커맨드를 이용하여 /proc 파일시스템(/proc/sys/net/ipv4/ip_local_port_range)에 변경 사항을 직접 적용하면 서버를 리부팅 하지 않고도 매개변수를 변경할 수 있습니다:

  # sysctl -w net.ipv4.ip_local_port_range="1024 65000"

• 그런 다음, /etc/sysctl.conf 스타트업 파일에 커널 매개변수를 추가하여 변경 사항을 영구적으로 적용합니다:

  # echo "net.ipv4.ip_local_port_range = 1024 65000" >> /etc/sysctl.conf

oracle 사용자의 Shell Limit 설정

오라클은 Linux 시스템의 소프트웨어 성능 개선을 위해 아래와 같이 오라클 사용자의 shell limit을 증가시킬 것을 권고하고 있습니다.

변경 작업을 위해 root 계정으로 아래와 같이 실행합니다:

cat >> /etc/security/limits.conf <<EOF
oracle soft nproc 2047
oracle hard nproc 16384
oracle soft nofile 1024
oracle hard nofile 65536
EOF

cat >> /etc/pam.d/login <<EOF
session required /lib/security/pam_limits.so
EOF

"oracle" UNIX 계정의 디폴트 쉘 스타트업 파일을 업데이트합니다.

• Bourne, Bash, Korn 쉘의 경우 아래와 같이 실행하여 /etc/profile 파일에 설정 항목을 추가합니다:

  cat >> /etc/profile <<EOF
  if [ \$USER = "oracle" ]; then 
   if [ \$SHELL = "/bin/ksh" ]; then
   ulimit -p 16384
   ulimit -n 65536
   else
   ulimit -u 16384 -n 65536
   fi
   umask 022
  fi
  EOF

• C 쉘(csh, tcsh)의 경우 아래와 같이 실행하여 /etc/csh.login 파일에 설정 항목을 추가합니다.

  cat >> /etc/csh.login <<EOF
  if ( \$USER == "oracle" ) then
   limit maxproc 16384
   limit descriptors 65536
  endif
  EOF

시스템의 전체 커널 매개변수 활성화

지금까지 오라클 설치 및 구성 과정에서 튜닝이 필요한 Linux 커널 매개변수들을 모두 살펴 보았습니다. 그리고 각각의 항목에 대해, /etc/sysctl.conf 파일에 매개변수 정의를 추가함으로써 변경 사항이 영구적으로 적용될 수 있도록 하였습니다.

이 시점에 리부트를 수행하여 모든 매개변수 변경 사항을 활성화할 수도 있습니다. 또는 root 계정으로 아래 커맨드를 이용하여 /etc/sysctl.conf 파일을 실행해도 됩니다. 이 작업은 클러스터의 모든 노드에서 실행되어야 합니다!

# sysctl -p
net.ipv4.ip_forward = 0
net.ipv4.conf.default.rp_filter = 1
net.ipv4.conf.default.accept_source_route = 0
kernel.sysrq = 0
kernel.core_uses_pid = 1
net.core.rmem_default = 262144
net.core.wmem_default = 262144
net.core.rmem_max = 262144
net.core.wmem_max = 262144
kernel.shmmax = 2147483648
kernel.sem = 250 32000 100 128
fs.file-max = 65536
net.ipv4.ip_local_port_range = 1024 65000

모든 클러스터 노드에 정확한 날짜 및 시간 설정

Oracle Clusterware, 데이터베이스, 컴패니언 CD의 설치 과정에서, Oracle Universal Installer(OUI)는 가장 먼저 인스톨러가 실행되는 로컬 노드(linux1)에 소프트웨어를 설치합니다. 설치된 소프트웨어는 클러스터의 나머지 노드(linux2)로 원격 복사됩니다. 원격 복사 과정에서, OUI는 각 원격 노드에 UNIX tar 커맨드를 실행하여 복사된 파일의 압축을 풉니다. 설치를 진행하는 로컬 노드의 날짜/시간이 원격 노드보다 빠르게 설정된 경우, OUI는 tar 커맨드 실행 과정에서 에러를 발생시키고 파일의 타임스탬프가 미래 시점으로 설정되어 있다는 메시지를 띄웁니다:

Error while copying directory 
    /u01/app/oracle/product/crs with exclude file list 'null' to nodes 'linux2'.
[PRKC-1002 : All the submitted commands did not execute successfully]
---------------------------------------------
linux2:
   /bin/tar: ./bin/lsnodes: time stamp 2006-09-13 09:21:34 is 735 s in the future
   /bin/tar: ./bin/olsnodes: time stamp 2006-09-13 09:21:34 is 735 s in the future
   ...(more errors on this node)

이 메시지가 심각한 에러처럼 보일 수도 있습니다. 하지만 실제로는 단순한 경고에 불과합니다. 실제로 "tar" 커맨드는 정상적으로 실행됩니다. 하지만 (ls -l 커맨드를 이용하여) 원격 노드의 파일 목록을 확인해 보면, 파일의 타임스탬프가 미래가 아닌 현재 시점이 될 때까지 time 필드가 공백으로 비워져 있음을 확인할 수 있습니다.

아래에 설명된 설치 작업을 시작하기 전에, 클러스터의 각 멤버 노드가 동일한 날짜와 시간으로 설정되어 있음을 확인해야 합니다. 오라클은 대부분의 운영 체제가 지원하는 Network Time Protocol을 사용할 것을 권고하고 있습니다.

하지만 경우에 따라서는 Network Time Protocol 서버의 사용이 불가능할 수도 있습니다. 클러스터의 날짜와 시간을 수동으로 설정해야 하는 경우에는, 소프트웨어 설치가 진행되는 로컬 노드(linux1)의 시간이 클러스터의 다른 노드(linx2)에 설정된 시간보다 늦도록 설정하는 것이 좋습니다. 필자의 경우 보통 20 초의 시간차를 두는 방법을 씁니다:

linux1의 날짜/시간 설정:

# date -s "9/13/2006 23:00:00"

linux2의 날짜/시간 설정:

# date -s "9/13/2006 23:00:20"

본 문서에서 설명된 2-노드 RAC 구성은 Network Time Protocol 서버를 사용하고 있지 않습니다.

클러스터의 모든 Oracle RAC 노드에서 아래 작업을 수행합니다!

Oracle 9i Release 1(9.0.1)과 Oracle 9i Release 2 (9.2.0.1)는 watchdogd라는 이름의 데몬을 이용하여 클러스터의 상태를 모니터링하고 장애가 발생한 경우 RAC를 재시작합니다. Oracle 9i Release 2(9.2.0.2)부터 이 데몬의 역할은 hangcheck-timer라는 Linux 커널 모듈에 의해 대체되었습니다 hang-check 타이머는 Linux 커널에 로드된 상태로 타이머를 설정하고 일정 시간 이후 타이머를 점검하는 방식으로 시스템에 “hang”의 발생 여부를 점검합니다.   hang-check의 임계치를 설정하고, 이 임계치를 넘어서는 경우 시스템을 리부트 하도록 설정하는 것이 가능합니다 Oracle Clusterware(Cluster Manager)가 hangcheck-timer 모듈을 반드시 요구하는 것은 아니지만, 오라클은 이 모듈의 사용을 강력하게 권장하고 있습니다.

hangcheck-timer.ko 모듈

hangcheck-timer 모듈은 커널 기반 타이머를 사용하여 시스템 태스크 스케줄러에 발생하는 딜레이(delay)를 정기적으로 점검하는 방식으로 시스템 상태를 확인합니다. 시스템이 중단되거나 “hang” 상태가 되는 경우 타이머는 노드를 리셋합니다. hangcheck-timer 모듈은 Time Stamp Counter (TSC) CPU 레지스터를 사용하며, 이 레지스터는 매 클럭 시그널(clock signal) 단위로 증가됩니다. TCS는 하드웨어에 의해 자동으로 업데이트되므로 매우 정확한 시간 측정이 가능합니다.

hangcheck-timer 프로젝트에 관련한 보다 상세한 정보는 here 에서 확인할 수 있습니다.

hangcheck-timer.ko 모듈의 설치

hangcheck-timer는 그간 오라클이 독자적으로 제공해 왔으나, 커널 버전 2.4.9-e.12 이후부터는 Red Hat Linux AS에도 기본 포함된 형태로 제공되기 시작했습니다. 현재 환경에도 hangcheck-timer가 이미 포함되어 있을 것입니다. 아래 명령을 사용하여 모듈이 포함되어 있는지 확인합니다: :

# find /lib/modules -name "hangcheck-timer.ko"
/lib/modules/2.6.9-42.EL/kernel/drivers/char/hangcheck-timer.ko

hangcheck-timer 모듈의 설정 및 로드

hangcheck-timer 모듈에는 두 가지 매개변수가 존재합니다:

• hangcheck-tick: 이 매개변수는 시스템 상태의 모니터링 주기를 정의하는데 사용됩니다. 디폴트 값은 60초이며, 오라클은 30초의 설정을 권장합니다.
• hangcheck-margin: 이 매개변수는 hangcheck-timer가 RAC 노드를 리셋하기 전까지 허용되는 최대 지연시간을 정의하는데 사용됩니다. 지연 시간은 초 단위로 설정됩니다. 디폴트 값은 180초이며, 오라클은 디폴트 값을 그대로 사용하는 것을 권장합니다.

system hang time > (hangcheck_tick + hangcheck_margin)

hangcheck-timer 커널 모듈이 (수동으로, 또는 오라클을 통해 자동으로) 로드 될 때마다, 위에서 설명한 두 가지 매개변수 (hangcheck-tick, hangcheck-margin)의 설정값을 확인하게 됩니다. 이 값은 Linux 서버가 리부트 될 때마다 확인됩니다. 따라서 /etc/modprobe.conf 파일에 아래와 같이 정확한 값을 입력해 주어야 합니다:

# su -
# echo "options hangcheck-timer hangcheck_tick=30 hangcheck_margin=180" >> /etc/modprobe.conf
      

이제 hangcheck-timer 커널 모듈이 로드될 때마다, /etc/modprobe.conf 파일에 정의된 설정값이 사용됩니다.

테스트를 위해 Hangcheck 커널 모듈 수동으로 로드하기

오라클은 필요할 때마다 hangcheck-timer 커널 모듈을 자동으로 로드합니다. 그렇기 때문에, modprobe 또는 insmod 커맨드를 이용하여 스타트업 파일(예:/etc/rc.local)에 hangcheck-timer 모듈을 별도로 추가할 필요는 없습니다.

필자는 (단순히 습관적으로) hangcheck-timer 커널 모듈의 modprobe를 /etc/rc.local 파일에 추가하곤 합니다. 이것은 지극히 개인적인 습관의 문제이지만, 이처럼 hangcheck-timer의 modprobe를 스타트업 파일에 추가한다고 해서 문제가 될 것은 없습니다.

그래서 필자는 구성에 완벽을 기하고 밤잠을 편히 자자는 욕심에서 hangcheck-timer 커널 모듈을 모든 스타트업 파일에 아래와 같이 등록하는 방법을 사용합니다:

# echo "/sbin/modprobe hangcheck-timer" >> /etc/rc.local
      

(참고: 리부팅할 때마다 modprobe 또는 insmod를 이용하여 hangcheck-timer 커널 모듈을 수동으로 로드할 필요는 없습니다. 오라클은 필요할 때마다 hangcheck-timer 모듈을 자동으로 로드합니다.)

다음으로, /etc/modprobe.conf 파일에 정의된 매개변수가 hangcheck-timer 커널 모듈에 올바르게 적용되고 있는지 테스트해 봅시다. 이를 위해 modprobe 커맨드를 사용합니다. hangcheck-timer 커널 모듈을 로드하는 시점에 매개변수를 전달하는 방법을 사용할 수도 있지만(예: insmod hangcheck-timer hangcheck_tick=30 hangcheck_margin=180), 여기에서는 /etc/modprobe.conf 파일에 설정된 내용을 이용하는 방법을 사용하기로 합니다.

hangcheck-timer 커널 모듈을 수동으로 로드하고 /etc/modprobe.conf 파일에 정의된 매개변수 값이 올바르게 적용되었는지 확인하기 위해, 아래와 같이 실행합니다:

# su -
# modprobe hangcheck-timer
# grep Hangcheck /var/log/messages | tail -2
Oct 10 19:56:24 linux1 kernel: Hangcheck: starting hangcheck timer 0.9.0 (tick is 30 seconds, margin is 180 seconds).
Oct 10 19:56:24 linux1 kernel: Hangcheck: Using monotonic_clock().
      

클러스터의 모든 Oracle RAC 노드에서 아래 작업을 수행합니다!

Oracle Real Application 클러스터를 설치하고 사용하기 전에, 모든 클러스터 노드의 "oracle" UNIX 사용자 계정에 대해 SSH(secure shell) 또는 RSH(remote shell)를 설정해 주어야 합니다. 여기서 목표는 "oracle" UNIX 사용자 계정과 "동일한 계정(user equivalence)"을 셋업하는 것입니다. "oracle" UNIX 사용자 계정은 SSH 또는 RSH를 이용하여 (패스워드를 입력하지 않고도) 클러스터의 다른 노드에 접근하고 커맨드를 실행하거나 파일을 복사할 수 있습니다. SSH 또는 RSH 모두 사용 가능하지만, SSH가 보다 선호되는 방법으로 이용됩니다. 오라클은 10g Release 1부터 SSH 툴을 추가로 지원하고 있습니다. Oracle10g 이전 버전에서는 RSH를 사용해야 합니다.

그렇다면 RSH 또는 SSH 설정이 왜 필요한 것일까요? Oracle Clusterware와 Oracle Database 소프트웨어의 설치 작업은 RAC 클러스터 노드 중 하나에서만 실행됩니다. Oracle Universal Installer(OUI)를 특정 노드에서 실행하면 ssh, scp 커맨드(또는 rsh, rcp 커맨드)를 이용하여 RAC 클러스터의 다른 노드에 오라클 소프트웨어를 복사하는 작업이 수행됩니다. 따라서 OUI(runInstaller)를 실행하는 "oracle" UNIX 계정에 대해 다른 노드와의 트러스트 관계가 성립되어 있어야 합니다. 다시 말해 OUT가 실행되는 서버에서 별도의 패스워드를 입력하지 않고도 다른 모든 서버에 대해 SSH 커맨드(ssh, scp) 또는 RSH 커맨드(rsh, rcp)를 실행할 수 있어야 합니다.

일반적인 RAC 운영 모드에서는 SSH 또는 RSH이 사용되지 않는다는 점을 참고할 필요가 있습니다. 하지만 클러스터 데이터베이스 설치 뿐 아니라 패치 설치 과정에서도 SSH/RSH가 사용되기 때문에, 이 설정은 상시 유지되어야 합니다.

제일 먼저 SSH와 RSH 중 어떤 방법을 사용할 것인지 결정해야 합니다. 두 가지 모두 나름의 장점과 단점이 있습니다. RSH의 경우 설정이 매우 편리하다는 장점이 있습니다. RSH는 설정이 비교적 간단하며 트러스티드 노드(trusted node; 설치 작업을 진행하는 노드)에서 로그인할 때 언제나 터미널 세션을 사용할 수 있습니다. 하지만 원격 노드로의 연결을 위한 보안 기능이 제공되지 않는다는 점이 문제입니다. SSH는 연결을 위한 보안 메커니즘을 제공하지만, 작업 과정이 복잡합니다. 또 오라클 사용자가 트러스티드 노드에 접근할 때마다 매번 터미널 세션에서 SSH를 활성화해 주어야 합니다. 오라클의 공식제품문서에서는 SSH의 설정 방법만을 설명하고 있으며 SSH를 보다 선호되는 방법으로 권장하고 있습니다.

SSH, RSH의 설정 방법이 아래와 같습니다:

• (SSH)Secure Shell의 사용
• (RSH)Remote Shell의 사용

OpenSSH 버전 3의 설정 방법이 아래와 같습니다.

아래 커맨드를 사용하여 SSH가 설치되어 실행 중인지 확인합니다:

# pgrep sshd
2808

SSH가 실행 되고 있다면 위에서처럼 sshd 프로세스의 ID 넘버가 표시될 것입니다. 이 커맨드를 클러스터의 모든 노드에서 실행하여 SSH 데몬의 실행 여부를 확인하십시오!

SSH에 대한 자세한 정보는 man 페이지를 통해 확인할 수 있습니다:

# man ssh

두 Oracle RAC 노드에 RSA, DSA 키 생성하기

SSH를 설정하려면 먼저 클러스터의 모든 Oracle RAC 노드에 RSA/DSA 키를 생성해야 합니다. 커맨드를 실행하면 RSA, DSA를 위한 퍼블릭/프라이빗 키가 생성됩니다. (각 노드별로 총 4 개의 키가 생성됩니다.) 그런 다음 RSA, DSA 퍼블릭 키의 컨텐트를 authorized key file에 복사하고, 이 파일을 클러스터의 전체 노드에 배포해야 합니다.

RSA/DSA 키를 생성하는 방법이 아래와 같습니다. 이 작업을 클러스터의 모든 Oracle RAC 노드에서 실행해야 합니다.

1. "oracle" UNIX 사용자 계정으로 로그인합니다.

   # su - oracle

2. 필요한 경우, "oracle" 사용자의 홈 디렉토리에.ssh 디렉토리를 생성하고 권한을 설정해 줍니다.

   $ mkdir -p ~/.ssh
   $ chmod 700 ~/.ssh

3. 아래 커맨드를 실행하여 SSH 프로토콜 버전 3를 위한 RSA 키(퍼블릭/프라이빗 키)를 생성합니다.

   $ /usr/bin/ssh-keygen -t rsa

   프롬프트에서:
   • 키 파일의 디폴트 위치를 승인합니다.
   • pass phrase를 입력하고 다시 확인 입력합니다. 패스워드는 "oracle" UNIX 사용자의 패스워드와 다르게 설정하는 것이 권장됩니다. (강제 사항은 아닙니다.)

   이 커맨드를 실행하면 ~/.ssh/id_rsa.pub 파일에 퍼블릭 키가, ~/.ssh/id_rsa 파일에 프라이빗 키가 기록됩니다. 어떤 경에도 프라이빗 키는 배포해서는 안됨을 명심하십시오!

4. 아래 커맨드를 실행하여 SSH 프로토콜 버전 3를 위한 DSA 키(퍼블릭/프라이빗 키)를 생성합니다.

   $ /usr/bin/ssh-keygen -t dsa

   프롬프트에서:
   • 키 파일의 디폴트 위치를 승인합니다.
   • pass phrase를 입력하고 다시 확인 입력합니다. 패스워드는 "oracle" UNIX 사용자의 패스워드와 다르게 설정하는 것이 권장됩니다. (강제 사항은 아닙니다.)

   이 커맨드를 실행하면 ~/.ssh/id_dsa.pub 파일에 퍼블릭 키가, ~/.ssh/id_dsa 파일에 프라이빗 키가 기록됩니다. 어떤 경에도 프라이빗 키는 배포해서는 안됨을 명심하십시오!

5. 위 작업을 클러스터의 모든 Oracle RAC 노드에서 실행합니다.

모든 Oracle RAC 노드에서 RSA, DSA를 위한 퍼블릭/프라이빗 키를 생성한 다음, 노드 중 하나에서 authorized key file을 생성합니다. authorized key file이란 모든 노드의 RSA, DSA 퍼블릭 키 사본을 저장하는 파일을 의미합니다. authorized key file에 모든 퍼블릭 키를 저장한 뒤에는, 클러스터의 다른 노드에 이를 배포하는 작업이 수행됩니다.

클러스터의 노드 중 하나에서 아래 작업을 수행하고 작성된 authorized key file을 배포합니다. 본 예제에서는 linux1에서 작업을 수행하기로 합니다:

1. 먼저, authorized key file이 노드에 이미 존재하는지 확인합니다(~/.ssh/authorized_keys). 새로운 환경에 Oracle RAC를 설치하는 경우라면 이 파일이 존재하지 않을 가능성이 높습니다. 파일이 존재하지 않으면 새로 생성합니다:

   $ touch ~/.ssh/authorized_keys
   $ cd ~/.ssh
   $ ls -l *.pub
   -rw-r--r-- 1 oracle dba 603 Aug 31 23:40 id_dsa.pub
   -rw-r--r-- 1 oracle dba 223 Aug 31 23:36 id_rsa.pub

   위 목록에서 이제 앞 섹션에서 생성한 id_rsa.pub, id_dsa.pub 퍼블릭 키를 확인할 수 있을 것입니다.

2. SSH를 이용하여 양쪽 Oracle RAC 노드의 ~/.ssh/id_rsa.pub 컨텐트와 ~/.ssh/id_dsa.pub 퍼블릭 키를 방금 생성한 authorized key file(~/.ssh/authorized_keys)에 복사합니다. 이 작업 역시 linux1에서 실행합니다. 두 Oracle RAC 노드의 "oracle" UNIX 사용자 패스워드를 묻는 프롬프트가 표시됩니다. SSH를 이용하여 현재 로그온 중인 노드(linux1)에 최초 접근을 시도하면, "oracle" UNIX 사용자 계정의 패스워드를 묻는 프롬프트가 표시됩니다. 하지만 두 번째로 노드 접근을 시도하면 프라이빗 키의 암호를 풀기 위한 pass phrase를 묻는 프롬프트가 뜹니다. 반면, 다른 노드에서는 언제나 "oracle" UNIX 사용자 계정의 패스워드를 묻습니다.

   아래 실행 예제는 linux1에서 두 개의 클러스터 노드(linux1, linux2)에 대해 실행되는 환경을 가정하고 있습니다:

   $ ssh linux1 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
   The authenticity of host 'linux1 (192.168.1.100)' can't be established.
   RSA key fingerprint is 61:8a:f9:9e:28:a2:b7:d3:70:8d:dc:76:ca:d9:23:43.
   Are you sure you want to continue connecting (yes/no)? yes
   Warning: Permanently added 'linux1,192.168.1.100' (RSA) to the list of known hosts.
   oracle@linux1's password: xxxxx
   $ ssh linux1 cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
   Enter passphrase for key '/u01/app/oracle/.ssh/id_rsa': xxxxx
   $ ssh linux2 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
   The authenticity of host 'linux2 (192.168.1.101)' can't be established.
   RSA key fingerprint is 84:2b:bd:eb:31:2c:23:36:55:c2:ee:54:d2:23:6a:e4.
   Are you sure you want to continue connecting (yes/no)? yes
   Warning: Permanently added 'linux2,192.168.1.101' (RSA) to the list of known hosts.
   oracle@linux2's password: xxxxx
   $ ssh linux2 cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
   oracle@linux2's password: xxxxx

   참고: SSH를 이용하여 처음으로 노드에 접근을 시도하는 경우 아래와 같은 메시지가 표시될 수 있습니다:

   The authenticity of host 'linux1 (192.168.1.100)' can't be established.
   RSA key fingerprint is 61:8a:f9:9e:28:a2:b7:d3:70:8d:dc:76:ca:d9:23:43.
   Are you sure you want to continue connecting (yes/no)? yes

   프롬프트에서 yes를 입력하여 다음 단계로 진행됩니다. 이후 같은 시스템에서 같은 노드로 접근하면 위 메시지가 다시 표시되지 않을 것입니다.

3. 이제 linux1의 authorized key file(~/.ssh/authorized_keys)에 클러스터 내의 모든 노드를 위한 RSA/DSA 퍼블릭 키를 확보하였습니다. 이 파일을 클러스터의 다른 노드로 복사해야 합니다. 본 문서의 예제에서는 linux2에만 파일을 복사하면 됩니다. scp 커맨드를 이용하여 authorized key file을 클러스터의 나머지 노드에 복사합니다:

   $ scp ~/.ssh/authorized_keys linux2:.ssh/authorized_keys
   oracle@linux2's password: xxxxx
   authorized_keys 100% 1652 1.6KB/s 00:00

4. 각각의 Oracle RAC 노드에 로그인 한 후 아래와 같이 실행하여 authorized key file의 권한을 변경합니다:

   $ chmod 600 ~/.ssh/authorized_keys

5. 이제 ssh를 이용하여 다른 노드에 로그인하거나 다른 노드서 커맨드를 실행하면 DSA 키를 생성할 때 정의한 pass phrase를 묻는 프롬프트가 뜹니다. linux1에서의 ssh 실행 예가 아래와 같습니다:

   $ ssh linux1 hostname
   Enter passphrase for key '/u01/app/oracle/.ssh/id_rsa': xxxxx
   linux1
   $ ssh linux2 hostname
   Enter passphrase for key '/u01/app/oracle/.ssh/id_rsa': xxxxx
   linux2

   참고: 위에서 호스트네임을 제외한 다른 메시지나 텍스트가 표시되는 경우, 오라클 설치 작업이 실패할 수 있습니다. 따라서 위 커맨드를 실행했을 때 호스트네임 이외의 다른 텍스트가 표시되지 않도록 작업해 주어야 합니다. 로그인 스크립트를 통해 다른 출력이 표시되거나 프롬프트가 표시되는 경우, 인터액티브 쉘 환경에서만 이 스크립트가 실행되도록 수정해 줍니다.

현재 쉘 세션을 위한 SSH User Equivalency의 활성화

OUI는 pass phrase를 입력하지 않고도 SSH 툴 커맨드(ssh, scp)를 실행할 수 있는 환경을 요구합니다. 클러스터의 모든 노드에 SSH가 설정되어 있더라도, SSH 툴 커맨드를 실행하면 pass phrase를 묻는 프롬프트가 표시됩니다. 그러므로 OUI를 실행하기 전에, OUI를 실행하는 터미널 세션에 대해 "user equivalence"를 활성화해 주어야 합니다. 본 문서의 예제에서는 모든 오라클 설치 작업이 linux1에서 실행되는 것으로 가정합니다.

오라클 설치 작업을 실행할 노드에서 로그아웃하거나 다시 로그인할때, 터미널 쉘 세션에 대해 'user equivalence'를 활성화해 주어야 합니다(이 작업은 디폴트로 실행되지 않습니다).

현재 터미널 쉘 세션에 대해 'user equivalence'를 활성화하려면 아래와 같이 실행합니다:

1. OUI를 실행할 노드(linux1)에 "oracle" UNIX 사용자 계정으로 로그인합니다.

   # su - oracle

2. 아래 커맨드를 실행합니다:

   $ exec /usr/bin/ssh-agent $SHELL
   $ /usr/bin/ssh-add
   Enter passphrase for /u01/app/oracle/.ssh/id_rsa: xxxxx
   Identity added: /u01/app/oracle/.ssh/id_rsa (/u01/app/oracle/.ssh/id_rsa)
   Identity added: /u01/app/oracle/.ssh/id_dsa (/u01/app/oracle/.ssh/id_dsa)

   프롬프트에서 생성한 각 키에 대한 pass phrase를 입력합니다.

3. SSH가 정상적으로 설정되었다면, 앞으로 이 터미널 세션에서 패스워드나 pass phrase를 입력하지 않고도 ssh, scp 커맨드를 실행할 수 있을 것입니다:

   $ ssh linux1 "date;hostname"
   Wed Sep 13 17:35:30 EDT 2006
   linux1
   $ ssh linux2 "date;hostname"
   Wed Sep 13 17:36:14 EDT 2006
   linux2

   참고: 위 커맨드를 실행하면 호스트네임과 함께 양쪽 Oracle RAC 노드에 설정된 시간이 표시됩니다. 노드 중 하나가 패스워드 또는 pass phrase 입력을 요구하는 경우, 해당 노드에서 퍼블릭 키가 저장된 ~/.ssh/authorized_keys 파일을 확인합니다. 위에서 시간과 호스트네임을 제외한 다른 메시지나 텍스트가 표시되는 경우, 오라클 설치 작업이 실패할 수 있습니다. 따라서 위 커맨드를 실행했을 때 호스트네임, 날짜 이외의 다른 텍스트가 표시되지 않도록 작업해 주어야 합니다. 로그인 스크립트를 통해 다른 출력이 표시되거나 프롬프트가 표시되는 경우, 인터액티브 쉘 환경에서만 이 스크립트가 실행되도록 수정해 줍니다.

4. Oracle Universal Installer는 X Server를 이용한 GUI 인터페이스를 사용합니다. 'user equivalence'를 활성화한 터미널 세션(오라클 설치 작업을 수행할 노드)에서 DISPLAY 환경 변수를 X Windows 디스플레이가 가능하도록 설정해야 합니다:

   Bourne, Korn, Bash 쉘:

   $ DISPLAY=<Any X-Windows Host>:0
   $ export DISPLAY

   C 쉘:

   $ setenv DISPLAY <Any X-Windows Host>:0

   DISPLAY 변수의 설정을 변경한 후, 현재 터미널 세션에 X11 forwarding이 활성화되어 있지 않음을 확인합니다.

   $ ssh linux1 hostname
   linux1
   $ ssh linux2 hostname
   linux2

   참고: 원격 클라이언트를 이용해서 설치를 진행할 노드에 연결하는 경우, 아래와 같은 메시지를 확인할 수 있습니다: "Warning: No xauth data; using fake authentication data for X11 forwarding." 이 메시지는 authorized keys file이 올바르게 설정되어 있지만 SSH 설정에서 X11 forwarding이 활성화되어 있음을 의미합니다. 실행 예가 아래와 같습니다:

   $ export DISPLAY=melody:0
   $ ssh linux2 hostname
   Warning: No xauth data; using fake authentication data for X11 forwarding.
   linux2

   X11 Forwarding이 활성화되어 있으면 오라클 설치 작업이 실패함을 명심하시기 바랍니다. 이 문제를 해결하려면 "oracle" UNIX 사용자 계정을 위한 사용자 레벨 SSH 클라이언트 설정 파일을 생성하고 X11 Forwarding을 비활성화해야 합니다:
   • 텍스트 편집기를 이용하여 ~/.ssh/config 파일을 편집 또는 생성합니다.
   • ForwardX11 속성이 "no"로 설정되어 있는지 확인합니다. 한 예로, ~/.ssh/config 파일에 아래와 같이 입력할 수 있습니다:

     Host *
      ForwardX11 no

5. 반드시 이 터미널 세션에서 Oracle Universal Installer를 실행해야 합니다. 다른 터미널 세션에서 OUI를 실행하려 한다면 'user equivalence' 활성화 작업(이 섹션의 2,3,4 단계)을 반복해 주어야 합니다.

stty 커맨드의 제거

오라클 소프트웨어를 설치하는 과정에서, 시스템 상의 숨겨진 파일(예: .bashrc, .cshrc, .profile)에 stty 커맨드가 포함되어 있으면 설치 작업이 실패할 수 있습니다.

이 문제를 예방하려면, 이 파일들을 수정하여 STDERR를 통해 아무 것도 출력되지 않도록 조치해야 합니다:

• Bourne, Bash, Korn 쉘:

  if [ -t 0 ]; then
   stty intr ^C
  fi

• C 쉘:

  test -t 0
  if ($status == 0) then
   stty intr ^C
  endif

참고:stty 커맨드를 포함하는 숨겨진 파일이 SSH에 의해 로드되면, OUI는 에러를 발생시키고 설치를 종료합니다.

대부분의 Linux 시스템에서는 RSH(remote shell)이 제공하는 서비스를 기본적으로 비활성화하고 있습니다. 이번 섹션에서는 Oracle Universal Installer에서 RSH 툴을 이용하여 원격 노드의 명령을 실행하거나 원격 노드에 파일을 복사하는 경우에 'user equivalence'를 활성화하는 방법을 설명하고 있습니다. 이번 작업의 목표는 Oracle Universal Installer가 rsh, rcp를 이용하여 (패스워드를 별도로 입력하지 않고도) 원격 노드의 명령을 실행하고 파일을 복사할 수 있게 하는 것입니다. 하지만 RSH을 이용한 방법은 보안 측면에서 취약하다는 사실을 명심하시기 바랍니다.

rsh 데몬은 /etc/hosts.equiv 파일 또는 사용자(oracle)의 홈 디렉토리에 위치한 .rhosts 파일을 이용하여 사용자를 확인합니다.

먼저, RAC 클러스터의 각 노드에 rsh RPM이 설치되어 있는지 확인해 봅시다:

# rpm -q rsh rsh-server
rsh-0.17-25.4
rsh-server-0.17-25.4

위 실행 결과를 통해 rsh와 rsh-server가 설치되어 있음을 확인할 수 있습니다. 만일 rsh이 설치되어 있지 않다면, RPM이 위치한 CD에서 아래 명령을 실행합니다:

# su -
# rpm -ivh rsh-0.17-25.4.i386.rpm rsh-server-0.17-25.4.i386.rpm

”rsh” 서비스를 활성화하려면, /etc/xinetd.d/rsh 파일의 "disable" 속성을 "no"로 설정하고 xinetd를 다시 로드해야 합니다. 아래 명령을 클러스터의 모든 노드에서 실행합니다:

# su -
# chkconfig rsh on
# chkconfig rlogin on
# service xinetd reload
Reloading configuration: [ OK ]

전체 RAC 노드에 대해 ”oracle" UNIX 계정의 트러스트(trust) 관계를 설정하기 위해, 클러스터의 모든 노드에 /etc/hosts.equiv 파일을 생성합니다:

# su -
# touch /etc/hosts.equiv
# chmod 600 /etc/hosts.equiv
# chown root.root /etc/hosts.equiv

이제 클러스터의 모든 노드에서 아래와 같은 방법으로 /etc/hosts.equiv 파일을 편집합니다:

# cat /etc/hosts.equiv
+linux1 oracle
+linux2 oracle
+linux1-priv oracle
+linux2-priv oracle

참고: 위의 예에서는 oracle 계정만이 rsh 커맨드를 실행할 수 있도록 설정되었습니다. 보안상의 이유로, /etc/hosts.equiv 파일은 root에 의해 소유되며 permission은 600으로 설정됩니다 일부 시스템의 경우 파일의 owner가 root이고 permission이 600으로 설정된 경우에만 /etc/hosts.equiv 파일의 내용을 참고하도록 설정되어 있기도 합니다.


rsh 커맨드를 테스트하기 전에, rsh의 올바른 버전을 사용하고 있는지 확인하시기 바랍니다. Red Hat Linux는 디폴트로 /usr/kerberos/sbin을 $PATH 변수의 앞부분에 위치시킵니다. 따라서 rsh의 Kerberos 버전이 우선적으로 실행됩니다.

필자는 보통 Kerberos 버전의 rsh을 rename하는 방법으로 일반 rsh 커맨드를 사용합니다.

# su -
# which rsh
/usr/kerberos/bin/rsh
# mv /usr/kerberos/bin/rsh /usr/kerberos/bin/rsh.original
# mv /usr/kerberos/bin/rcp /usr/kerberos/bin/rcp.original
# mv /usr/kerberos/bin/rlogin /usr/kerberos/bin/rlogin.original
# which rsh
/usr/bin/rsh

이제 연결을 테스트하고 Oracle Clusterware와 10g RAC를 설치하는 노드에서 rsh 커맨드를 실행할 수 있습니다. 본 문서의 예제에서는 linux1 서버에서 설치를 진행하는 것으로 합니다:

# su - oracle
$ rsh linux1 ls -l /etc/hosts.equiv
-rw------- 1 root root 68 Sep 27 23:37 /etc/hosts.equiv
$ rsh linux1-priv ls -l /etc/hosts.equiv
-rw------- 1 root root 68 Sep 27 23:37 /etc/hosts.equiv
$ rsh linux2 ls -l /etc/hosts.equiv
-rw------- 1 root root 68 Sep 27 23:45 /etc/hosts.equiv
$ rsh linux2-priv ls -l /etc/hosts.equiv
-rw------- 1 root root 68 Sep 27 23:45 /etc/hosts.equiv

SSH를 이용하는 경우와 달리, RSH의 'user equivalence'를 활성화하기 위해 별도의 조치를 수행할 필요가 없습니다. 터미널 세션에 성공적으로 로그인하면 "oracle" UNIX 사용자 계정의 'user equivalence'가 자동으로 활성화됩니다.

클러스터의 모든 Oracle RAC 노드에서 아래 작업을 수행합니다!

지금까지 Oracle RAC 10g 구성에 필요한 매개변수와 리소스 설정 방법에 대해 상세하게 살펴보았습니다. 이 섹션에서는 앞에서 설명한 매개변수, 커맨드 등을 RAC 클러스터의 각 Linux 노드의 스타트업 스크립트(startup script)에 추가하는 방법을 설명합니다.

아래에 회색으로 표시된 항목이 각 스타트업 파일에 포함되도록 편집 작업을 수행합니다.

/etc/modprobe.conf

(모든 매개변수와 설정값은 커널 모듈에 의해 사용됩니다.)

alias eth0 b44
alias eth1 tulip
alias snd-card-0 snd-intel8x0
options snd-card-0 index=0
alias usb-controller ehci-hcd
alias usb-controller1 uhci-hcd
options hangcheck-timer hangcheck_tick=30 hangcheck_margin=180
      

/etc/sysctl.conf

(여기에서는 서버간 연결을 위한 디폴트/최대 send buffer size와 디폴트/최대 receive buffer size를 모두 조정하였습니다. 이 파일에는 그 밖에도 오라클 인스턴스가 사용하는 공유 메모리, 세마포어, 파일 핸들 등에 관련한 매개변수가 포함되어 있습니다.)

# Kernel sysctl configuration file for Red Hat Linux
#
# For binary values, 0 is disabled, 1 is enabled.  See sysctl(8) and
# sysctl.conf(5) for more details.

# Controls IP packet forwarding
net.ipv4.ip_forward = 0

# Controls source route verification
net.ipv4.conf.default.rp_filter = 1

# Controls the System Request debugging functionality of the kernel
kernel.sysrq = 0

# Controls whether core dumps will append the PID to the core filename.
# Useful for debugging multi-threaded applications.
kernel.core_uses_pid = 1

# Default setting in bytes of the socket receive buffer
net.core.rmem_default=262144

# Default setting in bytes of the socket send buffer
net.core.wmem_default=262144

# Maximum socket receive buffer size which may be set by using
# the SO_RCVBUF socket option
net.core.rmem_max=262144

# Maximum socket send buffer size which may be set by using
# the SO_SNDBUF socket option
net.core.wmem_max=262144

# +---------------------------------------------------------+
# | SHARED MEMORY                                           |
# +---------------------------------------------------------+
kernel.shmmax=2147483648

# +---------------------------------------------------------+
# | SEMAPHORES                                              |
# | ----------                                              |
# |                                                         |
# | SEMMSL_value  SEMMNS_value  SEMOPM_value  SEMMNI_value  |
# |                                                         |
# +---------------------------------------------------------+
kernel.sem=250 32000 100 128

# +---------------------------------------------------------+
# | FILE HANDLES                                            |
# ----------------------------------------------------------+
fs.file-max=65536

# +---------------------------------------------------------+
# | LOCAL IP RANGE                                          |
# ----------------------------------------------------------+
net.ipv4.ip_local_port_range=1024 65000

/etc/hosts

(RAC 클러스터 노드의 모든 호스트네임/IP 주소를 입력합니다.)

# Do not remove the following line, or various programs
# that require network functionality will fail.
127.0.0.1 localhost.localdomain localhost
# Public Network - (eth0)
192.168.1.100 linux1
192.168.1.101 linux2
# Private Interconnect - (eth1)
192.168.2.100 linux1-priv
192.168.2.101 linux2-priv
# Public Virtual IP (VIP) addresses for - (eth0)
192.168.1.200 linux1-vip
192.168.1.201 linux2-vip
192.168.1.106 melody
192.168.1.102 alex
192.168.1.105 bartman

/etc/hosts.equiv

(/etc/hosts.equiv 파일은 RSH을 사용하는 경우에만 필요합니다. 별도의 패스워드 입력 없이 oracle 계정을 사용하여 각 노드에 로그인할 수 있도록 설정해 줍니다.)

+linux1 oracle
+linux2 oracle
+linux1-priv oracle
+linux2-priv oracle
      

/etc/rc.local

(hangcheck-timer 커널 모듈을 로드합니다.)

#!/bin/sh
#
# This script will be executed *after* all the other init scripts.
# You can put your own initialization stuff in here if you don't
# want to do the full Sys V style init stuff.

touch /var/lock/subsys/local

# +---------------------------------------------------------+
# | HANGCHECK TIMER |
# | (I do not believe this is required, but doesn't hurt) |
# ----------------------------------------------------------+

/sbin/modprobe hangcheck-timer
      

여기에서 설명된 작업의 대부분은 클러스터의 모든 노드에서 실행되어야 합니다! 단 OCFS2 파일시스템의 생성 작업은, 클러스터 노드 중 하나에서만 실행합니다

이제 Oracle Cluster File System Release 2(OCFS2)를 설치할 차례입니다. OCFS2는 로우 디바이스(raw device)의 관리에 수반되는 부담을 경감하기 위한 목적에서 오라클이 개발하여 제공하는 클러스터 파일 시스템(Cluster File System)입니다. OCFS2는 일반 파일시스템과 동일한 표준적 기능과 인터페이스를 제공하며, 클러스터 애플리케이션의 관리 편의성을 개선해 줍니다.

2002년 12월, 오라클은 Oracle RAC 사용자들이 RAW 디바이스를 사용하지 않고 클러스터 데이터베이스를 실행할 수 있도록 하기 위한 목적에서 OCFS Release 1을 출시하였습니다. 이 파일시스템은 데이터 파일, 컨트롤 파일, 리두 로그, 아카이브 로그 등의 데이터베이스 관련 파일을 저장할 수 있는 구조로 설계되었습니다. OCFS2는 Oracle Cluster File System의 차세대 버전입니다. OCFS2는 일반적인 용도의 범용 클러스터 파일 시스템으로 설계되었습니다. OCFS2에서는 데이터베이스 관련 파일 뿐 아니라, 오라클 바이너리와 구성 파일(공유 Oracle Home) 등을 저장하는 것이 가능하므로, RAC의 관리가 한층 편리해졌습니다.

이 가이드에서는 OCFS2의 최신 버전(본 문서가 작성되는 시점의 최신 버전은 (OCFS2 Release 1.2.3-1를 사용하여 Oracle Clusterware에 의해 공유되는 두 개의 파일을 저장하는 구성을 사용하고 있습니다. 이 두 가지 파일 이외에도 전체 Oracle RAC 인스턴스를 위한 공유 SPFILE 또한 OCFS2에 함께 저장됩니다.

Linux 환경에서의 OCFS2 설치에 관련한 자세한 정보가 필요하신 경우 this page를 참고하십시오.

OCFS2 다운로드

먼저 OCFS2 배포판의 최신 버전을 다운로드합니다. OCFS 배포판은 커널 모듈과 툴, 두 종류의 RPM으로 구성되어 있습니다. 최신 커널 모듈은 http://oss.oracle.com/projects/ocfs2/files/ 에서, 툴은 http://oss.oracle.com/projects/ocfs2-tools/files/ 에서 다운로드할 수 있습니다. .

최신 OCFS2 커널 모듈(드라이버)을 포함하는 RPM을 다운로드합니다. 필자는 CentOS 4.4 Enterprise Linux에 2.6.9-42.EL 버전의 커널을 사용하였습니다. 본 문서가 작성되는 시점에, 우리는 OCFS2를 위한 OCFS2 커널 모듈이 제공됨을 확인할 수 있었습니다 (OCFS2 Release 1.2.3-1). Linux 커널 2.6.9-42.EL을 위한 OCFS2 커널 모듈은 아래에서 확인하실 수 있습니다. 반드시 배포판, 플랫폼, 커널 버전, 그리고 커널 종류 smp, hugemem, psmp 등)에 맞는 OCFS2 커널 모듈을 다운로드하시기 바랍니다.

ocfs2-2.6.9-42.EL-1.2.3-1.i686.rpm - (for single processor)
or
ocfs2-2.6.9-42.ELsmp-1.2.3-1.i686.rpm - (for multiple processors)
or
ocfs2-2.6.9-42.ELhugemem-1.2.3-1.i686.rpm - (for hugemem)

툴의 경우 플랫폼과 배포판만을 확인하면 됩니다. OCFS2 툴과 함께 OCFS2 콘솔 애플리케이션도 함께 다운로드하는 것을 잊지 마시기 바랍니다.

ocfs2-tools-1.2.1-1.i386.rpm - (OCFS2 tools)
ocfs2console-1.2.1-1.i386.rpm - (OCFS2 console)

OCFS2 Console은 옵션이지만 강력하게 권장됩니다. ocfs2console 애플리케이션 e2fsprogs, glib2 2.2.3 이상, vte 0.11.10 이상, pygtk2 (EL4) 또는 python-gtk (SLES9) 1.99.16 이상, python 2.3 이상, ocfs2-tool 등을 요구합니다.

어떤 OCFS2 driver release를 다운로드해야 하는지 선택하기 어려운 경우, 커널 버전과 일치하는 OCFS2 release를 선택하도록 합니다. 커널 버전을 확인하는 방법은 아래와 같습니다:

$ uname -a
Linux linux1 2.6.9-42.EL #1 Sat Aug 12 09:17:58 CDT 2006 i686 i686 i386 GNU/Linux

Linux linux1 2.6.9-42.EL #1 Sat Aug 12 09:17:58 CDT 2006 i686 i686 i386 GNU/Linux

싱글 프로세서 환경에서 실행 가능한 버전은 "EL" 뒤에 "smp"가 따라붙지 않습니다. 멀티 프로세서 환경에서 실행 가능한 버전은 "smp"라는 텍스트가 포함되어 있습니다.

OCFS2 설치

본 예제에서는 OCFS2 파일을 두 대의 싱글-프로세서 머신에 설치합니다. root 계정으로 클러스터의 모든 노드에서 아래 커맨드를 실행합니다:

$ su -
# rpm -Uvh ocfs2-2.6.9-42.EL-1.2.3-1.i686.rpm \
       ocfs2console-1.2.1-1.i386.rpm \
       ocfs2-tools-1.2.1-1.i386.rpm
Preparing...                ########################################### [100%]
   1:ocfs2-tools            ########################################### [ 33%]
   2:ocfs2-2.6.9-42.EL      ########################################### [ 67%]
   3:ocfs2console           ########################################### [100%]

SELinux의 비활성화 (RHEL4 U2 및 상위 버전)

RHEL4 U2 이후 버전을 사용하는 경우(CentOS 4.2는 RHEL4 U2에 기반하고 있습니다), SELinux가 활성화되어 있는 환경에서는 OCFS2가 정상적으로 동작하지 않음을 명심해야 합니다. RHEL4 U2(CentOS 4.2 포함) 및 이후 버전을 사용하고 있는 경우 (system-config-securitylevel 툴을 이용하여) SELinux를 비활성화하고, O2CB 서비스가 실행 가능한 상태로 만들어 주어야 합니다.


SELinux를 비활성화하려면 "Security Level Configuration" GUI 유틸리티를 실행합니다:

# /usr/bin/system-config-securitylevel &

실행 결과로 아래 화면이 표시됩니다:

그림 13 Security Level Configuration 초기 화면

여기서 SELinux 탭을 클릭하고 “Enabled” 체크박스를 해제합니다. [OK]를 클릭하면 경고 대화상자가 뜹니다. [Yes]를 클릭하여 경고를 승인합니다. SELinux 옵션을 해제한 후의 화면이 아래와 같습니다:

그림 14 SELinux 비활성화 화면

클러스터의 모든 노드에서 위 작업을 수행한 다음, 변경 사항을 적용하기 위해 시스템을 리부트합니다. 

# init 6

OCFS2의 설정

다음으로 클러스터의 각 노드에 /etc/ocfs2/cluster.conf 파일을 생성하고 설정해 주어야 합니다. 가장 쉬운 방법은 GUI 툴 ocfs2console을 이용하는 것입니다. 본 구성 예제에서는, ocfs2console을 이용해서 /etc/ocfs2/cluster.conf 파일을 생성하고 설정하는 한편으로, 클러스터 스택 O2CB를 생성하고 시작하는 작업을 함께 수행하기로 합니다 (본 예제의 경우처럼) /etc/ocfs2/cluster.conf 파일이 존재하지 않는 경우, ocfs2console 툴은 ocfs2라는 디폴트 클러스터 네임을 사용하여 새로운 클러스터 스택 서비스(OC2B)와 함께 이 파일을 생성하는 작업을 수행합니다 이 작업은 루트 계정 권한으로 클러스터의 모든 노드에서 실행해 주어야 합니다:

$ su -
# ocfs2console &
      

실행 결과로 아래 화면이 표시됩니다:

그림 15 ocfs2console GUI

ocfs2console GUI 툴을 이용하여 아래와 같이 작업해 줍니다:

1. [Cluster] -> [Configure Nodes...]를 선택합니다. OCFS2 Cluster Stack(그림 16)이 실행되고 "Node Configuration" 대화상자가 표시됩니다.
2. "Node Configuration" 대화상자에서 [Add] 버튼을 클릭합니다.
   • "Add Node" 대화상자가 실행됩니다.
   • "Add Node" 대화상자에서 클러스터 첫 번째 노드의 Host name과 IP address를 입력합니다. IP Port는 디폴트 값(7777)을 그대로 사용합니다. 본 예제에서는 첫 번째 노드에 linux1 / 192.168.1.100을 두 번째 노드에 linux2 / 192.168.1.101을 설정해 주었습니다.
   • "Node Configuration" 대화상자의 [Apply]를 클릭합니다. 그림 17과 같이 모든 노드가 “Active”로 표시됩니다.
   • "Node Configuration" 대화상자에서 [Close]를 클릭합니다." dialog.
3. 모든 값이 올바르게 입력되었음을 확인한 뒤, [File] -> [Quit] 메뉴를 사용하여 애플리케이션을 종료합니다. 클러스터의 모든 Oracle RAC 노드에 대해 같은 작업을 반복합니다.

그림 16. OCFS2 Cluster Stack의 시작

아래 대화상자는 linux1 및 linux2 노드에 적용한 OCFS2 설정을 보여주고 있습니다

그림 17 OCFS2를 위한 노드 설정

ocfs2console을 종료한 후에, 아래와 유사한 /etc/ocfs2/cluster.conf 파일이 생성되었음을 확인할 수 있습니다. 이 작업은 클러스터의 모든 노드에 대해 수행되어야 하며, 모든 클러스터 노드의 OCFS2 구성 파일은 동일해야 합니다:

node:
 ip_port = 7777
 ip_address = 192.168.1.100
 number = 0
 name = linux1
 cluster = ocfs2

node:
 ip_port = 7777
 ip_address = 192.168.1.101
 number = 1
 name = linux2
 cluster = ocfs2

cluster:
 node_count = 2
 name = ocfs2

O2CB 클러스터 서비스

OCFS2를 이용하여 포맷, 파일 시스템 마운트 등의 작업을 시작하기 전에, 먼저 OCFS2 클러스터 스택(OC2B)를 실행해 주어야 합니다(위 구성 작업이 정상적으로 완료되면 자동 실행됩니다). OCFS2 클러스터 스택은 다음과 같은 서비스를 포함하고 있습니다:

• NM: Node Manager – cluster.conf에 설정된 모든 노드의 상태를 추적
• HB: Heart Beat 서비스 – 노드가 클러스터에 가입/탈퇴하는 경우 업/다운 통보를 전달
• TCP: 노드 간의 커뮤니케이션을 관리
• DLM: Distributed Lock Manager – 락, 락의 소유자 및 상태 정보를 추적 
• CONFIGFS: 사용자 공간(/config)에 마운트되는 구성 파일 시스템
• DLMFS: 커널 스페이스 DLM을 위한 사용자 공간 인터페이스

위의 모든 클러스터 서비스는 o2cb 시스템 서비스(/etc/init.d/o2cb) 패키지에 포함되어 있습니다.  o2cb 시스템 서비스에서 유용한 커맨드와 옵션이 아래와 같습니다.

참고 : 아래 커맨드는 데모 용도로만 예시되고 있으며, 실제로 OCFS2를 설치/구성할 때에는 실행되지 않아야 합니다!

• /etc/init.d/o2cb status

  Module "configfs": Not loaded
  Filesystem "configfs": Not mounted
  Module "ocfs2_nodemanager": Not loaded
  Module "ocfs2_dlm": Not loaded
  Module "ocfs2_dlmfs": Not loaded
  Filesystem "ocfs2_dlmfs": Not mounted

  위 예제에서, 모든 서비스가 로드되지 않았음을 주목하시기 바랍니다. 이는 필자가 "status" 옵션을 실행하기 직전에 “unload” 작업을 수행했기 때문입니다. ocfs2console 유틸리티를 사용하여 OCFS를 설정한 직후에 o2cb 서비스의 상태를 확인하면 모든 서비스가 로드된 것으로 표시될 것입니다.

• /etc/init.d/o2cb load

  Loading module "configfs": OK
  Mounting configfs filesystem at /config: OK
  Loading module "ocfs2_nodemanager": OK
  Loading module "ocfs2_dlm": OK
  Loading module "ocfs2_dlmfs": OK
  Mounting ocfs2_dlmfs filesystem at /dlm: OK

  전체 OCFS 모듈을 로드합니다.

• /etc/init.d/o2cb online ocfs2

  Starting cluster ocfs2: OK

  생성된 ocfs2 클러스터를 온라인 상태로 전환합니�