(SPC) Oracle Exadata 운영자교육 v1.3

Oracle Exadata
운영자 교육
Exadata Specialist, Oracle Korea
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | Oracle Confidential – Internal/Restricted/Highly Restricted 1
Program Agenda
1 Exadata overview
2 Hardware
3 Flash cache
4 ASM
5 CRS 및 ASM Operation
6 Exadata Monitoring
7 장애 발생시 대응 방안
8 OS Backup 및 복구
Exadata Overview
- System overview & Architecture
Exadata System Overview *성능향상의 원인* Flash Cache
Exadata System X5-2 HC Quarter Rack Bandwidth
Hyper threading Storage Server F: 140G/s
- Eighth Rack의 경우 CPU 및 Storage ½ 사용 Cpu_count=72 “Cell offloading” H: 70G/s
Q: 30G/s
2*18core E: 15G/s
(2.3GHz)
Rack 1242 36cpu 36cpu
DB 40G/s Infiniband # 2 DB Server
Bandwidth을 통한
1 2
# 72 cpu
Disk Data
Server 노드간 지연요소 최소 Bandwidth
화 256G 256G DB Memory F: 20G/s
(최적의 RAC 성능구현) (512GB) H: 10G/s
1) DB노드간 interconnector역할 Q: 5G/s
2) I/O 스위치 역할 1
E: 2G/s
Infiniband
2
3) Active/Active Switch 이중화
4) NW Resouce Manager
2*8core
Data Load
2 (2.4GHz) 1 2 3 F: 21.5T/hr
Storage # 3 Storage Server H: 10.5T/hr
# 48 cpu Q: 5T/hr
Server 16cpu 16cpu 16cpu
1
E: 2.5T/hr
•Smart Scan, 96G 96G 96G Storage Memory
•Storage Index, (288G)
2
•Flash Cache,
Flash IOPS(R/W)
1
•Flash Log, 6.4T 6.4T 6.4T Flash Cache
•Columnar (19.2T) F: 4.14M / 2.69M
Compress 구현 H: 2.07M / 1.34M
Q: 1.04M / 0.58M
3 E: 0.52M / 0.29M
2 데이터미러링
1 데이터압축
DISK IOPS(HC)
48T 48T 48T HC 7.2K rpm 3.5”/4T F: 32K
H: 16K
Q: 7K
E: 3.5K
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |

Exadata Architecture
• SMP와 MPP는 수십년 동안 논란이 이어져 왔었음.
- SMP(Symmetric Multi Processing : Shared Disk) => OLTP
- MPP(Massive Parallel Processing : Shared Nothing) => DW
• Hybrid Architecture : Oracle DBMS (SMP : Shared Disk)

+ Exadata Storage ( MPP : Shared Nothing)
Oracle DBMS Server Shared Disk
Oracle Exadata Storage

Server Shared Nothing

Exadata Software Architecture Overview
Single-instance DB RAC DB
DB Server DB Server DB Server
Enterprise
DB Instance DB Instance DB Instance
DBRM DBRM DBRM Manager
Single
ASM cluster ASM ASM ASM
LIBCELL LIBCELL LIBCELL
DB Machine
OEL OEL OEL
Control
MS RS MS RS MS RS CLI
(dbmcli)
iDB Protocol over
InfiniBand with Path InfiniBand Storage Switch/Network
Failover
Cell Control OEL OEL OEL

CLI CELLSRV MS CELLSRV MS CELLSRV MS
(cellcli/dcli)
IORM RS IORM RS IORM RS
SSH
Exadata Storage Server Exadata Storage Server Exadata Storage Server

Exadata Software Architecture Details
Exadata Storage Server Database Server
RDBMS instance ASM instance

SGA SGA
Smart
Data Flash Cache ASM
dskm dskm
ASM
I/O I/O
Proc Proc
LIBCELL LIBCELL
/opt/oracle/cell/cellsrv/depl
oy/config CellCLI
CellSrv MS diskmon css
cell_disk_ adrci iDB Protocol iDB Protocol

config.xml
/etc/oracle/cell/network-config
CELLSRV
cellinit.ora RS ADR
cellip.ora cellinit.ora
ib0 ib1 ib0 ib1
MS internal List accessible List local

dictionary & Exadata cells interface IP
CELLSRV internal
parameters and
local interface IP
InfiniBand switch

Hardware
- Hardware & Network structure
- ILOM
Exadata X5-2 Quarter/Eighth Rack 구성도
1EA * 42RU Rack.
❈ 1 RU : 44.45 mm
2EA* Sun Datacenter

Infiniband Switch 36
- 전체 2RU (각 1RU)
2EA* Database Server 1EA* Cisco Catalyst

- 전체 2RU (각 1RU) 48 port
gigabit ethernet
- 1RU
3EA* Exadata Storage

Server
- 전체 6RU(각 2RU)

Exadata Database Server X5-2
600GB – 10,000 RPM SAS
Dual 10 GbE SFP+LP, InfiniBand

X8 PCIe 2.0, dual port 4xQDR
RAID HBA
ILOM Bonding NET0

Bonding
Backbone Switch
Exadata IB Switch
Exadata Cisco Switch (이중화)

Exadata Storage Server X5-2L High Capacity
Disk assembly, 4 TB, 7.2 K, SAS

System disk
F160 Flash
F160 Flash
F160 Flash
F160 Flash
RAID HBA
InfiniBand ILOM 관리망
Bonding
dual port 4xQDR
Exadata IB Switch Exadata Cisco Switch

(이중화)

Server General Status Indicators
LED Name Icon Color State Meaning
Locator LED White • OFF – Server is operating normally
and button • FAST BLINK – Use Oracle ILOM to activate this LED to enable you to locate a particular system quickly and easily.
Pressing the Locate button will toggle the LED fast blink on or off.
Service Amber • OFF – Normal operation

Required • STEADY ON – Fault present on server. This LED lights whenever a fault indicator lights for a server replaceable component.
Note - The lighting of this indicator is always accompanied by the system console message that includes a recommended service action.
Power/OK Green Indicates the operational state of the chassis. This indicator can be in the following states:
• OFF – AC power is not present or the Oracle ILOM boot is not complete.
• STEADY BLINK – Standby power is on, but the chassis power is off and the Oracle ILOM SP is running.
• SLOW BLINK – Startup sequence has been initiated on the host. This pattern should begin soon after you power on the server. This status
indicates either: (1) POST code checkpoint tests are running on the server host system, or (2) the host is transitioning from the powered-on state
to the standby state on shutdown.
• STEADY ON – The server is powered on, and all host POST code checkpoint tests are complete. The server is in one of the following states: 1)
the server host is booting the operating system (OS), 2) the server host is running the OS.
SP OK Green • OFF – Service processor (SP) is not running.

• SLOW BLINK – SP is booting.
• STEADY ON – SP is fully operational.
Top Fan, Processor, TOP Amber Indicates that one or more of the internal fan modules, processors, or memory DIMMs have failed.
Memory Failure • OFF – Indicates steady state; no service is required.
• STEADY ON – Indicates service required; service the fan modules, processor(s), or memory DIMMs.
Rear Power Supply REAR Amber Indicates that one of the server power supplies has failed.
Failure • OFF – Indicates steady state; no service is required.
• STEADY ON – Indicates service required; service the power supply.
Over Temperature Amber • OFF – Normal operation; no service is required.

Warning • STEADY ON – The system is experiencing an overtemperature warning condition.
Note - This is a warning indication, not a fatal overtemperature. Failure to correct this might result in the system overheating and shutting down
unexpectedly.

Server Component Status Indicators
Server Fan Status Indicators
Fan Status None Bicolored: • Amber – There is a fan fault.
Amber/Green • Green – Fan is properly installed and operating correctly. No fan errors detected.
Storage Drive Status Indicators

OK to Remove Blue The storage drive can be removed safely during a hot-plug operation.
Service Amber • OFF – Normal operation.

Required • STEADY ON – The system has detected a fault with the storage drive.
OK/Activity Green • OFF – Power is off or installed drive is not recognized by the system.
• STEADY ON – The drive is engaged and is receiving power.
• STEADY BLINK – There is disk activity. Indicator blinks on and off to indicate activity.
Power Supply Status Indicators

OK/Activity Green • OFF – No AC power is present.
• SLOW BLINK – Normal operation. Input power is within specification. DC output voltage is not enabled.
• STEADY ON – Normal operation. Input AC power and DC output voltage are within specification.e can be removed
safely during a hot-plug operation.
Service Amber • OFF – Normal operation; no service required.
Required • STEADY ON – The power supply (PS) has detected a PS fan failure, PS overtemperature, PS over current, or PS
over/under voltage.

Exadata X5-2 DB/HC Storage Server 내부
Database Server Storage Server
2 x 18core Intel 256GB DRAM 2 x 8core Intel Xeon

Xeon 2.3Ghz (to 768GB) 2.4Ghz
96GB DRAM
4 x 1600GB F160
Flash Card
Dual Power
Supplies
Dual Power Disk Controller
Supplies SAS HBA
Dual Port Infiniband Dual Port Infiniband

10GbE SFP+ PCIe QDR HCA QDR HCA
Ethernet Card

X5-2 Network 구성
Quarter/Eighth Rack Service Network (1Gb/10Gb)
SCAN listener 는 DNS Mgmt. Network (1Gb)
SCAN Infiniband Network (40Gb)
DB Node 중 SCAN SCAN
3 곳에서 구동
Clients
db01-vip db02-vip
[bondeth0] 고객 Service S/W

[bondeth0]
Eth0 Eth0
ILOM ILOM
db01 db02
Cisco Switch
고객 Mgmt S/W
Both Ports Active
또는 EM 서버
Both Ports Active
Infiniband Switch Infiniband Switch
cl01-priv1[ib0] cl03-priv1[ib0]
cl01-priv2[ib1] cl03-priv2[ib1]
Eth0 Eth0
ILOM ILOM
cell01 cell02 cell03
cl02-priv1 [ib0]
cl02-priv2 [ib1]
Management Network Cable diagram(Admin Network)
Quarter/Eighth Rack
01 03 05 07 09 11 13 15 17 19 21 23 25 27 29 31 33 35 37 39 41 43 45 47
U21
46
U17 Database Server 0 NET0
U16 Database Server 0 NET0
U06 Exa Storage Server

0 NET0

0 NET0

0 NET0
U22 IB Switch #20 NET0
U20 IB Switch #10 NET0

Management Network Cable diagram(ILOM Network)
Quarter/Eighth Rack
U21
02 04 06 08 10 12 14 16 18 20 22 24 26 28 30 32 34 36 38 40 42 44
U17 Database Server

0 MGT
U16 Database Server

0 MGT

0 MGT

0 MGT

0 MGT

Infiniband Network Cable diagram DB및Storage 연결
Leaf 간 연결
Empty
Quarter/Eighth Rack
11B 11A 10A 10B 9A 9B 8A 8A 9A 9B 10A 10B 11B 11A
0A 1A 2A 3A 4A 5A 6A 7A 8A 9A 10A 11A 12A 13A 14A 15A 16A 17A 0A 1A 2A 3A 4A 5A 6A 7A 8A 9A 10A 11A 12A 13A 14A 15A 16A 17A
U20 0B 1B 2B 3B 4B 5B 6B 7B 8B 9B 10B 11B 12B 13B 14B 15B 16B 17B
U22 0B 1B 2B 3B 4B 5B 6B 7B 8B 9B 10B 11B 12B 13B 14B 15B 16B 17B
17B 17A 16B 14A 13B 13B 14A 16B 17A 17B
P1 U17 Database Server P2
P1 U16 Database Server P2
P1 U06 Exa Storage Server P2

Hardware 점검
• CheckHWnFWProfile
- 서버의 하드웨어 및 펌웨어 구성이 적절한지를 확인
- /opt/oracle.cellos/CheckHWnFWProfile 수행.
=> [SUCCESS] The hardware and firmware matches supported profile for server
- 주기적으로 조회가 필요하며 최근 버전은 Solaris에도 존재함
• Sundiag
- Exadata 진단 툴로서 각종 정보를 수집함
- sh /opt/oracle.SupportTools/sundiag.sh 수행
=> Done. The report files are bzip2 compressed in /tmp/sundiag_krx3a04_1234FML0CJ_2014_05_13_20_29.tar.bz2
- 포함내용:
asr
disk
ilom
messages
net
raid
sysconfig
기타 파일
RackMasterSN : Rack 번호
Serialnumbers : 각 모든 part별 제조사 및 Serial 번호 확인. /var/log/Serialnumber 에도 존재
imageinfo-all.out : Cell OS 번호 확인

Hardware 점검
• Sundiag 분석
1. Message 분석
- dmesg => /var/log/dmesg
- ilom-console-history.out => ipmitool sunoem cli "show -script /HOST/console/history"
- messages => /var/log/messages
2. Network 분석
- Net Directory 분석
- IB 관련 분석 : ib로 시작하는 파일은 조회
- 일반 Network H/W 관련 분석은 : ethtool 분석
- 각종 config는 : ifcfg 파일 등 복사함.
3. Disk 관련 분석
- Raid Directory 분석
- Megacli 명령 log 분석 => megacli64-status.out
4. 기타 H/W 관련 분석
- sysconfig Directory 분석
- CheckHWnFWProfile, biosdecode.out, dmidecode, lspci, rpm –qa, ps –aux, meminfo, kernel 정보 등의 다양한 내용이 포함되어
있음.

Hardware 점검
• DBMS Node Disk 사용량 점검
[root@db01 ~]# df -h
Filesystem Size Used Avail Use% Mounted on
/dev/mapper/VGExaDb-LVDbSys1
30G 20G 8.4G 71% /  Root 파티션, 리눅스 S/W 설치공간
/dev/sda1 124M 16M 102M 14% /boot  리눅스 부팅을 위한 S/W 설치공간
/dev/mapper/VGExaDb-LVDbOra1
99G 47G 48G 50% /u01  오라클 11gR2 S/W 설치 디렉토리
tmpfs 81G 614M 80G 1% /dev/shm  Swap 영역
• Cell Node Disk 사용량 점검

[root@cl01 ~]# df -h
Filesystem Size Used Avail Use% Mounted on
/dev/md5 9.9G 6.2G 3.2G 67% /
tmpfs 48G 4.0K 48G 1% /dev/shm
/dev/md7 3.0G 1.7G 1.2G 58% /opt/oracle
/dev/md4 114M 25M 84M 23% /boot
/dev/md11 5.0G 182M 4.5G 4% /var/log/oracle

Hardware 점검
• 시스템 이벤트 로그 확인
[root@db01 ~]# ipmitool sel list |more
1 | 09/05/2011 | 02:56:27 | System Boot Initiated | System Restart | Asserted
2 | 09/05/2011 | 02:56:28 | System Boot Initiated | Initiated by hard reset | Asserted
• Exadata Version 확인
[root@db01 oracle.SupportTools]# imageinfo
Kernel version: 2.6.39-400.243.1.el6uek.x86_64 #1 SMP Wed Nov 26 09:15:35 PST 2014 x86_64
Image version: 12.1.2.1.0.141206.1
Image activated: 2015-01-29 17:47:13 +0900
Image status: success
System partition on device: /dev/mapper/VGExaDb-LVDbSys1
[root@cl05 ~]# imageinfo

Kernel version: 2.6.39-400.243.1.el6uek.x86_64 #1 SMP Wed Nov 26 09:15:35 PST 2014 x86_64
Cell version: OSS_12.1.2.1.0_LINUX.X64_141206.1
Cell rpm version: cell-12.1.2.1.0_LINUX.X64_141206.1-1.x86_64
Active image version: 12.1.2.1.0.141206.1
Active image activated: 2015-01-29 17:26:51 +0900
Active image status: success
Active system partition on device: /dev/md5
Active software partition on device: /dev/md7
Cell boot usb partition: /dev/sdac1
Cell boot usb version: 12.1.2.1.0.141206.1
Inactive image version: undefined
Rollback to the inactive partitions: Impossible

Hardware
- Hardware & Network structure
- ILOM
ILOM 소개
• ILOM(Integrated Lights Out Manager)은 Sun 서버 플랫폼에 사전 설치 되어있는 서버 시스템의
구성 요소를 관리 및 모니터링 하기 위한 시스템 관리 펌웨어.
• ILOM은 전용 하드웨어와 소프트웨어가 각 서버에 사전에 설치되며 임베디드 OS와 전용 Ethernet

port를 가짐
• ILOM 기능
– Learn about hardware errors and faults as they occur
– Remotely control the power state of your server
– View the graphical and non-graphical consoles for the host
– View the current status of sensors and indicators on the system
– Determine the hardware configuration of your system
– Receive generated alerts about system events in advance via IPMI PETs, SNMP Traps, or Email Alerts

ILOM 접속 방법
• Web browser에서 ILOM IP address를 http 나 https 로 입력함.
– https://iLOM_IP/ 입력
*접속계정
ID : root
PW : welcome1

ILOM 초기화면
• 접속 초기
화면으로 시스템의
요약 정보 및 각종
상태 메시지가
출력 됨

ILOM 시스템 Fault 등 조회
• Open Problems
탭으로 하드웨어
이슈 발생시
컴포넌트 정보와
발생 시간이 출력
됨

ILOM 시스템 Log 조회
• System Log 탭으로

발생한 시스템
이벤트 내역을
조회 함

ILOM : Power Management
• Power Control
탭으로 host의 전원
관리를 수행함

ILOM : Service Snapshot
• Maintenance
탭으로 ILOM
snapshot 생성
기능을 제공함.
ILOM snapshot은
Browser 또는
FTP/SFTP로 수신
가능

ILOM : Console
• Remote Control
Redirection
탭으로
호스트에 대한
원격 지원을
제공함.

ILOM : Text 기반
• ILOM의 GUI로 접근할 수 없는 경우에 사용하는 방법으로 Console에서 SSH 기반으로 접근하여
H/W를 제어하는 방법입니다.
- Log-in 방법
=> ssh -l root $ILOM_IP_ADDRESS 혹은 ipmitool sunoem cli
=> Remote 접근을 위해서는 ssh가 더 좋음.
- Fault된 Report를 보는 방법
=> cd /SP/faultmgmt
=> show 또는 show faulty
/SP/faultmgmt
Targets:
shell
0 (/SYS) <= 문제가 발생했다는 것을 의미함. 아무것도 나타나지 않는 것이 정상임
…..

ILOM : Text 기반
• Fault 상세 내용을 보는 방법 -> cd 0
-> cd /SP/faultmgmt/0 /SP/faultmgmt/0/faults/0
-> show -> show
/SP/faultmgmt/0 /SP/faultmgmt/0/faults/0
Targets: Targets:
faults Properties:
-> cd faults class = fault.chassis.device.fan.column-fail
-> show sunw-msg-id = SPX86-8000-2Y
/SP/faultmgmt/0/faults ….
Targets: timestamp = 2011-03-14/17:36:02
0 (fault.chassis.device.fan.column-fail) product_serial_number = 0947XFG033
chassis_serial_number = 0947XFG033
event_key = 2
fm_column = 2
nac0 = /SYS/FB0/FM2
nac1 = /SYS/FB1/FM2

ILOM : Text 기반
• Text기반 Snapshot 생성 방법
> ssh 10.10.95.173
Oracle(R) Integrated Lights Out Manager
Version 3.2.4.20.a r94217
Copyright (c) 2014, Oracle and/or its affiliates. All rights reserved
-> cd /SP/diag/snapshot
-> help dump_uri
-> set dump_uri=sftp://root@10.10.95.151/tmp
Enter remote user password: ***********
Set 'dump_uri' to 'sftp://root@10.10.95.151/tmp'
-> show snapshot result
result = Running
root@krxab01:/tmp# ls *.zip
krxab01-ilom_10.10.95.173_2011-12-20T03-58-36.zip

ILOM : Text 기반
• Console 접근 방법
# ssh krxadb01-ilom
Password:
Oracle(R) Integrated Lights Out Manager
Version 3.2.4.20.a r94217
Copyright (c) 2014, Oracle and/or its affiliates. All rights reserved
-> start /SP/console

Are you sure you want to start /SP/console (y/n)? y
Serial console started. To stop, type ESC (
krxa01.kr.oracle.com login:

Flash cache의 원리
Writeback Flash Cache의 원리 – Mirroring 구조
Storage cell #1 Database Node
Infiniband
Hard disk Flash
Storage cell #2
* Normal Redundancy로 가정

Infiniband
디스크는 서로 다른 Disk와 직접
미러되지 않음.
Storage cell #2

Infiniband
ASM에 의하여
Allocation units (4MB) 단위로 Mirror 됨.
Storage cell #2
실제로 다양한 Extents가 있지만
여기서는 무시하고 그림에서는 8K
Block으로 가정함.

Writeback Flash Cache의 원리 – Write Operation & backup
Infiniband
Storage cell #2


1.Update green
Infiniband
Update는 Flash에서 수행
Disk에는 이전 Block 보관
새로운 IO요청은 Flash에서 처리
Storage cell #2


1.Update green
2.Update blue와 yellow
Infiniband
Storage cell #2


1.Update green
Infiniband
Storage cell #2 Green, blue, yellow은 Flash에 존재


1.Update green
3.Database Backup 시작
Infiniband


1.Update green
Infiniband
Database backup 수행시
- Green, blue, yellow은 Flash에서
- Black은 디스크에서 읽음


1.Update green
Infiniband
Database backup 수행시
- Green, blue, yellow은 Flash에서
- Black은 디스크에서 읽음
새로운 Backup 방법을 생각할 필요가 없음

Writeback Flash Cache의 원리 – Read & Write Operation
Infiniband
Storage cell #2

Read blue
Update green
Infiniband
Storage cell #2

Read blue
Update green
Infiniband
Blue: Primary cell에서 Read
Green: 양쪽 cell의 flash에 Update
Storage cell #2

Read blue
Update green
Infiniband
Blue: Primary cell에서 Read
Green: 양쪽 cell의 flash에 Update
Storage cell #2
Flash에 있는 Active block은 계속 Flash에

존재

Writeback Flash Cache의 원리 – Aging out
Infiniband
Storage cell #2

Blue block은 읽고
yellow와 green은 읽지 않음
Infiniband
Storage cell #2

Infiniband
Yellow와 Green은 양쪽 Cell의 Disk로
보내짐
Storage cell #2

Infiniband
보내짐
Storage cell #2

Infiniband
보내짐
Blue는 단지 secondary 복사본만
Storage cell #2 Disk로 쓰여짐

Infiniband
보내짐
Blue는 단지 secondary 복사본만
Storage cell #2 Disk로 쓰여짐
Primary 데이터만 Flash 사용량의 최적화를

위해서 Cache에 남음

Writeback Flash Cache의 원리 – Read with failure
Infiniband
Storage cell #2

단일 Flash 장애
Infiniband
Storage cell #2

단일 Flash 장애
Infiniband
v$asm_disk 조회시 Disk상태는 Online
으로 나타남
Storage cell #2

단일 Flash 장애
Infiniband
으로 나타남
Black은 Fail된 Flash에서 읽지 않고
Storage의 Disk에서 읽음
Storage cell #2

단일 Flash 장애
Infiniband
으로 나타남
Storage cell #2
Yellow는 Mirror된 Cell의 Flash에 존재
하므로 해당 Cell의 Flash에서 읽음

단일 Flash 장애
Infiniband
으로 나타남
Storage cell #2
Yellow는 Mirror된 Cell의 Flash에 존재
하므로 해당 Cell의 Flash에서 읽음
Application과 관계없음

Writeback Flash Cache의 원리 – Resilvering
Infiniband
Storage cell #2

단일 Flash 장애
Infiniband
Storage cell #2

단일 Flash 장애
Infiniband
Storage cell은 resilvering을 요청함
ASM은 단지 비정상 Block만 update함
Storage cell #2 Resilvering rebalance은 alert.log기록

단일 Flash 장애
Infiniband
데이터가 쓰여지는 량은 디스크의 크기가

아닌 손실된 Cache 크기만 발생

단일 Flash 장애
Infiniband
GI Home의 11.2.0.3 BP9 이상 Version이 필요함
완벽히 자동화되고 투명화됨
사용자 개입이 필요 없음
Storage의 Rolling Upgrade는 resilvering 작업으로 처리됨
데이터가 쓰여지는 량은 디스크의 크기가

아닌 손실된 Cache 크기만 발생

ASM
Oracle Grid Infrastructure 구성 요소
• 11g Release 2 부터 Oracle Clusterware 와 Oracle Automatic Storage Management (ASM)이
통합되어 Oracle Grid Infrastructure로 제공
11g Release 1까지 11g Release 2 부터

Oracle Database Oracle Database
Oracle ASM Oracle ASM

Oracle Clusterware 단일 시스템
Oracle Clusterware 기반
Oracle Grid Infrastructure
CRS Home Grid Home

Oracle Clusterware Oracle Clusterware
DB Home Oracle ASM
Oracle ASM Listener
Listener DB Home
Database Database

ASM 아키텍처
ASM 인스턴스
Oracle • ASM 디스크 그룹을 관리하는 메모리와 프로세스 군
Instance • Oracle 인스턴스를 개조한 것
CSS
ASM Cluster Synchronization Services
Instance • Oracle Clusterware의 멤버쉽 관리 서비스를 사용
• Oracle 인스턴스와 ASM 인스턴스의 존재를 통지
ASM 메타데이타
데이터 ASM 디스크 그룹
• Oracle 인스턴스에서 사용 가능한 가상화 스토리지 풀
ASM 디스크
ASM Disk Group • ASM 디스크 그룹을 구성하는 개별 디스크
• 일반적으로 디스크 어레이의 LU를 그대로 사용

ASM의 파일 배치
Stripe And Mirror Everything (S.A.M.E)
• 기존 : 용도별로 디스크를 구별하는 설계
Random Read Sequential Read
테이블A 인덱스A 테이블A 인덱스B TMP
• ASM : 데이터를 그룹내의 모든 디스크에 스트라이프

– 「모든 디스크가 균등하게 바빠지도록 모든 디스크에 데이타를 스트라이프해 분산 배치하고,
미러링도 구현」 설계 지침
– 모든 디스크의 I/O 대역폭을 최대한 활용하여 성능을 확보

ASM에 의한 성능 최적화 기능
스트라이핑 구조
• 디스크 그룹의 모든 디스크로 스트라이핑
• 할당 유닛 (AU) 단위로 영역을 할당
– 1, 2, 4, 8, 16 32, 64MB의 가변 크기로부터 선택, 엑사 기본값은 4MB
• 모든 디스크의 사용율이 동일하도록 할당
DBA 간섭없이 자동 배치됨

핫스팟이 디스크·그룹
발생하지 않음
데이터 파일1
데이터 파일2
데이터 파일3
물리 디스크 : 할당 유닛 (AU)

ASM에 의한 데이터의 분산 배치
(1) 테이블스페이스의 작성 CREATE TABLESPACE TBS DATAFILE ’+DATA’ SIZE 1G ;

File Extent（AU） DATA 디스크·그룹
TBS DBF
(2) 테이블스페이스의 확장 ALTER TABLESPACE TBS RESIZE 2G ;
TBS DBF
(3) 리밸런스（Disk추가） ALTER DISKGROUP DATA ADD DISK ‘o/192.168.10.1/RECO_X_CD_05_xcel01‘ ;
TBS DBF
TBS DBF
disk1 disk2 disk3 disk4 disk5

ASM의 손쉬운 디스크 추가 / 제거
기존 디스크 추가와의 비교 자동 리밸런스 (데이터의 재배치)
기존 × 일반적으로 재배치중에는 액세스 불가
데이터재배치 모든 디스크에 I/O
디스크를 추가해
RAID 그룹을 재구성 unload load
ASM
○ 재배치중에도 액세스 가능
모든 디스크에 I/O
디스크·그룹에 디스크를 디스크 추가와 동시에
추가 데이터의 재배치를 시작
Rebalance

ASM 데이터 보호 수준
• Normal Redundancy (2중화) : 2 개의 Cell에 걸쳐 “Double Mirroring”
– 1 개 Cell의 장애까지 커버
– Planned Maintenance 시 보다 많은 시간이 필요
• High Redundancy (3중화) : 3 개의 Cell에 걸쳐 “Triple Mirroring”

– 2 개 Cell의 장애까지 커버
– Planned Maintenance를 조금 더 쉽게 수행할 수 있음
– Downside
• 보다 적은 Usable 용량 제공
• 보다 큰 Write I/O Bandwidth 요구

2중화 구성
P Primary Block A ~ L , 12개를 Write 시
M Mirror Block
1 2 3 4 5 6 7 8 9 10 11 12
1번 셀 서버
A K D C G E J I
13 14 15 16 17 18 19 20 21 22 23 24
2번 셀 서버 B A E L F H G K
25 26 27 28 29 30 31 32 33 34 35 36
3번 셀 서버 J C B F D I H L
• 모든 블럭에 대한 복제본은 서로 다른 셀 서버에 저장

• 모든 블럭에 대해 2개의 데이터가 존재

2중화 구성
M Mirror Block
1 2 3 4 5 6 7 8 9 10 11 12
1번 셀 서버
A K D C G E J I
13 14 15 16 17 18 19 20 21 22 23 24
2번 셀 서버 B A E L F H G K
25 26 27 28 29 30 31 32 33 34 35 36
3번 셀 서버 J C B F D I H L
• G 블럭에 대한 I/O는 21번 35번 디스크의 복제본으로 대체 Alert Log
WARNING: Read Failed. group:1 disk:23 AU:48823 offset:2998272 size:8192
path:o/192.168.10.3/DATA_OYMAP_CD_07_oymapcl01
incarnation:0xe969a822 synchronous result:'I/O error'
subsys:OSS iop:0x7ff00ce14000 bufp:0x41c71c000 osderr:0x18 osderr1:0x0
WARNING: failed to read mirror side 1 of virtual extent 2387 logical extent 0 of file 348 in group [1.4108932969] from disk DATA_OYMAP_CD_07_OYMAPCL01 allocation unit 48823 reason error; if
possible, will try another mirror side
NOTE: successfully read mirror side 2 of virtual extent 2387 logical extent 1 of file 348 in group [1.4108932969] from disk DATA_OYMAP_CD_09_OYMAPCL02 allocation unit 37901

3중화 구성
M Mirror Block
1 2 3 4 5 6 7 8 9 10 11 12
1번 셀 서버
A L K D C B G F E J I H
13 14 15 16 17 18 19 20 21 22 23 24
2번 셀 서버 B I A L E D C H G F K J
25 26 27 28 29 30 31 32 33 34 35 36
3번 셀 서버 K J C B A F E D I H G L
• 모든 블럭에 대한 복제본은 서로 다른 셀 서버에 저장

• 모든 블럭에 대해 3개의 데이터가 존재

Normal Redundancy (2중화) 에서의 유지 보수 작업
• 방안 1: Offline (Service Downtime)

• 방안 2: Online (Rolling 방식)
– 특정 Cell이 Offline이 된 상태에서 추가적인 디스크 장애 발생 시 데이터 유실의 위험
이 있으므로 수동 Rebalancing 절차가 필요함
Cell #1 Cell #2 Cell #3 Cell #1 Cell #2 Cell #3 Cell #1 Cell #2 Cell #3
A B C A B C A B C
C A B C A B C A B
Target B C Offline

High Redundancy (3중화) 에서의 유지 보수 작업
• 방안 1: Offline (Service Downtime)

• 방안 2: Online (Rolling 방식)
– 특정 Cell이 Offline이 된 상태에서 추가적인 디스크 장애 발생 시에도 데이터가 이중
화 되어 있으므로 Online 상태에서 유지 보수 작업
Cell #1 Cell #2 Cell #3 Cell #1 Cell #2 Cell #3
A B C A B C
C A B C A B
B C A B C A
Target

ASM 용어 정리
• Rebalancing : 디스크 추가/제거 시 데이터의 재배치하는 작업
Phase 1 : 원본 데이터에 대한 재배치 (Relocation, 미러링 포함)
Phase 2 : 재배치 후 디스크 정리 작업 (Compaction)
• REQUIRED_MIRROR_FREE_MB : 최악의 fail인 경우 (cell 서버 down) 디스크를 추가하지 않고

전체 중복을 복원할 수 있는 디스크 그룹 내의 여유 공간의 크기
• DISK_REPAIR_TIME : 기본 3.6시간으로 설정이 되어 있으며, 해당 시간 동안 디스크가 offline

시 자동으로 drop되고 rebalancing이 시작됨 (변경 가능)
• ASM_POWER_LIMIT : 0~1024 까지의 범위, 프로세싱과 I/O 리소스 사용 조절
• Resync : offline이었던 디스크가 online 상태로 변경 시 offline 동안의 변경 데이터를 원본 데이

터로부터 동기화하는 작업

Exadata의 초기 디스크 구성
• Protection Level = Normal for ALL

• Backup Method = Backups External to Oracle Exadata Database Machine
각 Cell 마다
Exadata Cell 1 하나의 Failure
Group이 자동
DATA_<DBM>
Exadata Cell 2 생성
(80%)
Exadata Cell 3
FRA
RECO_<DBM>
(20%)
System Area (Disks 0-1)

DBFS_DG (Disks 2-11)
(29 GB 또는 34 GB)

Disk Storage Entities and Relationships

Flash Storage Entities and Relationships
Flash Cache
Flash Log
Flash Cache
Flash Log

Cell 구성정보
CellCli – Command Line Interface
[root@cl01 ~]# cellcli

CellCLI: Release 12.1.2.1.0 - Production on Tue Jul 15 15:01:04 KST 2014
Copyright (c) 2007, 2013, Oracle. All rights reserved.

Cell Efficiency Ratio: 962
CellCLI>
구분 Verb Object Modifier Filter
설명 수행 action action의 대상 verb object 수 행 결과에 대 한 수행결과 filtering
추가요청
예시 LIST physicaldisk detail WHERE <attr>=조건

CREATE griddisk attributes <attr1>…<attrN>
ALTER celldisk
DROP flashcache
DESCRIBE flashcachecontent

Cell Storage Hardware 점검
CELL DISK STORAGE 확인
CellCLI> list cell detail kernelVersion: 2.6.39-400.243.1.el6uek.x86_64
name: krxacl01 locatorLEDStatus: off
bbuChargeThreshold: 800 makeModel: Oracle Corporation ORACLE
bbuStatus: normal SERVER X5-2L
bbuTempThreshold: 60 metricHistoryDays: 7
bmcType: IPMI offloadGroupEvents:
cellVersion: OSS_12.1.2.1.0_LINUX.X64_141206.1 offloadEfficiency: 961.8
cpuCount: 24 powerCount: 2/2
diagHistoryDays: 7 powerStatus: normal
fanCount: 8/8 releaseVersion: 12.1.2.1.0.141206
fanStatus: normal releaseTrackingBug: 16980054
flashCacheMode: WriteBack status: online
id: 1232FM5025 temperatureReading: 22.0
interconnectCount: 3 temperatureStatus: normal
interconnect1: bondib0 upTime: 14 days, 1:25
iormBoost: 0.0 cellsrvStatus: running
ipaddress1: 192.168.10.9/22 msStatus: running
ipaddress1: 192.168.10.10/22 rsStatus: running

ALERTHISTORY
CellCLI> list alerthistory
1_1 2011-09-05T02:08:28+09:00 critical "Cell configuration check discovered the following problems: Check
Exadata configuration via
.........
23 2011-11-17T18:36:27+09:00 critical "ORA-00600: internal error code, arguments:
[ossmisc:ossmisc_timer_ticks], [], [], [], [], [], [], [], [], [], [], []"
CellCLI> list alerthistory 23 detail

name: 23
alertMessage: "ORA-00600: internal error code, arguments: [ossmisc:ossmisc_timer_ticks], [], [], [], [], [], [], [], [], [],
[], []" alertSequenceID: 23
alertShortName: ADR
alertType: Stateless
beginTime: 2011-11-17T18:36:27+09:00
endTime:
severity: critical
alertAction: "Errors in file

METRICURRENT
CellCLI> list metriccurrent attributes name, objectType, metricObjectName, metricValue, alertState where
objectType='CELL'
CL_BBU_CHARGE CELL krxacel01 84.0 % normal
CL_BBU_TEMP CELL krxacel01 33.0 C normal
CL_CPUT_CS CELL krxacel01 0.8 % normal
CL_CPUT CELL krxacel01 3.8 % normal
CL_CPUT_MS CELL krxacel01 0.5 % normal
CL_FANS CELL krxacel01 8 normal
CL_MEMUT_CS CELL krxacel01 10.8 % normal
CL_MEMUT CELL krxacel01 32 % normal
CL_MEMUT_MS CELL krxacel01 0.9 % normal
CL_RUNQ CELL krxacel01 0.4 normal
CL_SWAP_IN_BY_SEC CELL krxacel01 0.0 KB/sec normal
CL_SWAP_OUT_BY_SEC CELL krxacel01 0.0 KB/sec normal
CL_SWAP_USAGE CELL krxacel01 0 % normal
CL_TEMP CELL krxacel01 19.0 C normal
CL_VIRTMEM_CS CELL krxacel01 9,342 MB normal
…..

LUN
CellCLI> list lun attributes name,celldisk,devicename,lunsize,status
0_0 CD_00_krxacl05 /dev/sda 3.6379785537719727T normal
0_1 CD_01_krxacl05 /dev/sdb 3.6379785537719727T normal
0_2 CD_02_krxacl05 /dev/sdc 3.6379785537719727T normal
0_3 CD_03_krxacl05 /dev/sdd 3.6379785537719727T normal
0_4 CD_04_krxacl05 /dev/sde 3.6379785537719727T normal
0_5 CD_05_krxacl05 /dev/sdf 3.6379785537719727T normal Eighth Rack
0_6 CD_06_krxacl05 /dev/sdg 3.6379785537719727T normal
0_7 CD_07_krxacl05 /dev/sdh 3.6379785537719727T normal
0_8 CD_08_krxacl05 /dev/sdi 3.6379785537719727T normal
0_9 CD_09_krxacl05 /dev/sdj 3.6379785537719727T normal
0_10 CD_10_krxacl05 /dev/sdk 3.6379785537719727T normal
0_11 CD_11_krxacl05 /dev/sdl 3.6379785537719727T normal
0_0 FD_00_krxacl05 /dev/nvme0n1 1.4554837569594383T normal

CELLDISK
CellCLI> list celldisk attributes name,devicename,disktype,size,status
CD_00_krxacl05 /dev/sda HardDisk 3.6049652099609375T normal
CD_01_krxacl05 /dev/sdb HardDisk 3.6049652099609375T normal
CD_02_krxacl05 /dev/sdc HardDisk 3.637969970703125T normal
CD_03_krxacl05 /dev/sdd HardDisk 3.637969970703125T normal
CD_04_krxacl05 /dev/sde HardDisk 3.637969970703125T normal
CD_05_krxacl05 /dev/sdf HardDisk 3.637969970703125T normal
CD_06_krxacl05 /dev/sdg HardDisk 3.637969970703125T normal
CD_07_krxacl05 /dev/sdh HardDisk 3.637969970703125T normal Eighth Rack
CD_08_krxacl05 /dev/sdi HardDisk 3.637969970703125T normal
CD_09_krxacl05 /dev/sdj HardDisk 3.637969970703125T normal
CD_10_krxacl05 /dev/sdk HardDisk 3.637969970703125T normal
CD_11_krxacl05 /dev/sdl HardDisk 3.637969970703125T normal
FD_00_krxacl05 /dev/nvme0n1 FlashDisk 1.455474853515625T normal

GRIDDISK
CellCLI> list griddisk attributes name,celldisk,disktype,size,status
DATA_krxa_CD_00_krxacl05 CD_00_krxacl05 HardDisk 423G active
DBFS_DG_CD_02_krxacl05 CD_02_krxacl05 HardDisk 29.125G active
DBFS_DG_CD_04_krxacl05 CD_04_krxacl05 HardDisk 29.125G active Eighth Rack
RECO_krxa_CD_00_krxacl05 CD_00_krxacl05 HardDisk 105.6875G active
RECO_krxa_CD_01_krxacl05 CD_01_krxacl05 HardDisk 105.6875G active
…

FLASH CACHE
CellCLI> list flashcache detail Eighth Rack
name: krxacl01_FLASHCACHE
cellDisk: FD_00_krxacl01, FD_01_krxacl01, FD_02_krxacl01, FD_03_krxacl01
creationTime: 2014-06-25T11:00:08+09:00
degradedCelldisks:
effectiveCacheSize: 2978.75G
id: 09408e39-9e99-4ac1-b579-27d9c83bded8
size: 2978.75G
status: normal

SCSI Device 조회
root# lsscsi
[4:2:0:0] disk LSI MR9261-8i 2.13 /dev/sdq
[4:2:1:0] disk LSI MR9261-8i 2.13 /dev/sdr
[4:2:2:0] disk LSI MR9261-8i 2.13 /dev/sds
[4:2:3:0] disk LSI MR9261-8i 2.13 /dev/sdt
[4:2:4:0] disk LSI MR9261-8i 2.13 /dev/sdu
[4:2:5:0] disk LSI MR9261-8i 2.13 /dev/sdv
[4:2:6:0] disk LSI MR9261-8i 2.13 /dev/sdw
[4:2:7:0] disk LSI MR9261-8i 2.13 /dev/sdx
[4:2:8:0] disk LSI MR9261-8i 2.13 /dev/sdy
[4:2:9:0] disk LSI MR9261-8i 2.13 /dev/sdz
[4:2:10:0] disk LSI MR9261-8i 2.13 /dev/sdaa
[4:2:11:0] disk LSI MR9261-8i 2.13 /dev/sdab

CRS 및 ASM Operation

CRS Process 목록
Component Desc
Cluster Ready Service(CRS) Cluster HA 작동 관장하는 주요 프로그램
Cluster Synchronization Service (CSS) Cluster 멤버쉽 제어를 통해 cluster 구성을 관리
Event Manager(EVM) Oracle Clusterware가 생성하는 이벤트를 공표하는 backgroud 프로세스
Cluster Time Synchironization Service (CTSS) Cluster 시간 관리 관장
Oracle Notification Service (ONS) FAN 이벤트와 통신을 위한 subscribe service
Oracle Agent Oracle에 특화된 요청과 복잡한 리소스를 지원하기 위한 agent
Grid Naming Service(GNS) 외부 DNS에서 요청시 Cluster에 설정된 hostname의 resolution를 수행
Grid Plug and Play (GPnP) Cluster의 유연한 관리(확장/축소)를 지원하는 기능으로 내부 프로파일로 관리
GPNP와 GNS를 지원하는 서비스로 Cluster에서 GPNP의 프로파일 배치와 GNS name resolution
Multicast domain name service (mDNS)
지원

CRS Daemon Startup Flow chart
Component Processes Owner

Cluster Ready Service(CRS) crsd root
Cluster Synchronization Service ocssd, cssdmoni grid owner

(CSS) tor, cssdagent , root, root
evmd, evmlogg
Event Manager(EVM) grid owner
er
Cluster Time Synchironization Serv
octssd root
ice (CTSS)
Oracle Notification Service (ONS) ons,eons grid owner
Oracle Agent oraagent grid owner
Grid Naming Service(GNS) gnsd root
Grid Plug and Play (GPnP) gpnpd grid owner
Multicast domain name service

mdnsd grid owner
(mDNS)

CRS Init 데몬 조회
CRS Init Daemon
[root@db01:/root]# /u01/app/11.2.0.4/grid/bin/crsctl stat res -t -init
--------------------------------------------------------------------------------
Name Target State Server State details
--------------------------------------------------------------------------------
Cluster Resources
--------------------------------------------------------------------------------
ora.asm
1 ONLINE ONLINE db01 Started
ora.cluster_interconnect.haip
1 ONLINE ONLINE db01
ora.crf
ora.crsd
ora.cssd
ora.cssdmonitor
ora.ctssd
1 ONLINE ONLINE db01 OBSERVER
ora.diskmon
ora.drivers.acfs
ora.evmd
ora.gipcd
ora.gpnpd
ora.mdnsd

CRS 시작/종료
1. CRS 시작 및 종료 (각 Node별로 수행)
시작 : root# $GI_HOME/bin/crsctl start crs
종료 : root# $GI_HOME/bin/crsctl stop crs
root# $GI_HOME/bin/crsctl stop crs –f #강제종료
2. 각 Resource별 시작
oracle# srvctl start instance –d <db_unique_name> -i <인스턴스명>
oracle# srvctl start asm -n 노드명
oracle# srvctl start nodeapps -n 노드명
3. 각 Resource별 종료
oracle# srvctl stop instance –d <db_unique_name> -i <인스턴스명>

oracle# srvctl stop asm -n 노드명
oracle# srvctl stop nodeapps -n 노드명

CRS 점검
1. Cluster Verification Utility
Cluster 주요 component들의 확인할 수 있는 유틸리티로 기본적인 component(i.e. free space) 부터 복잡한 Clusterware 무결성 체크까지 다양한
component에 대한 주요 체크를 수행함
oracle# cluvfy comp -list
USAGE:
cluvfy comp <component-name> <component-specific options> [-verbose]
Valid Components are:

nodereach : checks reachability between nodes
nodecon : checks node connectivity
cfs : checks CFS integrity
ssa : checks shared storage accessibility
space : checks space availability
sys : checks minimum system requirements
clu : checks cluster integrity
clumgr : checks cluster manager integrity
ocr : checks OCR integrity
olr : checks OLR integrity
ha : checks HA integrity
freespace : checks free space in CRS Home
crs : checks CRS integrity
nodeapp : checks node applications existence
…

CRS 점검
2. CRS 기동 장애 대응
[root@db01:/root]# /u01/app/11.2.0.4/grid/bin/crsctl stat res -t -init
[root@db01:/root]# crsctl stat res -t --------------------------------------------------------------------------------
CRS-4639: Could not contact Oracle High Availability Services Name Target State Server State details
--------------------------------------------------------------------------------
CRS-4000: Command Status failed, or completed with errors. Cluster Resources
--------------------------------------------------------------------------------
위와 같이 CRS가 기동 되지 않을 경우 CRS init ora.asm
daemon 상태를 확인하여 기동이 안된 daemon 확인 1 ONLINE ONLINE db01 Started
ora.cluster_interconnect.haip
후 해당 daemon의 로그 확인 필요 1 ONLINE ONLINE db01
ora.crf
ora.crsd
1 ONLINE OFFLINE db01
ora.cssd
*Daemon log ora.cssdmonitor
$GI_HOME/log/<hostname>/ 1 ONLINE ONLINE db01
ora.ctssd
1 ONLINE ONLINE db01 OBSERVER
ora.diskmon
ora.drivers.acfs
ora.evmd
ora.gipcd
ora.gpnpd
ora.mdnsd

ASM 상태점검
• 반드시 ASM으로 접속해야 함.
 asmcmd 명령어
oracle@krxa01:/home/oracle> . oraenv
ORACLE_SID = [krxA1] ? +ASM1
]The Oracle base remains unchanged with value /u01/app/oracle
oracle@krxa01:/home/oracle> asmcmd
ASMCMD> lsdg
State Type Rebal Sector Block AU Total_MB Free_MB Req_mir_free_MB Usable_file_MB Offline_disks Voting_files Name
MOUNTED NORMAL N 512 4096 4194304 15962112 15717284 886784 7415250 0 N DATA/
MOUNTED NORMAL N 512 4096 4194304 415296 405784 34608 185588 0 Y DBFS_DG/
MOUNTED NORMAL N 512 4096 4194304 3996000 3927004 222000 1852502 0 N RECO/

ASM 상태점검
sqlplus / as sysasm 또는 sqlplus / as sysdba로 접속 후 수행
• Query를 통한 Diskgroup 점검
SQL> select group_number, name, state, type, total_mb, free_mb, usable_file_mb as "USABLE_MB" from v$asm_diskgroup;
GROUP_NUMBER NAME STATE TYPE TOTAL_MB FREE_MB USABLE_MB

------------ ---------- ----------- ------ ---------- ---------- ----------
1 DATA_CU CONNECTED NORMAL 54042624 39507700 17297367
2 DBFS_DG MOUNTED NORMAL 894240 892864 405785
3 RECO_CU CONNECTED NORMAL 13512384 13089496 5930549
• Query를 통한 Disk점검
SQL> select group_number as "GRP#", name, mount_status as "MOUNT", header_status as "HEADER", mode_status as "MODE",
state, free_mb from v$asm_disk where header_status='MEMBER' order by group_number, name;
GRP# NAME MOUNT HEADER MODE STATE FREE_MB

---------- ------------------------- ------- ------------ ------- -------- ----------
1 DATA_CU_CD_00_DBMCL1 CACHED MEMBER ONLINE NORMAL 1097392
1 DATA_CU_CD_00_DBMCL2 CACHED MEMBER ONLINE NORMAL 1097268

ASM DISKGROUP VIEW - v$asm_diskgroup
Exadata Machine 삼중화시 기준 (DATA:RECO = 8:2)
C D
v$asm_diskg A B
(required_mirr (usable_file_m
roup (total_mb) (free_mb)
or_free_mb) b)
Required Mir 권장 사용가능 권장 남은 총 사용가능 총 남은 사용한

구분 총 디스크 남은 디스크
ror 데이터 데이터 데이터 데이터 데이터
산정기준 RAW RAW RAW 삼중화 삼중화 삼중화 삼중화 삼중화
DBFS_DG DBFS_DG DBFS_DG DBFS_DG DBFS_DG
=(A-C)/2 =(B-C)/2 =A/2 =B/2 =(A-B)/2
산술공식 Disk 2개
Others Others Others Other Others
=(A-C)/3 =(B-C)/3 =A/3 =B/3 =(A-B)/3
Required
반영 반영 반영 안 함 반영 안 함
Mirror
DATA 31,924,224 31,566,104 866,304 10,352,640 10,233,267 10,641,408 10,522,035 119,373
DBFS_DG 1,339,392 1,338,392 89,293 625,050 624,550 669,696 669,196 500
RECO 7,962,624 7,961,624 442,368 2,506,752 2,506,419 2,654,208 2,653,875 333
합계 41,226,240 40,866,120 1,397,965 13,484,442 13,364,235 13,965,312 13,845,105 120,207

ASM 상태점검
• ASM rebalance 확인 방법
SQL> select * from gv$asm_operation;
no rows selected
• ASM rebalance Power 변경 방법
SQL> alter diskgroup DATA rebalance power 5;

OCR과 Voting 확인
root@krxa01:/root# cat /var/opt/oracle/ocr.loc
ocrconfig_loc=+DBFS_DG
local_only=FALSE
root@krxa01:/root# ocrcheck
Status of Oracle Cluster Registry is as follows :
Version : 3
Total space (kbytes) : 262120
Used space (kbytes) : 2996
Available space (kbytes) : 259124
ID : 831334677
Device/File Name : +DBFS_DG
Device/File integrity check succeeded
Device/File not configured
Cluster registry integrity check succeeded
Logical corruption check succeeded
root@krxa01:/root# crsctl query css votedisk

## STATE File Universal Id File Name Disk group
-- ----- ----------------- --------- ---------
1. ONLINE a2c98e3ecea64fd7bf42433cf372ad0f (o/192.168.10.7/DBFS_DG_CD_02_krxacel03) [DBFS_DG]
2. ONLINE 382df8acda974f57bf246f804f4daf07 (o/192.168.10.6/DBFS_DG_CD_02_krxacel02) [DBFS_DG]
3. ONLINE aa9b916f77e14fe6bf5bc0b91f71fc7e (o/192.168.10.5/DBFS_DG_CD_02_krxacel01) [DBFS_DG]
Located 3 voting disk(s).

Exadata Monitoring
- Monitoring overview
- Enterprise Manager
- Sar.sh
- Exachk

Exadata Monitoring overview
Exadata Machine 관리 대상 및 R&R
PDU
Cisco Switch
10%
네트워크 전문가 Infiniband Switch
15%
50% DB Server
데이터베이스 전문가 서버 전문가
Cell Server
25%
스토리지 전문가
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 85

Exadata Monitoring overview
• Exadata 통합 모니터링
– Enterprise Manager
• Exadata Machine 리소스 모니터링
– sar.sh
• Exadata Configuration 점검
– Exachk
• Exadata 모니터링 서비스
– Platinum Service
– ASR
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 86

Exadata Monitoring
- Monitoring Architecture
- Sar.sh
- Exachk

EM을 통한 Exadata Monitoring
Exadata Monitoring Architecture EM Server
SNMP
Oracle Exadata Machine SSH
Listener
Database Server
SNMP
Agent + OMS Repository
ILOM Database
MS ILOM Storage Server

SSH
Log file
ILOM Infiniband Switch E-Mail
SNMP
Cisco Switch
Web
browser
PDU
3rd Party Administrator
KVM
※ X3 버전부터 KVM 불필요
* MS : Management Service MMS, E-Mail… etc
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | Oracle Confidential – Internal/Restricted/Highly Restricted88
Exadata Monitoring Components
Component Category Monitored By
H/W ILOM + MS
OS
Exadata Storage Server MS
Infiniband server ports
Exadata S/W
H/W
OS
Infiniband server ports EM Agent

Database server
Exadata S/W
Oracle Grid Infrastructure
Oracle Database
Sun Infiniband switches EM Agent

Infiniband Network
Infiniband Fabric Directly
CISCO Ethernet switch All EM Agent
PDU (Power Distribution Unit) All EM Agent
KVM All EM Agent

Exadata Machine Monitoring

Computer Node & Cell Storage 모니터링

Exadata Dashboard를 통한 모니터링

Exadata 토폴로지를 통한 모니터링

IB Network 모니터링

EM 12c Exadata 장애감지 화면(사례1/2)
Cell Server HDD Pull-out
Cell Server의 특정 Disk에 문제가 발생하였음을 감지함
Hard disk removed. Status : NOT PRESENT Manufacturer : SEAGATE Model Number: ST360057SSUN600G Size : 600G
Serial Number : E0ATHJ Firmware : 0A25 Slot Number : 1
Cell Disk : CD_01_krx2acl04 Grid Disk : RECO_KRX2A_CD_ 01_krx2acl04, DATA_KRX2A_CD_01_krx2acl04
Error Count : Not present Last Failure : 0

EM 12c Exadata 장애감지 화면(사례2/2)
DB Node ILOM Cable Pull-out
ILOM Cable의 절체로 ILOM이 offline 상태가 되었음을 감지함
.. Oracle Exadata ILOMCisco

Server Switch에서도 특정
.. The Value of Status Port가
: oracle fail status
x2cm resp 되었음을 감지함
is offline
.. Oracle Exadata Cisco Switch .. Network Interface GigabitEthernet 1/24 failed.

기존 관제시스템과의 연동 (3rd Pary)
SNMP
ILOM Database Agent EM Repository

ILOM Storage Server
ILOM Infiniband Switch E-Mail
Log file
Cisco Switch
PDU
KVM
※ X3 버전 부터 KVM 삭제
3rd Party Administrator
MMS, E-Mail… etc

Monitoring Script
 기존관제시스템과의 연동 방법으로 EM의 Notification Rule을 생성하고, Incident 발생 시 Monitoring Script
가 실행되게 하여 특정 위치에 Incident를 로깅할 수 있도록 함
 Monitoring Script (alert.sh)
#!/bin/bash
LOG_FILE=/home/oraem/critical_alert.log
# events
if [ $ISSUE_TYPE -eq 1 ]
then
echo '['$TARGET_NAME']['$SEVERITY']['$TARGET_TYPE']['$ASSOC_INCIDENT_ID']['$MESSAGE']['$EVENT_REPORTED_TIME']' >> $LOG_FILE
fi
# incidents
if [ $ISSUE_TYPE -eq 2 ]
then
echo
'['$EVENT_SOURCE_1_TARGET_NAME']['$SEVERITY']['$EVENT_SOURCE_1_TARGET_TYPE']['$INCIDENT_ID']['$MESSAGE']['$INCIDENT_CREATION_TI
ME']' >> $LOG_FILE
fi
exit 0

모니터링 환경 변수
구분 환경 변수 설명
TARGET_NAME Event 발생 주체
SEVERITY 긴급도 (Fatal, Critical, Warning, Informational, Clear)
TARGET_TYPE Event 발생 주체의 타입 (DB ILOM, IB Switch, KVM Switch, Cell Server 등)
Event
ASSOC_INCIDENT_ID 관련 Incident ID
MESSAGE Event 관련 메시지
EVENT_REPORTED_TIME Event 발생이 EM에 보고된 시간
EVENT_SOURCE_1_TARGET_NAME Incident 발생 주체
SEVERITY 긴급도 (Fatal, Critical, Warning, Informational, Clear)
EVENT_SOURCE_1_TARGET_TYPE Incident 발생 주체의 타입 (DB ILOM, IB Switch, KVM Switch, Cell Server 등)
Incident
INCIDENT_ID Incident ID
MESSAGE Incident 관련 메시지
INCIDENT_CREATION_TIME Incident 발생이 EM에 보고된 시간

Exadata Monitoring
- Sar.sh
- Exachk

성능 Monitor : sar.sh Monitor
Usage: sar.sh <interval seconds> <repeate count> [-r|-d|-t|-b|-m|-f|-R]
Example for run : sar.sh 5 1000 -r
Example for report : sar.sh -R <file_name>
-t : top process, -r : file logging, -d : Disk Small/Large I/O,
-b : Infiniband, -m : DB Event, -f : Force run, -k : Kill running
, -x : Extend, -R : make report

성능 Monitor : sar.sh Monitor • sar -n DEV 5 1000, 현재
eth0 + eth3 합계로 되어
있음 • tcp부분은 백업 또는
• 노드별사용현 • 적정 임계치는 없으나, • 스왑 발생한 기록보임 • 패켓량을 보여주는
• 모니터링 결과, eth0에 NFS 사용
황 • 6core*2=24기준으로 보면, • 높은사용율을 유지하나, 이유는 크기와
트래픽이 많으며, 이유는
• IO와 24개정도 수용 예상 • Cached영역 고려해야 함 별도로, 패킷수 • rds는 DB노드간
백업작업을 같이 인터커넥터 사용
연계분석필요 • 평소기준 관리 제한을 모니터링
(/proc/meminfo) 사용하는것으로 보임 • total은 IB전체 합산
하기 위함
• 백업은 별도 포트로 권고 bytes를 보여줌
• cell노드 모니터링포인트는,
• 각 cell노드별 밸런스를 • 만일 max가 100이면, • 한번 i/o 할 때 걸리는 • Cell노드의 cpu는 • cell노드 rdma 수치는,
우선으로 보며, 12개 디스크중 • 초당 i/o 횟수 시간으로 mili second로 10%이하의 균등한 %를 rv,tr로 보이며,
• 12개 디스크별 Busy율의 어느한개(이상)이 (그러나, i/o의 표시 (보통 2~3msec 유지해야 함 • Disk read/write와
평균치, 또는 max를 값을 100을 치고 있다는 종류에 따라 이며, 10m sec이상되면 • 어느 한 개가 튀는 현상 대비해서 보면 smart
모니터링 함 증거 변동적 임) 모니터링 필요) 있는지 모니터링 scan 사용정도를 파악

126
* Wed Mar 19 00:00:12 KST 2014 3776 (Max:17000, interval:5 sec) Start : 00:00:06 (6 sec) version : 1.6.0
========== DBMS Server ======================================================================================================
* Node : CPU Usage (%) | Memory(%) |Ethernet KB/sec & packet cnt| infini(TCP:MB, RDS:MB, Total:MB)
* Node : user sys wait idle runq| used real swap|rv size&packet|tr size&packt| tcp_rv tcp_tr rds_rv rds_tr tot_rv tot_tr
spncusdb01: 4.6 1.3 0.0 94.0 0| 95.7 89.8 0.0| 25 115 12 66| 0.0 0.0 0.7 0.3 1.1 125.2
spncusdb02: 55.3 17.5 0.0 7.2 144| 89.9 53.7 2.6| 98026 10055 2003 9006| 0.0 0.0 0.4 0.6 600.8 126.6
========== Cell Disk Server =================================================================================================
* Node : Total | Disk I/O | Flash I/O | CPU | infini(MByte)
* MB/s : Sum | Read Write Avg% Max% tps svctm| Read Write Avg% Max% tps svctm| pct| rdma_rv rdma_tr
spncuscel01: 287.5| 200.0 87.1 27.2 15.8 1472 0.9| 0.0 0.4 0.0 0.1 58 0.0| 3.5| 82.4 200.4
spncuscel02: 287.5| 0.0 85.8 7.0 12.5 413 1.0| 201.1 0.6 10.1 10.3 3109 0.1| 9.8| 82.7 200.5
spncuscel03: 285.6| 0.0 84.9 24.7 89.0 386 5.8| 200.2 0.4 10.1 10.2 3171 2.1| 7.6| 82.3 200.3
---------- I/O Disk Total ---------------------------------------------------------------------------------------------------
* TOT : 860.7| 200.1 257.8 17.9 39.1 2271 2.6| 401.4 1.4 6.7 6.8 6338 0.0| 6.9| 247.4 601.1

========== DBMS Server ======================================================================================================
spncusdb01: 4.6 1.3 0.0 94.0 0| 95.7 89.8 0.0| 25 115 12 66| 0.0 0.0 0.7 0.3 1.1 125.2
spncusdb02: 55.3 17.5 0.0 7.2 144| 89.9 53.7 2.6| 98026 10055 2003 9006| 0.0 0.0 0.4 0.6 600.8 126.6
========== Cell Disk Server =================================================================================================
spncuscel01: 287.5| 200.0 87.1 27.2 15.8 1472 0.9| 0.0 0.4 0.0 0.1 58 0.0| 3.5| 82.4 200.4
spncuscel02: 287.5| 0.0 85.8 7.0 12.5 413 1.0| 201.1 0.6 10.1 10.3 3109 0.1| 9.8| 82.7 200.5
spncuscel03: 285.6| 0.0 84.9 24.7 89.0 386 5.8| 200.2 0.4 10.1 10.2 3171 2.1| 7.6| 82.3 200.3
---------- I/O Disk Total ---------------------------------------------------------------------------------------------------
* TOT : 860.7| 200.1 257.8 17.9 39.1 2271 2.6| 401.4 1.4 6.7 6.8 6338 0.0| 6.9| 247.4 601.1
CPU 과도 사용으로 인한 sys 사용율 증가

========== DBMS Server ======================================================================================================
spncusdb01: 4.6 1.3 0.0 94.0 0| 95.7 89.8 0.0| 25 115 12 66| 0.0 0.0 0.7 0.3 1.1 125.2
spncusdb02: 55.3 17.5 0.0 7.2 144| 89.9 53.7 2.6| 98026 10055 2003 9006| 0.0 0.0 0.4 0.6 600.8 126.6
========== Cell Disk Server =================================================================================================
spncuscel01: 287.5| 200.0 87.1 27.2 15.8 1472 0.9| 0.0 0.4 0.0 0.1 58 0.0| 3.5| 82.4 200.4
spncuscel02: 287.5| 0.0 85.8 7.0 12.5 413 1.0| 201.1 0.6 10.1 10.3 3109 0.1| 9.8| 82.7 200.5
spncuscel03: 285.6| 0.0 84.9 24.7 89.0 386 5.8| 200.2 0.4 10.1 10.2 3171 2.1| 7.6| 82.3 200.3
---------- I/O Disk Total ---------------------------------------------------------------------------------------------------
* TOT : 860.7| 200.1 257.8 17.9 39.1 2271 2.6| 401.4 1.4 6.7 6.8 6338 0.0| 6.9| 247.4 601.1
CPU 과도 사용으로 인한 sys 사용율 증가
메모리 과다 사용으로 시스템 문제 발생 가능

========== DBMS Server ======================================================================================================
spncusdb01: 4.6 1.3 0.0 94.0 0| 95.7 89.8 0.0| 25 115 12 66| 0.0 0.0 0.7 0.3 1.1 125.2
spncusdb02: 55.3 17.5 0.0 7.2 144| 89.9 53.7 2.6| 98026 10055 2003 9006| 0.0 0.0 0.4 0.6 600.8 126.6
========== Cell Disk Server =================================================================================================
spncuscel01: 287.5| 200.0 87.1 27.2 15.8 1472 0.9| 0.0 0.4 0.0 0.1 58 0.0| 3.5| 82.4 200.4
spncuscel02: 287.5| 0.0 85.8 7.0 12.5 413 1.0| 201.1 0.6 10.1 10.3 3109 0.1| 9.8| 82.7 200.5
spncuscel03: 285.6| 0.0 84.9 24.7 89.0 386 5.8| 200.2 0.4 10.1 10.2 3171 2.1| 7.6| 82.3 200.3
---------- I/O Disk Total ---------------------------------------------------------------------------------------------------
* TOT : 860.7| 200.1 257.8 17.9 39.1 2271 2.6| 401.4 1.4 6.7 6.8 6338 0.0| 6.9| 247.4 601.1
CPU 과도 사용으로 인한 sys 사용율 증가 한쪽 Node에서만 Disk Read 집중

========== DBMS Server ======================================================================================================
spncusdb01: 4.6 1.3 0.0 94.0 0| 95.7 89.8 0.0| 25 115 12 66| 0.0 0.0 0.7 0.3 1.1 125.2
spncusdb02: 55.3 17.5 0.0 7.2 144| 89.9 53.7 2.6| 98026 10055 2003 9006| 0.0 0.0 0.4 0.6 600.8 126.6
========== Cell Disk Server =================================================================================================
spncuscel01: 287.5| 200.0 87.1 27.2 15.8 1472 0.9| 0.0 0.4 0.0 0.1 58 0.0| 3.5| 82.4 200.4
spncuscel02: 287.5| 0.0 85.8 7.0 12.5 413 1.0| 201.1 0.6 10.1 10.3 3109 0.1| 9.8| 82.7 200.5
spncuscel03: 285.6| 0.0 84.9 24.7 89.0 386 5.8| 200.2 0.4 10.1 10.2 3171 2.1| 7.6| 82.3 200.3
---------- I/O Disk Total ---------------------------------------------------------------------------------------------------
* TOT : 860.7| 200.1 257.8 17.9 39.1 2271 2.6| 401.4 1.4 6.7 6.8 6338 0.0| 6.9| 247.4 601.1
Flash 이상으로 인한 Disk I/O 집중 현상

========== DBMS Server ======================================================================================================
spncusdb01: 4.6 1.3 0.0 94.0 0| 95.7 89.8 0.0| 25 115 12 66| 0.0 0.0 0.7 0.3 1.1 125.2
spncusdb02: 55.3 17.5 0.0 7.2 144| 89.9 53.7 2.6| 98026 10055 2003 9006| 0.0 0.0 0.4 0.6 600.8 126.6
========== Cell Disk Server =================================================================================================
spncuscel01: 287.5| 200.0 87.1 27.2 15.8 1472 0.9| 0.0 0.4 0.0 0.1 58 0.0| 3.5| 82.4 200.4
spncuscel02: 287.5| 0.0 85.8 7.0 12.5 413 1.0| 201.1 0.6 10.1 10.3 3109 0.1| 9.8| 82.7 200.5
spncuscel03: 285.6| 0.0 84.9 24.7 89.0 386 5.8| 200.2 0.4 10.1 10.2 3171 2.1| 7.6| 82.3 200.3
---------- I/O Disk Total ---------------------------------------------------------------------------------------------------
* TOT : 860.7| 200.1 257.8 17.9 39.1 2271 2.6| 401.4 1.4 6.7 6.8 6338 0.0| 6.9| 247.4 601.1
특정 Disk 이상으로 Max 수치가 증가함

========== DBMS Server ======================================================================================================
spncusdb01: 4.6 1.3 0.0 94.0 0| 95.7 89.8 0.0| 25 115 12 66| 0.0 0.0 0.7 0.3 1.1 125.2
spncusdb02: 55.3 17.5 0.0 7.2 144| 89.9 53.7 2.6| 98026 10055 2003 9006| 0.0 0.0 0.4 0.6 600.8 126.6
========== Cell Disk Server =================================================================================================
spncuscel01: 287.5| 200.0 87.1 27.2 15.8 1472 0.9| 0.0 0.4 0.0 0.1 58 0.0| 3.5| 82.4 200.4
spncuscel02: 287.5| 0.0 85.8 7.0 12.5 413 1.0| 201.1 0.6 10.1 10.3 3109 0.1| 9.8| 82.7 200.5
spncuscel03: 285.6| 0.0 84.9 24.7 89.0 386 5.8| 200.2 0.4 10.1 10.2 3171 2.1| 7.6| 82.3 200.3
---------- I/O Disk Total ---------------------------------------------------------------------------------------------------
* TOT : 860.7| 200.1 257.8 17.9 39.1 2271 2.6| 401.4 1.4 6.7 6.8 6338 0.0| 6.9| 247.4 601.1
Read된 전체 용량이 DB Node로 전송됨.

메모리 과다 사용으로 시스템 문제 발생 가능 Smart scan 검토 필요.

========== DBMS Server ======================================================================================================
spncusdb01: 4.6 1.3 0.0 94.0 0| 95.7 89.8 0.0| 25 115 12 66| 0.0 0.0 0.7 0.3 1.1 125.2
spncusdb02: 55.3 17.5 0.0 7.2 144| 89.9 53.7 2.6| 98026 10055 2003 9006| 0.0 0.0 0.4 0.6 600.8 126.6
========== Cell Disk Server =================================================================================================
spncuscel01: 287.5| 200.0 87.1 27.2 15.8 1472 0.9| 0.0 0.4 0.0 0.1 58 0.0| 3.5| 82.4 200.4
spncuscel02: 287.5| 0.0 85.8 7.0 12.5 413 1.0| 201.1 0.6 10.1 10.3 3109 0.1| 9.8| 82.7 200.5
spncuscel03: 285.6| 0.0 84.9 24.7 89.0 386 5.8| 200.2 0.4 10.1 10.2 3171 2.1| 7.6| 82.3 200.3
---------- I/O Disk Total ---------------------------------------------------------------------------------------------------
* TOT : 860.7| 200.1 257.8 17.9 39.1 2271 2.6| 401.4 1.4 6.7 6.8 6338 0.0| 6.9| 247.4 601.1
Read된 전체 용량이 DB Node로 전송됨.

메모리 과다 사용으로 시스템 문제 발생 가능 Smart scan 검토 필요.
Network Bottleneck 발생하여 변화 필요함

Exadata Monitoring
- Sar.sh
- Exachk

Exachk 소개
• Exadata Database Machine Health Checker
• 1개월 또는 3개월에 새로운 Exachk editions 배포
• Software 점검 (firmware, operating system, clusterware, ASM, database, Exadata)
• Hardware 점검 (database server, InfiniBand, Exadata cells, disks)
• Configuration best practices (Operating System, Clusterware, ASM, RAC, Database, Exadata,
Infiniband)
• RAC, Exadata MAA, 및 performance configuration 통합 best practices
• 운영 중 data gathering, analysis 및 reporting phases
• My Oracle Support (MOS) https://support.oracle.com에서 Download
• Oracle Exadata Database Machine exachk or HealthCheck (Doc ID 1070954.1)

언제 Exachk를 수행 하는가?
• Grid Infrastructure 와 최소 한 개의 database 올라와 수행될 때
• 시스템 부하가 최소 일 때
• 최초 Oracle Database Machine 구성 직후
• Planned maintenance 직전
• Planned maintenance 직후
• 최소 3개월에 한 번 정기적으로 수행
• Oracle Exadata Database Machine에서 만 수행

Exachk Report 예제
Exadata 정보 및 Exachk 결과 검토 필요 사항 link

Exachk Output 예제
검토 필요 사항 항목

Recommendation and Repair
권고 +
리스크분석 +
조치 / 스텝

Critical software patch alerts
Alert Notification
Apply 권고

Exachk has upgrade checks
Pre-Upgrade and Post-Upgrade to 11.2.0.3 check options available
• Critical Pre 및 Post Upgrade 점검

• Alerts 및 참고 자료 pointer

Exachk 수행 방법
Exachk 수행 전 초기화 (Option)
• infiniband error reset

– root에서 수행함.
– Infiniband에서 발생된 Error를 초기화함.
– ibclearcounters 수행

Download
• 최신 Exachk Download
– My Oracle Support (MOS) https://support.oracle.com Doc ID 1070954.1
• Exachk 설치
– 반드시 oracle user에서만 수행가능
– /opt/oracle.SupportTools/exachk 디렉토리 생성 (기존 디렉토리 mv로 백업)
– Exachk zip 파일 복사 (예: exachk_223_bundle.zip as of 10-17-2013)
– Unzip 수행, 두 번 풀어야 함. unzip exachk_220_bundle.zip  unzip exachk.zip
– chmod +x exachk

수행 명령
$ ./exachk : 1회 수행
$ ./exachk -m : MAA Scorecard 점검을 skip
$ ./exachk -d : 데몬 형태로 주기적으로 자동 수행 (추가 설명)
$ ./exachk -diff : 결과 비교 (추가 설명)
$ ./exachk -u : pre-upgrade 또는 post-upgrade best practices 점검 (11.2.0.3,11.2.0.4.0 및 12.1.0.1)
-o pre 또는 -o post 필수 (예 ./exachk -u -o pre )
$ ./exachk -v : version 확인
$ ./exachk -profile : Pass specific profile (예 : ./exachk -profile dba)

asm asm Checks
clusterware clusterware checks
dba dba Checks
goldengate oracle goldengate checks
maa Maximum Availability Architecture Checks
storage Storage Server Checks
switch Infiniband switch checks
sysadmin sysadmin checks

$ ./exachk
수행 시 계속적으로 물어보면 Default 값으로 Enter를 누르면 됨. 단 password를 물어보는 경우에는 해당 password를 입력해야 함.
1. CRS_HOME이 맞는지 물어봄. Enter 누름
2. Database를 물어봄. All 또는 특정 DB 번호 선택 후 Enter 누름

첫 번째, 1번 선택 된 상태에서 Enter를 누르고
두 번째, 모든 compute node 의 root 암호가 동일하면 Enter를 누르고 아니면 n를 누르고 각각의 암호를 따로 입력해야 함.
세 번째, root user의 암호를 입력 (Default값은 welcome1)
3. Infiniband Switch관련된 정보 물어봄

위와 동일하게 Enter를 누르고,
password를 물어보면 infiniband switch의 암호를 입력함. (Default 값은 welcome1)
일반적으로 물어보지 않지만 만약 진행 중에 nm2user 암호를 물어보면 암호를 입력함. (Default값은 changeme )
4. Storage server의 root password 처리 물어봄 ( 버전에 따라 Storage를 별도로 물어 볼 수 있음)
2와 동일한 방법으로 처리
5. 계속적으로 *** Checking Best Practice Recommendations (PASS/WARNING/FAIL) *** 라는 Message가 나오면 exachk가 시작된 것으
로 Rack종류와 DB 수에 따라 다르지만 약 30분에서 2시간 정도가 소요됨.
6. Prompt가 나오면 끝난 것임. 끝난 후에 exachk_<cluster명>_<날짜>_<시간> 형태의 Directory가 생성됨
예) exachk_krxa_021213_133855
7. 동시에 exachk_<cluster명>_<날짜>_<시간>.zip 파일에 생성됨 예) exachk_krxa_021213_133855.zip

데몬 $ ./exachk -d
$ ./exachk -d start
=> exachk 수행과 동일하게 선택사항 물어봄
$ ./exachk -d status, 상태확인
Daemon is running. PID : 62661
$ ./exachk -d nextautorun
AUTORUN_SCHEDULE = 12,13 * * *
$ ./exachk -d stop 중지
설정변경
$ ./exachk -set "AUTORUN_SCHEDULE= 12,13 * * *“
$ ./exachk -set NOTIFICATION_EMAIL=nobody@oracle.com
AUTORUN_SCHEDULE * * * * :- Automatic run at specific time in daemon mode.

¦¦¦¦
¦ ¦ ¦ +----- day of week (0 - 6) (0 to 6 are Sunday to Saturday)
¦ ¦ +---------- month (1 – 12)
¦ +--------------- day of month (1 – 31)
+-------------------- hour (0 - 23)

결과 비교 $ ./exachk -diff
$ ./exachk -diff exachk_krxadb01_krxa_091213_160501 exachk_krxadb01_RMANC_091713_141945

장애발생시 대처 방안

DB Logfile을 위한 alias 생성
oracle# vi .bash_profile
alias adump='cd /u01/app/oracle/diag/asm/+asm/+ASM${NODE}/trace'

alias bdump='cd /u01/app/oracle/diag/rdbms/${DBNAME}/$ORACLE_SID/trace'
alias crsstat='crsctl stat res -t'
alias ll='ls -altr'
alias ob='cd $ORACLE_BASE'
alias oh='cd $ORACLE_HOME'
alias pat='cd /u01/stage/patch'
alias sp='sqlplus / as sysdba'
alias t_asmlog='tail -f $ORACLE_BASE/diag/asm/+asm/+ASM{NODE}/trace/alert_+ASM{NODE}.log'
alias t_crsdlog='tail -f $GRID_HOME/log/`hostname -a`/crsd/crsd.log'
alias t_cssdlog='tail -f $GRID_HOME/log/`hostname -a`/cssd/ocssd.log'
alias t_dblog='tail -f $ORACLE_BASE/diag/rdbms/${DBNAME}/$ORACLE_SID/trace/alert_${ORACLE_SID}.log'
alias v_asmlog='vi $ORACLE_BASE/diag/asm/+asm/+ASM1/trace/alert_+ASM{NODE}.log'
alias v_crsdlog='vi $GRID_HOME/log/`hostname -a`/crsd/crsd.log'
alias v_cssdlog='vi $GRID_HOME/log/`hostname -a`/cssd/ocssd.log'
alias v_dblog='vi -f $ORACLE_BASE/diag/rdbms/${DBNAME}/$ORACLE_SID/trace/alert_${ORACLE_SID}.log'

장애발생시 분석 방법
(1) Log 분석
1. Hardware problem인 경우 ILOM 분석

– Sundiag 생성 후 유형에 따라 파일 분석 후 SR 등록
– ILOM Snapshot 생성 후 SR 등록
2. OS의 경우 /var/log/message 파일 분석 혹은 Core 파일 분석
– /var/log/message 이상여부 감지
– Oswatcher /Exawatcher 확인
• /opt/oracle.ExaWatcher/archive 확인
3. CRS 관련 부분의 경우 CRS Log 분석
4. Storage 관련 부분은 ASM Log 분석
1. Asmlog 수행
5. DB 문제의 경우 DB Alert.log 및 Trace 분석
1. bdump
2. asmlog
3. gridlog

(2) ExaWatcher 활용 방안
ExaWatcher : Oracle에서 제공하는 OS(리눅스) 정보 수집용 쉘 스크립트
+ 시작방법
부팅시 자동으로 시작되어 OS관련 정보를 수집함
수동으로 시작시: /opt/oracle.cellos/vldrun -script oswatcher
+ 종료방법
/opt/oracle.ExaWatcher/ExaWatcher.sh --stop
+ 프로세스 확인방법
root@:/opt/oracle.oswatcher/osw # ps -ef | grep -i ExaWatcher
root 32440 1 0 04:02 ? 00:00:00 /bin/bash ./ExaWatcher.sh –fromconf
+로그파일 자동 관리
데이터베이스 서버 용량 Quota: 3GB
스토리지 서버 용량 Quota: 600MB
Cleanup 쉘에 의해 자동으로 과거 로그 삭제
/opt/oracle.ExaWatcher/ExaWatcherCleanup.sh

(2) ExaWatcher 활용 방안
* Exadata OS 정보 Log (DB node/Cell node 공통사항)
구분 확인 사항 항목 분석내용 비고
Diskinfo 3초간격으로 diskinfo정보 Logging 데이터베이스 서버 용량
Quota: 3GB
Iostat 5초 간격으로 IO정보 Logging
스토리지 서버 용량 Quota:
IBprocs 600초 간격으로 IB프로레스 정보 Logging 600MB
LGWR 5초 간격으로 LGWR 정보 Logging
Top 5초 간격으로 top 정보 Logging
Vmstat 5초 간격으로 vmstat 정보 Logging
Ps 5초 간격으로 ps 정보 Logging
/opt/oracle.ExaWatcher
OS Netstat 5초 간격으로 netstat 정보 Logging
/archive
Mpstat 5초 간격으로 mpstat Logging
Lsof 120초 간격으로 lsof 정보 Logging
IBCardInfo 300초 간격으로 ibcard 정보 Logging
Meminfo 5초 간격으로 memory 정보 logging
Slabinfo 5초 간격으로 slabinfo logging
MegaRaidFW 86400초 간격으로 disk controller의 firmware term log 정보 Logging

성능문제 발생시 분석 방법
(1) 성능문제 분석 방법
1. SAR 나 ExaWatcher Data를 이용하여 성능의 Bottleneck을 찾음.
2. Bottleneck이 없는 경우 AWR Report를 추출하여 문제점 파악

1. 특정 Wait Event가 높은지 파악
2. Wait Event의 평균 response time을 비교
3. 성능저하를 발생시키는 특정 SQL이 있는지 파악
3. Storage Cell 문제인지 Database 문제인지를 판단.

1. 성능저하가 되는 SQL을 cell_offload_processing를 False로 설정한 후 동일한 문제가 발생하는지 여부 판단.
2. Cell offload문제가 아닌 경우 Parallel등을 제거하고 테스트 수행
4. Storage Cell의 문제인 경우 Storage index 문제여부 판단

X5-2 Storage Expansion IO 성능 데이터

성능 장애 발생의 사례
I/O 사용현황 분석 (Flash cache 포함)
DB 서버의 CPU 사용율은 낮으나, Cell 서버(Storage)의 Disk I/O 사용량이 90~100%를 나타냄
<I/O 유발 SQL >

SELECT DISTINCT rowid_job , rowid_object ,
< Flash Keep 기능 활성화 => 적용 완료 >
rowid_mq_rule , change_type ,
rowid_mq_data_change
ALTER TABLE C_REPOS_MQ_DATA_CHANGE STORAGE
FROM c_repos_mq_data_change
WHERE sent_state_id IN ( 0 , 3 ) 해당 테이블에 인덱스가 ( CELL_FLASH_CACHE KEEP );
ORDER BY rowid_mq_data_change; 없어서 Full SCAN을 할 수 ALTER TABLE C_MODEL_XREF STORAGE
=> Table Size : 18 GB 밖에 없는 SQL임 ( CELL_FLASH_CACHE KEEP );

서버 DOWN TIME이 필요한 H/W 작업 목록
• Hardware Replacement Units
구분 설명 Replacement Units
Hot Swap  온라인 교체 가능  Disks, Fans, Power supplies
 Exadata Rack 내부의 네트워크 연결을 담당하는 콤포넌트  InfiniBand switch

Infrastructure
 개별 콤포넌트는 shut down이 필요하지만, 이중화되어 있거나 서비스에 영향을 주지 않기  Ethernet switch
Repair 때문에 서비스 다운타임은 발생하지 않음.  External cables
 Motherboard
 해당 서버는 shut down이 필요하지만 RAC로 구성되어 있어서 서비스 다운타임은 발생하지  Memory, Processors
Database Server
않음.  SAS RAID disk PCIe HBA
Offline  해당 서버의 shut down으로 성능 영향이 발생함.  InfiniBand 4xQDR PCIe
 10 GbE SFP+LP, PCIe
 Motherboard
 해당 서버는 shut down이 필요하지만 디스크 2중화 또는 3중화로 구성되어 있어서 데이터  Memory, Processors
Storage Server
손실은 발생하지 않음.  SAS RAID disk PCIe HBA
Offline  해당 서버의 shut down으로 성능 영향이 발생함.  InfiniBand 4xQDR PCIe
 Flash PCIE card

OS Backup & recovery

Database Server OS Backup & Recovery overview
 백업
– tar를 이용한 묶음.
• Default 파티션: bzip2
• Customized 파티션: bzip2 or gzip
– 스냅샷 볼륨 생성 (-s|--snapshot)
 복구
– dianostics.iso를 이용한 부팅
ILOM(remote console) 사용. (jdk 32bit 必)
usb 사용.
– restore
NFS, FTP
Database Server OS Backup & Recovery overview
 압축 방식 별 비교
- GZIP: 압축율은 낮으나 압축 및 해제 시간이 빠름, 자동 복구가 지원됨
- BZIP: 압축 및 해제 시간은 느리나 압축율이 좋음, 수작업 복구가 필요함
* 12GB 압축 및 해제 시 경과 시간 예시
BZIP 압축시간: 약 25분
해제시간: 약 8분
GZIP 압축시간: 약 7분
해제시간: 약 2분
Default 파티션에 대한 snapshot 기반 백업
 Snapshot 백업 대상 Logical Volume
구분 명칭 사이즈 확인 명령어 마운트 위치 백업대상여부
Disk Partition /dev/sda 1796.9 GB fdisk -l /dev/sda
Physical Volume /dev/sda2 1.63 TB pvdisplay
Volume Group VGExaDb 1.63 TB vgdisplay
Logical Volume 30.00 GB lvdisplay

/dev/VGExaDb/LVDbSys1 / (root) Y
/dev/VGExaDb/LVDbSys2 30.00 GB
/dev/VGExaDb/LVDbSwap1 24.00 GB swap
/dev/VGExaDb/LVDbOra1 100.00 GB /u01 Y
 백업 파일 저장 위치 지정
1. NFS를 위한 마운트 위치 생성
mkdir -p /root/tar
2. NFS 마운트 수행
mount -t nfs -o ro,intr,soft,proto=tcp,nolock ip_address:/nfs_location/ /root/tar
 / (root) 디렉토리에 대한 snapshot 생성
1. root_snap 스냅샷 생성
lvcreate -L1G -s -n root_snap /dev/VGExaDb/LVDbSys1
2. Lable명 변경
e2label /dev/VGExaDb/root_snap DBSYS_SNAP
3. 스냅샷 마운트
mkdir /root/mnt
mount /dev/VGExaDb/root_snap /root/mnt -t ext3
 /u01디렉토리에 대한 snapshot 생성
1. u01_snap 스냅샷 생성
lvcreate -L5G -s -n u01_snap /dev/VGExaDb/LVDbOra1
2. Lable명 변경
e2label /dev/VGExaDb/u01_snap DBORA_SNAP
3. 스냅샷 마운트
mkdir -p /root/mnt/u01
mount /dev/VGExaDb/u01_snap /root/mnt/u01 -t ext3
 Snapshot으로부터 백업 파일 생성
1. 백업 파일 생성을 위한 디렉토리 변경
cd /root/mnt
2. 백업 파일 생성
tar -pjcvf /root/tar/mybackup.tar.bz2 * /boot --exclude \
tar /mybackup.tar.bz2 --exclude nfs_mount_points > /tmp/backup_tar.bz2.stdout 2>
/tmp/backup_tar.bz2.stderr
3. 참고
bzip2(.bz2) 만 가능하며, 18GB에 대해 약 6.8GB로 압축되고 50분 소요됨.
4. 백업 확인 ( -t : --list )
tar -tvf /root/tar/mybackup.tar.bz2
 Mount 해제 및 snapshot 삭제
1. Mount 해제
cd /
umount /root/mnt/u01
umount /root/mnt
/bin/rm -rf /root/mnt
2. Snapshot 삭제
lvremove /dev/VGExaDb/u01_snap
lvremove /dev/VGExaDb/root_snap
3. NFS mount 해제
umount /root/tar
Default 파티션에 대한 복구
 Diagnostics.iso 파일을 이용한 시스템 부팅
1. NFS 백업 파일 준비
2. ILOM의 가상 CD-ROM으로 부팅
1) /opt/oracle.SupportTools/diagnostics.iso 파일을 복사
2) 웹브라우져에서 http://ILOM_IPAddress 로그인
3) Remote Control tab > Remote Console > Devices > CD-ROM image > 복사한 diagnostic.iso 파일 선택
4) Remote Control tab > Host Control > CDROM 선택 및 Save 클릭
Default 파티션에 대한 복구
 Restore system from NFS backup archive
Choose from following by typing letter in '()‘:

(e)nter interactive diagnostics shell. Must use credentials from Oracle
support to login (reboot or power cycle to exit the shell),
(r)estore system from NFS backup archive,
Select: r
Are you sure (y/n) [n]: y
Enter path to the backup file on the NFS server in format:

<ip_address_of_the_NFS_share>:/<path>/<archive_file>
For example, 10.10.10.10:/export/operating_system.tar.bz2
NFS line: ip_address:/nfs_location/mybackup.tar.bz2
IP Address of this host: DB_Server_IPAddress
Netmask of this host: DB_Server_Netmask
Default gateway: DB_Server_DefaultGateway
The backup file could be created either from LVM or non-LVM based compute node
versions below 11.2.1.3.1 and 11.2.2.1.0 or higher do not support LVM based partitioning
use LVM based scheme(y/n): y
ILOM의 CD-ROM image 체크해제 및 root 유저로 로그인 후 reboot

(SPC) Oracle Exadata 운영자교육 v1.3

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

(SPC) Oracle Exadata 운영자교육 v1.3

Uploaded by

Copyright:

Available Formats

Oracle Exadata

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |

• Hybrid Architecture : Oracle DBMS (SMP : Shared Disk)

Oracle DBMS Server Shared Disk

Oracle Exadata Storage

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |

Cell Control OEL OEL OEL

Exadata Storage Server Exadata Storage Server Exadata Storage Server

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |

RDBMS instance ASM instance

cell_disk_ adrci iDB Protocol iDB Protocol

ib0 ib1 ib0 ib1

MS internal List accessible List local

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |

2EA* Sun Datacenter

2EA* Database Server 1EA* Cisco Catalyst

3EA* Exadata Storage

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |

Dual 10 GbE SFP+LP, InfiniBand

ILOM Bonding NET0

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |

Disk assembly, 4 TB, 7.2 K, SAS

Exadata IB Switch Exadata Cisco Switch

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |

Service Amber • OFF – Normal operation

SP OK Green • OFF – Service processor (SP) is not running.

Over Temperature Amber • OFF – Normal operation; no service is required.

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |

Storage Drive Status Indicators

Service Amber • OFF – Normal operation.

Power Supply Status Indicators

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |

2 x 18core Intel 256GB DRAM 2 x 8core Intel Xeon

Dual Port Infiniband Dual Port Infiniband

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |

[bondeth0] 고객 Service S/W

U17 Database Server 0 NET0

U16 Database Server 0 NET0

U06 Exa Storage Server

U04 Exa Storage Server

U02 Exa Storage Server

U22 IB Switch #20 NET0

U20 IB Switch #10 NET0

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |

U17 Database Server

U16 Database Server

U06 Exa Storage Server

U04 Exa Storage Server

U02 Exa Storage Server

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |

P1 U17 Database Server P2

P1 U16 Database Server P2

P1 U06 Exa Storage Server P2

P1 U04 Exa Storage Server P2

P1 U02 Exa Storage Server P2

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |

• Cell Node Disk 사용량 점검

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |

[root@cl05 ~]# imageinfo

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |

• ILOM은 전용 하드웨어와 소프트웨어가 각 서버에 사전에 설치되며 임베디드 OS와 전용 Ethernet