Emc Scaleio Best Practices - Sap Hana Tdi

白皮书
SAP HANA 定制的数据中心集成和 EMC®

SCALEIO® 融合基础架构的存储配置最佳做法
EMC 解决方案
概要
本白皮书展示了一种新方法，可用于突破 SAP HANA 基于应用装置的传统

部署的限制。本白皮书显示了如何根据 EMC® ScaleIO® 融合存储为 HANA
配置定制的数据中心集成 (TDI) 解决方案。该解决方案提供适用于 HANA 的
基于服务器的标准存储，并且具有更高级别的灵活性和可扩展性。
2014 年 12 月
版权所有 © 2014 EMC Corporation。保留所有权利。
EMC 确信本出版物在发布之日内容准确无误。本出版物中的信息可随时更改
而不另行通知。
本出版物的内容按“原样”提供。EMC Corporation 对本出版物的内容不提供任

何形式的陈述或担保，明确拒绝对有特定目的的适销性或适用性进行默示
担保。
使用、复制或分发本出版物所描述的任何 EMC 软件都要有相应的软件许可证。
有关最新的 EMC 产品名称列表，请参阅 china.emc.com 上的 EMC Corporation

商标。
此处使用的所有商标均为其各自所有者的财产。
部件号 H13731
SAP HANA 定制的数据中心集成和 EMC ScaleIO 融合基础架构 2

的存储配置最佳做法
白皮书
目录
执行摘要 ............................................................................................................................................ 5
业务案例 ......................................................................................................................................... 5
适用于 HANA TDI 的 EMC ScaleIO ................................................................................................ 5
EMC 和 VCE 测试 ......................................................................................................................... 6
用途 ................................................................................................................................................. 6
范围 ................................................................................................................................................. 7
目标读者 ......................................................................................................................................... 7
EMC ScaleIO 测试环境 ........................................................................................................................ 8

平台组件 ......................................................................................................................................... 8
计算 ............................................................................................................................................ 8
网络 ............................................................................................................................................ 8
存储 ............................................................................................................................................ 8
ScaleIO 节点 .................................................................................................................................... 9
HANA 的磁盘类型 ............................................................................................................................ 9
HANA 持久性卷 ................................................................................................................................ 9
HANA 共享文件系统 ........................................................................................................................ 9
纵向扩展和横向扩展 ....................................................................................................................... 9
纵向扩展配置 .................................................................................................................................. 9
横向扩展配置 ................................................................................................................................ 10
配置详细信息和建议 ........................................................................................................................ 12
前提条件 ....................................................................................................................................... 12
网络配置 ....................................................................................................................................... 13
VLAN ......................................................................................................................................... 14
绑定 .......................................................................................................................................... 15
安装 ScaleIO 组件 .......................................................................................................................... 16
安装步骤 ................................................................................................................................... 17
配置存储 ....................................................................................................................................... 18
设置 ScaleIO 群集 .......................................................................................................................... 18
使用 SCLI 登录 .......................................................................................................................... 19
在 MDM 群集中安装 ScaleIO 许可证 ......................................................................................... 19
准备 MDM ................................................................................................................................. 19
创建容量 ................................................................................................................................... 19
调整 ScaleIO 群集 .......................................................................................................................... 22
缓存设置 ................................................................................................................................... 22
XtremSF PCIe 闪存卡设置 .......................................................................................................... 22
LSI 控制器和 SAS HDD 设置 ...................................................................................................... 23
ScaleIO 存储池配置 .................................................................................................................. 25

白皮书
从 SAP HANA 节点访问 ScaleIO 存储 ................................................................................................ 30
在 ScaleIO 中启用对 Linux 本机多路径的支持 ............................................................................... 30
在 HANA 节点上启用 Linux 本机多路径 ......................................................................................... 30
使用 XFS 文件系统格式化数据块设备 ........................................................................................... 31
装载数据块设备 ............................................................................................................................ 31
数据保护和业务连续性 .................................................................................................................... 32
结论 ................................................................................................................................................. 33
摘要 ............................................................................................................................................... 33
参考资料 .......................................................................................................................................... 34
EMC 文档 ....................................................................................................................................... 34
SAP 文档 ........................................................................................................................................ 34
Web 资源 .................................................................................................................................. 34
注意：部署选项 ........................................................................................................................ 34
注意：虚拟化 ........................................................................................................................... 34
附录 ................................................................................................................................................. 35

白皮书
执行摘要
SAP HANA 为企业提供了巨大的机遇，可利用大数据获得竞争优势。凭借众多的
内存中处理功能，HANA 支持实时运行应用程序和分析，加快商务智能和复杂计
算的速度。
尽管传统上仅部署为应用装置，但是利用预先集成的服务器、存储和网络，SAP
还定义了一个备用部署选项，名为定制的数据中心集成 (TDI)。TDI 为企业提供了
更大的灵活性，使其可以选择运行 HANA 的硬件组件。
EMC® ScaleIO® 软件为 HANA 的 TDI 实施提供高性能、可扩展且经济高效的存储

解决方案。ScaleIO 支持企业在行业标准服务器中使用内部存储，并创建存储区
域网络 (SAN) 为 HANA 提供共享数据块存储。ScaleIO 提供灵活的部署选项，可
通过完全融合的方式安装在现有应用程序服务器上，也可安装在专用服务器上。
借助 ScaleIO，企业大大提高了灵活性，可从小型 HANA 实施入手，并随着业务

需求的增长进行扩展。ScaleIO 还消除了传统 HANA 应用装置中对大量前期投资
的需求，从长远来看可以避免受制于供应商。
EMC 和 VCE 已携手对采用 SAP HANA 的 ScaleIO 进行了测试。这些测试旨在证明

ScaleIO 可以达到 SAP 的性能基准。通过这些测试，EMC 和 VCE 还可以为
ScaleIO 基础架构优化配置选项，并将经过优化的配置选项共享给计划进行相似
实施的其他企业。
本白皮书介绍了我们构建的测试环境，并且为致力于为 HANA 部署 ScaleIO 的其

他企业提供了详细的配置建议和最佳做法。此外，本白皮书还包括有关如何启
用 SAP HANA 来访问 ScaleIO 存储的指导。
通过遵循本白皮书中的指导和建议，任何规模的企业都可以做好充分的准备，
从而成功将 ScaleIO 部署为适用于 SAP HANA 的 TDI 解决方案。
业务案例 SAP HANA 是功能强大的内存中数据库和应用程序平台，支持在线交易、预测分

析、空间处理等突破性功能。
传统上，SAP 需要 HANA 以应用装置模式部署，这样就可以通过集成产品包的形

式提供认证的计算、存储和网络组件。但是，这种应用装置模式将企业锁定在
特定的供应商硬件中，使他们无法使用数据中心的现有资源，限制了灵活性，
并且通常会增加 HANA 的应用成本。
为了应对此种情况，SAP 为 HANA 部署定义了 TDI 模式。借助 TDI，企业可以在

经 SAP 认证的服务器上部署 HANA，并且可以自行选择存储和网络设备，只要这
些设备受 SAP 支持即可。
TDI 模式可以加快 HANA 的部署速度，让 HANA 部署可以灵活地从较小环境开

始，然后根据需要进行扩展，避免了陷入受制于供应商的困境。这有助于企业
缩短实现价值的时间、降低风险以及削减 HANA 的资本支出和运营支出。
适用于 HANA TDI 的 EMC ScaleIO

EMC ScaleIO 为 SAP HANA 提供理想的 TDI 解决方案。ScaleIO 是纯软件存储区域
网络 (SAN)，将行业标准服务器上的内部存储转变为全局共享数据块存储。

白皮书
ScaleIO 提供单层弹性计算和存储体系结构，可为 SAP 应用程序和非 SAP 应用程
序提供线性可扩展性。如图 1. 中所示，ScaleIO 使企业可以从少量服务器以及
数 TB 的容量入手，然后将环境纵向扩展到数千台服务器和数 PB 的容量，同时
保持一致的性能。此外，ScaleIO 可以使用相同的底层体系结构进行纵向扩展和
横向扩展，以根据企业的各项要求扩展 SAP HANA。
图 1. EMC ScaleIO 根据业务需求进行扩展
借助 ScaleIO，企业可以获得 SAP HANA 所需的所有性能和容量。主要优势包括：

• 纯软件解决方案 — 可以灵活地根据业务需求进行扩展
• 不受硬件限制 — 使企业可以从一系列经 SAP 认证可用于 HANA 的服务器
中进行选择，并根据需要修改内部磁盘
• 部署灵活性 — 可轻松安装在现有基础架构中，也可作为全新部署安装在
物理环境或虚拟环境中
• 自行管理 — 添加或移除服务器时自动重新平衡容量，并且可以自我修复
以自动从服务器或磁盘故障中恢复
EMC 和 VCE 测试
EMC 和 VCE 对 ScaleIO 是否可作为适用于 SAP HANA 的 TDI 解决方案进行了广泛
的测试。根据测试，我们确定了可达到 SAP 为 HANA 设定的关键性能指标 (KPI)
的最佳系统配置。我们使用 SAP 硬件配置检查工具 (HWCCT) 对这些结果进行了
验证。
本白皮书介绍了我们遵循的过程以及用于测试的配置，以证明 ScaleIO 可作为适

用于 HANA 的可行 TDI 解决方案。本白皮书中还包括提示和最佳做法，供其他企
业在规划自己的部署时参考。本指导将帮助团队部署 ScaleIO 以避免问题并实现
预期的结果。
用途该解决方案的目的在于证明 EMC ScaleIO 融合存储为基于应用装置的 SAP HANA

传统部署提供可行的备用方案。根据 EMC 和 VCE 执行的测试，本白皮书证明了

白皮书
ScaleIO 可提供高度灵活、可扩展且经济高效的定制数据中心集成 (TDI) 解决方
案，从而达到 SAP 要求的 KPI。
此外，本白皮书还提供详细的配置信息和部署建议，旨在帮助企业成功实施
ScaleIO 作为其 SAP HANA 环境的 TDI 解决方案。
范围本白皮书包括以下信息：
• 介绍关键解决方案技术
• 介绍 EMC 和 VCE 构建用来评估采用 SAP HANA 的 ScaleIO 的总体测试环境
• 提供详细的配置信息和测试做法，用于设置和微调用于 HANA 的 ScaleIO
环境
• 提供有关如何从 SAP HANA 节点访问 EMC ScaleIO 存储的建议
• 包含资源以提供其他详细信息
目标读者本白皮书的目标读者包括系统集成商、系统或存储管理员、客户、合作伙伴以及
EMC 全球服务团队中需要在 TDI 环境中为 SAP HANA 配置 EMC ScaleIO 的成员。

白皮书
EMC ScaleIO 测试环境
EMC 和 VCE 采用实验室设置为 ScaleIO 和 SAP HANA 构建了测试环境，以全面了
解可达到 SAP HANA 独特工作负载特征所需性能的最佳配置。SAP HANA 上的
I/O 工作负载主要包括两个部分：
• 数据卷上的随机 I/O
• 日志卷上的顺序 I/O
此外，SAP HANA 为日志卷和数据卷使用不同的数据块大小。日志卷的 I/O 使用

4 KB、16 KB 和 1 MB 的数据块大小。数据卷的 I/O 使用 4 KB、16 KB、64 KB、
1 MB、16 MB 和 64 MB 的数据块大小。
为了在这些测试中模拟特定的 SAP HANA I/O 工作负载，EMC 和 VCE 使用了 SAP

HANA 硬件配置检查工具 (HWCCT)。该工具由 SAP 提供，可验证测试结果是否达
到 SAP 为 SAP HANA 设定的 KPI。
平台组件测试环境包含 Cisco 统一计算系统 (UCS) 服务器以及在 Linux 操作环境中运行

HANA 和 ScaleIO 的内部存储，此外还包含 Cisco 网络和 EMC 存储。
EMC 和 VCE 使用了以下特定组件，并且建议企业在采用适用于 SAP HANA 的

ScaleIO 自行进行测试时，使用这些配置作为最佳做法。
计算
• 4 个 Cisco UCS C460 M4 架装服务器（HANA 节点） 1
 1 TB RAM
 3 个 Cisco 虚拟接口卡 (VIC) 1225T（10 Gbps 双端口 PCIe 网卡）
• 2 个 Cisco UCS C240 架装服务器（ScaleIO 管理节点）
 96 GB RAM
 2 个 UCS VIC 1225T 10 Gbps 双端口 PCIe 网卡
• 操作环境
 在裸机服务器上运行的 SUSE Linux Enterprise Server (SLES) 11 SP3
（第一次构建）
 在裸机上运行的 Red Hat Enterprise Linux (RHEL) 6.5（第二次构建）
网络
• 2 个 Cisco Nexus 3064-T
存储
• 每台 C460 服务器 8 个 1.2 TB 10K SAS 驱动器，配备 2 个可选的 EMC
XtremSF™ 多层单元 (MLC) PCIe 闪存卡
 每台 C240 服务器可使用多达 24 个 1.2 TB 10K SAS 驱动器
• 可选的 VNXe 3300 用于集中启动卷、HANA 共享、备份
1
本文介绍了在物理服务器上执行的测试。EMC 和 VCE 计划在 VMware 虚拟化环境中执
行其他测试。

白皮书
ScaleIO 节点 ScaleIO 需要至少三个节点来容纳元数据管理器 (MDM)、ScaleIO 数据服务器
(SDS)、ScaleIO 数据客户端 (SDC) 和绑定断路器 (TB)。ScaleIO 节点采用如下配置：
• 节点 1 — MDM、SDS、SDC
• 节点 2 — MDM、SDS、SDC
• 节点 3 — TB、SDS、SDC
ScaleIO 提供灵活的部署选项，可通过完全融合的方式安装在现有应用程序服务
器上，也可安装在专用服务器上。
HANA 的磁盘类型 EMC 和 VCE 为 ScaleIO 测试环境使用以下磁盘配置，并且建议对适用于 SAP

HANA 的 Scale IO 采用此配置：
• 10,000 RPM（或更快）的 SAS 磁盘
• 可选：EMC XtremSF MLC PCIe 闪存卡为日志卷提供单独的磁盘池来最大限
度提高性能
HANA 持久性卷每个 SAP HANA 执行器节点需要两个卷来实现数据库持久性：一个数据卷，一个

日志卷。卷的大小取决于 HANA 节点的 RAM 大小。《 SAP HANA Storage
Requirements White Paper》（SAP HANA 存储要求白皮书）提供了公式来计算
适当的卷（文件系统）大小。
EMC 和 VCE 遵循了 SAP 建议的公式，具体如下：

• 数据大小 = RAM 大小 * 1
• 日志大小 = RAM 大小 * 1
为了实现高可用性，ScaleIO 为每个卷保留两个物理上分离的拷贝。EMC 和 VCE

建议留出与单台服务器容量（假设所有服务器的配置完全相同）相等的备用容
量。这样，您就可以在服务器或磁盘出现故障时，通过拷贝自动重新构建卷。
HANA 共享文件 SAP HANA 数据库二进制文件必须安装在高度可用的共享文件系统上。有多个选

系统项可用于构建此共享文件系统，包括：
• 基于 ScaleIO 数据块设备部署群集化文件系统 (OCFS2)
• 配置两个 ScaleIO 节点作为高度可用的群集化 NFS
• 导出现有存储阵列上的 NFS 共享
在测试环境中，EMC 和 VCE 将 HANA 共享文件系统配置为现有存储阵列上的

NFS 导出。要调整共享文件系统的大小，我们建议使用以下公式：
HANA 节点数 * 单个节点的 RAM 大小
纵向扩展和横向 EMC 和 VCE 在纵向扩展和横向扩展配置中都执行了 ScaleIO 验证测试。

扩展
纵向扩展配置第一次测试在具有 1 TB 内存的单节点纵向扩展配置中执行，如图 2. 中所示。

白皮书
图 2. 用于 ScaleIO 验证测试的纵向扩展配置
EMC 和 VCE 使用以下公式计算了此配置的总磁盘容量：
(1 x 1 TB 数据 + 1 x 1 TB 日志 + 1 x 1 TB 共享 FS + 0.1 TB 其他) x
2 + 15% = 7.13 TB
对于此配置，我们将备用值设置为 15%。各个企业应根据其各自的配置要求来
调整该设置。
横向扩展配置第二次测试在具有 4 个 1 TB 内存的四节点横向扩展配置中执行，如图 3. 中所示。

白皮书
图 3. 用于 ScaleIO 验证测试的横向扩展配置
EMC 和 VCE 使用以下公式计算了横向扩展配置的总磁盘容量：
4 x (1 x 1 TB 数据 + 1 x 1 TB 日志 + 1 x 1 TB 共享 FS + 0.1 TB 其
他) x 2 + 15% = 28.52 TB
我们将备用值设置为 15%。各个企业应根据其各自的配置要求来调整该设置。

白皮书
配置详细信息和建议
此部分提供有关 EMC 和 VCE 如何构建 ScaleIO 测试环境的配置详细信息。我们
使用各种不同的配置为每个组件运行了测试，以确定哪一配置可产生最佳的总
体结果。
EMC 和 VCE 确定以下配置可为 SAP HANA 环境提供最佳级别的性能、可扩展

性、高可用性和成本。我们建议其他 IT 组织也为自己的 HANA TDI 环境使用相同
配置。
前提条件在为每个组件配置特定设置之前，应完成以下任务：
• 构建物理群集
• 在群集中的所有节点上安装和配置 Linux 操作环境 (SLES/RHEL)
• 建立以下网络配置：
 所有组件之间具有 10 GB 的网络连接
 所有节点之间具有可接受的网络带宽和延迟
 支持网络节点之间所需带宽的以太网交换机
 在所有服务器和交换机之间采用一致的最大传输单位 (MTU) 设置。对
于巨型帧支持，将服务器、交换机和虚拟交换机的 MTU 设置为
9000 字节。
 打开服务器本地防火墙中的端口：
o MDM — 6611 和 9011
o SDS — 7072
o 绑定断路器 — 9011
 实施 SAP Note 401162 以避免 TCP/IP 端口冲突导致的问题
注意：ScaleIO 需要至少三台 SDS 服务器，以及至少 300 GB 的综合可用容量。这些最

小值对每个系统和存储池都适用。要创建卷，存储池必须包含至少三个不同 SDS 服务
器中的设备。

白皮书
网络配置 EMC 和 VCE 在所有服务器之间构建了完整配置的网络。网络连接在两台 Cisco
3064T 交换机之间进行了平衡，如图 4. 中所示。
图 4. 用于 ScaleIO 构建的网络配置
我们在每台 UCS C460 服务器上安装了三个 UCS VIC 1225T 网卡，每个 VIC

1225T 提供两个 10 Gbps 接口，如图 5. 中所示。此外，我们在每台 UCS C240
服务器中安装了两个 UCS VIC 1225T 卡。
图 5. C460 网络接口

白皮书
VLAN
EMC 和 VCE 在用于测试的网络中配置了多个 VLAN：
• VLAN a — 通过 Cisco Integrated Management Controller (CIMC) 实现的管理
连接
• VLAN b — 内部 HANA 通信（节点间 HANA）
• VLAN c — 内部 ScaleIO 通信（节点间 ScaleIO）
• VLAN d — 生产/客户网络
• VLAN e — 核心和互连交换机间链路 (ISL)
ScaleIO 使用 VLAN c 在 ScaleIO 群集中的服务器之间进行通信。在服务器之间传
递的信息类型包括管理和数据通信。这些数据分解为区块并且始终写入不同服
务器中两个物理上分离的设备，如图 6. 中所示。
在进行初始测试之后，EMC 和 VCE 在 ScaleIO 中增加了多个 IP/VLAN，由红色实

线和绿色虚线表示。
图 6. VLAN

白皮书
我们使用 ScaleIO 命令行界面 (SCLI) 键入了以下命令以增加和移除其他 IP (SCLI)：
scli --add_sds_ip --sds_name StorageN1 --new_sds_ip
172.24.11.40
scli --remove_sds_ip --sds_name SAP_HANA_NODE2 --
sds_ip_to_remove 172.24.11.70
通过 SCLI 还可轻松查看分配的 IP，如图 7. 中所示。
图 7. 使用 scli 命令查看分配的 IP
通过在 ScaleIO 中添加第二个 IP 范围，我们缩短了数据设备的延迟（微秒）

值，而且还降低了其他一些吞吐量值。尽管略有下降，但吞吐量结果仍高于
SAP 要求的 KPI。
绑定
为了最大限度提高每台服务器的带宽和高可用性，EMC 和 VCE 绑定了每个接
口。通过绑定可创建逻辑接口，通常为 BONDx，它将关联到两个物理接口。我
们在 SLES 和 RHEL 操作环境中测试了绑定。
我们运行了以下命令在 SLES 中绑定接口。在 SLES 和 RHEL 之间进行绑定的差异

在于配置文件的语法。
首先，我们绑定每台 C460 服务器中可用的六个以太网接口，形成了三个不同的

绑定：Bond0、Bond1 和 Bond2。这需要了解哪些接口连接到交换机中的哪些
端口。然后，我们将正确的接口成对分组，如图 6. 中所示。
在此设置中，如图 8. 中所示，每个绑定都有一个连接到交换机 A 的物理接口，

以及连接到交换机 B 的第二个接口。两个物理接口也称为从接口。
图 8. SLES 中的从配置文件
每个组件（包括逻辑绑定）在 SLES 中具有自己的配置文件，如图 9. 中所示。

白皮书
图 9. SLES 中的绑定配置文件
SLES 的网络配置文件位于 /etc/sysconfig/network 中。
例如，我们为 Bond0 创建了以下配置文件：
/etc/sysconfig/network/ifcfg-bond0
/etc/sysconfig/network/ifcfg-eth4
/etc/sysconfig/network/ifcfg-eth5
图 9. 显示了一个物理从接口的配置文件。
在加载 Bond0 的驱动程序时引用了 BONDING_MODULE_OPTS 。（请参见图
9. 。）miimon=100 值告诉驱动程序使用毫秒级监控，每隔 100 微秒观察一次链
路故障。mode 参数指定了四个绑定策略中的一个。
可能的模式值包括：
• 0 Round-robin policy（默认值）— 从第一个可用的从接口到最后一个从接
口按顺序进行传输。此模式提供负载平衡和容错能力。
• 1 Active-backup policy — 绑定中仅有一个从接口处于活动状态。当且仅当
活动的从接口出现故障时，另一个从接口才会变为活动状态。绑定的 MAC
地址仅对外部的一个端口（网络适配器）可见，以免交换机出现混乱。该
模式提供容错能力。
• 2 XOR policy — 根据 [(通过目标 MAC 地址进行 XOR 运算得到的源 MAC 地
址) 模块从接口计数] 传输。该模式为每个目标 MAC 地址选择相同的从接
口。此模式提供负载平衡和容错能力。
• 3 Broadcast policy — 在所有从接口上传输所有内容。该模式提供容错能力。
EMC 和 VCE 针对以上所有选项执行了测试，并测量了带宽。默认的循环调度配
置实现了最佳性能。
我们还使用了 MTU 选项，其设置为 9000。
安装 ScaleIO 组件必须安装以下 ScaleIO 组件：

• 元数据管理器 — (MDM)
配置和监视 ScaleIO 系统。使用主 MDM 和辅助 MDM 在群集模式下安装
MDM，并在三台独立的服务器上安装绑定断路器。群集模式支持冗余。

白皮书
• ScaleIO 数据服务器 — SDS
安装在向 ScaleIO 系统提供存储设备的所有服务器上。
• ScaleIO 数据客户端 — SDC
安装在将为其上运行的 HANA 应用程序提供 ScaleIO 卷的每台服务器上。
• 轻量级安装代理 — LIA（可选）
简化未来升级并支持访问获取信息操作，无需每个节点的操作系统密码。
EMC 和 VCE 将实验室环境设置为六节点群集，其中两个节点充当管理节点（sio-

mgmt1、sio-mgmt2），四个节点运行 SAP HANA（sio-hana1、sio-hana2、sio-
hana3、sio-hana4）。
MDM、SDS、SDC 和绑定断路器组件安装在以下节点上：
• MDM — 管理节点 sio-mgmt1 (MIP1) 和 sio-mgmt2 (MIP2)。请注意，MDM
群集 IP 为 <IP_CLUSTER>，这是 MDM 的虚拟 IP。
• SDS — sio-mgmt1 (MIP1)、sio-mgmt2 (MIP2) 和 sio-node 1 到 4。
• SDC — sio-node 1 到 4。
• 绑定断路器 — sio-node1 (IP1)
安装步骤
以下步骤提供了有关安装 ScaleIO 的一般指导原则。我们建议同时也参考 EMC
在线支持上提供的完整《ScaleIO User Guide》（ScaleIO 用户指南）。
安装 ScaleIO 的步骤：
1. 在管理服务器上安装第一个 MDM。
例如：
rpm -i EMC-ScaleIO-mdm-1.30-
0.InstallationManager.el6.x86_64.rpm
2. 在另一台管理服务器上安装第二个 MDM，然后在第三台服务器上安装绑
定断路器。
例如：
rpm –i EMC-ScaleIO-tb-1.30-
3. 在将为 ScaleIO 系统提供存储驱动器的每台服务器上安装 SDS 组件：

例如：
rpm –i EMC-ScaleIO-sds-1.30-
4. 在需要将存储卷提供给应用程序的每台服务器上安装 SDC 组件。

例如：
MDM_IP=<MDM-IP>
rpm –i EMC-ScaleIO-sdc-1.30-

白皮书
5. 在每个节点上安装 LIA 组件（可选）。
例如：
rpm –i EMC-ScaleIO-lia-1.30-
6. 根据需要安装 GUI。
例如：
rpm -U scaleio-gui-1.30.0-InstallationManager.noarch.rpm
配置存储 ScaleIO 可以使用任何可用磁盘容量（内部或直连存储 (DAS)），包括 SAS 硬盘

驱动器 (HDD) 或基于闪存的设备，例如，固态驱动器 (SSD) 和 PCIe 卡。
我们建议将原始存储配置为独立设备 (RAID 0)，因为 ScaleIO 提供自己的网状镜

像保护方案，并且任何其他 RAID 配置都会对性能产生消极影响。
如果服务器具有 RAID 控制器，我们建议使用控制器的缓存功能来提高性能。对

于写入缓存，RAID 控制器必须具有备用电池以规避数据损坏风险。对于 HDD 设
备，我们建议启用 RAID 控制器缓存。配置因闪存设备而异，具体取决于设备的
行为。例如，EMC XtremSF MLC PCIe 卡需要板载缓存来提高性能。
添加新节点时，ScaleIO 会在节点间重新分布数据以提高网络性能。ScaleIO 在存
储或网络中检测到故障时，会在其他位置创建新的数据拷贝以确保数据完整性。
我们建议使用 SCLI 来配置和维护 ScaleIO。要配置和监视内部 DAS 存储，请使

用供应商提供的工具。通过 ScaleIO 控制面板可以轻松管理和监视整体环境，如
图 10. 中所示。
图 10. ScaleIO 控制面板
设置 ScaleIO 群集安装 ScaleIO 组件（MDM、SDS、SDC、绑定断路器）后，按如下方式设置

ScaleIO 群集：
• 使用 CLI 登录
• 在 MDM 群集上安装 ScaleIO 许可证

白皮书
• 准备 MDM
• 创建容量
使用 SCLI 登录
登录到管理系统，然后执行 SCLI 命令：
scli --login --username <用户名> [--password

<密码>]
默认的用户密码为 admin。
注意：为增强流程的安全性，我们建议不要添加密码参数，而是提交仅包含用户名的命
令，并交由系统提示输入密码。系统不会显示密码，并且不会记录在命令历史记录中。
在 MDM 群集中安装 ScaleIO 许可证

使用 CLI 时，键入以下命令：
scli --query_license
scli --set_license --license_file <许可证文件>
准备 MDM
键入以下命令以准备 MDM：
1. 在管理节点 1 (MIP1) 上定义主 MDM：

scli --add_primary_mdm --primary_mdm_ip <MIP1> --
virtual_IP <MIP_CLUSTER>
2. 在管理节点 2 (MIP2) 上定义辅助 MDM：

scli --add_secondary_mdm --mdm_ip <MIP_CLUSTER> --
secondary_mdm_ip <MIP2>
3. 在应用程序节点 1 (IP1) 上定义绑定断路器：

scli --add_tb tb_ip IP1 --mdm_ip <MIP_CLUSTER>
4. 切换到群集模式：
scli --switch_to_cluster_mode --mdm_ip <MIP_CLUSTER>
注意：在我们的实验室环境中，我们在专用的管理服务器上设置了 MDM。MDM 还可
在 HANA 服务器上运行。
创建容量
在 ScaleIO 中配置容量时，执行以下操作。所有管理任务都由主 MDM 使用 SCLI
命令执行。

白皮书
容量配置序列
以下说明提供了有关在创建容量时执行每个步骤的指导。有关详细信息，请参
阅《ScaleIO User Guide 》（ScaleIO 用户指南）。
添加保护域
保护域由一系列 SDS 组成。通过键入以下命令创建命名为 SAP_HANA_PROD1 的
保护域：
scli --add_protection_domain
--mdm_ip <IP_CLUSTER> --protection_domain_name SAP_HANA_PROD1
添加存储池
存储池是给定保护域中的 SDS 子集。数据卷在组成存储池的设备中进行分配。
注意：请勿在同一存储池中混用不同类型的磁盘，例如 SAS 和 SSD。
通过键入以下命令，为 HANA 应用程序创建存储池：

scli --mdm_ip <IP_CLUSTER> --add_storage_pool --
storage_pool_name SP_HANA_SAS1 --protection_domain_name
SAP_HANA_PROD1
接下来，将 SDS 及其设备添加到 SAP_HANA_PROD1 存储池 SAP_HANA_SAS1：

scli --add_sds --mdm_ip <IP_CLUSTER>
--sds_ip IP1 --device_name
</dev/d1>,</dev/d2>,</dev/d3>,</dev/d4>
--sds_name SIO-MGMT1 --storage_pool_name SP_HANA_SAS1 --
protection_domain_name SAP_HANA_PROD1

--sds_name SIO-MGMT2 --storage_pool_name SP_HANA_SAS1 --

--sds_name SIO-HANA1 --storage_pool_name SP_HANA_SAS1 --

白皮书


键入以下命令以便以后为 SDS 的存储池添加更多设备：

scli --add_sds_device --sds_ip <IP1> --protection_domain_name
SAP_HANA_PROD1 --storage_pool_name SP_HANA_SAS1 --device_name
/dev/d5
键入以下命令从 SDS 的存储池中移除设备：

scli --remove_sds_device --sds_ip <IP1> --
protection_domain_name SAP_HANA_PROD1 --storage_pool_name
SP_HANA_SAS1 --device_name /dev/d4
创建卷并将卷映射到 SDC
借助 ScaleIO，用户可以轻松地定义卷，并只需指定哪些 SDC 可访问给定的卷，
即可在许多 SDC 之间共享这些卷。这会执行以下操作：
• 对每个卷公开访问控制
• 明确将卷映射到群集中的 HANA 节点
将卷映射到 SDC 后，SDC 即获得该卷的访问权限，并将其作为标准的数据块设

备或适用于 VMware 配置的 iSCSI 设备在本地公开给应用程序。设备显示为
/dev/sciniX，其中 X 是一个字母，例如 /dev/scinia 或 /dev/scinib。
以下步骤提供了有关创建和映射卷的指导。
1. 通过键入以下命令定义一个 1024 GB 的卷并将其命名为

HANA_VOL_DATA1：
scli --add_volume --mdm_ip <IP_CLUSTER>
--size_gb 1024--volume_name HANA_VOL_DATA1
--storage_pool_name SP_HANA_SAS1 --protection_domain_name
HANA_PROD
2. 通过键入以下命令将 HANA_VOL_DATA1 映射到 IP1 上的 SDC：
scli --map_volume_to_sdc --mdm_ip <IP_CLUSTER>
--volume_name HANA_VOL_DATA1 --sdc_ip <SDC_IP1>
可以将同一卷映射到多个 SDC，但是一次只能有一个 SDC 使用此卷，以避免出
现潜在的数据损坏情况。

白皮书
如果需要，可通过键入以下命令取消映射卷并将卷从 SDC 中移除：
scli --unmap_volume_from_sdc --sdc_ip <SDC_IP1> --volume_name
HANA_VOL_DATA1
scli --remove_volume --volume_name HANA_VOL_DATA1
将多个 IP 添加到 SDS

SDS 支持多达 8 个 IP 地址，这有助于提高性能并在链路出现故障的情况下提供
冗余。要为 SDS 节点配置多个 IP，请键入以下命令：
scli --mdm_ip 172.24.12.250 --add_sds_ip --sds_name SIP_HANA1 -
-new_sds_ip 172.24.11.10
检测卷
ScaleIO 定期扫描系统来检测映射到 SDC 的新卷。要了解特定 SDC 节点的最新
状态，还可以启动扫描。
调整 ScaleIO 群集设置 ScaleIO 群集后，EMC 和 VCE 按如下方式微调了群集。其他 IT 组织还可使

用此信息作为指导，以在其 HANA 环境中优化 ScaleIO 群集性能。
缓存设置
我们 ScaleIO 测试环境中使用的 SAS 驱动器配置达到了针对生产性 HANA 系统的
SAP KPI。为了进一步提高性能，企业可以使用 EMC XtremSF MLC PCIe 闪存卡或
SSD 为日志卷添加池。我们使用以下设置成功地优化了这些磁盘类型。
• XtremSF 写入缓存设置：
在 P320h (SLC) 和 P420m (MLC) 内部的写入缓存设置可仅在使用 RealSSD
Manager 的 P320h 上启用或禁用。务必要记住，如果启用了该设置，意外
断电可能导致写入缓存中的数据丢失。默认情况下，P420m 上的内部驱
动器设置处于启用状态，无法更改。P420m 支持供电保持保护，可在意
外断电情况下保护数据。
• ScaleIO SSD 配置优化：
要提高 SSD 性能，请在每个 SDS 节点上的
/opt/scaleio/ecs/sds/cfg/conf.txt 文件中键入以下设置：
tgt_net__recv_buffer=4096
tgt_net__send_buffer=4096
tgt_cache__size_mult=3
tgt_thread__ini_io=500
tgt_thread__tgt_io_main=500
tgt_umt_num=1200
tgt_umt_os_thrd=6
tgt_net__worker_thread=6
tgt_asyncio_max_req_per_file=400
通过在每个节点上键入以下命令重新启动 SDS：
# pkill sds
XtremSF PCIe 闪存卡设置

我们使用了 Micron Technology 的 RealSSD Manager 应用工具来微调每个
XtremeSF PCIe 闪存卡上的设置，如图 11. 中所示。
要启动 RealSSD Manager，请键入以下命令。必须先从 Micron Technology 网站

上下载并按照该工具。

白皮书
/opt/MicronTechnology/RealSSDManager #java –jar
RealSSDManager.jar
图 11. 使用 RealSSD Manager 应用工具的 XtremeSF 摘要屏幕
在 SLES 和 ScaleIO 存储配置下，使用 XtremeSF MLC 卡作为日志卷时，我们实现

了最佳结果和最低的延迟。测试了设备 > 中断合并中的所有选项后，我们可以通
过选择对延迟敏感的值而不是默认的高 IOPS 设置来优化延迟，如图 12. 中所示。
图 12. 中断合并
LSI 控制器和 SAS HDD 设置

对于 SAS HDD 存储，我们通过以下设置微调了环境：
• 服务器 — C460 M4
• 控制器 — LSI MegaRAID 9361-8i
• 驱动器 — 1.2 TB 6 Gb SAS 10K RPM SFF HDD
9361-8i RAID 控制器卡具有低剖面 PCI Express 的外形尺寸，其中 16 MB 的闪存

ROM 用于固件，32 KB 的非易失性随机访问内存 (NVSRAM) 用于存储 RAID 配置。

白皮书
有许多工具可用于配置 LSI 控制器 2，例如 WebBIOS 配置工具、命令行工具或存
储管理器图形应用工具。 3我们使用了以下命令行工具来通查各个值，并选择默
认设置作为最佳选项。
#/opt/MegaRAID/MegaCli/MegaCli64 –AdpAllinfo –aALL | more
注意：附录提供了有关 LSI 9361-81 设置的更多信息。
我们在每个 C460 M4 上安装了 8 个 SAS 驱动器 (HDD)，这是 LSI 控制器支持的

最大驱动器数。除了启动 HDD 和关联的镜像 HDD 之外，我们没有使用 LSI 控制
器配置任何其他 RAID 类型。
我们在 HDD 上配置了一些优化设置，并将这些设置应用到 ScaleIO 结构中的所

有驱动器。EMC 和 VCE 确定对 ScaleIO 中的所有 HDD 采用完全相同的配置至关
重要。错误配置的 HDD 将会影响整个 ScaleIO 存储池的性能。
我们使用了以下 storcli 命令将与读取和写入缓存相关的缓存设置从 RWBD 更改

为 HRWTD。
#./storcli64 /c0/v6 set wrcache=wb
#./storcli64 /c0/v6 set rdcache=RA
具体更改包括：
原始修订后
NR — 无预读 RW — 读写
WT — 直写 B — 已阻止
D — 直接 D — 直接
键入以下 storcli 命令以显示控制器和驱动器设置：

#/opt/MegaRAID/storcli
在测试期间，我们发现对设置进行这些更改可获得最佳性能。 4图 13. 显示了键

入此命令之前的 storcli 命令，图 14. 显示了运行该命令之后的 storcli 命令。
2
请参考《LSI 9361-8i MegaRAID Manual》（LSI 9361-8i MegaRAID 手册）
3
《MegaRAID SAS Software User Guide》（MegaRAID SAS 软件用户指南）提供有关如何
管理控制器和 HDD 的更多详细信息。
4
所有 LSI 命令都在 SLES 中运行

白皮书
图 13. Storcli 命令（之前）
图 14. Storcli 命令（之后）
ScaleIO 存储池配置
EMC 和 VCE 使用 SAP HWCCT 测试了各种池配置。除其他配置外，我们还评估了不
同的池大小、池数量、HDD 设置以及 HDD 数量。我们的目标是查找最佳配置来满
足 SAP 的 KPI，并为更改广泛的社区提供有关 ScaleIO 最佳做法配置的指导。
我们执行了全部使用内部 SAS 驱动器（SAS HDD 配置）的测试，以及将 SAS 存

储池与 XtremSF 相结合（SSD 和 SAS 配置）的测试。

白皮书
纯 SAS HDD 配置
对于全部在内部 SAS 驱动器上运行的测试，我们使用了以下配置，如图 15. 中
所示：
• 4 台 C460 M4 服务器，1 TB RAM
• HANA 3+1 5 横向扩展结构
• SAS HDD 上的数据卷和日志卷
• 一个 ScaleIO 存储池
图 15. 纯 SAS 驱动器配置
我们使用了以下公式来调整此配置中的 HANA：
• 数据设备 1 x RAM
• 日志设备 1 x RAM
我们构建了单个存储池，每个 C460 M4 中包含 6 个 SAS HDD。此外，我们还构

建了三组数据卷和日志卷，因为本使用案例基于 3+1 HANA 横向扩展配置。每台
服务器均通过 ScaleIO 池分配和装载一个数据卷和一个日志卷（hana1、hana2
和 hana3）。图 16. 显示了详细信息。
图 16. SDS 视图/列表
5
3+1 包含一个 HANA 备用服务器，尽管其对于 ScaleIO 来说完全可正常运行。

白皮书
我们使用 C460 Cisco 服务器在 ScaleIO 中配置了四个 SDS。您可以将多个 IP 主
干添加到 ScaleIO SDS，以帮助平衡 ScaleIO 通信和提高性能。
对于此使用案例，我们发现最佳配置是将单个 IP 地址/主干用于 ScaleIO 通信，

如图 16. 中所示。将其他 IP 主干添加到 ScaleIO 时，测试结果表明日志卷中的
延迟降低，但是也降低了数据卷和日志卷上的读取吞吐量等 KPI。
为了实现所需的 KPI，我们在 ScaleIO 群集中提供了至少一台额外服务器，以专

门运行与 ScaleIO 相关的操作。例如，如果需要 6 个 HANA 服务器/节点，则改
为使用 7 台服务器。此模型非常适合横向扩展 HANA 结构，其中的额外服务器
可以充当 HANA 备用服务器。HANA 中的备用服务器不会装载数据卷或日志卷，
直到出现故障，并且需要 HANA 高可用性。
如果需要更高的性能，可以通过额外的 HDD 来扩展 ScaleIO 存储池。另一选项

是添加服务器，例如 C240 管理服务器，如图 17. 中所示。添加服务器可增加存
储池中的可用 HDD 数量，以及存储池和 ScaleIO 群集中的服务器数量，从而有
助于提高吞吐量和 IOPS。
注意：任何给定存储池中的性能仅与最慢组件的速度相当，而且混合驱动器类型或添
加更快和更慢服务器中的驱动器可能无法实现所需的结果。
图 17. 添加额外 SDS 和扩展存储池
如果添加额外服务器，则应在其上安装 SDS。键入以下命令以添加 SDS：

#scli --add_sds --sds_ip 172.24.12.90 --protection_domain_name
SAP_HANA --device_name /dev/sde --storage_pool_name
SAP_HANA_SP_SAS --sds_name NODE4 –force_clean

白皮书
SSD (XtremSF) 和 SAS 驱动器配置
对于将内部 SAS 驱动器与 XtremSF 闪存驱动器结合使用的测试，我们使用了以
下配置：
• 4 台 C460 M4 服务器，1 TB RAM
• HANA 3+1 6 横向扩展结构
• SAS HDD 上的数据卷
• XtremeSF PCIe 卡上的日志卷
• 1 个 ScaleIO“SAS”池用于 SAS HDD
• 1 个 ScaleIO SSD 池用于 XtremSF PCIe 卡
我们对 HANA 使用了以下大小调整公式：

• 数据设备 1 x RAM
• 日志设备 1 x RAM
为了在日志卷中提高性能并实现非常低的延迟，我们本可以使用 SSD 或 PCIe 闪

存卡。使用基于 SAS 的 SSD 的不利之处在于它们占用了 HDD 的位置，而 C460
M4 限用 LSI 控制器中的 8 个 HDD。因此，我们选择了基于 PCIe 的解决方案。
默认情况下，C460 M4 配备单个载体和 5 个 PCIe 插槽。要获得更多插槽，可购

买第二个便宜的载体，以获得总计 10 个 PCIe 插槽。我们将两个 XtremSF 卡添
加到 4 台 C460 服务器中的每一台服务器。
对于此 ScaleIO 群集，我们使用了两个存储池，一个存储池包含 SAS HDD 用于

容纳数据卷，另一存储池包含 XtremSF PCIe 卡用于容纳日志卷，如图 18. 中所
示。使用 PCIe 卡的存储池大大缩短了延迟。
图 18. SAS 和 XtremSF 配置
6
3+1 包含一台备用服务器，即 +1 (HANA)。

白皮书
我们测试了基于 SLC 的卡和基于 MLC 的卡。在日志卷的延迟为主要 KPI 的情况
下，两种卡都超过了 SAP 基准。基于 SLC 的 XtremSF 卡比基于 MLC 的卡更快
速，但是 SLC 的成本也高于 MLC。

白皮书
从 SAP HANA 节点访问 ScaleIO 存储
在此部分中，EMC 和 VCE 提供有关如何使 SAP HANA 可以访问 ScaleIO 存储的指
导。为确保成功，必须按照前面部分中所述将所有 ScaleIO 卷映射到群集中的所
有 HANA 节点。
在 ScaleIO 中启用必须首先配置 ScaleIO 以支持 Linux 本机多路径。在 /etc/udev/rules.d/20-

对 Linux 本机多路 scini.rules 文件中键入以下条目：
径的支持
KERNEL=="scini*[!0-9]", SUBSYSTEM=="block",
PROGRAM="/bin/emc/scaleio/drv_cfg --query_block_device_id --
block_device $tempnode", SYMLINK+="disk/by-id/emc-vol-%c",
ENV{ID_BUS}="scsi", ENV{ID_SERIAL}="%c"
KERNEL=="scini*[!0-9]", SUBSYSTEM=="block",
PROGRAM="/bin/emc/scaleio/drv_cfg --query_block_device_id --
block_device $tempnode", SYMLINK+="disk/by-id/scsi-%c",
ENV{ID_BUS}="scsi", ENV{ID_SERIAL}="%c"
ACTION=="add", DEVPATH=="*scini*[!0-9]", RUN+="/bin/sh -c 'echo

noop > /sys$DEVPATH/queue/scheduler'"

1024 > /sys$DEVPATH/queue/max_sectors_kb'"

512 > /sys$DEVPATH/queue/nr_requests'
在 HANA 节点上启接下来，在 HANA 节点上启用 Linux 本机多路径，以便这些节点可访问 ScaleIO

用 Linux 本机多上的数据块设备卷。使用以下过程和命令，以在 HANA 节点上启用 Linux 本机多
路径路径：
1. 创建 /etc/multipath.conf 文件。为 ScaleIO 卷使用以下示例：

defaults {
user_friendly_names no
}
2. 创建配置文件后，重新启动多路径守护程序以激活设置并重新扫描新设备：
# rescan-scsi-bus.sh
# service multipathd stop
# service scini restart
# service multipathd start
HANA 持久性设备现在应当可见。
键入以下命令并确保所有 ScaleIO 设备都可见：
# ls -l /dev/mapper/*
# ls -l /dev/dm-*
# cat /proc/partitions,
# dmsetup table –v

白皮书
3. 键入以下命令验证是否提供了所有多路径设备：
server01:~ # multipath –ll
以下输出显示了设备的状态：
25e8b72d4664fcaeceb8c222800000007 dm-7 ,
size=500G features='0' hwhandler='0' wp=rw
`-+- policy='round-robin 0' prio=1 status=active
`- #:#:#:# scinia 251:0 active ready running
25e8b72d4664fcaeceb8c222600000006 dm-9 ,
size=600G features='0' hwhandler='0' wp=rw
`-+- policy='round-robin 0' prio=1 status=active
`- #:#:#:# scinib 251:16 active ready running
要仅列出 ScaleIO 多路径设备，请键入以下命令：

# multipath -ll|grep scini -B 4
注意：Linux 存储管理指南提供了有关如何在 HANA 节点上启用 DM-MPIO 的其他详细

信息。
使用 XFS 文件系统 EMC 强烈建议使用 XFS 作为 HANA 数据块设备的文件系统。要使用 XFS 文件系

格式化数据块设备统格式化 ScaleIO 数据块设备，请在 HANA 节点上键入以下命令：
$ mkfs.xfs /dev/mapper/25e8b72d4664fcaeceb8c222800000007
注意：对 ScaleIO 群集中的所有 HANA 应用程序卷运行此命令。
装载数据块设备在具有执行器节点和备用节点的 HANA 横向扩展环境中，适用于光纤通道的 SAP

HANA 存储连接器 API (fcClient.py) 会在 HANA 节点上装载和卸载设备。
除了装载设备外，存储连接器 API 还会使用 Linux 的 sg_persist 命令将 SCSI-

3 PGR 预留写入设备。这称为 I/O 防护，可确保一次仅有一个 HANA 节点可以访
问一组数据和日志设备。
存储连接器 API 在 SAP HANA global.ini 文件的存储部分中控制。以下是 global.ini

文件的示例：
[persistence]
basepath_datavolumes=/hana/data/ANA
basepath_logvolumes=/hana/log/ANA
use_mountpoints = yes
[storage]
ha_provider = hdb_ha.fcClient
partition_*_*__prType = 5
partition_*_data__mountOptions = -o relatime,inode64
partition_*_log__mountOptions = -o relatime,inode64,nobarrier
partition_1_data__wwid = 25e8b72d4664fcaeceb8c222300000003
partition_1_log__wwid = 25e8b72d4664fcaeceb8c222600000006

白皮书
global.ini 文件的存储部分包含用于数据块设备的条目，并且具有可选的装载选
项。对于 XFS 设备，请使用以下装载选项：
• Relatime
• nobarrier（经过 SAP 批准），仅用于日志设备
• inode64
数据保护和业务连续性
您可以使用多个选项来保护用于 SAP HANA 的 ScaleIO 群集中的数据。一个选项
是使用标准的 SAP 工具和过程（例如 HANA Studio），以在共享备份文件系统
或 EMC Data Domain® 重复数据消除存储系统上保存数据。
为实现最强大的保护和最高的效率，EMC 建议将 EMC Networker® 与备份集成以

及 EMC Data Domain 和 Data Domain Boost 软件结合使用来备份 HANA。
为实现高可用性，EMC ScaleIO 1.3 支持对物理服务器进行 SAP HANA 主机自动

故障切换。
SAP HANA 系统复制提供和灾难容受能力。

白皮书
结论
摘要使用 EMC ScaleIO 进行 SAP HANA 的 TDI 部署可获得许多优势，包括为 SAP 及其

他供应商提供的应用程序减少硬件和运营成本、降低风险以及提高硬件供应商
灵活性。
EMC 和 VCE 执行的测试显示了 ScaleIO 如何为 HANA TDI 实施提供高性能和实现

SAP 的 KPI。使用 ScaleIO 作为 HANA TDI 解决方案，您可以从小配置开始，并根
据业务需求进行扩展。
EMC ScaleIO 还具有极为广泛的用途。您可以从经 SAP 认证可用于 HANA 的广泛

服务器中进行选择，配置物理系统以及虚拟系统，以及使用相同的体系结构来
运行纵向扩展和横向扩展 HANA 环境。此外，ScaleIO 可以直接安装在现有基础
架构以及全新环境中。
根据本白皮书中提供的建议和最佳做法进行配置时，ScaleIO 可以轻松应用具有
TDI 配置的 SAP HANA。要了解其他专业知识，EMC 全球服务部门可提供全面的
一系列咨询、安装和支持功能，从而最大限度降低风险并提高该解决方案的投
资回报。
借助 ScaleIO，企业可获得灵活且经济高效的解决方案，让 SAP HANA 发挥最大

价值。

白皮书
参考资料
EMC 文档在 EMC 在线支持上查找以下其他资源：
• EMC ScaleIO 用户指南、发布说明、常见问题解答
SAP 文档 SAP 提供以下文档：
• 《SAP HANA Server Installation Guide》（SAP HANA 服务器安装指南）

Web 资源
• SAP HANA 平台
• 概述 — SAP HANA 定制的数据中心集成
注意：以下文档需要 SAP 用户名和密码。
注意：部署选项
• 说明 800326 — 适用于 Linux 环境的 EMC 认证解决方案
注意：虚拟化
• 说明 1788665 — 在 VMware vSphere 虚拟机上运行的 SAP HANA

白皮书
附录
LSI MegaRAID 9361-8i RAID 控制器设置
设置
预测故障轮询间隔：300 秒
中断调节活动计数：16
中断调节完成：50 微秒
重构速率：30%
PR 速率：30%
BGI 速率：30%
检查一致性速率：30%
重建速率：30%
缓存刷新间隔：4 秒
一次启动的最大驱动器数：2
启动组之间的延迟：12 秒
物理驱动器强制模式：1 GB
群集模式：已禁用
警报：已启用
自动重构：已启用
电池警告：已启用
ECC 存储区大小：15
ECC 存储区泄漏速率：1440 分钟
插入时恢复热备盘：已禁用
公开机箱设备：已启用
维护 PD 故障历史记录：已禁用
主机请求重新排序：已启用
启用自动检测底板：SGPIO/i2c SEP
负载平衡模式：自动
仅使用 PDE：是
分配安全密钥：否
安全密钥失败：否
安全密钥未备份：否
默认 LD 节能策略：定义的控制器
在 1 分钟内启动的最大直接连接驱动器数：10
自动增强导入：是

白皮书
保留任何离线 VD 缓存：否
允许通过保留的缓存启动：否
禁用在线控制器充值：否
NVRAM 中的 PFK：否
使用磁盘活动进行定位：否
POST 延迟：90 秒
BIOS 错误处理：忽略错误
当前启动模式：正常
功能
================
支持的 RAID 级别：RAID0、RAID1、RAID5、RAID6、RAID00、RAID10、RAID50、RAID60、PRL 11、具有跨越

功能的 PRL 11、受支持的 SRL 3、无跨越功能的 PRL11-RLQ0 DDF 布局、具有跨越功能的 PRL11-RLQ0 DDF 布局
支持的驱动器：SAS、SATA
限制
================
每个 VD 的最大臂数：32
每个 VD 的最大跨越数：8
最大阵列数：128
最大 VD 数：64
最大并行命令数：928
最大 SGE 计数：60
最大数据传输大小：8192 个扇区
每次 IO 的最大条带数：42
每个阵列的最大 LD 数：64
最小条带大小：64 KB
文件条带大小：1.0 MB
可配置的最大 CacheCade 大小：0 GB
CacheCade 的当前大小：0 GB
FW 缓存的当前大小：837 MB
支持的适配器操作
================
重构速率：是
CC 速率：是

白皮书
BGI 速率：是
重建速率：是
Patrol 读取比率：是
警报控制：是
群集支持：否
BBU：是
跨越：是
专用热备盘：是
可恢复的热备盘：是
外部配置导入：是
自我诊断：是
在阵列上允许混合冗余：否
全局热备盘：是
拒绝 SCSI 通过：否
拒绝 SMP 通过：否
拒绝 STP 通过：否
支持安全：是
启用快照：否
无需添加驱动器便可支持 OCE：是
支持 PFK：是
支持 PI：是
支持启动时间 PFK 更改：否
禁用在线 PFK 更改：否
支持 LDPI 类型 1：否
剩余 PFK 跟踪时间：0 天 0 小时
支持防御状态：是
阻止 SSD 写入磁盘缓存更改：是
支持在线 FW 更新：是
支持的 VD 操作
================
读取策略：是
写入策略：是

白皮书
IO 策略：是
访问策略：是
磁盘缓存策略：是
重建：是
拒绝定位：否
拒绝 CC：否
允许控制加密：否
启用 LDBBM：否
支持中断镜像：否
节能：否
默认设置
================
Phy Polarity：0
Phy PolaritySplit：0
后台速率：30
条带大小：64 kB
刷新时间：4 秒
写入策略：WT
读取策略：无
BBU 出错时缓存：已禁用
缓存 IO：否
SMART 模式：模式 6
禁用警报：是
强制模式：1 GB
ZCR 配置：未知
脏 LED 显示驱动器活动：否
BIOS 在出错时继续运行：2
降速模式：无
允许的设备类型：SAS/SATA 混合
允许在机箱中混合：是
在 VD 中允许 HDD SAS/SATA 混合：是
在 VD 中允许 SSD SAS/SATA 混合：是
在 VD 中允许 HDD/SSD 混合：否
在群集中允许 SATA：否

白皮书
最大关联的机箱数：16
禁用 Ctrl-R：否
启用 Web BIOS：否
直接 PD 映射：否
BIOS 枚举 VD：是
在插入时恢复热备盘：否
公开机箱设备：是
维护 PD 故障历史记录：否
禁用刺穿功能：否
基于零的机箱枚举：否
启用预引导 CLI：否
LED 显示驱动器活动：否
禁用群集：是
禁用 SAS：否
启用自动检测背板：SGPIO/i2c SEP
仅使用 PDE：是
启用 LED 头：否
POST 期间延迟：0
启用崩溃转储：否
禁用在线控制器充值：否
启用 LDBBM：否
未认证的硬盘驱动器：允许
将单个跨越 R1E 视为 R10：否
每个阵列的最大 LD 数量：64
节能选项：不自动降速配置的驱动器
对 LD 不允许最大节能选项。仅使用 T10 电源条件。
默认降速时间（以分钟为单位）：30
启用 JBOD：是
TTY 登录刷新：是
自动增强导入：是
中断镜像 RAID 支持：否
禁用联结镜像：是
启用防御状态：是
检测 CME 所用的时间：60 秒

白皮书

Emc Scaleio Best Practices - Sap Hana Tdi

Uploaded by

Document Information

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Emc Scaleio Best Practices - Sap Hana Tdi

Uploaded by

Copyright:

Available Formats

白皮书

SAP HANA 定制的数据中心集成和 EMC®

本白皮书展示了一种新方法，可用于突破 SAP HANA 基于应用装置的传统

本出版物的内容按“原样”提供。EMC Corporation 对本出版物的内容不提供任

使用、复制或分发本出版物所描述的任何 EMC 软件都要有相应的软件许可证。

有关最新的 EMC 产品名称列表，请参阅 china.emc.com 上的 EMC Corporation

SAP HANA 定制的数据中心集成和 EMC ScaleIO 融合基础架构 2

EMC ScaleIO 测试环境 ........................................................................................................................ 8

SAP HANA 定制的数据中心集成和 EMC ScaleIO 融合基础架构 3

SAP HANA 定制的数据中心集成和 EMC ScaleIO 融合基础架构 4

EMC® ScaleIO® 软件为 HANA 的 TDI 实施提供高性能、可扩展且经济高效的存储

借助 ScaleIO，企业大大提高了灵活性，可从小型 HANA 实施入手，并随着业务

EMC 和 VCE 已携手对采用 SAP HANA 的 ScaleIO 进行了测试。这些测试旨在证明

本白皮书介绍了我们构建的测试环境，并且为致力于为 HANA 部署 ScaleIO 的其

业务案例 SAP HANA 是功能强大的内存中数据库和应用程序平台，支持在线交易、预测分

传统上，SAP 需要 HANA 以应用装置模式部署，这样就可以通过集成产品包的形

为了应对此种情况，SAP 为 HANA 部署定义了 TDI 模式。借助 TDI，企业可以在

TDI 模式可以加快 HANA 的部署速度，让 HANA 部署可以灵活地从较小环境开

适用于 HANA TDI 的 EMC ScaleIO

SAP HANA 定制的数据中心集成和 EMC ScaleIO 融合基础架构 5

图 1. EMC ScaleIO 根据业务需求进行扩展

借助 ScaleIO，企业可以获得 SAP HANA 所需的所有性能和容量。主要优势包括：

本白皮书介绍了我们遵循的过程以及用于测试的配置，以证明 ScaleIO 可作为适

用途 该解决方案的目的在于证明 EMC ScaleIO 融合存储为基于应用装置的 SAP HANA

SAP HANA 定制的数据中心集成和 EMC ScaleIO 融合基础架构 6

SAP HANA 定制的数据中心集成和 EMC ScaleIO 融合基础架构 7

此外，SAP HANA 为日志卷和数据卷使用不同的数据块大小。日志卷的 I/O 使用

为了在这些测试中模拟特定的 SAP HANA I/O 工作负载，EMC 和 VCE 使用了 SAP

平台组件 测试环境包含 Cisco 统一计算系统 (UCS) 服务器以及在 Linux 操作环境中运行

EMC 和 VCE 使用了以下特定组件，并且建议企业在采用适用于 SAP HANA 的

SAP HANA 定制的数据中心集成和 EMC ScaleIO 融合基础架构 8

HANA 的磁盘类型 EMC 和 VCE 为 ScaleIO 测试环境使用以下磁盘配置，并且建议对适用于 SAP

HANA 持久性卷 每个 SAP HANA 执行器节点需要两个卷来实现数据库持久性：一个数据卷，一个

EMC 和 VCE 遵循了 SAP 建议的公式，具体如下：

为了实现高可用性，ScaleIO 为每个卷保留两个物理上分离的拷贝。EMC 和 VCE

HANA 共享文件 SAP HANA 数据库二进制文件必须安装在高度可用的共享文件系统上。有多个选

在测试环境中，EMC 和 VCE 将 HANA 共享文件系统配置为现有存储阵列上的

纵向扩展和横向 EMC 和 VCE 在纵向扩展和横向扩展配置中都执行了 ScaleIO 验证测试。

SAP HANA 定制的数据中心集成和 EMC ScaleIO 融合基础架构 9

EMC 和 VCE 使用以下公式计算了此配置的总磁盘容量：

横向扩展配置 第二次测试在具有 4 个 1 TB 内存的四节点横向扩展配置中执行，如图 3. 中所示。

SAP HANA 定制的数据中心集成和 EMC ScaleIO 融合基础架构 10

EMC 和 VCE 使用以下公式计算了横向扩展配置的总磁盘容量：

SAP HANA 定制的数据中心集成和 EMC ScaleIO 融合基础架构 11

EMC 和 VCE 确定以下配置可为 SAP HANA 环境提供最佳级别的性能、可扩展

• 在群集中的所有节点上安装和配置 Linux 操作环境 (SLES/RHEL)

 实施 SAP Note 401162 以避免 TCP/IP 端口冲突导致的问题

注意：ScaleIO 需要至少三台 SDS 服务器，以及至少 300 GB 的综合可用容量。这些最

SAP HANA 定制的数据中心集成和 EMC ScaleIO 融合基础架构 12

我们在每台 UCS C460 服务器上安装了三个 UCS VIC 1225T 网卡，每个 VIC

SAP HANA 定制的数据中心集成和 EMC ScaleIO 融合基础架构 13

在进行初始测试之后，EMC 和 VCE 在 ScaleIO 中增加了多个 IP/VLAN，由红色实

SAP HANA 定制的数据中心集成和 EMC ScaleIO 融合基础架构 14

通过 SCLI 还可轻松查看分配的 IP，如图 7. 中所示。

通过在 ScaleIO 中添加第二个 IP 范围，我们缩短了数据设备的延迟（微秒）

我们运行了以下命令在 SLES 中绑定接口。在 SLES 和 RHEL 之间进行绑定的差异

首先，我们绑定每台 C460 服务器中可用的六个以太网接口，形成了三个不同的

在此设置中，如图 8. 中所示，每个绑定都有一个连接到交换机 A 的物理接口，

每个组件（包括逻辑绑定）在 SLES 中具有自己的配置文件，如图 9. 中所示。

SAP HANA 定制的数据中心集成和 EMC ScaleIO 融合基础架构 15

SLES 的网络配置文件位于 /etc/sysconfig/network 中。

例如，我们为 Bond0 创建了以下配置文件：

我们还使用了 MTU 选项，其设置为 9000。

安装 ScaleIO 组件 必须安装以下 ScaleIO 组件：

用途该解决方案的目的在于证明 EMC ScaleIO 融合存储为基于应用装置的 SAP HANA

平台组件测试环境包含 Cisco 统一计算系统 (UCS) 服务器以及在 Linux 操作环境中运行

HANA 持久性卷每个 SAP HANA 执行器节点需要两个卷来实现数据库持久性：一个数据卷，一个

横向扩展配置第二次测试在具有 4 个 1 TB 内存的四节点横向扩展配置中执行，如图 3. 中所示。

安装 ScaleIO 组件必须安装以下 ScaleIO 组件：

设置 ScaleIO 群集安装 ScaleIO 组件（MDM、SDS、SDC、绑定断路器）后，按如下方式设置

调整 ScaleIO 群集设置 ScaleIO 群集后，EMC 和 VCE 按如下方式微调了群集。其他 IT 组织还可使

在 ScaleIO 中启用必须首先配置 ScaleIO 以支持 Linux 本机多路径。在 /etc/udev/rules.d/20-