利用 Oracle 的 Sun ZFS 存储设备实施光纤通道 SAN 启动

2011 年 4 月

作者：Tom Hanvey

本文介绍如何利用高可用性 SAN 上的 SUN ZFS 存储设备实施 FC SAN 启动解决方案。该解决方案经过多种服务器、操作系统和硬件配置的验证（详情请参见“附录 B. 针对光纤通道 SAN 启动解决方案验证的组件”）。

• 简介
• 概述
• 从 SAN 启动的好处
• FC SAN 启动配置要求
• 将 Sun ZFS 存储设备配置为光纤通道启动
• 将客户端服务器配置为光纤通道 SAN 启动
• 在服务器上安装操作系统
• FC SAN 启动时间测试结果
• 最佳实践
• 总结
• 附录 A. 参考资料
• 附录 B. 针对光纤通道 SAN 启动解决方案验证的组件

简介

组织在提高其数据中心可靠性和性能的同时，不断寻求简化其管理基础架构、提高可伸缩性、降低成本的方法。从存储区域网 (SAN) 启动能带来很多好处，不但能节省成本，还能提高保护级别、简化管理、增加灵活性以及缩短停机时间。

通常，操作系统安装在各服务器的内部磁盘中或直接连接存储 (DAS) 中。这种方法给 IT 组织带来了许多挑战。专用的内部启动设备无法与其他服务器共享，因而往往利用率低下。IT 人员必须在本地执行这些系统上的管理任务，而不能通过中央管理系统进行管理，这就增加了管理成本。为了实现最优的冗余和性能，需要使用额外的 RAID 软件或主机总线适配器 (HBA) 来管理这些存储设备。

各服务器上的本地磁盘加大了多站点管理和灾难恢复站点维护的难度。为异地主机创建磁盘内容克隆或为灾难恢复备份站点复制服务器操作系统，可能是极为复杂的操作，需要专用软件。

通过让数据中心管理员在阵列级而非各服务器级集中管理所有与存储相关的任务（如操作系统维护），管理整个企业中的服务器这样的复杂任务可得到简化。将服务器启动设备放置在服务器可通过高可用性光纤通道 (FC) SAN 访问的 Sun ZFS 存储设备上，能够提高许多管理任务的效率，甚至实现这些任务的自动化，从而显著减少运营支出。

如果一台服务器停机，系统管理员可在短短几分钟内启动一台备用服务器，从而恢复业务。操作系统映像的快照或克隆存储在 Sun ZFS 存储设备中，可同时部署到开发环境和测试环境中的服务器上，也可部署到辅助的灾难恢复站点。

从 SAN 启动可缩短服务器升级所需的时间。只需最少的重新配置，即可使用新服务器取代陈旧过时或能力不足的服务器，然后将新服务器指向原始 FC SAN 启动设备。

如果服务器启动设备位于 RAID 保护的共享存储设备（如 Sun ZFS 存储设备）中，则各服务器无需配备硬件或软件 RAID 设备，这同样有助于降低硬件成本。

概述

图 1 展示了使用位于高可用性 FC SAN 上的 Sun ZFS 存储设备实施的 SAN 启动解决方案。在该解决方案中，通过 Sun ZFS 存储设备内集中管理的存储卷池来启动服务器。池中的每个存储卷都用作一台特定服务器的启动 LUN。该图显示了验证测试中使用的三种服务器类型（x64、x86 和 Solaris SPARC），以及经每种服务器类型验证的操作系统。

如果同时将 Sun ZFS 存储设备用于数据存储，则最佳实践要求为启动设备使用专用的池和单独的数据路径。更多详细信息，请参见下面中的“最佳实践”一节。

支持 SAN 启动的任何服务器与主机总线适配器 (HBA) 组合均可用于实施使用 Sun ZFS 存储设备的 FC 启动解决方案。有关经过 Oracle 测试并受支持的、适用于此解决方案的服务器类型、HBA、操作系统和配置的列表，请参见“附录 B. 针对光纤通道 SAN 启动解决方案验证的组件”。

图 1. 使用 Sun ZFS 存储设备的光纤通道启动解决方案。

从 SAN 启动的好处

从 FC SAN 启动的解决方案提供了很多好处。

减少数据中心占用空间、降低设施成本

从 FC SAN 启动支持使用无盘服务器和刀片服务器，因此空间占用更少、能源消耗更低、制冷需求更少。

降低管理开销

所有操作系统存储都由 Sun ZFS 存储设备供应和管理。如果需要更换一台服务器，只需将其对应的启动 LUN 重映射到一台新服务器即可。如果新服务器与所更换的服务器具有相同的配置文件，则无需重新配置即可从 SAN 启动操作系统。只需点击几下鼠标即可创建操作系统映像的快照和克隆，并将其映射到 SAN 上的新服务器，从而简化了迁移和可伸缩性任务。

简化灾难恢复和服务器故障恢复

将操作系统安装在 Sun ZFS 存储设备而非各服务器上，就可利用该设备的数据保护和冗余特性，帮助缩短维护和故障中断期间的停机时间。可利用快照和克隆来保护操作系统映像，也可利用网络数据管理协议 (NDMP) 对其进行备份。

FC SAN 启动配置要求

配置使用 Sun ZFS 存储设备的光纤通道启动解决方案的要求如下：

• 必须在本地 SAN 中配置分区，从而使服务器 FC 端口能够发现 Sun ZFS 存储设备 FC 目标端口。有关更多详细信息，请参见附录 A. 参考资料中的文档。
• 在 Sun ZFS 存储设备中，至少必须安装一块 FC PCIe 卡，并且应有一个端口启用了目标模式。有关详细信息，请参见下面中的“将 Sun ZFS 存储设备为配置光纤通道启动”一节。
• 必须在每台服务器中安装一个支持 SAN 启动的 HBA，以便通过 SAN 进行供应。本文介绍的解决方案已经使用以下 FC HBA 驱动程序和固件版本进行了测试：
  • QLogic QLE2562（固件版本 4.03.02，BIOS 修订版 2.02）
  • Emulex LPe12002（BIOS 版本 2.11a2）
  • 必须将各服务器上的 FC HBA 配置为主启动设备，Sun ZFS 存储设备中的存储目标 LUN 必须由适当的操作系统来供应，LUN 必须映射到服务器的发起方端口。有关详细信息，请参见下面的“将客户端服务器配置为光纤通道 SAN 启动”一节。

将 Sun ZFS 存储设备配置为光纤通道启动

要将 Sun ZFS 存储设备配置为 FC SAN 启动，请按以下步骤操作：

1. 确认 Sun ZFS 存储设备中至少安装了一块 FC PCIe 卡。
2. 默认情况下，Sun ZFS 存储设备的所有 FC 端口都设置为发起方模式。要为一个端口启用目标模式，请按以下步骤操作：
   1. 登录设备，导航到 Configuration > SAN > Fibre Channel Ports。
   2. 将选定的端口设置为 Target 模式，如图 2 所示。
   3. 单击 Apply 按钮。
      注：更改此设置需要重新启动

图 2. 在 Sun ZFS 存储设备中将一个 PCIe 端口设置为目标模式。

3. 为作为服务器启动 LUN 的每个 LUN 供应适当的发起方和目标组。

将客户端服务器配置为光纤通道 SAN 启动

要将每台客户端服务器配置为 FC SAN 启动，首先要确认客户端上已经安装了光纤通道 HBA，并确认 HBA 支持 SAN 启动。有关支持 SAN 启动的 FC HBA 的列表，请参见“附录 B. 针对光纤通道 SAN 启动解决方案验证的组件”。然后在系统 BIOS 中设置启动优先顺序，使 FC HBA 卡成为优先级最高的启动设备，并将 HBA 配置为从 Sun ZFS 存储设备中安装了该服务器的操作系统的 LUN 进行启动。下面几节将详细介绍这些步骤。

在系统 BIOS 中设置启动优先顺序

在系统 BIOS 中设置启动优先顺序，使 FC HBA 卡成为优先级最高的启动设备，具体步骤如下：

1. 重新启动服务器。在服务器初始化时，按 F2 键显示系统 BIOS 菜单。
2. 如果服务器安装了 LSI PCI 卡，请在系统 BIOS 中禁用 PCI 插槽。在某些服务器中，如 Sun x86 服务器，LSI 卡的启动优先级较高，将尝试启动本地操作系统。为了防止出现这样的情况，请按以下步骤操作：
   1. 选择 Advanced，这将显示 PCI Configuration 屏幕。
   2. 禁用安装了 LSI 卡的 PCI 插槽，如图 3 所示。
   3. 按 F10 键保存设置，退出此屏幕并重新启动服务器。

图 3. 系统 BIOS PCI Configuration 屏幕显示 PCI Slot1 已禁用。

3. 将 FC HBA 卡设置为优先级最高的启动设备。
   1. 从 BIOS 菜单中选择 Boot，这将显示 Boot Device Priority 屏幕。
   2. 将 FC HBA 选为 1st Boot Device，如图 4 所示。
   3. 按 F10 键保存设置，退出并重新启动服务器。

图 4. 系统 BIOS PCI Configuration 屏幕显示 FC HBA 已设置为主启动设备。

将主机总线适配器配置为光纤通道启动

服务器上 FC HBA 的一个或多个端口必须配置为从 Sun ZFS 存储设备中已经安装了该服务器的操作系统的 LUN 进行启动。下面的过程给出了针对 QLogic FC HBA 的配置步骤。Emulex FC HBA 的步骤与此相似。

1. 重新启动系统。图 5 所示的初始化屏幕出现时，登录 HBA BIOS 菜单。

图 5. QLogic FC HBA 初始化屏幕提供了对 HBA BIOS 设置的访问。

2. 选择两个 HBA 端口之一，如图 6 所示。

图 6. 选择一个 HBA 端口进行配置。

3. 在显示的菜单中，选择 Configuration Settings，如图 7 所示。

图 7. 选择 HBA BIOS 实用程序的 Configuration Settings 选项。

4. 在 Configuration Settings 菜单中，选择 Adapter Settings，如图 8 所示。

图 8. 访问 HBA 的 Adapter Settings。

5. 在 Adapter Settings 屏幕中，选择 Host Adapter BIOS，按 ENTER 键启用主机适配器 BIOS，如图 9 所示（主机适配器 BIOS 默认为禁用）。

图 9. 启用主机适配器 BIOS。

6. 要更改启动设备优先级，按 <Esc> 返回 Configuration Settings 菜单，选择 Selectable Boot Settings，如图 10 所示。将显示可用的 FC 目标端口列表，如图 11 所示。

图 10. 访问 HBA 启动设置。

7. 选择 HBA 将在 Sun ZFS 存储设备上使用的 FC 目标端口，如图 11 所示，按 <Enter> 键。将为 HBA 端口显示 Selectable Boot Setting 屏幕，如图 12 所示。

    

    

图 11. 选择 HBA 将在 Sun ZFS 存储设备上使用的 FC 目标端口。

8. 选择 (Primary) Boot Port Name，如图 12 所示，按 <Enter> 键显示所有可用 LUN 的列表，如图 13 所示。

图 12. 选择主启动端口。

9. 选择将用于启动服务器操作系统的 LUN 的编号，如图 13 所示。

图 13. 为服务器选择启动 LUN。

配置 Emulex BIOS 时，提供了一个用于通过全球端口名称 (WWPN) 或设备 ID 启动服务器的选项，如图 14 所示。

图 14. 配置 Emulex HBA 时选择启动设备标识方法。

10. 对于另一个 HBA 端口，重复第 2 步到第 10 步。使用与第一个 HBA 端口相同的设置。
11. 按 <Esc> 键，保存配置设置，如图 15 所示。

图 15. 保存 HBA 配置设置。

12. 重新启动服务器。

服务器启动时，将选择 FC HBA 作为主启动设备。它将使用 HBA BIOS 中的主启动设置，选择通过 Sun ZFS 存储设备中适当的 LUN 启动操作系统。

在服务器上安装操作系统

要在服务器上安装操作系统，请按照下面针对特定操作系统的说明进行操作。

安装 Microsoft Windows 2003

要在服务器上安装 Microsoft Windows 2003，请按以下步骤操作：

1. 在软盘上创建服务器上安装的 QLogic 或 Emulex FC HBA 驱动程序的映像。
2. 重新启动服务器，启动安装过程。在安装初始化过程中，按 F6 键，提供到软盘上 HBA 驱动程序映像的路径。
3. 使用 HBA 驱动程序映像继续安装。驱动程序将帮助 HBA 找到作为操作系统安装主启动 LUN 的 FC LUN。
4. 在新的 FC 可启动 LUN 上安装操作系统。

安装 Microsoft Windows 2008

要在服务器上安装 Microsoft Windows 2008，请按以下步骤操作：

1. 将启动 LUN 设置为服务器上 FC HBA 的主启动设备。
2. 继续安装。

安装 Solaris

要在服务器上安装 Solaris，请在安装过程中选择用于安装操作系统的适当的 FC LUN。

安装 SUSE Linux Enterprise 11 (SP 1)

要在服务器上安装 SUSE Linux Enterprise 11 (SP 1)，请在安装过程中选择 Advanced Configuration，以便将 GRUB 启动加载程序和操作系统安装在同一个 FC LUN 设备上。否则，GRUB 主启动记录 (MBR) 将安装在本地磁盘中，操作系统将不会从主启动 FC LUN 启动。

安装 Oracle Enterprise Linux

要在服务器上安装 Oracle Enterprise Linux (5 u4)，请在安装过程中选择 Advanced Configuration，以便将 GRUB 启动加载程序和操作系统安装在同一个 FC LUN 设备上。否则，GRUB 主启动记录 (MBR) 将安装在本地磁盘中，操作系统将不会从主启动 FC LUN 启动。

FC SAN 启动时间测试结果

以下测试表明，从光纤通道 SAN 启动所需的时间与从 DAS 系统启动所需的时间大致相同。表 1 展示了在使用不同 FC HBA 配置的各种主机服务器上安装的操作系统的 FC SAN 服务器启动时间。启动时间是从操作系统开始加载时（磁盘加载开始）开始测量的。

最佳实践

在 Sun ZFS 存储设备上配置存储可为 FC SAN 启动解决方案提供最高的容错级别。

应利用镜像将存储池配置为可实现最佳容错和性能。

应将存储 LUN 映射到访问 SAN 的多个 HBA 端口。在系统 BIOS 中识别客户端服务器上的多个端口。BIOS 将在启动时检查目标列表，直至发现到启动设备的活动路径。注：因为大多数 HBA 的 HBA 固件都不支持异步逻辑单元访问 (ALUA)，所以启动解决方案不支持 ALUA。

在 Sun ZFS 存储设备中配置 FC 启动设备时，如果 Sun ZFS 存储设备中还托管了其他应用程序的 LUN，应务必将启动路径与应用程序数据路径分离开来。对于具有 FC 目标端口和存储池服务应用程序的启动服务器来说，共享其专用的 FC 目标端口和存储池可能会给性能造成负面影响，因此不建议采用这种做法。

应配置专用启动存储池（镜像）和单独的应用程序池（可变）。

在 Sun ZFS 存储设备的其他目标端口中映射目标，使之不会共享启动端口。

总结

在高可用性 SAN 上使用 SUN ZFS 存储设备的 FC SAN 启动解决方案可提供极高的保护级别，同时还可降低管理开销。可通过多种方法对您的操作系统资产加以保护，包括快照、克隆、复制或网络数据管理协议 (NDMP) 磁带备份。如果能够从中央设备管理和维护整个组织内所有服务器上的操作系统，则会降低管理成本。

附录 A. 参考资料

有关如何设置 FC 驱动程序和 ALUA 的故障排除方面的信息，请参见：

http://stohome.us.oracle.com/wiki/index.php/Troubleshooting_on_FC_Boot

注意，启动设备不支持 ALUA，但在系统启动完成后，可针对其他不可启动的数据路径配置 ALUA。

下面列出了其他一些有用的链接：

• Sun ZFS Storage 7000 管理指南，第 3 章：
  http://wikis.sun.com/display/fishworks/documentation
• SUSE 11 多路径配置：
  http://www.novell.com/documentation/sles11/stor_admin/?page=/documentation/sles11/stor_admin/data/be5rvii.html
• Windows 2008 多路径配置：
  http://blogs.msdn.com/b/san/archive/2008/07/27/multipathing-support-in-windows-server-2008.aspx
• Oracle Enterprise Linux 多路径配置：
  http://sources.redhat.com/lvm2/wiki/MultipathUsageGuide

附录 B. 针对光纤通道 SAN 启动解决方案验证的组件

本附录中的各表列出了经 Oracle 验证可以在光纤通道 SAN 启动解决方案中使用的硬件组件和操作系统。

表 2 列出了已验证可用于实现光纤通道 SAN 启动的 SUN ZFS 存储设备。

*这是 Oracle 已经不再销售的旧产品。

表 3 列出了已在 SUN ZFS 存储设备 FC SAN 启动解决方案中进行了验证的 Oracle Sun 服务器与 HBA 的组合。

表 4 显示了验证测试中使用的 HBA 的详细信息。