Oracle 虚拟网络：虚拟化环境中的部署指南

作者：Brian K. Matheson

在虚拟化环境中部署 Oracle 虚拟网络的指南和最佳实践。

2013 年 4 月发布

Oracle 虚拟网络为虚拟化服务器环境提供了一些优势。使用服务器虚拟化，可以通过使用多个虚拟 NIC (vNIC) 和虚拟 HBA (vHBA)（全部通过一对连接到一个专用结构的电缆提供）满足物理主机的带宽、网络多样性和存储性能要求。这些资源可以动态添加或更改，不必中断服务，从而可以轻松虚拟化新应用程序。还可以配置网络资源，使其可以跨结构直接通信，从而达到前所未有的服务器间性能。

在本文中，我们将了解在虚拟化环境中部署 Oracle 虚拟网络的指南和最佳实践。这些建议重点关注为环境提供最佳的简单性、敏捷性和性能。本文并不能取代官方文档，只是一个补充。本文假设读者熟悉虚拟化环境的管理以及 Oracle 虚拟网络的基本概念。

规划部署

任何数据中心设备部署的第一步都应该是详细规划。由于 Oracle 虚拟网络可以轻松隔离网络，所以虚拟化服务器使用的 Oracle 虚拟网络部署通常有多个以太网网络，可能还有 FC 网络。这些网络通常按其用途定义，可能包括用于迁移、管理、备份和 SAN 的单独网络（如图 1 所示）。其他网络可能包括一个 DMZ、一个单独的数据库网络、一个专用 iSCSI SAN 和一个 FC 磁带 SAN。所有这些网络可以且应在部署之前进行规划。

图 1

举一个简单的例子，一个虚拟化环境需要一个网络用于虚拟机 (VM)、一个网络用于主机的管理连接、一个网络用于 iSCSI 流量，还有一个网络用于 VM 迁移。我们可以定义一个链路聚合组 (LAG)，包括 10 端口 GbE 卡上的前 4 个端口，并将其用于 VM 和管理，然后使用后两个端口作为用于 iSCSI 和迁移的单独专用网络，如图 2 所示：

图 2

表 1 和表 2 显示了示例配置的一些规划工作表。提前执行此类规划有助于了解相关的虚拟机管理程序和以太网交换机配置中其余需要完成的部分。

搭建结构

Oracle Fabric Interconnect 最初的机架和系统与任何其他数据中心设备没什么两样。和大多数服务器硬件一样，空气呈前进后出式流动。I/O 端口和 InfiniBand (IB) 结构连接都位于系统背面，可以轻松将电缆连接到位于机架同侧的服务器。因此，建议将 Oracle Fabric Interconnect 放置在服务器机架上，而不要放在网络机柜（端口通常位于空气入口侧）中。

图 3

在大多数大型部署（超过 20 台服务器）中，使用中间交换机来扩展结构。这些交换机通常成对部署，具有一些可连接服务器的 InfiniBand 端口，以及和 Oracle Fabric Interconnect 连接的上行端口。通常，建议针对 Oracle Fabric Interconnect 提供多个上行端口，以提供冗余和额外带宽。在 InfiniBand 结构中，无需其他配置即可平衡交换机之间各并行链路上的流量。

对于许多部署，只需 2 个 InfiniBand 上行端口就足以满足所连接服务器的流量需求。在其他情况下，需要 4 个上行端口来为安装的 I/O 卡留足带宽。影响决策的其他因素是服务器之间通过上行端口通信所需的聚合带宽量。如果不能确定，不妨为每个外部结构交换机选择 4 个上行端口。

服务器应使用正好 2 个 InfiniBand 端口连接到结构。这些端口可以在同一个双端口 InfiniBand 主机通道适配器 (HCA) 上，也可以在两个单独的 HCA 上。在刀片服务器环境中，通常只安装一个 HCA。使用机架安装式服务器时，可以安装一个或两个 HCA。在两个 HCA 的情况下，每个卡仅使用一个端口。

应小心确保正确安放 IB 电缆。IB 电缆安放好后将锁定。移除电缆时应使用抽拔片。插入电缆之后，紧拉一下以确保安放好。

只要对物理连接进行了修改，或者安装了新的 I/O 卡，就需要使用 ibcheckerrors 命令检查 IB 结构上是否有任何错误。使用 root 帐户登录 Oracle Fabric Interconnect。运行 ibclearerrors 命令，等一两分钟待系统进入稳定状态且数据开始进出，然后运行 ibcheckerrors 命令。一般而言，符号错误和 VL15 丢失错误并不表示出现问题，但其他错误（如接收错误和丢弃）可能表示有问题。如果检测到任何此类错误，请首先检查新电缆。

配置 Oracle Fabric Interconnect

该系统的初始配置非常简单。Oracle Fabric Interconnect 连接到一个管理以太网网络。它们将使用 DHCP 请求地址，也可以在串行控制台上通过配置脚本为其指定特定的网络配置。两个 Oracle Fabric Interconnect 应运行一个 IB 子网管理器，并将自行选择主服务器。配置好 Oracle Fabric Interconnect 之后，安装好主机驱动程序的物理服务器将按名称顺序显示在结构上。

Oracle Fabric Manager 服务器的初始配置与此类似，也很简单。有关如何在运行 Linux 或 Microsoft Windows 的服务器或 VM 上安装软件的信息，请参见产品文档。安装 Oracle Fabric Manager 服务器并取得许可之后，使用信息板页面上的 Discover 或 Scan 按钮将其与部署的 Oracle Fabric Interconnect 关联。此时可以完成 Oracle Fabric Interconnect 的任何其他配置。下面再详细讨论初始配置的典型工作流。

测试回连功能

建议启用并测试回连 (phone-home) 功能。该功能提醒 Oracle 支持工程师系统上有活动，包括硬件故障。打开一个低优先级的支持案例要求验证回连配置，然后手动启动一个回连事件，这是确保数据可以到达 Oracle 的最佳方式。建议使用每周回连事件，这样支持组织有一个当前基准可用于在出现支持事件时进行比较。

监视流量

监视流量可以使用监视插件在 Oracle Fabric Manager 软件中完成，也可以通过 SNMP 完成。Oracle 建议通过 SNMP 监视标准系统特性，如系统运行时间等。Oracle 还建议设置一个陷阱主机来捕获陷阱，并使用提供的管理信息库 (MIB) 对其进行解码。

添加说明

与所有网络设备一样，最佳做法是为接口添加说明。I/O 卡、I/O 端口和 LAG 都有描述字段。Oracle 建议使用端口描述字段指示连接的是哪个网络交换机和端口（例如，switch1-ge1/1/1）。LAG 描述应指示关联的逻辑接口（例如，switch1-portchannel40）。还可以根据需要添加其他信息。

建立以太网端口特征

可以在端口级别设置一些以太网特征。如果没有为讨论的端口分配虚拟资源，必须完成这些设置。正确的规划将允许提前确定和在部署时配置这些特征。

设置最大传输单元

MTU 是在端口级别设置的，由创建 vNIC 时与该端口相接的所有 vNIC 继承。Oracle 建议承载传往 IP 路由器的流量的“正向 (forward facing)”接口使用默认 MTU（1500 字节）。例如，服务器的管理接口和虚拟机网络的接口。

Oracle 建议“内部”网络使用更大的 MTU（通常为 9000 字节），如专用存储网络、VM 迁移网络或任何无需将大量流量路由到网络的对象。

该网络上所有活动的 NIC 设备的 MTU 必须 相同，交换机链路之间的 MTU 必须足够大，可以容纳数据帧。例如，对于 iSCSI 流量专用 VLAN 以及虚拟机使用的 VLAN，在以下位置将 MTU 设置为 9000：

• Oracle Fabric Interconnect A 和 Oracle Fabric Interconnect B 上的 iSCSI 以太网端口
• 交换机 A 上连接到 Oracle Fabric Interconnect A 的交换机端口以及交换机 B 上连接到 Oracle Fabric Interconnect B 的交换机端口
• 将交换机 A 连接到交换机 B 的接口
• 交换机 A 和交换机 B 上的 VLAN 接口（如果适用）
• 交换机 A 和交换机 B 上连接到存储阵列的接口
• 将使用 NIC 作为上行端口的虚拟交换机
• 将连接到 VM 或虚拟机管理程序的虚拟以太网端口（例如，VMkernel 接口）
• 虚拟机本身内部的以太网设备

Oracle Fabric Interconnect 的以太网端口上创建的 vNIC 将能够使用 9000 大小的帧将流量传递到存储阵列。

启用流控制

在以太网端口上部署 vNIC 之前，必须先在其上启用以太网流控制支持。同时，还应在与该端口连接的 vNIC 上设置流控制。为获得最佳性能，大多数存储阵列供应商建议对专用存储网络使用流控制。还应在中间交换机端口上启用流控制。

设置端口模式

在端口上部署 vNIC 之前，必须先设置端口模式。默认情况下，所有以太网端口均处于 access 模式。要通过端口传输带 VLAN 标记的流量，必须将模式更改为 trunk。端口模式与 vNIC 配置的模式无关，这样 access 模式的 vNIC 就可以与 trunk 模式的以太网端口连接。还可以在 trunk 模式的端口上配置 trunk 模式的 vNIC，这样整个路径都支持带 VLAN 标记的以太网帧。

对于虚拟化环境，通常最好对虚拟机网络使用 trunk 模式的 vNIC 与 trunk 模式的以太网端口连接。这就允许在虚拟机管理程序层将虚拟网络分成不同的 VLAN。

在 Oracle Fabric Manager 中配置云和模板

部署和配置好 Oracle Fabric Interconnect 之后，可以在 Oracle Fabric Manager 软件中定义网络和存储云。我们在上面讨论了数据中心中不同网络的规划。现在详细讨论一下配置组成云的接口的具体情况。

注：特定端口可位于多个云中。

配置云

可以定义三种类型的云：存储、网络和专用虚拟基础架构 (PVI)。在所有情况下，云都应特定于一个结构。当考虑命名约定时，记住一个 Oracle Fabric Manager 实例可能管理多个结构（通常在多个位置）非常重要。

对于所有云类型，可以从多个 Oracle Fabric Interconnect 添加多个端口。在使用高可用性 (HA) vNIC 或 HA vHBA 的情况下，Oracle Fabric Manager 软件会将组成资源连接到尽可能多样化的一组端口（即，如果可以配置 HA 资源，使得活动资源在 Oracle Fabric Interconnect A 上，备用资源在 Oracle Fabric Interconnect B 上，它就会这样做）。因此，如果正在使用 HA vNIC 和 vHBA，建议创建的云同时包括来自 Oracle Fabric Interconnect A 和 Oracle Fabric Interconnect B 的端口。

应避免将虚拟化环境中的 HA 资源用于非 PVI 云。可以在虚拟机管理程序中显式配置冗余，从而导致更确定性的故障切换行为。如果要将虚拟机管理程序和裸机服务器连接到资源，请只为虚拟机管理程序创建一组云，并使用裸机服务器所使用的端口创建另一组云。

存储云

对于存储云，Oracle 建议为每个 Oracle Fabric Interconnect/FC-fabric 组合创建一个云。在典型场景中，FC SAN 结构将有四个链路。例如，图 4 显示以下云：

• 一个从 Oracle Fabric Interconnect F1-15 A 到 结构 A (IaFa)
• 一个从 Oracle Fabric Interconnect F1-15 A 到 结构 B (IaFb)
• 一个从 Oracle Fabric Interconnect F1-15 B 到 结构 A (IbFa)
• 一个从 Oracle Fabric Interconnect F1-15 B 到 结构 B (IbFb)

图 4

为了获得最佳冗余，可为每个连接路径创建一个云，在每台服务器上为每个云添加一个 vHBA，并确保主机上的多路径软件能够使用所有这四个 vHBA。将 FC 卡添加到环境时，按 4 个的倍数添加，并以类似方式连接它们，这样每个云可以添加一个端口。通常，无需为存储云设置其他参数。

网络云

对于网络云，最佳冗余配置是形成一个网格，从每个 Oracle Fabric Interconnect 到一对堆叠交换机中的每个交换机或一个虚拟交换系统 (VSS)。在每个 Oracle Fabric Interconnect 上创建 LAG 以将两个端口绑定在一起，可以为每个 Oracle Fabric Interconnect 的一个云添加 LAG。vNIC 终结于提供交换机级冗余的 LAG，一对 vNIC 在虚拟机管理程序中绑定在一起，提供 Oracle Fabric Interconnect 级冗余。以类似方式添加端口，将 Oracle Fabric Interconnect A 上配置的 LAG 添加到 Oracle Fabric Interconnect A 的云，将 Oracle Fabric Interconnect B 上的 LAG 添加到 Oracle Fabric Interconnect B 的云。在向网络云添加 LAG 之前，必须先配置 LAG。

注：不能创建跨不同 I/O 卡的 LAG。而且，每个操作系统对 NIC 名称的处理方式不同。为避免兼容性问题，请使用少于 7 个字符的唯一接口名称。

PVI 云

这些云几乎不需要规划，因为它们完全在 IB 结构内。为了实现冗余，必须使用 HA vNIC。我们还建议您使用操作系统支持的最高 MTU（通常为 9000）。

构建模板

创建云之后，为虚拟主机构建一个模板，如图 5 所示。

图 5

命名约定应基于位置。模板将包含连接到云的 vNIC 对象。对于虚拟化环境，可以但不建议使用 HA 虚拟资源。I/O 资源应成对部署，连接到关联云，并指定反映接口用途的短名称。除非使用远程引导技术，如从 PXE 或 SAN 引导，否则无需指定模板编辑器中的其他参数。

保存模板，然后用它创建 I/O 配置文件，这些配置文件可以在物理服务器出现在结构上时附加到物理服务器。

另请参见

• Oracle Fabric Interconnect 主页
• Oracle Fabric Interconnect 文档

关于作者

Brian K. Matheson 是 Oracle 销售顾问，主要针对 Oracle 虚拟网络产品线。多年来，Brian 对 Oracle 和 Xsigo 多有贡献，涉足领域包括系统管理、QA 和专业服务。目前他居住在纽约市。

关注我们：
博客 | Facebook | Twitter | YouTube