9.4　统一光纤案例学习

要构造一个统一互联阵列最实用的方法，莫过于从一个未对FC目录或企业DC的汇聚层交换机做任何更改的物理接入层开始。图9-6展示了一个简化了的企业DC样例，该DC未实施服务器I/O整合。服务器连接到两个独立的网络基础设施上——以太网LAN和FC SAN，本案例学习的首要目标是增加一个汇聚层，能够将这些独立的阵列“融合”在一起。

FCoE接入层设计

企业“I”现有的DC设计与图9-6所示方案类似，改进之处：使用了Nexus 7000交换机将10GE引入到现有的基础设施（核心及汇聚层）中。对企业“I”的管理正好证明了另一个下一代DC目的，将FCoE引进到接入层。完全实现FCoE的成本太高了，甚至某种程度上，会产生反作用。本方案希望引发对购买某些新设备的关注，使得新设备在报废前，生命周期能够延长到至少5年以上。对于自有FC装置，应该坚持用到没有任何折旧价值为止。新的FCoE接入层也需要为未来扩展和扩充提供空间，能够与新的技术革新如云IaaS一起协作。

图　9-6　LAN和SAN基础设施分离的DC

图9-7推荐了一个简化的FCoE接入层设计方案。

图　9-7　FCoE接入层设计

Nexus 5000（NX5K）交换机来自新的接入层，这些NX5K交换机（NX5K-1～NX5K-4）均采用以下方式设计：

·在接入层部署的NX5K交换机，要么为SAN A的一部分（连接NX5K-1和NX5K-3），要么属于SAN B（连接NX5K-2和NX5K-4），SAN A在VSAN 100，SAN B在VSAN 200。

·NX-5K3和NX-5K4承担了标准FC交换机的功能，本方案中，SERVER-2拥有2个HBA，分别使用一个4G FC链路，连接到SAN A和SAN B。SERVER-2同样通过2个GE NIC连接到网络的以太网这端。

·NX-5K1和NX-5K2承担了标准FCoE交换机（或者FCoE转发器）的功能，SERVER-1拥有双端口CNA，同时为LAN和SAN传输提供了2条10GE链路。

从接入层到FC SAN

NX5K-3和NX5K-4被当做标准FC交换机使用，它们实现了SERVER-2到核心FC导向器MDS-1（为SAN A提供服务）及MDS-2（为SAN B提供服务）的互联，既可以使用光纤模式，也可以使用N-Port虚拟化（N-Port Virtualization,NPV）模式。这两种选择采用不同方法来配置导向器和接入层交换机。

图9-8展示了光纤模式中的接入交换机，在FC导向器（MDS-1）和接入交换机（NX5K-3）之间的端口属于扩展端口，附加的FC主机（SERVER-2）通过连接光纤端口（F_Port）登录光纤，它同时还从该F_Port直接获得了一个FC标识（FC Identifier,FCID）。

图　9-8　光纤模式下的接入交换机

由于节点端口（Node Ports,N_Port）之间FC传输由接入交换机直接进行转发，因此推荐在绑定了FC启动器，并且以接入层为目标的情况下，使用光纤模式。在该模式中，每一个接入交换机都将被分配一个FC域ID，通常从1～329，因而如果是从可扩展角度来看，也体现了接入层在采用光纤模式时，将对大型部署产生限制。

当以光纤模式部署接入交换机时，以下是一些很好的应考虑的实践经验：

·使用SAN端口通道提供接入交换机和FC导向器间的冗余连接，以及上行链路间的负载平衡，能最小化因链路故障而对光纤的破坏。

·不同于端口模式（E_Port、F_Port等）中让交换机自动谈判，对端口模式实施硬编码，将能确保链路能保持保持“down”状态，而不会因不正确的布缆产生不必要性。

代码清单9.3展示了在接入交换机（NX5K-3）上一个互联模式配置模板。

代码清单9.3　接入交换机光纤模式配置模板

说明：NX5K交换机默认采用互连阵列模式。

NPV模式克服了域ID的局限（光纤），在NPV模式下，FC导向器在多个接入交换机间共享域ID。因而，接入交换机将对所有来自服务器端口（N_Port）的传输进行响应，转发给FC导向器。FC导向器提供了F_Port功能（例如，登录和端口安全）以及所有的FC交换功能。此时，边缘交换机（接入交换机）在FC导向器看起来就像一个FC主机，而在连接设备眼中，就像一个常规的FC交换机。

总而言之，NPV简化了大规模服务器环境下的部署和管理工作，理由如下：

·降低了对FC域ID数的需求。

·减少了与FC核心交换机（FC导向器）的交互工作量，特别是多厂商SAN环境下的交互工作量。

·去掉了服务器与SAN之间的协作和交互管理器。

图9-9展示了一个NPV模式的接入交换机。

图　9-9　NPV模式的接入交换机

NPV由以下模块组成：

·服务器接口：服务器接口为接入交换机（NX5K-4）上的F_Port，可以连接到终端设备（样例中为SERVER-2）处。服务器接口自动分布到通往FC导向器（MDS-2）的上行链路中，所有连接到同一个服务器接口的终端设备都会映射到同一NP上行链路。

·NP链路：所有从接入交换机到FC导向器的接口都被配置成代理N_Port（proxy N_Ports,NP_Port）。一个NP上行链路连接了来自接入交换机（NX5K-4）上的NP_Port以及FC导向器（MDS-2）的F_Port。当NP上行链路创建成功后，接入交换机将往FC导向器发送一个互连阵列登录（Fabric Login,FLOGI）消息。如果FLOGI成功，接入交换机将会将自身注册到FC导向器的同一服务器上，随后来自终端设备的FLOGI都会被转换成光纤发现（Fabric Discovery,FDISC）消息。

说明：在NX5K交换机中，服务器接口可以是物理或虚拟的FC（Virtual FC,VFC）接口。

说明：服务器接口激活了N_Port标识虚拟化（N_Port Identifier Virtualization,NPIV）特性后，就能够支持多个终端设备。NPIV是FC链路服务（FC Link Services,FCLS）指南的一部分，由T11委员会定义，它提供了一种将多个FCID分配给单一的N_Port的方法，使得在每个物理端口能够进行多个登录，而非一对一的登录到端口的映射。

代码清单9.4展示了一个用于FC导向器（MDS-2）简单的NPV配置模板。FC导向器必须要能支持NPIV特性。如图中配置模板所示，FC导向器的2个F_Port都分配给了VSAN 200，本例中VSAN 200代表SAN B。

代码清单9.4　FC导向器NPV配置模板

代码清单9.5展示了在接入交换机（NX5K-4）上的一个简单的NPV模式配置模板。上行链路（fc2/1和fc2/2）都被配置成NP端口，都分配给了VSAN 200。

代码清单9.5　接入交换机NPV模式配置模板

说明：“npv enable”配置命令会自动触发一个交换机重启动作，NPV模式适用范围是整个交换机，而不能基于每接口形式配置。

说明：当接入交换机运行在NPV模式下时，不再承担FC交换机功能，因此，接入交换机上也没有本地FLOGI以及命名服务器注册数据库，有关这些数据库的更多详细内容应该参考FC导向器内容。

在接入交换机上配置NPV，应该参考以下指南及规则：

·NPV模式不要求数据必须按照顺序发布，因为两个终端设备间数据交换将经常占用从接入交换机到FC导向器的同一上行链路。

·可以为终端设备配置分区，以便终端设备能够使用FC导向器上所有可得的成员类型连接接入交换机。

·接入交换机可以连接多个FC导向器，换句话说，不同的NP端口可以被连接至不同的FC导向器上。

·NPV支持NPIV-capable服务器，这一特性被称为嵌入式NPIV。

·NPV使用负载平衡算法在首次初始化时，将VSAN里的终端设备自动分配到某个NP上行链路（也在同一VSAN内）中，如果某个上行链路发生故障，所有与该上行链路连接的终端设备都将失去连接，需要重新登录系统。

·只有执行NP上行链路分配时，才能对服务器接口实施处理。

·FC导向器及接入交换机之间的NP上行链路，不支持通道或链路聚集技术。

·接入交换机不是实施FC交换的地点，所有的网络传输都由FC导向器进行转发，如果两个终端设备间需要通信，也需要经过FC导向器转发才能完成。

以太LAN的接入层

图9-10展示了SERVER-1上的CNA和接入交换机，NX5K-1之间的FCoE连接，SERVER-1通过10GE连接至NX5K-1。在NX5K-1上定义了一个为FCoE服务的VLAN，在初始化时将通过FCoE初始化协议（FCoE Initialization Protocol,FIP）自动广播至FCoE终端节点（End Node,ENode）。ENode上的VN_Port必须连接到该VLAN上某个FCF（或者是FCoE交换机）的VF_Port。更多有关FCoE技术内容，以及诸如CNA、FIP、ENode、VN_Port、FCF这些概念的意义，请参考2.6节的相关内容。

图　9-10　接入交换机与终端设备间的FCoE连接

NX5K-1是FCF（FCoE转发器），它支持为了转发而创建一个虚拟FC（virtual FC,VFC）接口。

如果要将VFC关联到指定终端设备（或ENode），可以采用如下两种方式：

·服务器提供的MAC地址（Server-provided MAC address,SPMA）：VFC与某个特定ENode的MAC地址绑定在一起，此时，只有发往FCoE VLAN或者源自CNA的网络传输才会被转发给VFC。因为MAC地址配置需要在FCoE交换机（NX5K-1）上手动完成，所以这是一种配置密集型方法。

·光纤提供的MAC地址（Fabric-provided MAC address,FPMA）：VFC与FCoE交换机的物理以太网接口绑定，此时，在相关物理以太网接口收到的所有FCoE网络流量（由VLAN和以太类型决定）都被转发到VFC处。该方法将在FIP登录过程中由FCoE交换机（NX5K-1）完成MAC地址分配，因此，不需要在FCoE交换机上来配置MAC地址，使得不需要额外配置就能在终端设备（SERVER-1）上实现CNA交换，具备了更多的灵活性。通常会推荐使用FPMA方法。

更多有关SPMA以及FPMA的详细内容，请参见本书第2章的相关内容。

代码清单9.6给出了一个定义FCoE VLAN以及VFC的配置模板样例。

代码清单9.6　FCoE VLAN和VFC配置模板

以下是在接入交换机上配置FCoE时，可以参考的一些配置指南：

·将VFC绑定到物理接口。为了降低人工配置的工作量，使用FPMA方法而非SPMA方法。

·交换机上配置的FCoE MAC地址前缀（FCoE MAC Address Prefix,FC-MAP），由其所连接的光纤决定。

·24位FC-MAP的推荐范围为0EFC00h～0EFCFFh（默认为0EFC00h），更多有关FC-MAP的详细内容，请参考本书第2章的相关内容。

·只使用FCoE VLAN来完成FCoE传输。

·对于某个FCoE VLAN而言，不要使用默认的VLAN，也就是VLAN 1。

·不同的光纤（例如SAN A和SAN B）应该使用互相分离的FCoE VLAN。

·FCoE传输必须使用802.1Q标签，因为802.1Q标签包含了一定用来定义服务等级（Class-of-Service,CoS）的域，需要使用无损以太网机制，比如说，基于优先级的流控制（PFC）以及增强的传输选择（ETS）。因此，有关的以太网接口应该被配置成trunk端口，更多有关PFC及ETS的详细内容，请参考2.6.2节的相关内容。

·为了确保FCoE传输使用802.1Q标签，以太网接口上的本地VLAN必须是非FCoE VLAN。·可以使用“spanning-tree port type edge trunk”命令，将连接到ENode接口配置为边缘接口（PortFast或TrunkFast），以实现生成树协议（Spanning Tree Protocol,STP）。此步骤属于基本配置，因为STP有可能会在汇聚过程中同步（例如，增加一个临时的放弃状态）该以太网接口，并对FCoE传输可能产生不尽如人意的影响。

说明：NX5K交换机希望从FIP T11一致的CNA接收到的帧能采用VLAN标签，以便实现FCoE VLAN，没有正确标记的帧都将被抛弃。交换机期望来自pre-FIP CNA的帧能够采用FCoE CoS值完成带优先级的标记，不过也仍然接收来自pre-FIP CNA的非标记帧。

设计方案说明

FCoE更像是一个FC，在设计和管理一个FC SAN时，并不会修改基本规则。由于FCoE强制固定必须是无损以太网，因此在接入层很容易实现这些规则。

借助FCoE在以太网上实现服务器I/O整合，可以生成一个统一的DC互连阵列，能够降低管理多个并行网络的成本，包括适配器、电缆以及交换机端口的缩减，都会有助于同时降低CAPEX和OPEX，相应地，也能在实际空间租用、电力及冷却方面带来更好的经济效益。这样的统一光纤还支持“一次连接”模式，降低了部署周期，而后者正是推广云IaaS服务的重要目标。

更重要的是引入FCoE并不需要对整个DC来个彻底翻修，在接入层实现FCoE，不但能获取统一互连阵列绝大多数的优势，同时也能无缝且无害地集成到现有的FC附加终端设备中。