IT服务器运维 | 服务器网卡Team聚合技术

2020-04-20 20:50 作者：admin

数据中心服务器接入大量采用了服务器网卡(Team)技术。Team技术不完全属于网络系统，也不完全属于主机系统负责，而是介于两者的中间地带，因此极易出现问题。最常见的错误就是服务器端选择了交换机相关的team模式，但交换机端网络人员却没有做任何设置。在一定条件触发下，会引起交换机报主机物理地址flapping错误，继而导致整个交换机CPU利用率居高不下。本文通过对两种常见服务器网卡的Team技术原理的探讨，分析了各种Team模式的实现方式和配置方式。IT系统运维人员熟练掌握这些知识和技巧后，可根据自身系统的需要，选择合适的Team模式，有效避免后期的运行风险。数据中心对可用性要求极高。为保证业务系统高可用性和连续性，从网络层面讲，整个通道的网络设备和通信线路，全部是冗余设计：
即从客户机到服务器之间的网络通道，任一物理设备宕机，或任一通信线路中断，都不会影响到业务的连续。 然而，服务器和客户机，特别是服务器单线路接入网络时，存在以下单点故障：
· 接入物理设备(通常是交换机)宕机；
· 接入设备的网口损坏；
· 使用的网线损坏；
· 服务器、客户机的网卡故障。
解决这种单点故障只能使用服务器网卡组(Team)技术。本质上说，网卡team技术是将同一主机上的两块或两块以上的网卡，通过软件控制，虚拟出一个逻辑网卡。实际工作时多块网卡可以是一主一备模式，或者是双活模式。这种技术的初衷是为了解决服务器的带宽瓶颈，随着近年来千兆和万兆级的服务器网卡的出现，服务器带宽瓶颈得以缓解。因而现在实施服务器网卡组，主要是为服务器网络接入提供冗余，提高服务器可用性。这种技术的出现很好地解决了行业数据中心服务器接入的单点故障问题，因此在行业内被大量使用。目前市场上流行的可以实施网卡组技术的网卡有intel和broadcom服务器网卡，本文也将重点介绍intel和broadcom服务器网卡组技术。
网卡组技术架构
网卡组技术的实质是对多个物理网络接口进行统一管理，将多个物理接口虚拟成一个逻辑网络接口。具体到服务器网卡上，可以看作将多块网卡虚拟为一块逻辑网卡。从属性上看，虚拟逻辑网卡和物理网卡无任何不同，也有自己的物理地址和网络地址。服务器使用逻辑网卡与外部的主机通信。外部主机只能看到服务器的逻辑网卡，至于服务器具体的物理网卡个数、物理地址等细节，外部主机是不清楚的。
网卡组逻辑结构如图1所示 无论是intel还是broadcom，一般都是在原有网卡驱动程序基础上，增加一个网卡组驱动程序，由该驱动程序完成网卡组功能。网络协议直接访问网卡组驱动程序，网卡组驱动程序负责完成负载均衡等功能。一般地，网卡组驱动负责对组成网卡组的各个物理网卡进行管理，例如，活动探测，流量探测等，并根据实际情况，实现负载均衡和网卡容错功能。
总结
下面是一些关于网卡组技术的总结，可以帮助读者更深刻地理解网卡组的实现技术。
1、网卡组技术是提高终端（不仅仅是服务器）接入网络带宽和可用性的一种技术。因此，它只涉及终端和网络接入设备（交换机、HUB和路由器），参与的双方必须直接连接，中间不能跨接其他设备。关于网卡组，目前都是各厂商自行实现，尚无统一的国际标准。
2、提高带宽是通过多块网卡的负载均衡手段，所有的交换机相关网卡组模式（静态或动态）、ALB和RLB，都提供负载均衡模式。负载均衡参与者必须是同一局域网的设备，即，客户端与服务器必须是同一IP网段，且处于同一广播域。
3、负载均衡不是基于单个数据包的，而是基于客户端或网络应用的。也就是说，某个网络应用的所有数据流，自始至终，只使用组中的某一特定网卡，除非该网卡故障而发生切换；另外，由于发送和接收数据均衡由不同的设备实现，因此同一网络应用的收、发数据流可能会经过不同的网卡。
4、HUB属于物理层设备，处于同一冲突域，不能增加接入带宽；路由器属于网络层设备，HUB和路由器都不能象交换机那样处理设备物理地址，因此，网卡组技术不能在HUB或路由器上实现。
5、无论AFT、SFT、ALB还是其他交换机无关网卡组技术，在交换机转发表中，组中每块网卡的物理地址都正常出现，需要调整时，由网卡组驱动程序控制网卡发送特定的数据包，改变交换机中的MAC表，以实现冗余互备。基于这个原理，虽然intel网卡支持的AFT，ALB等模式要求接入同一台交换机，但经过测试（在组中只有两块网卡的情况下，多块网卡的情况未测试）在分接两台不同的交换机时，效果基本上是相同的。
6、Intel的技术资料说明，在做SFT模式时，启用STP协议，但网卡连接接口应启用STP速端口（portfast），其余模式的网卡组也应该如此。其给出的理由是启用STP协议的交换机端口状态转变时候大约有40秒的延迟，会增加网卡切换时的时间，增加网络应用中断的时间。
事实上，无论何种模式，只要在STP协议稳定后，参与网卡组的交换机全部处于正常转发状态，此时如果仅仅是发生网卡故障，故障网卡上的数据流切换到正常网卡上，只要交换机上的端口物理状态没有改变，STP协议也不会发生状态转换，整个切换时间取决于交换机中转发表的修改时间。
7、关于交换机相关网卡组模式。这种模式实际上是一种“分流、互备”方式，配置时选择余地大，技术成熟，唯一的缺点是，所有与交换机相关的网卡组模式，不能跨接交换机，必须接入同一台交换机上，即，这种模式只能提供带宽扩展和网卡容错，无法提供交换机容错。
在可用性要求较高的场合，交换机容错是必须的。如何解决这个问题呢？最理想的方式是借助交换机堆叠技术。就CISCO交换机来说，两台堆叠的交换机逻辑上可以看做是一台交换机。但配置FEC或GEC时，要求成员接口必须位于同一台物理交换机上。CISCO 3750在堆叠时没有这个限制，即，两台3750交换机堆叠后，可以将不同物理交换机上的交换机端口捆绑在一起。网卡组技术结合CISCO 3750堆叠技术，就可以采用交换机相关模式，同时提供交换机容错功能。
 
以上内容由北京艾锑无限科技发展有限公司整理