1Gb之前的连网设备通常以总线互连为基础来建立I/O子系统(图1a)，其缺点是这些系统的数据速率受到总线扇出的电气负载容量和板上多个芯片之间总线时钟分配的限制。在更高的数据速率，工程师们采用了高速点到点协议，最开始基于LVDS技术，然后基于串行/解串器(Serdes)技术。这种互连设计类似于带有不同入口路径和出口路径的“菊花链”(图1b)，其数据包必须流经每个设备且不会“流回”已流过的设备。

图1：总线和菊花链互连架构代表了目前网络设计中最流行的板级互连，但对支持复杂数据缺乏灵活性限制了它们在提供更高级服务的系统上的应用。

一般来说，人们希望今天的连网设备能够提供几Gb的线速率并完成3层到7层的操作。这个转变对互连设备的影响是巨大的。当服务被限制在3层时，数据可以沿线性菊花链的路经流过网络；我们可以线速度性能为指标对这个数据平面进行优化，依靠快速ASIC来提供这些服务。当发生意外情况时,比如更新路由表,首先把路由表从数据平面中提取出来，在进行离线处理之后再重新插入到数据流中。

随着4层到7层功能的工作负载加重，数据流变得更加复杂。更多的数据包现在需要以线速度进行进一步的处理，而一些数据包在由交换机传送到目的地之前必须使用多个设备。例如，必须首先把到达网络处理单元(NPU)的加密数据包发送到保安协处理器，然后再传回NPU进行处理和发送到目的地。由于通过系统的不同数据包可能需要采用不同的数据流模式，直线式的线性数据平面只好让位于更复杂的模式。

总线和菊花链架构存在的另一个问题是由于流入和流出的数据包使用不同的路径而导致设备效率下降。有时，两个路径都需要某些协处理器，这意味着当一个设备的吞吐量定额不足以满足该设计的性能要求时，电路板设计必须承受两个设备带来的成本和功耗。4层到7层服务的一些改变也可能意味着某个路径的处理负担更加沉重，此时，由于不能改变互连路径而不得不进行处理器升级进而导致需要重新设计电路板。

交换式互连的好处

交换式互连是为摆脱这个设计约束而产生的一种新兴方案(图2)。几个流行的总线标准(如PCI和RapidIO)的发展已体现出这种向交换式互连发展的趋势。HyperTransport、串行RapidIO和PCI Express的标准化组织和促进者已使这些标准采用基于交换的设计。

图2：交换架构利用交换芯片(ASIC或者FPGA)为板上所有资源提供互连性，它们还允许数据从一个资源“回流”到另一个资源。

设计工程师们可以用几种方式实现交换式互连。我们可以把FPGA(尽管并不是真正的交换机)设置成多个设备之间的互连设备。通过在数据路径配置中给定FPGA各端口的程序可以实现端口间相互通讯。由于传输流数据接口的复杂性以及需要进行高速缓存和流控制，FPGA实现通常仅能支持小部分端口，而且通常不能在10Gbps数据速率端口之间完全实现非阻塞连接。

通过把FPGA设计转换成ASIC可能可以解决部分问题。然而，这个切实的工作需要使用高速接口，并需要互联专家的努力。而且，这个过程更像是开发定制的ASIC，而不像在把简单的FPTA设计转化成ASIC通常采用的按钮操作式的系统综合。

现在，市场也提供商用的矩阵交换芯片，越来越多的制造商提供这样的器件：它们是具有可重复编程能力和流控制能力的全交换实现。即将面世的第一批芯片将支持SPI-4.2协议，对其它协议的支持正在开发中。

使用交换机进行设计

转移到交换式网络意味着必须学习一些新的术语并熟悉一些设计考虑。交换机的性能是由芯片的端口数量、端口速度及交换机架构的吞吐量组合而成的容量决定的。例如，在SPI-4.2交换机中，每个端口最高运行速度为16Gbps，如果该芯片有2个端口，为了不阻塞数据，交换架构必须支持至少32Gbps。交换架构的速度通常被设计成总端口速度的若干倍-这个倍数被称为超速倍率。

交换延时是一个数据包通过该交换机所花费的时间，在选择合适的交换机时，这个参数与吞吐量同等重要。目前存在两种交换模式，每一种都对等待时间有重大影响：切入直通型(cut-through)交换机读出数据包的目的地并在交换机接收到整个数据包之前把它转送出交换机；相反，存储转发型交换机必须在已接收到整个数据包之后再把它转送出去。通常直传型交换机可以缩短等待时间，特别是在存在大型数据包的设计中。

如果一个交换机即使内部严重超速也不能提供低等待时间传输和低等待时间流控制，很可能会引发吞吐量问题。例如，由于在拥挤、流控制延时和缓存枯竭之间振荡，流量爆发将表现为不规则的“锯齿”性能，此时，设计者将需要调整缓存的规模以适应交换芯片的速度和等待时间。低速产品(交换架构低于链接速度的总和)或高等待时间产品将需要更大的缓存。

等待时间也将对另一个关键的系统性能?D?D流量控制产生严重影响(图3)。为了使每个阶段(流入、通过中和流出)都有机会报告拥挤状况并使发送者可以很快知道并中止传送，该链接必须通过链接把通过交换机的流控制中断掉。流控制耦合的越紧密，流控制路径的等待时间越短，整个系统工作的效率就越高。

图3：芯片上的数据流控制是交换延时的重要组成部分。

为了从交换机得到最大的灵活性，交换机上的接口端口应该在接口协议的整个范围内实现通道化。SPI-4.2协议最多可以容许256个通道。这些可以传送被分开的通讯流通道(有时被称为端口)有完全不同的硬件资源、缓存和流控制机制，但共享相同的物理层。为了允许复杂的数据流过多个设备，具有把任何接口上的任一通道映射到其它所有接口上任一通道的能力也是重要的。

另外，还存在一个与线头(HOL)阻塞有关的重要问题：由于在交换机中发生拥挤，数据包在流入端口被阻塞，导致其它没有受到拥挤影响的数据路径的数据包无法前进。不管交换机的容量有多大，HOL阻塞都将影响交换机的实际吞吐量。端口通道化和按通道进行流控制是在芯片中克服HOL阻塞的重要手段。

交换式互连提供新的设计可能

许多新的连网设计包含回返型数据流。数据包在被转出之前通常须经多个设备进行多次处理。例如， 当NPU接收到一个需要进行分类的加密数据包之后，必须把它发送到一个保安协处理器进行解密，然后再把它送回NPU进行最后的处理。

对于这样的工作，不使用交换式互连意味着把保安协处理器同NPU放在同一数据平面中，为适应少量被加密的数据包，需要把所有数据包都由保安处理器过滤一遍。在这样的设计中，如果保安处理器不能以线速度运行则将会成为一个瓶颈。

这种交换式设计的一种改进方案是增加一个“中间平面”，安全、SNMP、内容管理和其它设备都驻留在这个平面上，交换机仅在必要时才把数据包传送给这些设备。这种方案在允许提供4-7层特性的同时优化了数据平面的性能。

交换互连对于新型高级电信计算架构(ATCA)也是一个重要的概念，它可以为ATCA提供更大的灵活性。ATCA是为基于中央办公室的连网设备的系统设计建立的第一个标准。该规范支持对每个线卡加入夹层卡：我们可以把这些夹层卡插入到线卡中进而提供更多的功能、更大的物理接口灵活性或甚至增加计算或存储连网能力。依靠在线卡上的交换式互连，这些夹层卡可以灵活地根据需要进行连接、混合和匹配。推广开来，这可以产生可与以太网、DSL、Wi-Fi或应用所需要的其它连接标准的任何混合组合在一起的“通用型”接入线卡。

设计实例

从ATCA线卡的一个参考设计中可以看到这种方式所能提供的灵活性(图4)。由于该电路板的设计包含一些可拿掉的PHY/MAC夹层卡，这些接口是可以改变的。这些夹层卡可以支持10/100/1000以太网或WAN协议等任何物理介质或连网技术。

图4：结合了交换互连架构的ATCA标准使板级设计的功能更加丰富，还可增加灵活的夹层卡以支持新的物理层接口或者新功能。

板上包含一个用来提供数据包分类和服务处理的NPU、一个用于调度和QoS增强的通讯管理器、一个用于解密的保安协处理器和一个用于连接到交换机背板架构的接口芯片。所有这些器件都由Fulcrum微系统公司开发的一款6端口SPI-4.2交换机?D?DPivotPoint FM1010连接起来。

FM1010提供到所有器件的高速互连。该设计预先考虑了多Gb速度接口，每个SPI-4.2端口可支持多达16个全都可以以全线速率工作的通道。FM1010的内部交换容量为192Gbps并保证板上的每个元件都可以得到这些线速率。

FM1010可以软终止没有安装夹层卡的端口并对每个处理器提供全连接能力-这些处理器是可以根据应用的需要重新配置。同需要更多地访问保安协处理器的双WAN卡接口相比，包含两个LAN接口夹层卡的配置更多地使用了通讯管理器。

该设计表明，交换式互连可以以更高的水平提供连网设计灵活性。随着更多的制造商进入该市场和向互联协议中增加改进型交换支持，工程师们在使用交换方式来重塑其架构时将有更多的选择,进而从中获益。

作者：Alain Gravel，email：agravel@fulcrummicro.com，Fulcrum微系统公司