高速连接系统设计在云计算中面临的挑战
摘要
已经大规模普遍使用的互联网增加云服务（例如：苹果iCloud）以后，数据中心的纯计算与存储要求正经历史无前例的增长。这种增长直接影响到了能耗。随着它的不断增长，工程师们也正在寻找控制功耗的解决方案。由于联网系统所使用的连接器传输速度超出了每秒10Gb （Gbps），因此，本文中我们将专门研究连接器功率预算，以及降低这些高速通道功耗的解决方案。
引言
今天，毫无疑问互联网数据传输正迅速增长。思科公司的最新（2011年6月）视觉网络指数（VNI）预测报告清楚地显示了这一趋势，其预测兴趣点为移动空间的增长情况（请参见图1）。 "云"计算与存储引入以后，在这种新颖模式的推动下，带宽消耗越来越大。移动用户从简单的文本数据传输转向高清照片和视频传输，用户迫切需要将这些内容复制到云存储，将视频转码发布，并将多媒体数据复制到各种各样的设备中（更不必说在社交网络上发布）。这种性能压力最终要求提高处理和通信能力。
首先研究什么
同所有系统设计一样，新一代服务器和网络首先应提高性能。在云计算架构中，服务通常会随加载变化而变化。已不再是一台"服务器",而是一种离散式硬件设备。在大多数情况下，提供服务的实际硬件可以放置在服务提供商基础设施内部的任何地方，其位置具有"不确定性",随时变化。这种性能提升被称为软件框架内的服务"虚拟化"或者封装，其允许服务在硬件主机之间自由移动。这样便让服务提供商可以根据需求改变资源，从而降低基础设施的功耗。
由于服务得到控制，就有了大量的"机器到机器"（M2M）活动。在大多数数据中心，大多数数据传输都在机器之间进行，而不用连接外部世界。虚拟化的加入，推动了从1 Gbps连接（许多老旧服务器上的标准）转向10 Gbps连接的需求。今天，这种需求正推动转向使用25 Gbps连接。这些连线中的许多长度不到5米，而大多数的长度都在1米以内。出现这种情况的原因是服务器集群的构架。单个机架会放置许多刀片式服务器，其连接至机架顶部（或者底部）的开关。机架成行放置，通过集线器整合，然后将信息发送至其他服务器行或者网络存储器。
使用1Gb连接时，小型标准线可以在信号完整性丢失相当小的情况下轻松传输数据。这很重要，原因是：1）由于线路阻塞气流外流使服务器以外的气流减少；2）决定你在机架中能够布置多少条连线的弯曲半径（参见图2）。
线缆连接问题
如果用于高速连接的无源线缆受到体积庞大和弯曲半径问题的困扰，则光纤解决方案的问题便是高功耗和高成本。看起来，似乎必须使用一种折中办法来解决这个问题。答案就是一种被称作"有源铜线"的技术-这是一个聪明的想法，其将一些有源元件嵌入到导体外壳中，以对由小标号线引起的高频损耗进行补偿。这种解决方案允许使用一些具有"光纤型"弯曲半径和大体积且功耗较高的小标号线。如DS100BR111等设备使用10 Gbps时每条通道的功耗一般低于65 mW,其常用于SFP+ 有源线应用。
应用于10 Gbps以太网时，大多数情况下这种能够提高线缆信号完整性的技术仅限于15米以下的连线长度。但是，如前所述，大多数连接线都在3米以下，可轻松地使用有源铜线替换无源或者光纤线。今天，这种方法常用于10 Gbps连接。但是，未来正快步向我们走来，即使是10 Gbps连接也将无法满足需求。
在光纤连接世界里，基本上有两种连接：1）短距离连接（小于1000 米）；2）远距离（大于1000米）通信。更长的光纤连接形成我们现代互联网基础设施的骨干网络，常使用 100 Gbps WDM光纤技术。为了降低这种技术的成本，包括Google、博科通讯 （Brocade Communications）、JDSU等在内的各大公司，于2011年3月批准了一个10 x 10 Gbps多源协议 （MSA），用于物理媒介依赖（PMD）子层，其为C形状系数（CFP）模块提供一种通用架构。
CFP连接器适用于要求100 Gbps通信的低数目/长距离连接。但是，SFP和四通道SPF接口（QSFP）连接器拥有更高的密度，本地开关和路由器均要求这种高密度。今天，通过组合四条 10 Gbps数据通道，四通道SFP连接器用于40 Gbps以太网。下一步的发展将是从10 Gbps转到25 Gbps通道。它通过一些小QSFP连接器提供相当于100 Gbps的数据传输，并为一些不支持100 Gbps标准的40 Gbps以太网系统提供向后兼容模式。最终，这种形状系数可用于光纤模块，因为不再需要CFP模块使用的10到4通道转换。
这种技术已经数家厂商多次证明，为广大基础设施设计人员提供了一种转到高速连接的路线图。但是，开关或者服务器背后的互连并非是出现这种问题的唯一地方。服务器和网络存储设备内部的各种电气连接都存在相同的问题。
距离是你的敌人
一个数字位的波形横向传输线路和连接器，因此物理学开始起作用，并试图通过阻抗错配和相邻通道串扰引起的频率反射型可变衰减，完全破坏原始信号。数据本身也存在问题，因为之前发送的符号干扰了传输中的当前位。这被称作符号间干扰，即ISI.信号通过ASIC到路由器或者开关背部这段距离后，无法再辨别出这些位。抹杀无源连线无误差位传输的相同效应，也在这里发挥作用。
以前的一些设计，开关ASIC使用多条慢数据通路（一般为3.125 Gbps），连接到某个物理层设备（PHY），以在SFP连接器构建10 Gbps NRZ连接。PHY的位置非常靠近于物理连接器，因此信号完整性损失得到最小化。但是，由于ASIC技术转而使用更小的几何外形，吸纳10 Gbps接口的高速连接便成为一种内在要求。首先，由于移除了PHY,因此这种变化可以降低电气连接的总功耗。但是，PCB边缘的信号完整性损失，要求更昂贵、低功耗的电路板材料，或者再使用一种有源解决方案。
用于抗线缆信号损失的相同设备现在也正用于高性能路由器、开关和服务器内部连接。使用低功耗缓冲中断器和重定时器时，可使用标准FR-4 PCB材料（控制成本），并且功耗非常低。实际上，这些设备以一种类似的方式用于10 Gbps NRZ以太网PHY,以恢复数据和再计时数据，满足连接器规范。
达标努力
在服务器中，包括PCI express （PCIe）在内的标准比比皆是。由于数据传输速率更高，内核处理器向（自）内核传输信息的能力，推动PCIe等标准不断提高传输速度。最新的标准为第3代，其标称拥有8 Gbps的连接速度。如前所述，在许多情况下，设备内部物理距离不变，归因于处理器硬件、连接器数目和间隔。服务器也不例外，同样受到信号完整性问题和功耗的困扰。前面使用第1代或者第2代PCIe的一些设计，只要小心谨慎地布局和选择连接器，便能够满足操作规范。但是，随着服务器转向第3代，电路板材料和连接器正对信号完整性产生影响，以致于不再能够满足这种标准。
如PCIe等标准带来另一个问题，让问题的解决更加困难，而同时还要保持低功耗。这个问题便是带外（OoB）信号传输，其出现在通道早期训练过程。由于在通道接入时标准PCIe板并不了解，因此它必须与根组件沟通，并对通道做出调节，以帮助维持信号完整性。这种通信在带外完成，并且如果失败（因故受到阻塞），通道便无法初始化。
一些PCIe集成电路（IC）中断器的厂商使用一种重复根组件的方法。这种方法将通道分成两部分，有效地缩短了距离，并大大提高了信号完整性（连接器更少/距离更短）。这种方法存在的问题是功耗。重复根组件，要求理解通道传输，并在两端正确地对其重复。另外，串行化和去串行化过程，还会引起过多的延迟。
其他厂商通过使用一种模拟方法对带内和带外信号进行调节（去除了所有信息处理），暂时解决了这个问题。如DS80PCI402等器件使用这种方法，每条通道仅要求65 mW.该器件插入到PCIe通道中以后，有效缩短了末节点和根组件之间的通道距离，其不干扰带外过程，大大改善了8 Gbps数据信号完整性，同时能耗更小。
其他改善方面
我们的信息基础设施正不断增长，以满足日益增加的用户数和技术（例如：云计算等）需求。连接功耗预算只是这些系统总功耗的一部分而已。各大厂商都在寻找一种方法，以产生更低连接功耗的内核。由于ARM内核的易用性和极低的功耗，人们对于在云服务器中使用这种引擎的关注度正不断上升。另外，一些专用处理器也使用其各自的方法进入到信息基础设施中提供各种服务，例如：视频和图像实时转码、语音识别等等。这些专用服务通常要求在通用处理器中执行浮点运算功能。这些专用处理器提供许多高能效的方法，执行相同运算功能。
结论
随着云计算和存储在规模和容量方面都不断增长，节点之间的连接能力也不断提高。设计人员面临的挑战会是在不断增加网络数据吞吐量的同时，维持最低的功率。这些解决方案不仅受到来自日益增长的高带宽要求的挑战，而且也会达到功耗最小化的上限。
已经大规模普遍使用的互联网增加云服务（例如：苹果iCloud）以后，数据中心的纯计算与存储要求正经历史无前例的增长。这种增长直接影响到了能耗。随着它的不断增长，工程师们也正在寻找控制功耗的解决方案。由于联网系统所使用的连接器传输速度超出了每秒10Gb （Gbps），因此，本文中我们将专门研究连接器功率预算，以及降低这些高速通道功耗的解决方案。
引言
今天，毫无疑问互联网数据传输正迅速增长。思科公司的最新（2011年6月）视觉网络指数（VNI）预测报告清楚地显示了这一趋势，其预测兴趣点为移动空间的增长情况（请参见图1）。 "云"计算与存储引入以后，在这种新颖模式的推动下，带宽消耗越来越大。移动用户从简单的文本数据传输转向高清照片和视频传输，用户迫切需要将这些内容复制到云存储，将视频转码发布，并将多媒体数据复制到各种各样的设备中（更不必说在社交网络上发布）。这种性能压力最终要求提高处理和通信能力。
图1:2010-2015年互联网带宽趋势
但是，这些增长是有代价的--不仅仅是费用，还包括功耗方面。新一代服务器和网络的设计人员已经在同功耗做斗争--在购置成本（CoO）和实用热设计两方面。怎样构建系统才能既提高性能又降低功率呢？在信息爆炸式增长的时代，这是一场永无止境的战斗。首先研究什么
同所有系统设计一样，新一代服务器和网络首先应提高性能。在云计算架构中，服务通常会随加载变化而变化。已不再是一台"服务器",而是一种离散式硬件设备。在大多数情况下，提供服务的实际硬件可以放置在服务提供商基础设施内部的任何地方，其位置具有"不确定性",随时变化。这种性能提升被称为软件框架内的服务"虚拟化"或者封装，其允许服务在硬件主机之间自由移动。这样便让服务提供商可以根据需求改变资源，从而降低基础设施的功耗。
由于服务得到控制，就有了大量的"机器到机器"（M2M）活动。在大多数数据中心，大多数数据传输都在机器之间进行，而不用连接外部世界。虚拟化的加入，推动了从1 Gbps连接（许多老旧服务器上的标准）转向10 Gbps连接的需求。今天，这种需求正推动转向使用25 Gbps连接。这些连线中的许多长度不到5米，而大多数的长度都在1米以内。出现这种情况的原因是服务器集群的构架。单个机架会放置许多刀片式服务器，其连接至机架顶部（或者底部）的开关。机架成行放置，通过集线器整合，然后将信息发送至其他服务器行或者网络存储器。
使用1Gb连接时，小型标准线可以在信号完整性丢失相当小的情况下轻松传输数据。这很重要，原因是：1）由于线路阻塞气流外流使服务器以外的气流减少；2）决定你在机架中能够布置多少条连线的弯曲半径（参见图2）。
图2:机架内部布线
转向使用10G以太网以后，信号完整性问题更加突出，无源线缆开始使用更大标准线来补偿。气流/弯曲半径问题开始显现，安装人员/设计人员开始想要使用光纤连接来解决这个问题。转向使用光纤带来了一些问题，例如：高成本和高功耗等。典型单个10G以太网SFP+模块的功耗为1瓦左右。使用数以万计的端口时，光纤连接的功耗需求量便急剧增加，并且功耗增加带来的一些问题也随之出现（机架温度上升）。线缆连接问题
如果用于高速连接的无源线缆受到体积庞大和弯曲半径问题的困扰，则光纤解决方案的问题便是高功耗和高成本。看起来，似乎必须使用一种折中办法来解决这个问题。答案就是一种被称作"有源铜线"的技术-这是一个聪明的想法，其将一些有源元件嵌入到导体外壳中，以对由小标号线引起的高频损耗进行补偿。这种解决方案允许使用一些具有"光纤型"弯曲半径和大体积且功耗较高的小标号线。如DS100BR111等设备使用10 Gbps时每条通道的功耗一般低于65 mW,其常用于SFP+ 有源线应用。
应用于10 Gbps以太网时，大多数情况下这种能够提高线缆信号完整性的技术仅限于15米以下的连线长度。但是，如前所述，大多数连接线都在3米以下，可轻松地使用有源铜线替换无源或者光纤线。今天，这种方法常用于10 Gbps连接。但是，未来正快步向我们走来，即使是10 Gbps连接也将无法满足需求。
在光纤连接世界里，基本上有两种连接：1）短距离连接（小于1000 米）；2）远距离（大于1000米）通信。更长的光纤连接形成我们现代互联网基础设施的骨干网络，常使用 100 Gbps WDM光纤技术。为了降低这种技术的成本，包括Google、博科通讯 （Brocade Communications）、JDSU等在内的各大公司，于2011年3月批准了一个10 x 10 Gbps多源协议 （MSA），用于物理媒介依赖（PMD）子层，其为C形状系数（CFP）模块提供一种通用架构。
CFP连接器适用于要求100 Gbps通信的低数目/长距离连接。但是，SFP和四通道SPF接口（QSFP）连接器拥有更高的密度，本地开关和路由器均要求这种高密度。今天，通过组合四条 10 Gbps数据通道，四通道SFP连接器用于40 Gbps以太网。下一步的发展将是从10 Gbps转到25 Gbps通道。它通过一些小QSFP连接器提供相当于100 Gbps的数据传输，并为一些不支持100 Gbps标准的40 Gbps以太网系统提供向后兼容模式。最终，这种形状系数可用于光纤模块，因为不再需要CFP模块使用的10到4通道转换。
这种技术已经数家厂商多次证明，为广大基础设施设计人员提供了一种转到高速连接的路线图。但是，开关或者服务器背后的互连并非是出现这种问题的唯一地方。服务器和网络存储设备内部的各种电气连接都存在相同的问题。
距离是你的敌人
一个数字位的波形横向传输线路和连接器，因此物理学开始起作用，并试图通过阻抗错配和相邻通道串扰引起的频率反射型可变衰减，完全破坏原始信号。数据本身也存在问题，因为之前发送的符号干扰了传输中的当前位。这被称作符号间干扰，即ISI.信号通过ASIC到路由器或者开关背部这段距离后，无法再辨别出这些位。抹杀无源连线无误差位传输的相同效应，也在这里发挥作用。
以前的一些设计，开关ASIC使用多条慢数据通路（一般为3.125 Gbps），连接到某个物理层设备（PHY），以在SFP连接器构建10 Gbps NRZ连接。PHY的位置非常靠近于物理连接器，因此信号完整性损失得到最小化。但是，由于ASIC技术转而使用更小的几何外形，吸纳10 Gbps接口的高速连接便成为一种内在要求。首先，由于移除了PHY,因此这种变化可以降低电气连接的总功耗。但是，PCB边缘的信号完整性损失，要求更昂贵、低功耗的电路板材料，或者再使用一种有源解决方案。
用于抗线缆信号损失的相同设备现在也正用于高性能路由器、开关和服务器内部连接。使用低功耗缓冲中断器和重定时器时，可使用标准FR-4 PCB材料（控制成本），并且功耗非常低。实际上，这些设备以一种类似的方式用于10 Gbps NRZ以太网PHY,以恢复数据和再计时数据，满足连接器规范。
达标努力
在服务器中，包括PCI express （PCIe）在内的标准比比皆是。由于数据传输速率更高，内核处理器向（自）内核传输信息的能力，推动PCIe等标准不断提高传输速度。最新的标准为第3代，其标称拥有8 Gbps的连接速度。如前所述，在许多情况下，设备内部物理距离不变，归因于处理器硬件、连接器数目和间隔。服务器也不例外，同样受到信号完整性问题和功耗的困扰。前面使用第1代或者第2代PCIe的一些设计，只要小心谨慎地布局和选择连接器，便能够满足操作规范。但是，随着服务器转向第3代，电路板材料和连接器正对信号完整性产生影响，以致于不再能够满足这种标准。
如PCIe等标准带来另一个问题，让问题的解决更加困难，而同时还要保持低功耗。这个问题便是带外（OoB）信号传输，其出现在通道早期训练过程。由于在通道接入时标准PCIe板并不了解，因此它必须与根组件沟通，并对通道做出调节，以帮助维持信号完整性。这种通信在带外完成，并且如果失败（因故受到阻塞），通道便无法初始化。
一些PCIe集成电路（IC）中断器的厂商使用一种重复根组件的方法。这种方法将通道分成两部分，有效地缩短了距离，并大大提高了信号完整性（连接器更少/距离更短）。这种方法存在的问题是功耗。重复根组件，要求理解通道传输，并在两端正确地对其重复。另外，串行化和去串行化过程，还会引起过多的延迟。
其他厂商通过使用一种模拟方法对带内和带外信号进行调节（去除了所有信息处理），暂时解决了这个问题。如DS80PCI402等器件使用这种方法，每条通道仅要求65 mW.该器件插入到PCIe通道中以后，有效缩短了末节点和根组件之间的通道距离，其不干扰带外过程，大大改善了8 Gbps数据信号完整性，同时能耗更小。
其他改善方面
我们的信息基础设施正不断增长，以满足日益增加的用户数和技术（例如：云计算等）需求。连接功耗预算只是这些系统总功耗的一部分而已。各大厂商都在寻找一种方法，以产生更低连接功耗的内核。由于ARM内核的易用性和极低的功耗，人们对于在云服务器中使用这种引擎的关注度正不断上升。另外，一些专用处理器也使用其各自的方法进入到信息基础设施中提供各种服务，例如：视频和图像实时转码、语音识别等等。这些专用服务通常要求在通用处理器中执行浮点运算功能。这些专用处理器提供许多高能效的方法，执行相同运算功能。
结论
随着云计算和存储在规模和容量方面都不断增长，节点之间的连接能力也不断提高。设计人员面临的挑战会是在不断增加网络数据吞吐量的同时，维持最低的功率。这些解决方案不仅受到来自日益增长的高带宽要求的挑战，而且也会达到功耗最小化的上限。