应用

技术

物联网世界 >> 物联网新闻 >> 物联网热点新闻
企业注册个人注册登录

铜进光退的未来,数据中心如何发展?

2020-10-13 10:01 与非网

导读:“光”进“铜”退是通信行业的必然趋势,但并不意味着“铜”的消失,在数据中心标准化快速发展,数据中心硬件设计更加极致化的今天,“光”与“铜”需要结合自身的优势,分别承担好自己的“角色”,更好的为数据中心网络服务。

“铜”进“光”退的需求

伴随着云业务的快速发展,数据中心互联硬件对高运行稳定性和低成本的诉求也越来越强烈。以 25G 速率的服务器到交换机互联方案为例,主要的连接方式有两种,DAC和AOC。

DAC(direct attach cable)顾名思义,由于是直连方案,高速通信信号在设备之间传递,处于透传状态,而常用的AOC(active optical cable)由于需要将电信号转换成光信号,再转换成电信号,存在多次信号转换的过程,会引入相应的适配问题,而数据中心互联硬件故障里面因为信号或者协议匹配导致的适配性问题占比在 30%以上,而且故障更因定位过程复杂、时间长,严重的会影响数据中心的交付使用。

DAC由于装配组件少,结构简单,相比于AOC在 BOM 成本上有着明显的优势。不仅如此,DAC 几乎没有功耗,一根 25GDAC的线缆功耗在 0.1w 左右,而同样速率的 AOC 功耗在 2w 左右,相差 10 倍以上。以 20w 台服务器接入的规模为例,一年可以节省大几百万的电费。

为满足快速交付的要求,数据中心安装布线的时效非常重要,布线过程中必然会存在线缆损伤,从材料及结构上讲,铜比玻璃有着更好的机械应力容忍性,因此,DAC 也能够比 AOC 容忍更多布线过程中导致的损伤。

但由于机柜功耗的限制,服务器到交换机的连接距离很多场景下往往需要达到甚至超过 7m,所以早期 25G 服务器到交换机连接的方式以 AOC(有源光缆)为主,而 DAC(直连铜缆)方案,由于理论上只能支持到 5m 的应用,使得其应用大为受限。

25G NRZ 的尝试

在保证低成本的前提下,如何延长铜缆连接距离,有效的方式有两种:一种是基于信号时钟恢复的 Retimer 方案,一种是基于信号放大的 Redriver 方案,如下图:

Retimer 技术原理:

Redriver 技术原理:

显而易见,以 25G 为例。在成本,功耗和功能复杂性等各方面,Repeater 方案都有着明显的优势,因此我们选择了 Repeater 方案。

根据信号传输的特点,我们在多个不同的频点和频率范围进行输出参数调整,使输出信号能够,最终使得极限情况下 DAC 的连接距离延长到了 10m。

但是,理论上设计的连接距离,并不意味着最终量产可用,除了成本还要考虑量产一致性和系统的冗余度。

通过多轮的测试验证,结合现网故障率容忍度,我们最终确定了 25G Linear-ACC 的应用范围<8m,这个距离已经可以覆盖 25G 服务器 80%的应用场景。

最终,25G 相关的产品带来了预想的收益,通过 DAC+ACC 的布线方案,成本相对于传统 AOC 方案,降低了 40%,现网故障率由原来的 0.3%降低一个数量级。

50G PAM4 的升级

对于 linear-ACC 方案的尝试,25G 只是一个开始,无论是方案,还是成本,都还没有做到极致化,进入 50G PAM4 时代,成本必然进一步提高,而系统对于信号质量的要求也更上了一个台阶,ACC 的设计也需要更加精细化。在 50G PAM4 调制下,我们进一步参与到的芯片设计上,包括整体方案选择、参数调节功能优化、融入降噪技术等一系列的工作。从这一代开始,我们给它一个新的名字 TAC(Tencent Active Cable)。

200G 7m TAC 产品

1.  更精细的成本控制

通信行业硬件成本优化离不开的大原则:单从材料层面上讲,InP 比 Si 贵,Cu 比 Si 贵。跟 25G 一样,DAC 和 ACC 一定有一个交界点,同样的长度下,ACC 一定比 DAC 便宜;在 50G PAM4 下,以 200G1 分 2 铜缆为例,2.5m 就是这个成本变化的交叉点,超过 2.5m 的铜缆应用,用 ACC 不仅性能裕量更大,而且综合成本更低。

2. 系统参数归一化

IEEE802.3cd 要求 50G PAM4 调制下的线缆满足在 13.28GHz 下的 SDD21 小于 17dB,而实际大规模生产出来的线缆,超过 2.8m 长的距离,已经超出这个标准。另一方面,虽然 50G PAM4 调制下的基准频率与 25G NRZ 相差不大,但对于信号输出强度更加敏感,中高频的衰减相比于 25G NRZ 带来的误码代价更高,因此在 50G PAM4 的应用和设计上我们倾向于更大的冗余度。

新一代 ACC 的设计,我们取名 TAC,这里 T 即有 Tencent 的意思,也有 Tunable 的意思,意味着相比 25G,我们可以更加灵活的调制线缆的参数,使其与系统更加匹配。

需要特别说的是,系统在识别铜缆的过程中,需要对铜缆的 SI 进行定标,这个定标的过程,我们称之为 Training,如果已知铜缆的 SI 参数,并且参数统一,我们只需要在系统侧输入一个匹配参数,即可快速连接,降低了系统在识别过程中的时间损耗和错误率,并且由此可能带来的链路故障。

TAC 的最大特点就是可以将不同长度的线缆 SI 归一化到一个极小的范围,使得不同长度的线缆,看上去就像是同一个规格。这就是“T”的精髓。

3. 融入降噪设计

刚刚提到,相比较 25G NRZ 信号,50G PAM4 信号对 ACC 的性能要求高了很多。首先,PAM4 信号单个眼的信号能量比相同幅度的 NRZ 信号少了 9.5dB,所以对 Redriver 芯片的噪声性能要求提高了。其次,PAM4 信号的多电平特性需要 Redriver 芯片有更好的线性度,从而保持三个眼张开的一致性。最后,PAM4 信号比同等波特率的 NRZ 信号对上升 / 下降沿的要求更高,这意味着需要更多的高频补偿。

用于 50G PAM4 ACC 的 Redriver 芯片需要同时实现更低的噪声,更高的带宽和线性度。但是,噪声和带宽以及 Redriver 提供的高频增益是相互矛盾的,为了解决这个问题,进一步优化噪声和均衡能力之间的折中,我们在新一代的 Redriver 芯片中加入了噪声抵消技术(Noise CancellingTechnique,NCT)。其工作原理如下图:均衡器里的晶体管在 Y 点的输出噪声通过反馈网络同相拷贝到了输入 X 点。另一方面,Y 点的输出信号和 X 点的输入信号是反向的。通过引入前馈网络把 X 点的信号和噪声进行反相放大并和 Y 点的信号和噪声相加,可以抵消一部分输出噪声,同时加强了信号本身。在理想情况下(HFF=-1/HFB),均衡器里晶体管的噪声可以被完全抵消。通过在线性均衡器电路里引入上述噪声抵消技术,晶体管的等效高频噪声减少了 30%。通过这个技术,线性 Redriver 在提高带宽和高频增益的同时没有恶化信噪比(Signal-to-Noise Ratio, SNR)。换句话说,在保持一样的带宽和高频均衡增益时,提高了 Redriver 的输出 SNR。另外,一种新颖的推挽式跨导结构(Push-Pull Transconductance)被用在了新一代线性均衡器里,大大提高了电路的大信号线性度,使得在提高 SNR 的同时,保持了 PAM4 信号三个眼的一致性。

4. 性能实测

为了验证基于新一代 50G PAM4 线性 Redriver 芯片的性能,用 7m 28AWG 制作的 SFP56 有源线缆在实验室里测试了 S- 参数和误码率(Bit Error Rate, BER),测试环境和结果如下图所示:

经测试,各项指标已经超出预期,7m 28AWG ACC 的回波损耗和插入损耗完全满足和超出了 802.3bj 标准的要求,COM 值达到了 6dB。测试接收误码率,不开 FEC 下 BER 在 10-9 量级,远低于标准要求,开 FEC 下无误码。线缆整体功耗实测小于 0.4W,大约是 56G PAM4 AOC 的 1/10。

结语

“光”进“铜”退是通信行业的必然趋势,但并不意味着“铜”的消失,在数据中心标准化快速发展,数据中心硬件设计更加极致化的今天,“光”与“铜”需要结合自身的优势,分别承担好自己的“角色”,更好的为数据中心网络服务。