【论数据中心微模块测试技术】

1、引言

随着移动互联网、大数据、云计算、物联网等新兴技术的兴起,全球数据中心数量持续增长,并呈现出高功率密度和高能耗的发展趋势。近年来,我国超大型数据中心的建设速度也逐渐加快,部署机架数量大幅增长。为了缩短数据中心建设周期,减少初期投入成本,数据中心微模块(以下简称微模块)成为了互联网行业、通信行业及其他行业的数据中心的最佳选择。与此同时,随着5G和工业互联网等实际应用规模不断扩大,边缘数据中心和小型数据中心的数量呈现出倍增的趋势。而在上述边缘数据中心和小型数据中心中,微模块也成为了标准化、绿色化建设的不可缺少的组成部分。

2、数据中心微模块概念

基于行业诉求,目前国内各大供应商均在着手研发数据中心微模块。它虽然是小型的机房,但随着其标准化步伐的加快,目前已成为了新型产品。那么,什么是微模块产品?该产品不同于传统意义上的产品,它选择性地包含了数据中心的供配电设备、制冷设备、监控部分、储能设备等机房内的各类基础设施。在行业标准YD/T 3004-2016《模块化通信机房技术要求》标准中定义通信机房(含数据中心)微模块是指由机柜系统、配电系统、监控系统、供电系统(可选)、制冷末端(可选)、综合布线系统、安防系统等组成的具有标准的功能定义和输入输出接口,能够完成单项或多项业务的功能单元。从该定义中,可以看出微模块是一个完成多项业务的功能单元,其构成较为复杂。在行业标准YD/T3290-2017《一体化微型模块化数据中心技术要求》中定义的微模块是由一定数量的两列背对背或面对面的IT机柜以及不间断电源、近端冷却设备等通过封闭通道而形成的小型机柜集群。通过封闭两列IT机柜间的冷或热通道,形成与大机房和其他集群相对隔离的物理环境。根据机柜内设备情况设计独立的电气、制冷、安防、监控、布线甚至消防系统,用户仅需要提供外部市电、网络和必要的冷源即可使数据中心投入运营。微模块内各子系统、组件均可在工厂进行预制、调试,现场快速组装后即可投入使用。多个微模块之间极少或者没有物理关联,用户可按需建设,实现将一个大规模数据中心模块化分步部署。此描述较清晰具体,并对提前预制、调试等情况均提出了要求。

图中的虚线部分可依据数据中心规模和微模块的具体部署而灵活配置。例如,很多大型数据中心基础设施中会具有高压机组、高压配电及变压器等设备,而小型数据中心中很可能会不包含此部分。另外,微模块中的空调末端设备,可以采用列间空调,根据冷量需要布置于服务器机柜中间采用水平送风;也可以采用传统机房专用空调,布置于列的两端采用下送风方式进行制冷。

3、数据中心微模块测试技术

微模块作为一个产品,可以从其整体、电气子系统、制冷子系统、监控子系统、通道组件和安全性能等几大部分进行测试验证,若详细进行验证参数有数十余条。由于篇幅有限,微模块重要参数的测试方法及具体案例简要分析如下:

3.1 整体性能测试技术

在整体性能中包括了输入特性、能效PUE、温度场均匀性等参数。

(1)输入电压与频率范围测试

若将微模块当作黑盒来看,其在一定输入电压范围及输入频率范围之内应正常工作。对于配备交流UPS或高压直流模块的微模块,在上述电源设备以额定负荷运行的条件下,使用净化电源等输入电源设备调节其电压至被测模块所允许的电压上限值和下限值,检查在此范围之内微模块内的ICT设备或模拟负载是否能够正常稳定运行。频率范围测试方法与电压范围测试方法非常类似,调节净化电源频率参数即可。对于供电设备在微模块外部的情况,即微模块内部只包含配电设备,同样调节输入参数,检查包括ICT在内的微模块各设备是否能够运行正常。

(2)能效(PUE)测试方法

微模块的PUE测试方法较其他参数测试复杂,对于采用风冷空调系统的微模块该参数的测试涉及负载率的变化以及室外温度的变化。由于负载变化直接影响微模块内的电源及配电产品效率,而室外环境温度的变化直接影响到空调系统的能效,因此,严格意义上该参数只能在焓差实验室内进行测试,并且应具备可调负载,均匀分布在微模块里ICT机架内。按照笔者经验,宜采用25%、50%、75%和100%负载率和室外环境温度-5℃、10℃、15℃、25℃和35℃的不同组合进行测试。具体试验过程为:在输入条件为额定电压条件下,连接好负载(即将模拟负载插入IT机柜内),并在模拟负载的适当位置布置温度传感器。温度传感器应均匀布置在每个机柜上中下或者上下位置。但必须注意的是,尽量在具体运行的设备进风口处或者模拟负载处进行测试才具有温度的代表性。针对某样品进行PUE测试的图如图2-1至图2-4所示。该微模块通过实时监测负荷状态,动态调整供电系统的工作模式(如开启休眠功能)以及制冷系统的工作模式(如开启轮巡工作),达到数据中心整体能效优化和总体能耗降低的目标。试验案例中对动态节能PUE参数和关闭节能模式时的传统PUE参数进行了比较,由试验结果图看出,在不同的负载率下节能效果均明显。

值得注意的是,若无焓差实验室的条件,只能在现场测试时,应重点考虑室外环境温度的变化情况是否满足验证的要求。同时,对于水冷空调系统,要检查室外冷源部分是否由单独的配电柜进行供电,从而直接能够测量室外冷源部分的能耗。若在大型数据中心等室外冷源部分是集中配置冷水机组和水泵时,无法直接测试微模块所对应的室外冷源功耗,测试结果中应写明测试条件。

(3)温度场均匀性测试

温度场均匀性对ICT设备的稳定运行有着非常重要的作用,是安全、稳定、可靠运行的重要保障。微模块内的温度场均匀性测试计算方式有两种。第一种方法为依据所有传感器的温度数值计算出平均值T,再找出温度最大值和最小值,依据如下公式计算出温度场均匀度(µ1~µ2)。

式中Ta为温度最高值,Tb为温度最低值;

另一种计算方法为首先测得每个机柜的进风温度的平均值T1、T2……Tn。再套用公式(1)得出温度场的均匀度。

上述两种方法对比而言,第一种方法计算出的均匀性会差,因为整个温度场中的最高温度和最低温度的相差会大。而第二种方法在每个机柜处都已经计算出了机柜进风口的平均温度,所以套用同样的公式(1)时,得到的均匀性数据范围会小很多。

3.2 供电子系统测试
(1)供电架构检查

微模块各回路供电应考虑冗余,可采用1+1冗余或N+1冗余方式。依据保障等级可选择空调系统是否由交流UPS或高压直流供电。检查供电架构和回路结构时测试人员应从供电接口输入端开始把相关回路走线检查到末端,清晰辨认回路的总体铺设情况以及冗余情况,同时检查线缆标识是否准确无误,是否清晰可见。

(2)电池后备保障时间测试

首先使被测微模块以设计的额定功率运行。应注意此功率不是微模块内电源系统的额定容量,也不是机架额定容量的总和。由于考虑到冗余,不会把所有机架都按照额定容量插满负载,因此验证微模块正常工作时的最大容量(即设计额定容量)进行放电时,测试后备电池所能支撑的时间。电池截止电压应依据相关电池的行业标准截止电压进行。按照笔者测试经验,考虑到数据中心的安全性保障,配备的蓄电池容量应能够维持产品以满功率运行不少于15分钟。

(3)电池管理功能测试

微模块的供电子系统对电池组良好的管理功能对后备电池的使用寿命具有非常大的影响。因此管理系统应具备电池单体电压、内阻、极柱温度、电流、SOC/SOH监测功能以及蓄电池均充充电及浮充充电状态进行手动或自动转换功能。对蓄电池进行充电时,蓄电池管理部分应能限流充电,并且限流值能根据需要进行调整。此外,管理部分也应能根据蓄电池环境温度,对系统的输出电压进行温度补偿或保护。

3.3 空调子系统测试
对于空调系统,首先检查是否具有空调排水故障检测和溢水停机保护两级告警功能,是否具备冷媒泄露检测,并且是否在管理系统上显示相关的告警信息。对具有节能功能的空调系统,应验证其空调系统的休眠和轮巡功能。具体方法是,调整模块内IT负荷的负载率至50%以下,检查空调机组是否部分进入休眠状态,验证其是否具备自动轮巡和手动轮巡功能。关闭其中一台或几台空调,模拟空调机组故障,检查休眠空调设备是否能够自动启动。此外,模拟微模块内部出现高温故障,检查备机是否自动进入运行状态,并测试上述状态下,整个温度场的均匀度是否满足相关要求。

3.4 监控子系统测试
就目前的监控管理系统总体水平而言,大部分微模块具备了整体布局、各链路和部分(具体包括供电链路、制冷链路、冷量视图、温度云图等)显示功能,能耗管理功能、资产管理功能等。也可依据客户不同需求,设置更多的可视化的和支持各类终端接入的功能。测试人员应逐一检查相关的链路和显示是否与微模块实际配置保持一致。同时,采用高精度的仪表对电压、电流等参数进行测量,并检验监控系统所采集数据的相对误差是否符合要求。

此外,告警与保护是监控系统保障整个微模块安全可靠运行的重要部分。在发生开关断开、输入过/欠压、机柜过载,局部过温、有烟雾、水浸和湿度过高等异常情况时,模块应能够产生相应的告警,并作出对应的保护动作。检测人员应通过人工手段逐一模拟上述各类异常情况并检查验证是否产生了相应告警信息和保护动作。此外,随着数据中心基础设施与新兴ICT技术的深度融合,目前,较先进的微模块也具备了基于人工智能技术的根源告警自动定位功能。通过智能化的手段,能够准确定位故障源并呈现给维护人员,将根源告警衍生出来的其他告警信息隐藏在下级目录中,从而让维护人员第一时间处理根源故障,大大节省故障定位时间,保障数据中心安全稳定运行。

3.5 安全性能测试技术
(1)消防安全功能测试

首先应检查系统的天窗控制器设备是否正常接入,且外部消防信号联动、内部烟感联动、远程控制开窗、空调故障联动功能是否均正常。在此基础上,触发告警信号,检查天窗是否自动打开以及启动灭火功能。

(2)承压测试

承压测试的目的是检查在发生火灾等情况下消防柜进行喷射时微模块是否发生任何异常。测试时首先关闭微模块门窗、洞口等,并采用手动启动灭火控制模式,通过控制器使消防设备柜同时进行喷放,此时检查消防联动是否关闭了通风系统并打开顶上翻转天窗。消防柜喷放后,检查微模块外壳是否有变形、损坏,泄压阀是否自动开启,通风系统是否自动开启等。

(3)接地性能测试

微模块内的电源设备、配电设备和空调设备等均需要保证接地良好,因此微模块内部具有较多的接地端子。该测试中的接地性能指的是微模块作为一个整体,是否具备完善的接地系统,检查接地排布置是否合理,是否形成闭合环接地汇流母排,并测量微模块平台总接地点对地的接地电阻值。

(4)防护等级测试

该测试主要是在实验室条件下进行防护等级试验,可依据GB 4208中规定的相关IP等级进行测试,具体见表1、表2和表3所示,本文不做赘述。

4、总结
本文重点解析数据中心微模块的测试方法,包括整体测试方法以及各子系统的测试方法和安全性能测试方法,希望对相关研发技术人员、标准化研究人员以及相关的运维人员提供支撑和帮助。■

参考文献:

[1] YD/T 3004-2016《模块化通信机房技术要求》;

[2] YD/T3290-2017《一体化微型模块化数据中心技术要求》;

[3] 齐曙光,黄娟英《智慧化与标准化助力数据中心安全绿色发展》,《UPS应用》,2019年第10期

原文刊载于《互联网天地》2020年5期,作者:齐曙光、王长山、李尚,单位:中国信息通信研究院泰尔系统实验室能源与环境测评部

投稿邮箱:bjb@isc.org.cn

封面垂询:010-68209027

#给你看看我的手帐吧[超话]##用手帐记录jessie的小日子#
吼吼吼
我又开始“搞事”了
之前开了一本五年
现在有认真在补写

最近的手帐内容不是一直记录自己做的食物吗
头脑一热
就打算把TN拿来记录我想要保存回忆的吃食
让它彻底成为一本对我来说具有功能性的美食手帐/做饭手帐/吃货打卡录……

然后 还有
呵 我果然是放不下A6
双面的排版
拼贴起来太顺了
所以记录一些琐碎吧

日常打脸的人
已经不在乎了打脸的次数了
脸已经木了 没有疼痛感[打脸]
开心就好[doge]

#gmmtv# 我不过就是好几个月没混泰腐圈居然不知道阿加出柜了啊啊啊?!
我的GMM(泰圈)的神仙小哥哥和神仙小姐姐要被发现了我有点舍不得
赢仔和亮仔说不定会成为GMM第四对台柱CP呢
我的SK,OG,TN,噗萌,饭卡小新,泰迪,星星,滚哥,lee,太子爷,一哥等等
还有我的小姐姐puimek云妹和love妹妹
我爱你们[心]


发布     👍 0 举报 写留言 🖊   
✋热门推荐
  • 可惜,三哥历来能把死的拖活,活的拖死,达索这一惊艳设计,拖过了时,拖成个落后轻型,别人家4/5代都服役了,LCA还没定型,还是魔迪老仙大手一挥,直接装备部队了。
  • 喝著她今早特登为我準備兼開车送來的小可爱咖啡 [打call][打call],我知我今次 (收皮) 的決定是对的 从早上九点开始暴雨就没停过喝了室友分给我的她很
  • 我为刚刚租到的房子能够得到微弱的阳光而感到开心,我会驻足在灯火通明的公园边,享受着他们成群结队的快乐,深秋留下来的那些花儿,也和我一样享受着他们成群结队的快乐,
  • 不过,这老板也太实诚,自助餐还是要提供点喝的和吃饱的东西,光让人吃小龙虾,我觉得他怎么都会亏(虾是活的情况下)! 当然,我要是老板,赶紧在门口贴画报发布消
  • 补写昨天的嘻嘻p1 吉士鸡蛋麦当当我爱吃嘻嘻嘻p2 东食堂二楼 辣椒炒肉丝和咕咚肉 好好吃 用菜狗送我的勺子吃的嘻嘻嘻p3 早餐卷 我要吃一辈子呜呜呜薯
  • [话筒]潮州不是大城市,没有高架桥地铁,没有CBD、MALL! [xkl转圈][话筒]潮州不是大城市,没有高架桥地铁,没有CBD、MALL!
  • #减肥[超话]##8点文档# 1203 难缠的周末周五晚上,我没怎么吃饭,饿着肚子骑着车回到家,如果我能坚持过完这个晚上,今天我将迎来美好的一天,我的减肥阶段
  • 相反就是加水比较多的湿画法,画出来的效果类似于水彩,有水墨淋漓的感觉。用丙烯颜料作画可以用水来调和颜色,少加水或者不加水的干画法,就像是油画一样,颜色比较厚,画
  • 5.不满意就换,不喜欢就分,不舒服就走,不高兴就撤,人生哪有那么多痛苦,无非是你不放过自己。5.不满意就换,不喜欢就分,不舒服就走,不高兴就撤,人生哪有那么多痛
  • 但我还是会对层层加码、做核酸插队等行为重拳出击#btc[超话]##比特币数字币[超话]#我相信在进入币市的投资者几乎都被套牢过,这是一个人人不愿提起,但又人人不
  • #金牛座# 【粉丝投稿】首先,你要是长得好看,或者身材很好,那成功的几率已经有百分之五十了,金牛座真的是颜狗,之前就是因为前任发了张好看的照片,所以也没有犹豫什
  • #怦然心动漫画[超话]#回看之前的截屏,真的很难接受这个结局,我不知道作者怎么想的,如果你看了这么多年的漫画,就等着嗑的CP一个好的结局,结果给你弄这一出,你开
  • 开始没什么钱的时候总是在纠结与犹豫,等有钱了却已经错过那段最好的时光了,就好像我的青春[泪]最后加了点钱入了整个star trek系列最后一款刘慈欣号,结束了我
  • 你是风,是梦,是诗里久别的重逢,东风袅袅泛崇光,香雾空蒙月转廊。长长的亲水栈道在塘边环绕,不论行走在烟水渔庄岸边,还是偶见水草丛里#情感语录##集伶堂草本果通茶
  • 把光遇的宝宝送走那一天 其实很难过很难过 我没有最后上线为她拍一张照 不记得最后一次我们见面穿的什么衣服 前几天还在计划彩虹日要给宝宝买新的礼包 我说 我的宝宝
  • 更难得的是,刘名凯和冯雨回到了现实世界,他用自己的行动证明了,他在电视上所说的话,并不是空穴来风,而是他对冯雨的千金,小小花。 最让人欣慰的是,刘名凯对小
  • 24:00 从宁远县前往广东省东莞市莞城区文坦路新明手袋厂交货(留宿在货车上)。经过初步流行病学调查,两名感染者主要活动轨迹如下:感染者1罗某军11月29日17
  • #杨幂许凯爱的二八定律开分5.8#有关系吗有关系吗[doge]豆瓣评分大家尽力就好了,我看一部作品之前从来不会去豆瓣看它多少分,到现在我都没有去打分追剧自己开心
  • 如何做一个正常人,我们都知道正常人,下面就让来告诉你,如何做个正常人,首先就是要坚持不懈,然后呢也不要忘记半途而废,我们都知道半途而废,像很多人都是半途而废,所
  • 今晨记起的,除了老沙和班长的字,还有老沙当年让我沉溺的歌声是这般柔情的你给我一个梦想徜徉在起伏的波浪中盈盈的荡漾在你的臂弯是这般深情的你摇晃我的梦想缠绵象海里每