意料之外又情理之中,宿迁成为京东数据中心布局重点,华东数据中心也开启了京东自建数据中心的建设版图。
文:张帅
在京东的投资版图上,宿迁绝对是备受关注的一个点,原因也无需赘述。雷锋网了解到,京东在宿迁的投资项目一共有 12 个,计划投资近 200 亿元,已建成京东信息科技园、京东智慧物流全国调度运营中心等 5 个项目,完成投资 65.5 亿元;近期已开工和即将开工项目 7 个,计划总投资 130 亿元。
京东云华东(宿迁)数据中心就是京东在宿迁的重要布局,在计算力代表生产力的互联网行业,云计算之下的数据中心在某种意义上象征着基础硬实力,京东云华东数据中心建设于 2015 年,总投资 35 亿,一期投资 15 亿,二期计划投资 8 至 10 亿,现已投入 6 亿,整个园区占地 200 亩左右,相当于 19 个足球场大小,是京东云骨干网络节点核心数据中心之一。
一期:平滑自然冷却控制
数据中心是京东庞大的业务体系的技术支撑,华东数据中心又是京东自建的第一个数据中心,承载业务规模和种类相当齐全,毫不夸张的说,京东有一部分是建立在宿迁之上。
京东云华东(宿迁)数据中心一号园区占地 200 亩,总投资超 30 亿元,其中设备投资约 24 亿元,总建筑面积 5.5 万平方米,包括 4 栋数据中心楼(模块)和一栋综合楼。
一期数据中心的投产也经历了三个阶段,先是 2015 年投产的模组1,华东数据中心 2014 年底拿地并开始设计,2015 年 4 月份土建开工,2016 年 4 月实际运营,建设速度还是比较快的,这也和当时京东业务发展速度暴增,需要数据中心来支撑有关,彼时快速运营才是第一要求。
因为建设速度快且宿迁并不是最初选址地,模组 1 没有采用大胆技术尝鲜,而是采用更为成熟的方案,不过模组 1 也给了其他模组以参考,京东云在后续的模组建设中就充分吸收了模组 1 的建设经验,模组 1 设计 PUE 是 1.4,实际运营过程中京东云将 PUE 控制在年均 PUE≤1.3(实测)。
1 模组内部的数据机房和配电室由相同的小模块组合而成,可根据使用需求灵活布置、调整模块内容。单个数据中心模块的建立面积为 6 万多平米,总机柜数 1138 个,分别布置在 10 个模块机房内,4 个标准模(4KW)、3 个高密模块(8KW)2 个网络传输间,和 1 个微模块(12W)机房,总能存放约 4 万 5 千多台标准服务器。
模组 4 在相同地板面积的情况下增加了 35% 的机柜数量,4 模组可容纳 1556 个机架,单机柜功率在 4kw 到 12kw,设计 PUE 小于 1.35。模组 4 在供电方面采用高压直流加 UPS 加市电直供方式,针对不同业务采用不同供电模式,另外在冷却系统方面用上了平滑自然冷却技术。
京东云数据中心水冷机房
数据中心空调系统的能耗一般占总能耗的 20%-40% 左右,其中制冷压缩机的能耗又占到空调系统总能耗的 70%-90%。因此,利用自然冷源来解决数据中心的散热问题成为数据中心创新技术的核心考量之一。
传统自然冷却板换的开启只有 0 和 1 两种状态,不能和冷机并行运行,京东云的创新是在数据中心外楼放置数十个温度、湿度、风速和液位等传感器,机房内不采用传统的点装式探头,而是光纤测温,规模应用不仅提高了精度还降低了成本。
中央控制系统对室外、室内、温度、水及设备各方面数据进行采集,进而控制系统阀门、变存器,带动风机、水泵,包括控制冷水机系统实现平滑联动。冬天板换完全打开,冷机停止工作,在过渡季板换可开启一定的角度,冷机部分运行,甚至可以开半台冷机,基本实现无人工干扰下的自动运行。
江苏宿迁地区,一年中大部分时间的温度在-5~35℃之间,年均气温 14.2℃。京东数据中心相关负责人表示,在宿迁的天气状况下,一年大概有1/3 的时间可利用板换冷却,通过平滑自然冷却技术,一年有将近 5 个月的时间可以完全利用室外的自然冷源,大幅降低运营成本。
实际运行中,冷冻水系统在室外日平均温度持续 5 天以上低于 10 度时,切换到自然冷却系统使用,日平均温度持续 5 天以上高于 10 度时,开始退出。全年基本可以分为免费制冷季和常规制冷季。
“我们在传统的 Freecooling 技术基础上,增加了一套自主设计的气候环境采集控制系统,完全实现了制冷系统根据室内外环境温度、湿度、系统负荷大小、平滑连续的调节各组件运行状态,始终保持系统在最佳的效率区间。而且全年可以“免费”使用自然冷源的时间高达 180 天以上,直接节约电费数百万元以上“,京东方面表示。
雷锋网了解到,京东云宿迁数据中心一号园区 4 个模组建成可容纳 5800 个机柜,实际服务器数量可超 15 万台,此外园区还采用了大规模雨水回收再利用系统、物理阻垢水处理系统,降低污染,整体基础设施可靠性不低于 99.985%。
京东云宿迁数据中心搭载定制化第二代英特尔至强可扩展处理器,搭配傲腾数据中心级持久内存,多核高主频设计满足了京东云高性能计算、大内存配置和高网络吞吐需求。京东云公有云目前已完成 4 个区域 、10 个可用区(华北北京、华东上海、华东宿迁、华南广州)的整体布局,另有数十个遍布全国的 IDC 设施。
二期:风侧间接蒸发冷却
如果说宿迁 1 号园区还只是小试牛刀,那么 2 号园区的建设思路更加体现了新互联网巨头的进击心。九月初传来消息,京东云华东数据中心二期土地已完成摘牌,目前正在进行方案深化设计。
宿迁 2 号园区紧邻 1 号园区,占地约 260 亩,总投资大于 60 亿元,同样是 4 栋数据中心楼,不过设计机柜数量是一万个,预计能装下 20 万台服务器。
京东云数据中心内部机柜
根据京东规划,2 号园区在 2018 年底完成数据中心规划和土建施工前期准备工作;2019 年中期完成核心数据中心建筑物交付;2019 年 12 月计划交付 5000 台机柜,2021 年交付剩余全部机柜。
相较于 1 号园区,2 号园区将采用风侧间蒸发冷却技术,预计年平均 PUE 低于 1.2。据说宿迁数据中心的建设曾考虑引入周边骆马湖水做自然水源的冷却方式,但是对生态环境的隐形影响无法评估,京东当即拍板摒弃这种方式。
间接蒸发冷却技术在国内外数据中心均已有应用,京东针对宿迁数据中心做了本土化定制,包括进出风结构和尺寸等细节。单层数据中心,蒸发冷却设备按在上部,热通道封闭,热风蒸发向上进入冷却设备里面去,交换过的冷风反送到服务器。多层数据中心蒸发冷却设备放在侧面,侧进风侧排风。
初步测算,2 号园区若采用风侧间蒸发冷却,可以实现一年 85% 以上时间不启动机械制冷。
关于选址宿迁,还有一个故事。京东 2012 年开始数据中心选址,调研了十多个城市,宿迁并不在其中,京东数据中心专家拿着 100 多页的报告去向刘强东汇报,1 个小时之后,刘强东发问,“你们的数据中心为什么不选择建在宿迁”?
从技术角度上,宿迁并不在传统意义上的数据中心选址考虑之列。刘强东提出了两个原则,第一,数据中心建在宿迁,尽快建成;第二,解决当地互联网基础设施薄弱问题,通过数据中心促进当地互联网产业的调整和升级。腾讯在深圳、阿里在杭州、百度在阳泉的数据中心等,都可以理解为互联网大佬的家乡情结,不过宿迁的网络条件还是要更差得多。
网络条件是京东华东数据中心面临的所有难题中的最大瓶颈。为此,京东和三大运营商分别进行了沟通,在模组 1 投产时,已经实现中国联通的骨干网络从徐州直连宿迁,不必通过南京再返回,少了 600km 的线路延迟,实测过程中,数据从北京到宿迁相比到南京有更低的时延。
京东云通过自建 BGP 解决单运营商网络中断的问题,三⼤ ISP 互为备份,京东云与各 ISP 直接互联,缓解运营商大区间网络通信异常问题。京东云自建 BGP 作为电信运营商与京东云数据中心的中间层,以⼆级运营商的作⽤,向公有云/私有云/甚⾄是合作伙伴的数据中⼼提供质量稳定可靠互联⽹接⼊服务。
各全国区域间均采⽤双平面设计,双活并互为备份。在区域内,各数据中心双上联到 2 个骨⼲机房,通过骨⼲机房与各 ISP 互联网、其它区域骨干网互联。并且同区域的各数据中心之间互联,通过骨⼲机房的双星形结构⼀跳到达,在确保传输成本利⽤率最⼤的情况下、确保了传输延时和质量。
京东云业务的快速发展对数据中心提出了更高要求,雷锋网获悉,京东已经在廊坊、张家口等地筹划新数据中心的建设。
京东宿迁数据中心还有更多的黑科技尚待发掘,比如更先进的浸没式液冷、智能巡检机器人等等,京东华东数据中心落地宿迁后,为当地提供了互联网基础设施能力,吸引了一批互联网企业迁入,与其说京东选择了宿迁,倒不如说数据中心为宿迁打开一扇通往互联网的窗口。