又是一年 11.11,各大电商平台宣传铺天盖地,无数商家卖的盆满钵满,大家熬夜抢购。与此同时昨晚各大电商平台的工程师们却是进入“战斗状态”,面对爆发的数据量狂潮,全力保障网站服务器运行稳定。
上个双十一 IDC 圈带大家看过了阿里的数据中心,今年就带大家看看另一双十一剁手大户的 IDC——京东商城 11.11 活动支撑之一的京东云华东数据中心。
虽然规模和销售额不如阿里天猫,但京东自营的品质与快递速度一向为人称道,京东云华东数据中心实则也可称为一款特别的“京东自营”——京东云首个自建数据中心。
据介绍,目前京东云为京东商城做全面的基础保障,京东商城的底层基础网络、安全、CDN、Ipv6 等均架设在京东云上。
京东云首个自建数据中心——京东云华东数据中心位于宿迁,整体由 4 个模块和 1 栋综合大楼组成,总占地面积将近 6 万平方米,总投资 30 亿元。据京东云介绍,该数据中心可以提供 30 万台的服务器安装和运营能力,存储能力不小于 32EB,计算能力不小于 128 千万亿次每秒。
停电导致的数据中心宕机事件不在少数,就在今年 9 月某国际云厂商就遭遇了电力故障导致的宕机。对当天破千亿元的成交额来说,哪怕仅有 1 分钟宕机,损失也是不可估量的。因此,对参与支持 11.11 活动的数据中心来说,负荷用电的高可靠性尤为重要。
一、
京东云华东数据中心的电源系统是如何保障的?
服务器冗余电源系统最终都可以归结到双电源系统上,如果双电源服务器的每一路电源都能通过独立的供电路由从独立的电源取电,就能够获得最高的可靠性。
京东云华东数据中心园区具有专属的 110KV 开关站,其上一级来自两个不同的 220KV 变电站专线。在 110KV 开关站内设 2 台变压器,容量满足整个数据中心园区的最大用电量。当两台变压器任意一台检修或发生故障时,另一台完全满足园区内所有设备的正常用电需求。
数据中心机房内所有电子信息设备都采用 UPS 供电,其中两个生产机房和两个网络机房的供电模式为 2N,其余六个生产机房的供电模式则为N+1。辅助设备电源的供电模式为 UPS+ 市电,单台 UPS 后备蓄电池支撑时间不小于 15 分钟。即使两路市电电源都发生故障,机房模块内负荷会由 UPS 蓄电池供电,同时备用柴油发电机组启动,向机房模块、空调冷源、照明等负荷供电。
后备柴油发电系统的油罐储油量在无外部支援情况下可以满足发电机组大于 12h 带载连续运行,并有紧急供油协议作为后继可靠保障。任意一套油路系统 PLC 控制出现故障时,会自动切换至另外一套 PLC 控制系统,又保证了系统供油的可靠性。
二、
11. 11 最重要的就是网络传输和计算能力,
这两点上,京东云华东数据中心表现如何?
首先,京东云华东数据中心为第三方数据中心,通过自建 BGP 解决单运营商网络中断的问题,三⼤ ISP 互为备份,京东云与各 ISP 直接互联,缓解运营商大区间网络通信异常问题。
京东云自建 BGP 作为电信运营商与京东云数据中心的中间层,以⼆级运营商的作⽤,向公有云/私有云/甚⾄是合作伙伴的数据中⼼提供质量稳定可靠互联⽹接⼊服务。各全国区域间均采⽤双平面设计,双活并互为备份。在区域内,各数据中心双上联到 2 个骨⼲机房,通过骨⼲机房与各 ISP 互联网、其它区域骨干网互联。并且同区域的各数据中心之间互联,通过骨干机房的双星形结构⼀跳到达,在确保传输成本利⽤率最⼤的情况下、确保了传输延时和质量。
其次在计算能力上,该数据中心也已经帮助京东云从容支持了多次京东商城 618、11.11 等大型的线上活动。
京东云已经在一定时间内将产品架构整体进行了迭代更新,硬件方面采用 2.4 GHz、3.2 GHz 主频的 Intel Xeon Gold 处理器,在此基础上开发新一代云主机、云物理机、GPU 云主机、GPU 云物理机、云硬盘、原生容器、高可用组等。
其中京东云二代云主机所采用最新英特尔®至强®金牌处理器,浮点计算性能提升 2 倍。可以提供超大内存云主机,满足对数据交换速度和内存容量有极高要求的大型业务部署场景。而云主机的逻辑集合,可以形成高可用组,组内主机分散部署在相互隔离的物理资源上,保障业务运转不受故障和维护的影响。组内物理资源跨可用区(AZ)和故障域(FD)分布,支持弹性伸缩。高可用组服务可以保证运行 Web 服务和数据库的云主机分散在隔离的物理资源上;如果其中一台物理资源出现故障或维护升级时,其他 Web 云主机以及数据库云主机不受影响,保证业务高可用。
京东云原生容器,融合了容器和虚拟机的优点,支持原生容器实例和原生容器 Pod 两种类型;基于 Docker 镜像可直接运行容器实例或原生容器 Pod,无需管理集群,或学习容器编排工具即可运行容器。采用独立内核技术,基于虚拟机的隔离性,避免容器间共享内核的安全隐患;基于 SDN 技术实现不同租户间的完全隔离。同时与京东云容器镜像仓库无缝集成,加速容器化应用部署。
因为这些技术基础,京东云面对 618、11.11 时的突发流量实现了秒级扩容,平稳、安全地度过了数次订单洪峰。
三、
京东云华东数据中心 PUE 几何?
宿迁并非业内数据中心建设热门选址地区,气候条件远不如寒冷地区,那么在节能降耗上,京东云华东数据中心表现如何?
据介绍,从最初的概念设计到施工建造,一直到投产后的运营管理,绿色环保技术贯穿于京东云华东数据中心整个生命周期,
该数据中心位于的江苏宿迁一年中大部分时间的温度在-5~35℃之间,年均气温 14.2℃,相对于严寒地区,室外设备被冻结故障的可能性较小,而利用的室外自然冷源的条件又比较充足。为了充分利用冬季室外天然冷源进行自然冷却,该数据中心冷冻水系统设置了板式换热器,与冷水机组并联。实际运行中,冷冻水系统在室外日平均温度持续 5 天以上低于 10 度时,切换到自然冷却系统使用,日平均温度持续 5 天以上高于 10 度时,开始退出。全年基本可以分为免费制冷季和常规制冷季。
京东云华东数据中心在传统的自然冷却技术基础上,增加了一套自主设计的气候环境采集控制系统,完全实现了制冷系统根据室内外环境温度、湿度、系统负荷大小、平滑连续的调节各组件运行状态,始终保持系统在最佳的效率区间。
通过上述措施,京东云华东数据中心全年可以”免费“使用自然冷源的时间高达 180 天以上,直接节约电费数百万元以上,实测年均 PUE≤1.3。