2016 年 4 月 5 日 20:19 开始,api.leancloud.cn 域名受到混合型 DDoS 攻击,致使用户无法从外网访问中国节点 API 服务,造成数据存储、统计、推送、短信等服务全部访问中断,历时约一小时。此次服务中断给大量应用造成了严重影响,在此,我们以最诚恳的态度向大家道歉,并附上具体的故障报告。
故障时间
20:19 ~ 21:25(持续约 66 分钟)
影响范围
- 中国节点的数据存储、统计、推送、短信等服务不可访问,云引擎和实时通信(不包括调用 API 查询「对话」等操作)服务不受影响。
- 美国节点的所有服务未受任何影响。
事故过程
20:19
:针对 api.leancloud.cn 的攻击开始出现,监控系统告警。20:22
:api.leancloud.cn 对应的外网 IP 逐一被攻击,数据存储 API 基本不可访问。20:40
:我们在上游服务商的协助下开始接入高防,对流量进行清洗。21:19
:攻击流量明显减少,服务开始恢复。因为 DNS 缓存更新会有几分钟的滞后,终端用户的访问恢复可能也会经历这个时间差。21:25
:从我们的统计数据来看,API 请求量回到正常水平,服务完全恢复。
后续改进措施
本次攻击的目标是我们的 API 主域名,并且发生在傍晚的流量高峰时段,致使大量应用受到影响。为了避免此类问题再次发生,我们决定进行如下改进:
- 完善应对 DDoS 攻击的策略和措施,进一步减少受攻击时域名恢复需要的时间;
- API 服务对外增加多路备选域名,且让应用之间的访问能够隔离,避免一个域名受攻击而影响所有应用,保证 SDK 请求不会中断;
- 拆分 LeanCloud 主站与 api.leancloud.cn 对应的外网 IP,保证故障时主站依然能够打开并展示相关提示信息。
对于本次故障我们需要再次向大家道歉。我们会持续不断地评估和改进我们的系统架构,以稳妥应对各种安全威胁,保障服务的高稳定性和高可用性。
在本次故障期间,我们启动了故障通知机制,多次通过短信和邮件向所有用户汇报事件解决进度。如果您没有收到通知,但希望以后能在第一时间得到通知,请尽快检查您的 个人账户设置,更新预留手机号码和邮箱。
如果您有任何疑问,请发送邮件至 support@leancloud.cn 进行确认。