巡检 · 分级 · 窗口
下面三件事写在运维手册里,也写在值班表上,每天按点执行。它们不好看,但出事的时候你能靠它算出等待时间。
主链路每 15 分钟自动探活,播放、登录、支付、CDN 回源各挂一个探针;同一探针连续两次失败即升级为事件,推送到值班群。每天 06:00 再跑一次三网全链路实测,单次约 4 分钟。先止住,再公告。
P0 全区不可用,5 分钟内有人接手,30 分钟给出首个结论;P1 为单功能或单地区异常,15 分钟响应、2 小时内修复;P2 性能劣化 1 小时响应;P3 体验问题排进下一个维护窗口。分级标准公开在状态页。
常规维护固定在北京时间周二 03:00 到 03:40,最长不超过 60 分钟。发版、扩容、证书轮换都排进这个窗口,一年最多 52 次。窗口提前 72 小时挂在状态页,写清影响范围和预计恢复时间。
可用率按每分钟一次探针计算,已剔除计划内维护窗口;单次抖动连续两分钟以上才计入不可用,这个口径三年前定下后没有改过。
真出过事的人
这三条评价来自真实的工单回访,我们没删掉里面抱怨的部分。
上个月 12 号晚上十点,开球前五分钟 App 起不来。我在状态页看到 P0 已经挂出来了,第一条写着「正在回滚 22:41 的播放服务发版」。23:07 恢复,前后等了 31 分钟。虽然还是错过半场,但中间有人更新进度,我没在干等。
我做民宿的,客人退房那会儿最怕卡住。今年三月遇到一次 P1,扫码登录整整挂了四十分钟,恢复算不上快,这点我认。但公告里把原因写清楚了——证书过期没续上,还附了下一次自动续期的改造时间。比一句「系统繁忙」强得多。
我被维护窗口劝退过一次。有回周三凌晨想追剧,撞上临时热修,屏幕上跳出一行倒计时,写着 03:26 恢复,结果真的 03:26 就恢复了。缺点是预告只提前了四十分钟,不太友好,客服后来解释说是紧急安全补丁,正常窗口都是提前三天的。
还没说清的部分
下面这些问题来自客服工单里出现频率最高的五条,答案都由运维负责人确认过。
免费试用不绑卡,开通后状态页和 18 个月以内的事件历史对你完全开放。如果你只是想先判断我们靠不靠谱,也可以先去翻一遍 2024 年那 3 次 P0 的复盘记录,再决定装不装。我们不催你。
Android / iOS / 网页版同步开通,账号通用