办公室里的陈默,边抽烟边想对策。当烟灰缸里的烟蒂又多了四个后,他紧皱的眉头舒缓了一些,随即拿起笔开始在本子上写了起来。
当老周、李思涵、王宇坐在陈默面前的时候,已经五点四十多了。
陈默放下了手里的笔,组织了一下语言,然后对着他们三人说道:“有一件事我们要提前做好准备,那就是关于系统上线后的‘应急处置方案’。我今天多方了解了一下情况,结果就是智通科技的技术方案基本是不会做调整的了,而且也不能调整了。具体的原因我就不过多的说了。
关于应急处置方案,我梳理了一下思路,按照监控预警、处置预案、资源扩充、运维加固、系统回退等几个方面去做。要注意的是,监控要全方位的,包括基础设施层的CPU、内存、磁盘、网络带宽;应用层的接口响应时间、错误率、每秒处理量;业务层的交易成功率、延迟分布、队列积压等,这些都要第一时间采集到原始真实数据,都要可监可查可预警。另外,也要把各个收费站点位接入到指挥调度中心的大屏上,方便跟踪各个点位的实时信息。
预案要考虑充分,比如数据库宕机了怎么办?交易队列积压了怎么办?跨省接口超时了怎么办?每一句都要对应具体的操作步骤。另外还要包含降级方案,什么情况下可以接受‘部分功能不可用’来保证‘核心功能继续跑’?什么情况下可以切到人工收费?什么情况下可以启动跨省对账的事后补偿机制?这些都要在预案里写清楚。”
资源扩充就是要按照已有数据和经验,推测需要提前准备哪些服务器资源、多少、以及什么配置参数的服务器来做扩充以应付突发的交易上升。同时网络带宽也要做个评估推测。
运维加固方面,架构改不了,但参数可以调。数据库连接池大小、超时时间、缓存策略、JVM参数,全部在现有框架内做最大程度的优化。另外,智通科技的方案是单实例数据库,没有异地灾备。我们要在方案里说清楚,要对方在运维层面做定时全量备份加增量备份,定期验证备份的可恢复性。”
交代完这些,陈默叹了口气,特么的,愈发地觉得自己在擦屁股这方面越来越熟练了。
三个人认真地记着笔记,消化完陈默说的话,李思涵第一时间问道:“陈总,测试演练方案不需要写吗?”
没等陈默回答,老周直接说道:“咱们都把刀递到他们手里了,他们要是连切菜都不会,那到时候崩的就不是系统,而是一些人的饭碗了。”
本章未完,请点击下一页继续阅读!