老莫升职记之虚惊一场
兢兢业业的老莫同学,是一家中型制造企业的数据中心运维部经理。此时的他却以超速9.999%的速度开车直奔公司。平时他一般只超5%,肯定是又有非常紧急的事要处理
老莫匆忙赶到了公司,习惯性地先往自己办公室走去。刚一进门迎面冒出一个大块头,差点撞个满怀。定睛一看,原来是他手下最得力的干将老金,外号“万金油”,公司上上下下各种系统就没有他摆弄不了的。两人对视了一眼,异口同声地说了句:“你怎么来啦?”。
“公司的工资系统出故障了,打印出的工资条全是乱码,被HR的妹子给揪过来处理。今天是工资发放截止日,如果不能搞定的话,这个月的房贷恐怕要延期了……”老金悻悻地说道。
“原来找我是为了这个事?找老金信手拈来就能搞定,妥妥地,火急火燎地找我来未免有点小题大做了吧?”老莫心中暗暗盘算,表面却不动声色地问道“情况怎么样了?”。
“目前还不确定,初步推断为昨天晚上供应商升级的SAN存储固件版本引起。这个版本为必须升级项,且已经拖了3个月时间才执行的,这么巧昨晚刚一升级今天工资系统就报错。供应商已经到场配合做固件回滚,这不正准备回办公室拿笔记本就碰到你来公司了。”老金边说着边抄起他那台大号17寸笔记本电脑大步流星地走了出去。
“如果是SAN固件问题,其它应用系统应该也会受影响呀?”老莫嘀咕了一句跟了上去,有一股不祥的预感涌上来……
果然,情况变得更糟糕,SAN固件回滚执行失败,造成存储服务彻底中断,原本只是工资系统问题蔓延到SAN存储关联的所有核心应用全部宕机!!
紧急处理小组就地成立
老莫大脑快速地运转着,当务之急要尽快使应用重新上线起来,然后需要考虑可能的数据丢失和恢复对策问题。这时,他想到了前不久刚刚合作的在数据保护征战多年的老鬼同志。
紧急处理小组就地成立,老金继续配合供应商修复SAN固件问题,老莫去联系老鬼商量善后处理,临走时悻悻地丢了一句,要是工资数据丢了就乱套了!
一贯神出鬼没、神龙见首不见尾的老鬼,这次却出奇的配合,30分钟内火速赶到现场增援。在和老莫了解了详细情况后,老鬼长长舒了一口气说道:“还好,幸亏咱们刚刚上的这套戴尔易安信DP4400备份一体机系统,那些最核心的应用很快就可以拉起来继续服务,工资保证你准时发。放心!安排!”
说完,老鬼掏出随身携带的保温杯,呷上一口里面浓浓的铁观音茶,跟老莫细细道了起来。
贵司全部应用都跑在VMware虚拟化平台上,这也得益于这两年来一直坚持私有云化改造。资源池化确实给IT注入了全新的活力,但是由此带来数据保护的不确定性和复杂化问题也不容小觑。VM虚机密度一般是以前物理机密度的10~20倍之间,按照传统物理机的agent备份方式,资源争用严重且开销大,VM虚机增增减减管理起来也很麻烦;按照VM镜像备份方式,则VMGuest OS重复数据多,存储空间浪费大,备份速度也快不起来。 而有了DP4400一体机这个VMware虚拟化环境数据保护利器,一体机快速交付,项目进度有保证;备份和恢复管理还简单,只需点击几下鼠标轻松搞定;尤其它基于专利的重删压缩技术所实现的备份空间节省和备份性能加速更是业界翘楚。还有……
“哎呦喂!大哥,都火烧眉毛了,咱就不要卖关子了,这个事要是没搞好工作都得丢!”老莫忍不住打断了老鬼同志的自嗨。
“啊哈哈,职业病,嘿嘿……别着急,马上就到关键点上了!”
DP4400还有个功能叫“即时拉起”,刚好对症解决咱们眼下的燃眉之急。 它可以将备份集中的VM虚机镜像,通过NFS协议挂载给你的ESXI主机,然后直接拉起测试。一个虚机仅需数十秒的时间即可成功拉起完成。这样即使主SAN存储还没修复,你的工资系统仍然可以马上重新上线测试并恢复运转。 而且,由于有了DDBoost源端重删加持,备份速度大幅提升,原来一天只能备份一次,现在一个小时备一次都不是问题,你恢复的时候可以有多个备份逻辑副本选择,选一个最近正常的副本加载起来,工资乱码的问题不就解决了?
“老金要是听到这个,不知是否会有‘早知如此,何必当初’的感慨呢?可是现在故障范围扩大了,所有应用系统都受影响了!”老莫听着老鬼的话,心里思索着。
“放心,DP4400即时拉起功能最多可以支持同时拉起32个VM虚机,”老鬼好像看出了老莫的心思,继续说道“估算一下你那些必须马上拉起的应用,32个应该够你用了吧?”
“够了,够了,够是够了,不过还有个问题,我最关键的几个核心系统数据,接受不了RPO=1小时级别,这里面的核心交易数据一分钟也不能丢呀!”
“哪能忘了这个茬呢?!咱们当初做方案的时候就充分考虑过这个问题了。”DP4400一体机方案集成了5个VM虚机的RP4VM(Recoverpoint for vmware)许可。它是VMware平台的CDP连续数据保护大杀器,就像是时光机一样能够穿越到VM虚机之前的任意时间点状态。RPO要等于几,还不是你想咋算就咋算呢?基本上就是一道送分题!咱们当时挑出5个最重要的虚机,可是都已经部署好了哦。
有了老鬼的点拨,老莫立刻展现了他高超的执行能力,三下五除二就把问题都解决了。最后在分析问题的时候,发现最初工资系统乱码问题竟是因为安全审计部门周末擅自升级的敏感数据安全补丁。
“变更管理问题应该值得重视!”老莫忙完一边往车库走去一边斩钉截铁地说道。
“老莫,你跑哪里去了?找你半天了!”Mike不知从哪里冒出来,拦住去路。老莫觉得今天Mike有点小题大做,正要开口解释却被Mike抢先一步:“咱们IT部门将要进行一些人事调整,运维总监这个位置你的呼声很高哦!鲍总让我先找你谈谈……”