当页导航

案例2 经典的双机双存储,某晚主存储异常故障,业务立刻中断

用户经典的双机双存储高可用应用方案。IBM 2*P570 PowerHA6.1 两台中端存储通过lvm mirror实现的数据镜像,上面跑着用户信贷系统,报表系统,存储压力较为繁忙。用户每年都会完成一次HA切换演练保证业务高可用。某晚一次存储电源故障,电源还没来得急更换,另外一个电源也坏了。...显示全部

用户经典的双机双存储高可用应用方案。IBM 2*P570 PowerHA6.1 两台中端存储通过lvm mirror实现的数据镜像,上面跑着用户信贷系统,报表系统,存储压力较为繁忙。用户每年都会完成一次HA切换演练保证业务高可用。某晚一次存储电源故障,电源还没来得急更换,另外一个电源也坏了。这样主存储宕机了。恰巧这个时候业务也立刻停止了,用户电话里说刚做完的Powerha的演练,很顺利。可今天发生的这事却百思不得其解。

后来经过大量的日志和与用户交流得知,用户之前的一个操作给这次的业务中断埋下了一个大大的”地雷”.

欢迎大家多多交流,故障原因下周公布.

收起

10回答

孙伟光孙伟光IT顾问 , 中国金融电子化公司
究竟用户自己做的什么操作导致的此次事件呢用户业务系统有一个文件系统存储空间不够了,需要扩容,但是目前共享vg里的空间无法满了,需要重新加新的磁盘到vg里,存储管理员分配新的磁盘给两台主机,然后用户通过Powerha cspoc去加盘,扩容FS。就是这么一个操作导致的问题发生。原...显示全部

究竟用户自己做的什么操作导致的此次事件呢

用户业务系统有一个文件系统存储空间不够了,需要扩容,但是目前共享vg里的空间无法满了,需要重新加新的磁盘到vg里,存储管理员分配新的磁盘给两台主机,然后用户通过Powerha cspoc去加盘,扩容FS。就是这么一个操作导致的问题发生。

原因说了,正确的步骤大家应该知道如何做了吧

收起
 2016-12-01
  • 还是没明白哪个步骤导致了宕机。可否明确说明下
    2016-12-01
  • 孙伟光孙伟光(提问者) 回复 swlhfa
    lvm mirror双存储的情况下,我们扩fs需要注意先扩LV,再扩fs 这样能保证数据正确分布在2个存储上,如果在用户这种场景新加磁盘后直接扩fs,那就会造成数据拷贝是2份,但是不能准确地保证分布在两个存储上,有可能存储A分布90% 存储B分布110%。这样一台存储故障,就会直接导致数据的不完整。
    2016-12-01
  • 请问有没有ibm domino的ha方案
    2016-12-01
  • swlhfaswlhfa 回复 孙伟光(提问者)
    也就是新加的盘没有完全镜像到喽
    2016-12-01
  • Super.LiuSuper.Liu 回复 孙伟光(提问者)
    扩FS的同时,LV不也自动扩展了吗?需要先扩LV,再扩FS 吗?
    2016-12-01
  • 哦,清楚了。A,B两个存储各加一块盘。直接扩FS会导致不是镜像的状态。需要先扩LV,保证A,B存储镜像。
    2016-12-01
  • 孙伟光孙伟光(提问者) 回复 swlhfa
    2016-12-01
  • 孙伟光孙伟光(提问者) 回复 Super.Liu
    是自动扩展,但是它不能做到自动分配到两个存储上
    2016-12-01
  • 孙伟光孙伟光(提问者) 回复 Super.Liu
    是的
    2016-12-01
  • neilruleneilrule 回复 孙伟光(提问者)
    问题请教,两边的磁盘空间都足够的,安装楼主描述的这个现象,chfs难道只负责增加空间,并不保证mirror?那我以后得悠着点了,但是chlv为什么可以保证两边的lv都mirror了,分布在两边的存储上面?
    2016-12-01
  • 孙伟光孙伟光(提问者) 回复 neilrule
    对,chfs只负责增加空间,无法保证mirror
    2016-12-01
  • 孙伟光孙伟光(提问者) 回复 pengzi
    这个很特殊吗,没玩过这个
    2016-12-01
  • 孙伟光孙伟光(提问者) 回复 swlhfa
    2016-12-01
  • neilruleneilrule 回复 孙伟光(提问者)
    好的,感谢,但是我在做了mirror的单机情况下用chfs在一边lv不足的时候貌似遇到过,所以有了这个疑问。以后得注意对比才行了⊙﹏⊙b
    2016-12-01
  • 其实在mirror的lv上面做chfs的时候,会自动同步镜像的,如果没同步完成,或者有一块磁盘有锁,chfs命令会hang住竟如等待队列。
    2016-12-05
qq3508935800qq3508935800系统工程师 , 工程师
凝望娜角度aixkevinneilrule赞同了此回答
使用lslv -m vg名可以判断数据是不是2边均匀分布显示全部

使用lslv -m vg名可以判断数据是不是2边均匀分布

收起
 2016-12-01
王巧雷王巧雷系统工程师 , 北京华胜天成科技股份有限公司
aixkevin赞同了此回答
quorum?或是后续建的lv没镜像显示全部

quorum?或是后续建的lv没镜像

收起
 2016-11-29
overtopovertop系统工程师 , 维保公司
aixkevin赞同了此回答
这个属于老司机也可能犯错的地方,典型环境就是hacmp+双存储镜像,应该是在hacmp中需要做一个特殊的设置,具体还是由伟光兄弟明天揭晓一下吧。显示全部

这个属于老司机也可能犯错的地方,典型环境就是hacmp+双存储镜像,应该是在hacmp中需要做一个特殊的设置,具体还是由伟光兄弟明天揭晓一下吧。

收起
答案包含:注意事项, 原理分析, 通用方法 2016-11-30
  • 孙伟光孙伟光(提问者)
    恩,问题很典型,不是powerha中特别设置,只要是LVM Mirror双存储都会遇到
    2016-12-01
hacmphacmp系统工程师 , 四川华信富恒
aixkevin赞同了此回答
新加的PV属性是默认值,好像是几个值要改小。显示全部

新加的PV属性是默认值,好像是几个值要改小。

收起
 2016-12-01
chargecatchargecat总裁助理/总经理助理 , 银行
lvm读写顺序设置的问题?显示全部

lvm读写顺序设置的问题?

收起
答案包含:原理分析 2016-11-28
老么老么系统工程师 , mbi
贴段日志看看显示全部

贴段日志看看

收起
 2016-11-28
孙伟光孙伟光IT顾问 , 中国金融电子化公司
我猜大多数人都会犯这个错误,因为目前都没说对显示全部

我猜大多数人都会犯这个错误,因为目前都没说对

收起
 2016-11-30
ZhuJun2014ZhuJun2014存储工程师 , IBM
这属于典型的基础知识不牢固呀。显示全部

这属于典型的基础知识不牢固呀。

收起
 2016-12-01
yongkeyongke系统运维工程师 , 社会
学习了,,,显示全部

学习了,,,

收起
 2016-12-05

撰写回答

提问者

孙伟光IT顾问, 中国金融电子化公司
发布10231
回答4227