【编者按】
母亲节快乐!
本篇文章来自微信公众号"DT时代",原文标题为《超越期望 一次让客户“惊讶”的测试!》,感谢作者王海峰的授权转发。里面的数据来自于VMware中国的U2VL团队一次非常棒的实测,是在用户现场做的。可以看到VSAN不仅适用于OLTP类别的关键业务应用,也可以适用于一些BI(商业智能)分析的应用。文章有少量修改。
顺便说一句,作者自己也是一位母亲,并在母亲节当天在她的微信公众号"王海峰"发表了《向我的三位妈妈致敬……》一文,写得真诚感人,感兴趣的读者可通过查找公众号获取。
---Begin---
8小时太长 3小时可否?
这次测试就是以这个银行的实际生产系统的老大难应用“客户关系管理(CRM)系统”为例,数据也都是脱敏后的真实数据。
数据库是Oracle10g在AIX,上,有超过52亿的数据库记录数,数据库的数据量达到600GB,每天有50GB的增量数据的日常处理。
起初,该银行的日终数据跑批作业在 UNIX 生产平台上,耗时 8个多小时,这个时间还是有些长。
如果采用新技术,将 Oracle数据库运行在基于可扩展分布式存储的虚拟化平台上,是否满足逐步增长的业务需求及可控的高性价比?
紧接着,该银行又用几个月进行了测试,在 1/4 配置最大容量的Oracle Exadata X5-2 的测试,在Oracle一体机上的测试结果是,耗时 5 小时,离3小时还是有些距离!
能否跑进3小时?该银行这次找的是VMware,试试在U2VL + VSAN运行Oracle 数据库的耗时吧。
U2VL是VMware关键业务团队对企业新一代 IT 基础架构建设提出的一种策略,将原来运行在 UNIX 架构(或其它封闭系统)上的应用和数据迁移到以虚拟化为核心技术搭建的基础架构上,在此基础上将传统的以硬件为主的数据中心(HDDC)向软件定义的数据中心(SDDC)和/或混合云服务(Hybrid Cloud Services)的方向演进,最终成为关键业务稳定可靠的云平台。
之前,VMware公司大中华区一个团队对U2VL+VSAN严谨测试,DT君也发了Oracle 数据库跑在 VSAN 6中的性能和高可用性情况。(全文《一次测试 为何让Vmware美国专家Amazing?》参见http://mp.weixin.qq.com/s?__biz=MzA5MDUyODc4OA==&mid=208465980&idx=1&sn=
e42c378a1e40336132323244405d8e8c&scene=21#wechat_redirect , 如果只看结果,可查看内部链接:VMworld 2015对VSAN说了些啥?(附赠:Oracle RAC在VSAN上的性能))
当然,那次测试是在实验室中,具体到应用中的结果又如何?在这样的新平台上的跑批性能,最重要的是,看日终数据跑批作业要在3小时以内。
令人惊讶的不仅是耗时降低比例!
U2VL + VSAN的方案测试包括基准性能测试、可移植性测试、性能测试、可用性测试、可管理性测试。
从信息收集、测试环境准备、测试验证到总结,基本用了3个月,在数据分析和测试结果后,这家银行对收到意想不到的测试效果,并立刻使用。
一、先从基础的测试环境搭建开始:
基本步骤就是:硬件设备就绪(主要是VSAN主机与X86服务器),开始网络连接,安装vSphere,接下来部署 vCenter Server 6Appliance,添加 3 台主机至 vCenter Server;然后配置相关网络,配置 VSAN,创建存储策略,创建 VM1,安装 OracleLinux Server 6.6,通过克隆创建 VM2,克隆创建 VM3,安装配置 Oracle12c RAC。
这里重点强调的是,VSAN的部署非常简单,用法与vSphere HA一样简单:
二、正式的测试开始,先看基准性能测试:
每台 ESXi 主机上创建一个 VM,并安装 OralceLinux Server 6.6 ;每个 VM 在千兆网络上创建 vmxnet3 虚拟网卡 eth0,每个 VM 在万兆网络上创建 vmxnet3 虚拟网卡 eth1;各个 VM 之间运行 iperf 测试网络带宽。
测试的结果是,千兆网络的平均速率是924Mbps,万兆网络的平均速率9.33Gbps。由此看出,网络速度达标。
在这样的基础上来测试VSAN的 IOPS,具体方法是:在每台 ESXi 主机上创建一个 VM,安装 OralceLinux Server 6.6;然后设置参数:数据块大小是4K,VSAN 存储策略- FTT =1 & StripeWidth = 4;
紧接着设置以下5个测试场景,使用 fio 进行性能测试,记录 IOPS。
看看测试结果:
从这个结果可以看出,按照4K顺序读:单节点 IOPS> 13 万,3 节点 IOPS > 39 万。
三、兼容性和可移植性验证
测试方法还是,每台 ESXi 主机上创建一个 VM,安装 OracleLinux Server 6.6,每个 VM 在千兆网络上创建 vmxnet3 虚拟网卡 eth0,每个 VM 在万兆网络上创建 vmxnet3 虚拟网卡 eth1。
第一个VM安装配置 Oracle 12c RAC,可用模版复制到其他VM,在这里,数据迁移并未特别优化:生产系统 expdp 导出数据,测试系统 impdp 导入数据。
从图中自然可以看到测试结果,在4个 dump 文件,总数据量 588GB,总记录数 5,234,013,087 条,导入数据总耗时 4 小时 19 分 12 秒。
这表明,U2VL + VSAN 环境下,应用程序和数据库兼容性和可移植性通过。
四、CRM日终数据跑批作业耗时
关于CRM日终数据跑批作业测试方法是这样,第一天导入全库数据,容量为588GB,
以第二天的增量数据进行跑批,增量数据容量 50GB,依次经历拉数、载数、数据清洗、主过程、报表生成 5 大过程,然后对照生产系统、Exadata系统、 U2VL + VSAN 平台的跑批处理时间。
结果如下:
U2VL + VSAN 平台上 CRM日终数据跑批作业耗时 1 小时 48 分钟!
U2VL + VSAN 平台上 CRM日终数据跑批作业各过程耗时大幅减少,降低了82%!
1小时48分钟,顺利实现该银行CRM日终数据跑批作业3 小时内的目标!
五、高可用测试
高可用的测试要从计划内停机、计划外停机以及VSAN发生故障的时候来验证。
1、计划内停机的方法,如图所示,在线迁移 VM1 至主机 ESXi-02上,将虚拟机在主机间在线切换,这个过程耗时16秒,无需停机。
2、 如果是计划外停机,比如模拟主机故障,数据库节点自动在其它主机上启动并进行数据库修复。
重启主机 ESXi-01,数据库节点 VM1 在主机ESXi-02上重新启动,数据库自动修复后,恢复服务,总计耗时 241 秒!
(还记得当时在实验室测试的数据吗?当时是251秒。)
3、 如果VSAN的组件发生故障怎么办?来看看关闭未运行 VM 的主机 ESXi-02查看各个 VM 运行状况,10分钟后,启动主机ESXi-02
可以看出关闭未运行 VM 的主机 ESXi-02,组件显示“Absent”VM 运行时不受影响。
启动该主机ESXi-02,组件显示“Active”
同样,如果关闭运行 VM3 的主机, ESXi-03非该主机上 VM1& VM2 不受影响,该主机上 VM3 不可用,若设置了 HA,则 VM3 在其它主机上重启。
高可用何以为高?其实就是在任何情况下停机,都可以实现业务不停顿的状态!
为什么会提这些时间点?因为不管是计划内停机的16秒,还是了不起的241秒!对于客户来说,他们只会关心业务是否中断,5分钟之内,后台跑着 Oracle RAC,几个节点间既要做到同时对外提供服务;同时内部担负原来服务器的负载,当一切恢复以后,再回到原来的状态;而这些对于用户来说是透明的!
六、可管理性
与 vRealize Operations 集成,可以降低 VSAN 故障排除难度,提高 VSAN 的监控能力,提供全面的管理功能。
另外,VSAN Health 插件提供有关 VSAN 子系统的故障排除和运行状况报告的免费工具。
结束语
很显然,近三个月的时间,经历了严谨的几大测试后,这家银行可以将小型机上的 CRM 应用迁移至基于可扩展的分布式存储 VSAN 平台上,达到业务系统的技术要求,为新的数据中心选型奠定基础。
其实最初,该银行希望跑批耗时在3小时以内,没想到,实现这一目标的同时还带来更多的性能提升。
从实验室开始测试,到银行实打实的应用测试,在U2VL+VSAN的新平台上,搭载关键业务的应用,高效稳定地运行 Oracle 数据库。
新技术和新架构,带来的不仅是经济效益的提升,最重要的是,高可用的方案不断满足了银行快速增长的业务需求。
当然这次测试中采用的是VSAN6.1版本,作为VMware超融合基础架构的基石,为虚拟化生产环境提供核心存储服务,有更好的企业可用性和数据保护功能,对于关键业务应用而言,是很理想的选择。
但如果采用最新的6.2版本呢?估计结果还更好吧,把软件定义架构的魅力发挥到极致,所以,继续期待有这样的实际应用测试!
DT时代(微信号:DTtimes),蜂巢联盟成员,面向未来,关注数据时代的IT变革。联系本公众平台请发邮件:42790643@qq.com
---End---
欢迎关注如下微信公众号: V记云科技联盟成员
乐生活与爱IT(love_life_and_IT)-软件定义存储和虚拟化叶毓睿 VMware存储架构师亨利笔记(微信号:henglibiji)-容器和云原生应用张海宁,研发中心首席架构师最终用户计算(微信号:CHINAEUC)-桌面与应用虚拟化吴孔辉,VMware架构师疯云时代(微信号:crazycloudtime)-基础架构和应用服务臧铁军,VMware架构师IT那些事儿(IT-Review)尤贵贤,资深技术顾问
以及VMware官方微信
1、 VMware中国(微信号:vmwarechina)
2、 VMware中国研发中心(微信号:vmwarechinard)
3、 VMware招聘(微信号:vmwarehr)
-----------
微信公众号平台"乐生活与爱IT"在目前阶段,主要是分享软件定义存储(SDS),及VMware VSAN相关的文章,偶尔也会分享虚拟化、云计算、大数据,甚至生活类的好文章。欢迎投稿,我的QQ号:9269216。欢迎对SDS感兴趣的朋友,加入软件定义存储讨论 QQ群:122295009,可下载原创的一些文章,及其他有参考价值的文档。可直接搜索群号,或者扫描如下二维码:
同时,欢迎您加入 "开放讨论群-SDS&虚拟化" 微信群,并邀请其他对SDS和虚拟化感兴趣的朋友加入此微信群。可以通过添加如下管理员之一的微信号,建议添加管理员时,告知你的公司名和姓名,方便备注保存。
sdg8848
libo9538
dts0103
最后,欢迎您通过扫描关注微信公众号:“乐生活与爱IT”。
关注后,可以通过点击左下角的“文章目录”,详细了解如何查看历史文章。
也可单击左下角的"阅读原文",查看上一篇《VSAN的简单之美》