实操高校数据中心vsphere6.0升级6.5,重新规划网络。

现状如下:

硬件:2台HP C7000刀箱n个刀片,n台HP机架式服务器,n台物理机及其他设备。

存储:FC SAN存储

软件:vcenter是windows版6.0,vsphere也是6.0版本。

网络:三层结构,两个C类SUB地址,管理、业务、生产混在一起。

 

要做的事如下:

1、刀箱及服务器升级最新固件和驱动程序。

2、部署VCSA6.5,vsphere升级到6.5版本,部署vRealize Operations Manager Appliance 6.5,vRealize Log Insight 4.3。

3、重新规划网络,实现管理、业务、生产网络分离。

 

升级过程是需要管网络和管数据中心的人配合操作,我们单位网络、安全、数据中心都归我一个人管理,所有设备我都会配置,没有沟通成本。

Vmware有一个windows版vcenter到VCSA的升级程序,我重新规划网路了应该是用不上的,不如全部推倒重来,按照下面计划实施对外服务中断可以控制在一两个小时以内。

 

vCenter Server 有两种部署方式:

  • 安装在 Windows 平台上,需要额外的 Windows 操作系统和外置数据库系统软件许可,部署起来有一定的手动步骤,比较麻烦。
  • 直接部署预置的 vCenter Server Appliance (VCSA),VCSA 是一个基于 Linux 的虚拟机,内置 PostgreSQL 数据库,完全不需要额外的软件许可,部署起来也更方便。

之前一直使用windows平台的vcenter,主要因为VCSA功能还不够完善。在vsphere6.5版本中整合了Update Manager,内置备份功能,自带HA支持,增强的 Appliance 管理能力。所以在6.5版本VCSA是最佳选择。

 

目前交换机配置:

Vlan10 1.1.1.1/24 2.2.2.1/24 sub

规划交换机配置:

Vlan10 1.1.1.1/24 生产网络

Vlan20 2.2.2.1/24 业务网络

Vlan30 3.3.3.1/24 vsphere网络

Vlan40 4.4.4.1/24 硬件管理网络

5.5.5.1/24 vmotion网络

6.6.6.1/24 FT网络

注意:vmotion和FT网络无需起路由配置vlan。

 

按顺序开整:

1、数据中心整理网线和光纤,区分出硬件管理网络接口,vsphere标准交换机网络接口,vsphere分布式交换机网络接口,其他非虚拟化服务器及硬件网络接口。

这个事情非常非常非常麻烦,尤其数据中心规模大设备多的时候是非常头痛的事情,我有些技巧,比如HP ILO的管理网络接口是百兆的,在交换机上看状态灯能区分出来,光纤10G和1G网络在交换机看状态灯也能区分,有一些网线距地短的可以拔插网线区分,难区分的可以在三层和二层交换机上查看arp和mac信息区分。

耐心细心的把所有网络区分开,记录下来,最好在交换机接口写description信息。至此数据中心现场工作整理完毕,可以回办公室冲杯咖啡慢慢操作了。

2、三层交换机把vlan30和40的地址以sub地址的形式加入到vlan10中。创建vlan20、30、40,并trunk到二层交换机上。二层交换机同样创建vlan20、30、40,并trunk到三层交换机上。

3、更改硬件管理地址,HP C7000 OA、VC、iLo地址,HP机架iLo地址,存储管理地址。

4、把4.4.4.1/24地址从vlan10删除,加入到vlan40,根据二层交换机description信息改变接口vlan ID。至此硬件管理网络区分完毕。

5、通过vmotion操作清理出几台空闲服务器,每种型号的服务器都要清理,清理出的服务器越多越好,因为下一步并行升级可以节省大量时间。

6、登陆HP ILO,加载HP SPP镜像,重新服务器升级服务器固件和软件,升级完毕加载vsphere6.5镜像重新安装vsphere。安装好后给vsphere分配新的地址。

7、安装VCSA6.5到一台新的vsphere6.5上,分配新的地址,登陆VCSA,把所有升级vsphsere6.5的服务器加入VCSA,配置标准交换机,分布式交换机,注意最好有两个冗余物理设配器,配置vmotion和FT网络,配置新地址。

注意:分布式交换机配置是重点,我业务和生产两个网络,我的HP C7000刀箱用的是10G上线链路,我可以创建两个端口组区分不同的vlan。也可以加两条1G的上线链路再创建一个分布式交换机。这个要根据实际使用情况想好了,HP到箱增加上行链路是需要服务器关机在HP VC里配置的。

至此工作已经进行了一半,软件升级完成,也配置了新的规划地址。

8、下面的操作要中断业务了,所以想好什么时间做,我一般都是半夜在家里做。

下面验证一下配置是否正确:

  • vcenter6.0中关闭一台虚拟机,从清单中删除。
  • vcsa6.5中浏览存储,找到虚拟机位置添加到清单中。
  • 编辑虚拟机设置,在网络适配器选择新的网络。
  • 三层交换机在vlan20中加入地址,修改二层交换机连接vsphere分布式交换机端口vlan ID。
  • 进入虚拟机验证网络是否畅通。

此时vcenter6.0可以无法访问,如果虚拟机验证通过了把上面的网络配置再改回去,在vcenter6.0把所有虚拟机关机,从清单移除,再把网络配置改过来,在vcsa6.5中把所有虚拟机添加到清单里。至此所有虚拟机迁移完毕,vcenter6.0可以删除了。

9、三层交换机vlan30加入地址,修改二层交换机连接vsphere标准交换机接口的vlan ID。至此vsphere网络分离完毕。

10、修改物理机及其他硬件设备vlan ID。

11、继续升级剩余的服务器,并加入vcsa6.5。

12、通过vmotion操作把虚拟机均匀的分布到vsphere里。

第8步到12步顺利的话可能需要5到8个小时时间,至此业务已经完全恢复,可以睡上一觉,剩下的事情就不着急了。

13、三层交换机配置ACL:

  • 不允许vlan30访问vlan10、20、40,不允许vlan10、20、40访问vlan30
  • 不允许vlan40访问vlan10、20、30,不允许vlan10、20、30访问vlan40

防火墙配置只允许管理员IP访问vlan30、40

14、部署vRealize Operations Manager Appliance 6.5,vRealize LogInsight 4.3

15、配置vcenter备份,根据需求做vcenter HA,集群之类的。牛人的还可以尝试部署NSX。

 

以上步骤可以分三步干:

第一步:实施1-7条

第二步:实施8-12条

第三步:实施13-15条