1建设目标

建设云实验平台，在该平台上实现了编程教学实验、数据库实验以及网盘应用系统；该平台技术上采用服务器虚拟化技术通过云管理平台实现了实验环境的快速部署；虚拟化平台基于磁盘阵列集中存储，采用FC SAN网络架构。
现规划建设一个Hadoop 大数据实验室，使用已经建设好的平台，通过扩展资源池的方式部署，利用现有服务器虚拟化平台虚拟出大量虚拟机用于构建Hadoop 集群，主要用于学生实验以及科研用途。假定建设目标和规模如下：
建设目标：建设成校级实验室，满足学生做大数据实验和教师大数据科研。
建设规模：系统支持100个左右的虚机同时运行，性能满足学生大数据实验需求。
扩展性需求：系统需具备良好扩展能力，可以方便扩展系统容量和性能，以满足更多实验和科研需求。
 

2配置方案

本章节对构建大数据实验室所需要的硬件资源进行配置，从大数据实验资源需求出发来分析构建大数据实验室需要对现有物理服务器、磁盘阵列、FC交换机、IP网络交换机的资源做哪些扩容。

2.1已有资源

云实验平台已经部署了10多台2路物理服务器，通过1台FC交换机与1台磁盘阵列连接；现有物理计算资源可以支撑同时运行200个虚机（1个LCPU、4GB内存、30GB虚拟磁盘），现有磁盘阵列的存储资源主要提供虚机存储空间和网盘存储空间。

2.2扩容资源需求

对资源需求进行估算是虚拟化系统硬件配置的基本依据。在大数据实验室中，资源可分为两大类：一类是运行时系统需要的资源，它决定了系统能支持同时运行多少个虚机，该情形主要关注物理服务器的CPU 资源、内存资源和磁盘阵列的IOPS 资源，磁盘IOPS资源在大数据实验中需求相对较高；另一类是系统可以“存放”多少个虚机，这主要关注磁盘阵列的存储容量。
运行资源
假定虚机规格如下表中所示，该规格满足大数据实验环境下对性能的需求；则200个虚机同时运行，需提供下表中所需资源。

Linux虚机规格		同时运行虚机数量	虚拟资源池大小需求
CPU大小	2个逻辑CPU、2.0GHZ	100	CPU资源	200个逻辑CPU、200GHz
内存大小	4GB		内存大小	400GB
磁盘IOPS	100		磁盘IOPS	10000

当然，对于Hadoop集群中的Master虚机应当配置大些内存，比如8GB。
存储容量
磁盘阵列存储空间由需要多少个虚机和虚机磁盘大小决定，假定虚机磁盘规格如下表所示、需要存放500个虚机，总共需要约210TB的存储空间。

Linux虚机规格		虚机总数	磁盘阵列存储空间需求
磁盘1（系统盘）大小	15GB	500	磁盘空间	107500GB（100TB）
磁盘2（数据盘）大小	200GB

 

2.3物理服务器扩容配置

作为虚拟化主机的物理服务器，目前可选择的配置主要有2路和4路，综合考虑CPU利用率、网络成本等因素，我们建议选择2路服务器作为虚拟化主机，2路较4路将提供更好的性价比。
       首先计算总共需要多少物理的CPU资源和内存资源，计算以上述“运行资源”为基本依据，并考虑物理资源的80%用作运行虚拟机。

虚拟资源池大小		比例	物理资源池大小需求
CPU资源	200个逻辑CPU、200GHz	80%	CPU资源	250个逻辑CPU 250GHz
内存资源	400GB		内存资源	500GB

物理服务器规格和所需数量如下表所示。

新增物理资源池大小		物理服务器规格		物理服务器数量
CPU资源	250个逻辑CPU 、250GHz	CPU	2路10核、超线程（40个逻辑CPU）、2.0GHz	7
内存资源	500GB	内存	128GB	4
			磁盘	1*240GB SSD盘
			网口	4*1gb
			FC口	1*8gb

根据估算，需要新增7台2路物理服务器即可满足计算性能需求，本项目中我们实际配置上述规格的物理服务器8台。

2.4磁盘阵列扩容配置

磁盘阵列作为虚拟化系统后端共享存储，主要考虑IOPS性能和存储空间的要求。存储空间显然容易配置，而IOPS存在诸多变数，这是个无法准确估算的指标，为了使系统具备较好的性能，我们进行了仔细考量。
依据2.2节所估算的IOPS性能要求和存储空间要求，估算系统需要多少块SAS磁盘。

存储资源需求		单块SAS盘		需配置SAS磁盘数量
IOPS	10000	IOPS	200	50块
存储容量	107500GB	容量	900GB	120块

同时满足IOPS性能和容量需求需要新增约120块SAS盘，这个投资显得过高。为了降低存储上的投资，我们采取如下配置和部署的策略：
第1：使用高性能SSD盘结合SAS盘，提供较SAS盘更好的性能；该部分的空间主要用于虚机的系统盘。
第2：使用高性能SSD盘结合大容量SATA盘，主要满足系统容量的需求，并提供了接近SAS盘的性能；此部分存储空间主要用于虚机的数据盘。
现有磁盘阵列扩容配置配置如下表：

磁盘阵列扩容配置		可提供的规格、功能
控制器	（双活冗余控制器）	IOPS	大于12000
缓存	（32GB）	存储容量	120TB裸容量
SSD盘	新增：4*200GB	SSD缓存	支持
SAS盘	新增：12*900GB	精简置备	支持
SSD盘	新增：4*400GB	存储快照	支持
SATA盘	新增：28*4TB

2.5FC SAN网络扩容配置

由于新增加了8台物理服务器，FC交换机需要新增加激活端口和相应模块，数量为8个。

2.6IP网络扩容配置

原交换机为48个千兆网口，从端口数量上来说资源是够的，但是在大数据实验环境中，虚机之间存在大量的东西向数据流量，因此我们设计增加一台24口的千兆交换机用于大数据集群后端网络流量通道。
      

 

2.7扩容配置清单

构建满足100个虚机同时运行的大数据实验平台，需要对现有云实验平台物理资源进行扩容，扩容包括：新增8台物理服务器、磁盘阵列添加SSD/SAS/SATA盘、FC交换机增加激活端口、新增1台24口IP交换机，详细扩容配置清单如下表：

序号	名称	品牌/型号	扩容配置描述	数量	单位
一	云实验平台硬件扩容配置
1-1	虚拟化主机	云创cServer	2U机架式服务器带机架安装套件；CPU:2颗Xeon E5-2670 V3，内存：128GB;4个千兆网口；Disk：1块240GB SSD，板载支持Raid0,1,5 ,FC口：单口8Gb；	8	台
1-3	磁盘阵列	云创 rStor 7000	扩容新增：4*200GB SSD，4*400GB SSD，12*900GB SAS盘、28*4TB SATA盘，SSD缓存功能、精简配置功能、快照功能	0	台
1-4	光纤交换机	Brocade 300B	扩容新增：8个端口激活许可，8个端口8gb模块；	0	台
1-5	千兆交换机	华为 S5700-28C-SI	24个10/100/1000Base-T，可插拔交流电源，交流供电	1	台
二	Hadoop教学培训服务
2-1				1	套
三	其他相关费用
3-1	机柜			1	台
3-2	定制开发
3-3	安装调试
3-4	培训服务

 

3部署方案

3.1系统架构

系统架构在扩容前后基本没有变化，扩容后的整个虚拟化系统部署架构如下图所示。

与原先区别主要是资源池扩充了，新增的物理服务器构成一个新的集群，并且通过新增加一台千兆交换机构成大数据实验虚机后端网络流量通道。

3.2IP网络部署

本项目中对于IP网络的部署设计，除了考虑vSphere环境下一般性的部署注意事项外，还需要注意由虚机构成的Hadoop集群对IP网络的需求。

       上图是一台物理服务器的虚拟网络和物理网络连接示意图。
每个虚机配置2个虚拟千兆网口，一个用于虚机前端业务流量，一个用于Hadoop集群后端流量，虚拟交换机vSwitch1和vSwitch2技术上可以使用一台、可以配置为标准虚拟交换机或分布式虚拟交换机，为了清晰和降低难度，建议配置为2个标准虚拟交换机；vSwitch0和vSwitch1上行链路可以互为备份，vSwitch1和vSwitch2的上行链路可以互为备份；物理服务器4个网口连接到2台堆叠的物理交换机。这种部署设计实现了IP网络全冗余，提供了故障切换和网络负载均衡功能。

3.3Hadoop集群部署

通过虚机部署Hadoop集群，当然需要评估虚机资源的需求，即使评估有误也无关系，虚拟化的一大好处就在于资源可以灵活调整。
在部署和使用虚机时，我们可以结合使用虚机模板、虚机克隆、虚机快照等技术为创建和使用实验环境提供便利。
Hadoop集群包含了Master节点和Slave节点，可以进行Hadoop部署实验、HDFS实验、MapReduce实验、HBase实验、Hive实验等。下表是节点虚机配置参考。

Master节点配置参考		Slave节点配置参考
CPU	2*LCPU	CPU	1-2*LCPU
MEM	8-16GB	MEM	2-8GB
Disk1（sda）	15GB	Disk1（sda）	15GB
Disk2（sdb）	20GB	Disk2（sdb）	50-200GB
虚拟网卡1	千兆	虚拟网卡1	千兆
虚拟网卡2	千兆	虚拟网卡2	千兆

本项目部署时，需要注意一个细节点是：我们应该尽量将一个Hadoop集群内的所有虚机运行在一台物理服务器上，避免IP流量流出物理服务器。

3.4部署计划

下表给出本项目部署实施的一些主要任务和时间预估。

任务	时间
IP地址规划,VLAN规划	4H
Fabric Zone规划	1H
存储LUN规划	2H
虚机资源规划	1H
设备上架，完成物理安装	1D
磁盘阵列初始安装	2H
FC交换机配置	2H
IP网络配置（交换机、路由器）	2H
存储完成配置	2H
vSphere安装配置	1.5D
虚机资源规划	2H
软件ISO导入，虚机模板创建	1H
第一个大数据集群建立	1D
使用测试，调整	2D
创建其他大数据集群