Proxmox【超融合】实现低准入高效构建企业内部私有云平台，让企业轻松步入云时代
"超融合"这个概念，可以简单理解为：将虚拟计算平台和存储融合到一起，将每台服务器里面自带的硬盘组成存储池，以虚拟化的形式提供数据中心所需要的计算、网络、安全以及存储等IT基础架构。在这里，也讲解一下超融合相对于传统虚拟化方案的优势。横向与纵向的扩展性
顾名思义，横向扩展就是当发现存储和计算资源不够用了，按需添加服务器即可。比如，当用户的共享存储写满了，用户不得不花大价钱去购买一个新的存储机柜，然而此时存储机柜的资源利用率是很低的。而使用超融合方案的用户，他们只需要投入较少的费用去购买一个新的服务器加入集群，即可扩展存储空间。
便捷提供多副本，提高数据安全
超融合方案可便捷支持2-3个副本。当某些服务器损坏时，若采用超融合方案，所需要的数据还会存在对应的副本里，工作还能正常进行。而对比于传统的共享存储，用户想做两个副本时，只好硬着头皮再买一个一模一样的存储设备做备份，增加了不少IT投资。
分布式存储，拉近计算和存储的距离
传统的共享存储在数据读写时，都需要通过网线或光纤进行数据传输。而超融合分布式的存储在读数据的时候，基本都是直接读取本地的副本数据，减少数据流经网线或光纤的时间，加快数据读取速度。
软硬件一体化，省钱省力省心
超融合方案所支持的软硬件一体化，即用户可以一次性轻松地把云数据中心部署好，其中包括服务器、服务器虚拟化、存储虚拟化等虚拟化软件。对比不少用户会分开购买硬件和软件，采购成本较高。同时，软硬件一体机在出厂时已将软件植入到硬件当中，并且已经通过兼容测试，用户可直接架到机房，通电并简单配置即可使用。
总结超融合特点及优势：
• 去中心化：没有专门的控制节点，无需考虑控制节点的单点问题。
• 去集中存储：传统的私有云集群架构，保障可用性是以共享存储方式实现的。但共享存储本身就是单点，虽然可以以多磁盘冗余已经双控制器的方式提高可用性，但仍然存在IO集中、性能无法提升的困境。
• 更低的建设成本：去掉昂贵的中心化存储，磁盘分布到本地物理服务器，投资成本大幅度降低。
• 在线扩容：不停止服务，对物理机配件（内存、cpu等）进行扩容，甚至新增物理节点。
PVE集群搭建过程简述：（3个结点PVE1-PVE3:192.168.26.210-212)
1、安装下载pve官方ISO镜像安装即可，操作很简单跟着提示下一步即可（如果有特别的存储配置注意安装的时候配置下,也可以后期再进行设置不过相对可能要繁琐些）
安装成功后使用浏览器WEB登陆效果：
2、登陆(通过ssh)三个结点更新源及系统。
rm -f /etc/apt/sources.list.d/pve-enterprise.list
echo "deb http://download.proxmox.com/debian/pve stretch pve-no-subscription" >/etc/apt/sources.list.d/pve-install-repo.list
wget http://download.proxmox.com/debian/proxmox-ve-release-5.x.gpg -O /etc/apt/trusted.gpg.d/proxmox-ve-release-5.x.gpg
apt update && apt dist-upgrade
3、开始创建集群在pve1上执行root@pve1:~# pvecm create pve-cluster
4、在pve2上执行root@pve2:~# pvecm add 192.168.26.210注意需要输入密码认证。
5、同样在PVE3结点上执行命令root@pve3:~# pvecm add 192.168.26.210同样需要输入密码认证
6、集群成功创建查看集群状态：三个结点任一一个上面都可以。
root@pve1:~# pvecm status
再切换一个结点试下查看状态
root@pve2:~# pvecm status
7、回到WEB管理台发现三个结点都已经出现了（集中中任一结点都可以）
8、为集群建立可靠的存储（Ceph存储，注意三个集群结点都需要执行）
root@pve3:~# pveceph install --version luminous
9、初始化存储集群网络段，以便进行通信，注意需要和PVE集群同网段，否则会报错(只需在PVE1结点上执行一次即可）：
root@pve1:~# pveceph init --network 192.168.33.0/24
No active IP found for the requested ceph public network '192.168.33.0/24' on node 'pve1'
换成同网段：
root@pve1:~# pveceph init --network 192.168.26.0/22
10、创建ceph集群存储Mon监控（三个结点都需要，不然高可用都无效，实测有结点故障时会一直卡住，至到MON结点恢复）
11、创建ceph集群存储mgr(Creating Ceph Manager)同样需要三个结点都安装不然无法实现高可用。
pveceph createmgr #但提示已经存在，原因是安装监控MON的时候自动已经安装上了。
12、创建Ceph OSDs（Creating Ceph OSDs）同样三个结点都需要执行一样操作。
13、创建集群存储资源池（Creating Ceph Pools）此操作只需要任一结点上执行即可。
root@pve1:~# ceph osd pool create pvepool 128 128
此时查看下存储集群状态ceph -s
有报警：ceph:health_warn clock skew detected on mon的解决办法
造成集群状态health_warn：clock skew detected on mon节点的原因一般有两个，一个是mon节点上ntp服务器未启动，另一个是ceph设置的mon的时间偏差阈值比较小。排查时也应遵循先第一个原因，后第二个原因的方式。
修改时间偏差阈值（记得重启服务）
# vi ceph.conf
在global字段下添加：
mon clock drift allowed = 2 mon clock drift warn backoff = 30
# ceph -s
显示health_ok说明问题解决
14、添加RBD集群存储（打开浏览器登陆WEB控制台配置）
注意选择使用超融合CEPH池。
查看rbd集群存储配置信息
15、测试创建虚拟服务器PVE1上
安装CENTOS6.6
pve3安装XP
关闭其它节点（节点1）不影响安装操作
测试高可用：先配置
测试：PVE3关机后收到报警（安装的时候配置了邮件地址的）
过两分钟还会收到一封邮件：提示故障已经成功转移。
虚拟服务器已经转移
看下WEB平台浏览的状态：
我们恢复PVE3.
恢复后自动迁移回去了，因为其权重高些(生产环环境不建议直接又回切，根据需要配置）。
Proxmox中克隆虚拟服务器
Proxmox中迁移虚拟服务器（pve3到pve1)
配置spice模拟终端登陆(实现可以直接使用终端设置联接操作虚拟机实现云桌面）：
配置文件中添加内容：args: -spice port=61001,disable-ticketing,seamless-migration=on
启动102 虚拟服务器qm start 102（这里通过命令启动的）也可以通过WEB控制台效果一样。
启动后发现多开放了一个端口，配置终端机联接此端口即可联接操作服务器。这里通过VirtViewer软件模拟登陆。
换台服务器再试（linux)：
同样需要修改配置文件：
root@pve3:~# cat /etc/pve/qemu-server/101.conf
bootdisk: sata2
cores: 1
ide2: none,media=cdrom
memory: 1024
name: Centos6.6
net0: e1000=26:24:01:00:69:7D,bridge=vmbr0
numa: 0
ostype: l26
sata2: ceph:vm-101-disk-0,size=20G
scsihw: virtio-scsi-pci
smbios1: uuid=73100396-3804-4002-815b-4017d81199a9
sockets: 1
vmgenid: bb0d8fc0-a6c7-4283-81f3-6766c4f150a2
args: -spice port=61002,disable-ticketing,seamless-migration=on
保存退出启动虚拟服务器
联接效果：
需要说明的是终端联接的是平台服务器IP加上端口，是基于端口的应用，而我们联上服务器后配置的虚拟服务器上网用的IP地址，因此不要混了，即使我们把网卡禁用了通过终端还是能联接的，只是服务器不能上外网络（和其它服务器通信）看下图片中效果，和我们平常开启远程访问是有区别的。
cd
功能效果暂时展示到这，其它功能及补充后续文章再完善，好久没写文了，草文堆了一大堆。
参考：https://pve.proxmox.com/pve-docs/chapter-pveceph.html
