可靠性

云主机高可用

云主机高可用指平台检测到云主机故障后，自动在健康的物理机重新启动该云主机的机制。该机制可降低云主机宕机时间，保障业务连续性，且整个过程不依赖专有硬件。

ZStack Cloud提供两种高可用模式：

执行云主机高可用依赖以下前提条件：

云主机高可用流程由管理节点和物理机agent协作完成：

管理节点：负责处理云主机故障信息，并调度故障检测、恢复任务。管理节点定期获取云主机状态，当云主机处于停止状态时，将尝试启动该云主机。
物理机agent：负责汇报云主机故障信息，执行故障检测和Fencer机制，定期检查云主机网络及存储状态，检测到故障时，物理机agent将强制终止当前云主机进程，并由管理节点在健康物理机上重新启动。

关于故障检测

通过网络、I/O心跳两种机制进行物理机故障检测：

网络检测：
- 检查管理网络：通过管理网连接状态，判断物理机是否故障：
  - 检查管理节点和当前物理机间的管理网络心跳，快速发现物理机管理网络连接异常。
  - 管理节点通过其他健康的物理机检查疑似异常的物理机，判断该物理机是否彻底从管理网络断开。
- 检查物理机与共享存储的网络连接状态。
- 检查物理机业务网口状态。
I/O心跳检测：通过存储层面的心跳记录检查物理机磁盘I/O是否正常。如I/O心跳检测与（管理）网络检测结果冲突，以I/O心跳检测结果为准：
- SAN存储：检测sanlock心跳记录是否按时更新。
- Ceph存储：检测自定义host心跳记录和云盘对应的RBD Watcher。
- 多存储场景（即云主机根云盘、数据盘使用不同主存储）：以根云盘所在主存储记录为准。

关于防脑裂

为防止高可用过程中，因网络分区导致云主机脑裂（即不同物理机上同时运行同一个云主机进程），引入Fencer机制，当检测到故障时，将强制终止相关的云主机进程。

关于故障恢复与调度

故障恢复由Checker负责，云主机进程强制终止后，Checker将在健康的物理机重新启动该云主机，与Fencer形成闭环，确保云主机只在一台物理机上运行。

如图 1所示：

这里主要介绍自研分布式存储的高可用性。详情参考：

网络高可用是保障业务连续性的重要一环，ZStack Cloud通过多种技术手段，构建了从物理基础设施到网络服务的全方位网络高可用方案。

ZStack Cloud通过交换机堆叠/M-LAG和网卡Bonding紧密配合，实现从物理机端到交换机端的高可用网络架构。

交换机端高可用：堆叠/M-LAG

交换机端网络高可用主要通过堆叠和M-LAG技术实现。堆叠指将多台交换机虚拟化为一个逻辑设备，M-LAG则在多台独立运行的交换机间建立链路聚合，实现冗余。通过堆叠和M-LAG可实现以下目标：

物理机端高可用：网卡Bonding

物理机端网络高可用主要通过网卡Bonding实现。该技术将物理机的多张网卡绑定为一个逻辑接口，通过模式1（active-backup）或模式4（802.3ad）提供链路冗余和带宽聚合。交换机堆叠/M-LAG为Bonding提供了可靠的物理链路支撑。

模式1（Active-Backup）：每张网卡分别连接到不同的交换机（堆叠或M-LAG的成员交换机）。同一时刻只有一张网卡处于活跃状态，其他网卡处于备用状态。该模式实现以下目标：
- 链路冗余：结合交换机堆叠/M-LAG技术，当主交换机或主网卡故障时，流量可快速切换到备用链路。
模式4（802.3ad）：多张网卡通过LACP协议连接到不同的交换机，形成逻辑链路组（LAG）。该模式实现以下目标：
- 链路冗余：任一物理链路或交换机故障时，流量可快速切换。
- 带宽聚合：交换机与物理机Bonding协同实现流量负载均衡和高带宽。

如图 1所示：