Proxmox 4.x : mise en place d’un cluster HA | memo-linux.com https://memo-linux.

com/proxmox-4-x-mise-en-place-dun-cluster-ha/

blog sur gnu/linux, le libre et l'open-source

search

articles (https://memo-linux.com/category/articles/) | linux (https://memo-linux.com/category/linux/) |

android (https://memo-linux.com/category/android/) | réseau (https://memo-linux.com/category/reseau-2/) |

virtualisation (https://memo-linux.com/category/virtualisation-2/) | supervision (https://memo-linux.com/category/supervision/) |

vpn (https://memo-linux.com/category/vpn/) | yunohost (https://memo-linux.com/category/yunohost/) |

divers (https://memo-linux.com/category/divers/)

10 (https://memo-linux.com/proxmox-4-x-mise-en-place-dun-cluster-ha/#comments)

Posted on 10/01/2017 (https://memo-linux.com/proxmox-4-x-mise-en-place-dun-cluster-ha/) by fred (https://memo-linux.com/author/fred/)

Un mémo sur la mise en place d’un cluster haute disponibilité d’hyperviseurs Proxmox (https://memo-linux.com/?s=proxmox) avec un serveur NFS.
Contrairement à la version précédente de proxmox, il n’est plus possible de créer un cluster HA sur 2 noeuds (https://memo-linux.com/proxmox-mise-en-
place-de-2-noeuds-en-haute-disponibiliteha/) depuis la version 4.x de Proxmox.
Dû à une contrainte budgétaire, je n’ai que 3 serveurs pour créer mon cluster avec partage NFS (https://memo-linux.com/debianubuntu-installer-
et-configurer-un-serveur-nfs/) compris.
Pour le stockage partagé, j’ai choisi la technologie NFS pour sa facilité de mis en œuvre et sa maintenance.
La sauvegarde des données vivantes des serveurs de fichiers ne sera pas traitée dans cet article.

Présentation de l’architecture serveur choisie

2 Serveurs Dell R730 4 disques 4To 3.5pouces en RAID5

1 Serveur Dell R830 16 disques 1,2To 2,5pouces RAID6

Hyperviseurs Proxmox en cluster nommés pve-01, pve-02 et pve-03.

Pve-01 et pve-02 auront la gestion des machines virtuelles.

Les VMs seront réparties sur pve-01 et pve-02

Sauvegarde des VMs en local sur pve-01, pve-02 (en cas d’indisponibilité du serveur NFS, possibilité de restaurer les VMs sur pve01 ou pve-02)

Pve-03 sera le serveur NFS ou seront hébergées les machines virtuelles.

Les réseaux :

LAN réseau entreprise : 10.10.8.0/24

LAN privée non routé : 192.168.94.0/24

Les interfaces réseaux :

Vmbr0 : interface administration des proxmox en port cuivre

Vmbr1 : interface réseau sur le LAN réseau entreprise en port fibre

Vmbr2 : interface réseau sur le LAN privé en port fibre

Schéma réseau simplifié du cluster HA :

1 sur 10 03/04/2017 12:48

Proxmox 4.x : mise en place d’un cluster HA | memo-linux.com https://memo-linux.com/proxmox-4-x-mise-en-place-dun-cluster-ha/

(https://memo-linux.com/wp-content/uploads/2017/01/proxmox-4_cluster-HA.png)

Adresses réseaux :

pve-01 :

vmbr0 10.10.8.202
vmbr2 192.168.94.1

pve-02 :

vmbr0 10.10.8.204
vmbr2 192.168.94.2

pve-03 :

vmbr0 10.10.8.206
vmbr2 192.168.94.3

L’installation de Proxmox 4.x est identique à la version 3.x : tuto installation Proxmox 3.x (https://memo-linux.com/virtualisationproxmox-3/)

Mise en cluster des 3 nœuds proxmox

Sur tous les noeuds, ajouter ces informations dans /etc/hosts :
192.168.94.1 pve-01
192.168.94.2 pve-02
192.168.94.3 pve-03

Sur pve-01 créé le nom du cluster :

pvecm create kluster -bindnet0_addr 192.168.94.1 -ring0_addr pve-01

Sur pve-02, rejoindre le cluster :

pvecm add 192.168.94.1 -ring0_addr 192.168.94.2

Même chose sur pve-03 :

pvecm add 192.168.94.1 -ring0_addr 192.168.94.3

Dans l’interface web, les 3 nœuds sont présent :

2 sur 10 03/04/2017 12:48

Proxmox 4.x : mise en place d’un cluster HA | memo-linux.com https://memo-linux.com/proxmox-4-x-mise-en-place-dun-cluster-ha/
(https://memo-linux.com/wp-content/uploads/2017/01/pve4xclusterha-01.png)

Préparation des serveurs NFS sur pve-03

Installation du serveur NFS (https://memo-linux.com/debianubuntu-installer-et-configurer-un-serveur-nfs/) :

apt install nfs-kernel-server nfs-common

Création du répertoire partagé :

mkdir /var/lib/vz/pve

Configuration du fichier /etc/exports :

nano /etc/exports

/var/lib/vz/pve 192.168.94.1(rw,no_subtree_check,sync,no_root_squash)
/var/lib/vz/pve 192.168.94.2(rw,no_subtree_check,sync,no_root_squash)
/var/lib/vz/pve 192.168.94.3(rw,no_subtree_check,sync,no_root_squash)

Exporter la configuration NFS :

exportfs -r

Vérification :

exportfs -v

/var/lib/vz/pve
192.168.94.1(rw,wdelay,no_root_squash,no_subtree_check,sec=sys,rw,no_root_squash,no_all_squash)
/var/lib/vz/pve
192.168.94.2(rw,wdelay,no_root_squash,no_subtree_check,sec=sys,rw,no_root_squash,no_all_squash)
/var/lib/vz/pve
192.168.94.3(rw,wdelay,no_root_squash,no_subtree_check,sec=sys,rw,no_root_squash,no_all_squash)

Ajout du partage NFS sur les pve en cluster

Cliquer sur « Datacenter », puis sur « Storage » et « Add » :

(https://memo-linux.com/wp-content/uploads/2017/01/pveclusterha_nfs-01.png)

Sélectionner « NFS » :

3 sur 10 03/04/2017 12:48

Proxmox 4.x : mise en place d’un cluster HA | memo-linux.com https://memo-linux.com/proxmox-4-x-mise-en-place-dun-cluster-ha/

(https://memo-linux.com/wp-content/uploads/2017/01/pveclusterha_nfs-02.png)

Indiquer les renseignements demandés :

(https://memo-linux.com/wp-content/uploads/2017/01/pveclusterha_nfs-03.png)

Le stockage NFS est ajouté automatiquement à tout les nœuds :

(https://memo-linux.com/wp-content/uploads/2017/01/pveclusterha_nfs-04.png)

Configuration du cluster HA
Depuis la version 4.x de proxmox, la mise place d’un cluster HA a été très simplifiée et peut être entièrement configurée depuis l’interface web
d’administration.

Création d’un groupe comprenant les nœuds proxmox :

Cliquer sur « Datacenter », puis sur « HA », « Groups » et « Create » :

(https://memo-linux.com/wp-content/uploads/2017/01/pvecluster_ha-01.png)

Renseigner un nom et sélectionner les nœuds :

4 sur 10 03/04/2017 12:48

Proxmox 4.x : mise en place d’un cluster HA | memo-linux.com https://memo-linux.com/proxmox-4-x-mise-en-place-dun-cluster-ha/

(https://memo-linux.com/wp-content/uploads/2017/01/pvecluster_ha-02.png)

Créer une machine virtuelle

La méthode pour créer une VM sous proxmox 4.x est quasi identique par rapport à Proxmox 3 : https://memo-linux.com/creation-dune-machine-virtuelle-
avec-proxmox-3/ (https://memo-linux.com/creation-dune-machine-virtuelle-avec-proxmox-3/)

Ajouter une VM au cluster

Cliquer sur « Datacenter », puis « HA » et « Add » :

(https://memo-linux.com/wp-content/uploads/2017/01/pvecluster_ha-addvm-02.png)

La VM est ajoutée au groupe « pveha » du cluster HA :

(https://memo-linux.com/wp-content/uploads/2017/01/pvecluster_ha-addvm-03.png)

Prioriser les noeuds du cluster HA

Pour rappel, ce sont les nœuds pve-01 et pve-02 qui doivent gérer la disponibilité des VM et pve-03 uniquement l’hébergement et seulement la gestion des VM
en cas d’indisponibilité des deux autres nœuds.

5 sur 10 03/04/2017 12:48

Proxmox 4.x : mise en place d’un cluster HA | memo-linux.com https://memo-linux.com/proxmox-4-x-mise-en-place-dun-cluster-ha/
Revenir au menu « Groups », éditer le groupe « pveha » et indiquer les priorités :

(https://memo-linux.com/wp-content/uploads/2017/01/pvecluster_ha-priority.png)

Configuration du minuteur Watchdog matériel

Sous Proxmox 4.x il n’est plus nécessaire de configurer le fencing car il est pris en charge directement par Proxmox. Cependant, la gestion est au niveau logiciel
et je souhaite qu’elle soit au niveau matériel. Pour ce faire, il faut installer OpenManage et l’utilitaire ipmitool :

Installation d’OpenManage : https://memo-linux.com/proxmoxdebian-installer-dell-openmanage-server-administrator/ (https://memo-linux.com

/proxmoxdebian-installer-dell-openmanage-server-administrator/)

Installation de l’utilitaire ipmitool :

apt install ipmitool

Les valeurs par défaut sont trop hautes et pas d’action définit :

ipmitool mc watchdog get

Watchdog Timer Use: SMS/OS (0xc4)

Watchdog Timer Is: Started/Running
Watchdog Timer Actions: No action (0x00)
Pre-timeout interval: 0 seconds
Timer Expiration Flags: 0x00
Initial Countdown: 480 sec
Present Countdown: 472 sec

Editer le fichier /etc/default/pve‐ha‐manager  pour activer watchdog :

nano /etc/default/pve-ha-manager

Supprimer le dièze pour activer :

# select watchdog module (default is softdog)

WATCHDOG_MODULE=ipmi_watchdog

Créer un fichier de configuration /etc/modprob.d/ipmi_watchdog.conf :

nano /etc/modprobe.d/ipmi_watchdog.conf

Ajouter :

options ipmi_watchdog action=power_cycle panic_wdt_timeout=10

Modifier le grub (https://memo-linux.com/?s=grub) :

Éditer /etc/default/grub :

nano /etc/default/grub

Modifier la ligne GRUB_CMDLINE_LINUX_DEFAULT :

6 sur 10 03/04/2017 12:48

Proxmox 4.x : mise en place d’un cluster HA | memo-linux.com https://memo-linux.com/proxmox-4-x-mise-en-place-dun-cluster-ha/
GRUB_CMDLINE_LINUX_DEFAULT="quiet nmi_watchdog=0"

Recharger la configuration du grub :

update-grub

Redémarrer le serveur (https://memo-linux.com/difference-entre-halt-poweroff-reboot-et-shutdown-pour-eteindre-ou-redemarrer-son-gnulinux/) :

reboot

Une fois connecté au serveur, vérifier les nouvelles valeurs :

ipmitool mc watchdog get

Watchdog Timer Use: SMS/OS (0x44)

Watchdog Timer Is: Started/Running
Watchdog Timer Actions: Power Cycle (0x03)
Pre-timeout interval: 0 seconds
Timer Expiration Flags: 0x00
Initial Countdown: 10 sec
Present Countdown: 9 sec

Ressources
Principalement la documentation officielle de Proxmox :

https://pve.proxmox.com/wiki/Main_Page (https://pve.proxmox.com/wiki/Main_Page)

https://pve.proxmox.com/wiki/High_Availability (https://pve.proxmox.com/wiki/High_Availability)

https://pve.proxmox.com/wiki/High_Availability_Cluster_4.x (https://pve.proxmox.com/wiki/High_Availability_Cluster_4.x)

https://pve.proxmox.com/wiki/Cluster_Manager (https://pve.proxmox.com/wiki/Cluster_Manager)

Articles (https://memo-linux.com/category/articles/), Deb (https://memo-linux.com/category/deb/), Debian (https://memo-linux.com/category/debian/), Virtualisation

(https://memo-linux.com/category/virtualisation-2/) cluster (https://memo-linux.com/tag/cluster/), ha (https://memo-linux.com/tag/ha/), proxmox (https://memo-linux.com
/tag/proxmox/), pve (https://memo-linux.com/tag/pve/)

Partager l'article :
(https: (https: (mailto (https:
/share?ur/share?ur4.x : /submit

dell openmanage : upgrade srvadmin 8.3 vers 8.4 sur proxmox cluster ha : répartition de charge des machines
debian jessie (https://memo-linux.com/dell-openmanage- virtuelles (https://memo-linux.com/proxmox-cluster-
upgrade-srvadmin-8-3-vers-8-4-sur-debian-jessie/) ha-repartition-de-charge-des-machines-virtuelles/)

fred
Administrateur Système autodidacte et utilisateur au quotidien de GNU/Linux (Debian, Ubuntu, Manjaro et un peu de CentOS).

10 comments

09/02/2017 (https://memo-linux.com/proxmox-4-x-mise-en-place-dun-cluster-ha/#comment-61760)
nico

Bonjour,
Tout d’abord merci pour cet excellent tuto.
Rencontrez vous des problèmes sur votre cluster au quotidien?
Je désirerai monter une architecture similaire cependant la redondance du stockage suffit-elle à une architecture de production?
Vous parlez de l’interface Vmbr1 au début du tuto et plus rien après, cette interface n’est pas utilisée?
Merci.
Nico

7 sur 10 03/04/2017 12:48

Proxmox 4.x : mise en place d’un cluster HA | memo-linux.com https://memo-linux.com/proxmox-4-x-mise-en-place-dun-cluster-ha/

10/02/2017 (https://memo-linux.com/proxmox-4-x-mise-en-place-dun-cluster-ha/#comment-61775)
fred (https://memo-linux.com)

Bonjour,
l’interface vmbr1(interface fibre) est celle qui sera renseignée comme interface réseau pour les VM.
Jusqu’à maintenant aucun souci, au préalable j’ai fais des tests de panne pour m’assurer le basculement des VM sur les autres nœuds.
Le point faible de cette architecture est le stockage, car dans le cas présent pas de redondance. Faut que je prenne le temps de me documenter sur ceph…

20/03/2017 (https://memo-linux.com/proxmox-4-x-mise-en-place-dun-cluster-ha/#comment-63416)
kevin

Bonjour Fred,

Merci pour ton blog et tes mémos c’est super utile. J’ai deux serveurs dédiés (un Online et un OVH). J’aimerai avoir un serveur principal pour ma prod et un
secondaire pour ma dev / test tout deux sous Proxmox. J’ai également un synology DS916+ qui arrive (quad core + 8go de ram) branché chez moi en fibre.
Idéalement j’aimerai que mes serveurs dédiés gèrent leurs VM chacun de leur côté et que l’un prennent la relève de l’autre en cas de défaillance. Mes backups
seront sur le NAS synology.

A lire ton article il est nécessaire d’avoir 3 serveurs. Dans mon cas je peux suivre ton tuto ? Mais je ne souhaite pas que le synology porte la data réel de mes
VM juste les backup.

20/03/2017 (https://memo-linux.com/proxmox-4-x-mise-en-place-dun-cluster-ha/#comment-63418)
fred (https://memo-linux.com)

Bonjour Kevin,
depuis la version 4 de Proxmox, il faut obligatoirement 3 serveurs pour faire du HA et donc pourvoir basculer les VMs d’un nœud à l’autre. Dans ton cas, tu
peux éventuellement mettre tes 2 serveurs en cluster « simple » avec ton synologie en tant que serveur NAS pour les backups mais tu n’auras pas de HA…

21/03/2017 (https://memo-linux.com/proxmox-4-x-mise-en-place-dun-cluster-ha/#comment-63430)
kevin

Merci pour ta réponse rapide. Il y a un autre point que je n’avais pas pensé. J’utilise les ip failover… mais cette solution n’est pas possible en étant multi
fournisseur. De ton côté tu gères comment ? Si il est mieux d’être mono fournisseur tu me conseillerais plutot OVH ou Online ?
A la base j’ai pris OVH car Online ne proposait dans les serveurs qui m’intéresse que le même datacenter. Du coup je suis couvert contre la panne matériel mais
en cas de coup dur sur l’infra du Datacenter… Pas vraiment top pour de la HA nan ?

21/03/2017 (https://memo-linux.com/proxmox-4-x-mise-en-place-dun-cluster-ha/#comment-63456)
fred (https://memo-linux.com)

Mes Proxmox sont dans des salles serveurs sur des sites dont j’ai la gestion et non pas chez un hébergeur… sur ce coup, je ne pourrais pas trop d’aider…

22/03/2017 (https://memo-linux.com/proxmox-4-x-mise-en-place-dun-cluster-ha/#comment-63502)
kevin

D’accord merci. Je vais voir comment je peux me débrouiller. Je vois plus haut dans les commentaires « Le point faible de cette architecture est le stockage, car
dans le cas présent pas de redondance. ». Si j’ai bien compris en faisant ça si le serveur NFS tombe plus rien ne fonctionne ? Ou les VM sont aussi stocké sur les
pve1 et 2 ?

J’aurai tendance à comprendre que le pve1 et 2 prennent la charge CPU et le 3 le stockage. Autre point un peu inconnu. Niveau IP comment gères tu le switches
des VM sur un autre noeud ?

22/03/2017 (https://memo-linux.com/proxmox-4-x-mise-en-place-dun-cluster-ha/#comment-63509)
fred (https://memo-linux.com)

Exact pour le serveur NFS, j’ai donc changé ma façon de faire et je suis passé à Ceph : https://memo-linux.com/proxmox-4-x-mise-en-place-dun-cluster-
ha-avec-ceph/ (https://memo-linux.com/proxmox-4-x-mise-en-place-dun-cluster-ha-avec-ceph/)
Les VM ont leur propre adresse IP qui est indépendante du noeud où elles se trouvent.

8 sur 10 03/04/2017 12:48

Proxmox 4.x : mise en place d’un cluster HA | memo-linux.com https://memo-linux.com/proxmox-4-x-mise-en-place-dun-cluster-ha/

22/03/2017 (https://memo-linux.com/proxmox-4-x-mise-en-place-dun-cluster-ha/#comment-63514)
kevin

Vos VM ont des adresses IP privée ou le fait d’avoir vos propres serveurs vous pouvez avoir des IP publiques sur vos VM ? J’ai actuellement la problématique
de devoir affecter des ipfailover si je veux que mes VM aient des IP accessibles depuis l’extérieur. IP qui sont rattaché aux serveurs. Du coup si il tombe je dois
switcher l’ipfailover sur le serveur qui prend la main.
En tout cas merci ton blog est une vraie mine d’or !

22/03/2017 (https://memo-linux.com/proxmox-4-x-mise-en-place-dun-cluster-ha/#comment-63523)
fred (https://memo-linux.com)

Mon cluster est dans un réseau entreprise et donc pas d’adresse IP public et ni d’ipfailover. Je pense que ton ton cas , il faudrait peut être faire du NAT ?
merci pour le compliment :-)

laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *

commentaire

nom *

adresse de messagerie *

site web

laisser un commentaire

soutenir le blog c om m en t a i re s ré cen t s les sujets du blog

fred (https://memo-linux.com) dans Linux Mint : mettre à
jour la distribution vers la version 18 Sarah (https://memo-
linux.com/linux-mint-mettre-a-jour-la-distribution-vers-la-
version-18-sarah/#comment-64186)
suivre le blog sur : CAVILLON dans Linux Mint : mettre à jour la distribution
vers la version 18 Sarah (https://memo-linux.com/linux-
mint-mettre-a-jour-la-distribution-vers-la-version-18-sarah
(https://twitter.com/L_freddy) /#comment-64181)
11.04 (https://memo-linux.com/tag/11-04/) 12.04
(https://memo-linux.com/tag/12-04/) 12.10
(https://memo-linux.com/tag/12-10/) android (https://memo-
linux.com/tag/android-2/) archlinux
(https://memo-linux.com/tag/archlinux/) centreon
(https://memo-linux.com/tag/centreon/) console

Mon architecture web | L'OS, Debian - La jungle du web

(https://plus.google.com/+Memo-linux/posts)
(http://lajungleduweb.eu/2016/10/02/mon-architecture-
web-los-debian/) dans Debian 8 Jessie : installation pas à
pas (https://memo-linux.com/debian-8-jessie-installation-
pas-a-pas/#comment-64155)
Jay Snyper dans supprimer les métadonnées d’une photo
sous Linux (https://memo-linux.com/supprimer-
les-metadonnees-dune-photo-sous-linux/#comment-63916)
zineb dans Eyes Of Network: solution complète de
(https://memo-linux.com/tag/console/) debian
(https://memo-linux.com
/tag/debian-2/) dns (https://memo-linux.com
/tag/dns/) firefox (https://memo-linux.com/tag/firefox/) gnome
(https://memo-linux.com/tag/gnome/) gnome-shell
(https://memo-linux.com/tag/gnome-shell/) installation
(https://memo-linux.com/tag/installation/) ip (https://memo-

9 sur 10 03/04/2017 12:48

Proxmox 4.x : mise en place d’un cluster HA | memo-linux.com https://memo-linux.com/proxmox-4-x-mise-en-place-dun-cluster-ha/
supervision (https://memo-linux.com/eyes-of-network- linux.com/tag/ip/) jeu (https://memo-linux.com/tag/jeu/)
solution-complete-de-supervision/#comment-63801)
kernel (https://memo-linux.com

/tag/kernel/)
b l og ro l l
Blog de Stéphane Bortzmeyer (http://www.bortzmeyer.org/)

blog.admin-linux.org (http://blog.admin-linux.org/)

Cenwen's Blog OpenShot linux mint

(http://linuxevolution.wordpress.com/)
(https://memo-linux.com/tag/linux-
ComputerZ Solutions (https://computerz.solutions/)
mint-2/) manjaro (https://memo-
framablog (http://framablog.org/)

gnomelibre.fr (http://www.gnomelibre.fr/) linux.com/tag/manjaro/) mate

hackurx.wordpress.com (http://hackurx.wordpress.com/) (https://memo-linux.com/tag/mate/) migration (https://memo-

linux.com/tag/migration/) monitoring (https://memo-linux.com

la vache libre (http://la-vache-libre.org)
/tag/monitoring/) mysql (https://memo-linux.com
Le blog tech d'angristan (http://angristan.fr/) /tag/mysql/) mémo (https://memo-linux.com
un bazar techno-miamun (http://tavie.onsenfout.com/) /tag/memo/) nginx (https://memo-linux.com

Unix Experience (http://www.unix-experience.fr/fr/) /tag/nginx/) openvpn (https://memo-linux.com

/tag/openvpn/) pacman (https://memo-linux.com/tag/pacman/)
www.journalduhacker.net (https://www.journalduhacker.net)
plugin (https://memo-linux.com/tag/plugin/) proxmox
ZoneAdmin : forum d'adminSys mais pas que
(https://zoneadmin.fr)
(https://memo-linux.com/tag/proxmox/) proxy
(https://memo-linux.com/tag/proxy/) reseau
(https://memo-linux.com/tag/reseau/) sauvegarde
(https://memo-linux.com/tag/sauvegarde/) script (https://memo-

linux.com/tag/script/) Serveur
(https://memo-linux.com
/tag/serveur/) ssh (https://memo-linux.com
/tag/ssh/) Supervision (https://memo-linux.com
/tag/supervision/) sécurité (https://memo-linux.com

/tag/securite/) terminal (https://memo-

linux.com/tag/terminal/) tuto (https://memo-

linux.com/tag/tuto/)

unity (https://memo-

linux.com/tag/unity/) video (https://memo-linux.com/tag/video/)

virtualbox (https://memo-linux.com/tag/virtualbox/) Web

(https://memo-linux.com/tag/web/) wordpress
(https://memo-linux.com/tag/wordpress-2/)

© 2017 memo-linux.com. All rights reserved. Hiero (http://athemes.com/theme/hiero) by aThemes

10 sur 10 03/04/2017 12:48