Добавление/удаление сервера в кластер Proxmox

Для того що б почати працювати з кластером в Proxmox VE 4.4 багато зусиль не потрібно.

Необхідно ознайомитись із «Офіційною документацією» .

Встановлення кластера.

На 1-й машині, яка буде Master Cluster заходимо в консоль та вводимо:

pvecm create YOUR-CLUSTER-NAME

Перевіряємо статус кластера:

pvecm status

Якщо все ок, то починаємо додавати ноди в кластер.

На 2-й машині, яку необхідно додати в кластер, через консоль вводимо:

pvecm add IP-ADDRESS-CLUSTER

Перевіряємо статус кластера:

pvecm status

Отримуєм список нод в кластері:

pvecm status
Quorum information
------------------
Date:             Mon Apr 30 11:37:43 2017
Quorum provider:  corosync_votequorum
Nodes:            3
Node ID:          0x00000001
Ring ID:          1928
Quorate:          Yes
Votequorum information
----------------------
Expected votes:   3
Highest expected: 3
Total votes:      3
Quorum:           2  
Flags:            Quorate
Membership information
----------------------
    Nodeid      Votes Name
0x00000001          1 192.168.50.2
0x00000002          1 192.168.50.3 (local)
0x00000003          1 192.168.50.4

Видалення ноди з кластера

Ось покрокова інструкція з поясненнями, як видалити ноду з кластера Proxmox.

Крок 1: Підготовка до видалення

Перемістіть всі віртуальні машини з ноди. Переконайтесь, що зробили копії всіх локальних даних або резервних копій, які хочете зберегти.
Видаліть всі заплановані завдання реплікації на ноду. Якщо ви не видалите завдання реплікації перед видаленням ноди, вони можуть стати неможливими для видалення.

Крок 2: Отримання ID ноди

Увійдіть на іншу ноду кластера (не ту, яку ви плануєте видалити).
Виконайте команду pvecm nodes, щоб отримати інформацію про членство в кластері та ID ноди, яку потрібно видалити.
```
hp1# pvecm nodes
```
Ви побачите інформацію про членство в кластері, наприклад:
```
Membership information
~~~~~~~~~~~~~~~~~~~~~~
    Nodeid      Votes Name
         1          1 hp1 (local)
         2          1 hp2
         3          1 hp3
         4          1 hp4
```

Крок 3: Вимкнення ноди

Вимкніть ноду, яку потрібно видалити (hp4).
Переконайтесь, що нода не ввімкнеться знову в мережі з поточною конфігурацією.

Крок 4: Видалення ноди з кластера

Виконайте команду для видалення ноди:
```
hp1# pvecm delnode hp4
```
Якщо ви отримаєте помилку Could not kill node (error = CS_ERR_NOT_EXIST), її можна ігнорувати.

Крок 5: Перевірка статусу кластера

Виконайте команду pvecm status або pvecm nodes, щоб перевірити, що нода була успішно видалена.

hp1# pvecm status

Ви побачите щось подібне:

Votequorum information
~~~~~~~~~~~~~~~~~~~~~~
Expected votes:   3
Highest expected: 3
Total votes:      3
Quorum:           2
Flags:            Quorate

Membership information
~~~~~~~~~~~~~~~~~~~~~~
    Nodeid      Votes Name
0x00000001          1 192.168.15.90 (local)
0x00000002          1 192.168.15.91
0x00000003          1 192.168.15.92

Крок 6: Очистка залишкових файлів

Видаліть конфігураційні файли видаленої ноди:
```
rm -r /etc/pve/nodes/hp4
```
Оновіть сертифікати SSH на інших нодах, якщо потрібно:
```
pvecm updatecerts
```

Альтернативний метод: Відокремлення ноди без перевстановлення

Цей метод не рекомендується, використовуйте його з обережністю.

Зупиніть сервіси corosync і pve-cluster:
```
systemctl stop pve-cluster
systemctl stop corosync
```
Запустіть файлову систему кластера в локальному режимі:
```
pmxcfs -l
```
Видаліть конфігураційні файли corosync:
```
rm /etc/pve/corosync.conf
rm -r /etc/corosync/*
```
Запустіть файлову систему як звичайний сервіс:
```
killall pmxcfs
systemctl start pve-cluster
```
Видаліть ноду з іншої ноди кластера:
```
pvecm delnode oldnode
```
Видаліть залишкові файли кластера на відокремленій ноді:
```
rm /var/lib/corosync/*
```
Очистіть конфігураційні файли з інших нод:
```
rm -r /etc/pve/nodes/NODENAME
```

Увага

Переконайтесь, що всі ресурси, які використовуються спільно, були розділені.
Видаліть ключі SSH з файлу authorized_keys.

Ця інструкція допоможе вам безпечно видалити ноду з кластера Proxmox, уникнувши потенційних проблем.Ось покрокова інструкція з поясненнями, як видалити ноду з кластера Proxmox.

Крок 1: Підготовка до видалення

Перемістіть всі віртуальні машини з ноди. Переконайтесь, що зробили копії всіх локальних даних або резервних копій, які хочете зберегти.
Видаліть всі заплановані завдання реплікації на ноду. Якщо ви не видалите завдання реплікації перед видаленням ноди, вони можуть стати неможливими для видалення.

Крок 2: Отримання ID ноди

Увійдіть на іншу ноду кластера (не ту, яку ви плануєте видалити).
Виконайте команду pvecm nodes, щоб отримати інформацію про членство в кластері та ID ноди, яку потрібно видалити.
```
hp1# pvecm nodes
```
Ви побачите інформацію про членство в кластері, наприклад:
```
Membership information
~~~~~~~~~~~~~~~~~~~~~~
    Nodeid      Votes Name
         1          1 hp1 (local)
         2          1 hp2
         3          1 hp3
         4          1 hp4
```

Крок 3: Вимкнення ноди

Вимкніть ноду, яку потрібно видалити (hp4).
Переконайтесь, що нода не ввімкнеться знову в мережі з поточною конфігурацією.

Крок 4: Видалення ноди з кластера

Виконайте команду для видалення ноди:
```
hp1# pvecm delnode hp4
```
Якщо ви отримаєте помилку Could not kill node (error = CS_ERR_NOT_EXIST), її можна ігнорувати.

Крок 5: Перевірка статусу кластера

Виконайте команду pvecm status або pvecm nodes, щоб перевірити, що нода була успішно видалена.

hp1# pvecm status

Ви побачите щось подібне:

Votequorum information
~~~~~~~~~~~~~~~~~~~~~~
Expected votes:   3
Highest expected: 3
Total votes:      3
Quorum:           2
Flags:            Quorate

Membership information
~~~~~~~~~~~~~~~~~~~~~~
    Nodeid      Votes Name
0x00000001          1 192.168.15.90 (local)
0x00000002          1 192.168.15.91
0x00000003          1 192.168.15.92

Крок 6: Очистка залишкових файлів

Видаліть конфігураційні файли видаленої ноди:
```
rm -r /etc/pve/nodes/hp4
```
Оновіть сертифікати SSH на інших нодах, якщо потрібно:
```
pvecm updatecerts
```

Альтернативний метод: Відокремлення ноди без перевстановлення

Цей метод не рекомендується, використовуйте його з обережністю.

Зупиніть сервіси corosync і pve-cluster:
```
systemctl stop pve-cluster
systemctl stop corosync
```
Запустіть файлову систему кластера в локальному режимі:
```
pmxcfs -l
```
Видаліть конфігураційні файли corosync:
```
rm /etc/pve/corosync.conf
rm -r /etc/corosync/*
```
Запустіть файлову систему як звичайний сервіс:
```
killall pmxcfs
systemctl start pve-cluster
```
Видаліть ноду з іншої ноди кластера:
```
pvecm delnode oldnode
```
Видаліть залишкові файли кластера на відокремленій ноді:
```
rm /var/lib/corosync/*
```
Очистіть конфігураційні файли з інших нод:
```
rm -r /etc/pve/nodes/NODENAME
```

Увага

Переконайтесь, що всі ресурси, які використовуються спільно, були розділені.
Видаліть ключі SSH з файлу authorized_keys.

Ця інструкція допоможе вам безпечно видалити ноду з кластера Proxmox, уникнувши потенційних проблем.

Видалення кластера

Якщо в зібраному Proxmox кластері виникає необхідність змінити конфігурацію (ім*я вузла кластера або мережеві налаштування) можна видалити кластер та перестворити його.

Якщо не виходить очистити папку з нодою та ключами то додаткові команди до цього

* remove the cluster configuration: rm /etc/pve/corosync.conf
* stop the corosync service: systemctl stop corosync
* remove the corosync auth keyfile: rm /etc/corosync/authkey
* restart the pve-cluster service: systemctl restart pve-cluster

systemctl stop pvestatd.service
systemctl stop pvedaemon.service
systemctl stop pve-cluster.service

Если не отображаются ВМ и контейнеры в админке

Ситуация может произойти, после удаления сервера из кластера.

Перед удалением лучше сделать резервную копию папок /etc/pve/nodes/

Основная инструкция по восстановлению взята тут от Proxmox Staff Member: https://forum.proxmox.com/threads/vm-disappeared.121466/

Hi, can you still see the VMs disk when you run lvs? Is the LVM present in the storage configuration (Datacenter > Storage in the UI)? If not, add it. The folder /etc/pve/nodes/<deleted node>/qemu-server was/is the one containing the VM's configuration file. If it does exist, just move the configuration to the remaining node. If it doesn't exist anymore, you need to create a new VM with the same settings and without any disks, but using the same ID as the disk has. Then run qm rescan --vmid <ID>. After that, the disk will show up as an unused disk for the VM and can be attached in the UI

PreviousРобота с хостом ProxMox NextDebian Bookworm sources.list

Last updated 6 months ago

Добавление/удаление сервера в кластер Proxmox

Для того що б почати працювати з кластером в Proxmox VE 4.4 багато зусиль не потрібно.

Необхідно ознайомитись із «Офіційною документацією» .

Встановлення кластера.

На 1-й машині, яка буде Master Cluster заходимо в консоль та вводимо:

pvecm create YOUR-CLUSTER-NAME

Перевіряємо статус кластера:

pvecm status

Якщо все ок, то починаємо додавати ноди в кластер.

На 2-й машині, яку необхідно додати в кластер, через консоль вводимо:

pvecm add IP-ADDRESS-CLUSTER

Перевіряємо статус кластера:

pvecm status

Отримуєм список нод в кластері:

pvecm status
Quorum information
------------------
Date:             Mon Apr 30 11:37:43 2017
Quorum provider:  corosync_votequorum
Nodes:            3
Node ID:          0x00000001
Ring ID:          1928
Quorate:          Yes
Votequorum information
----------------------
Expected votes:   3
Highest expected: 3
Total votes:      3
Quorum:           2  
Flags:            Quorate
Membership information
----------------------
    Nodeid      Votes Name
0x00000001          1 192.168.50.2
0x00000002          1 192.168.50.3 (local)
0x00000003          1 192.168.50.4

Видалення ноди з кластера

Ось покрокова інструкція з поясненнями, як видалити ноду з кластера Proxmox.

Крок 1: Підготовка до видалення

Перемістіть всі віртуальні машини з ноди. Переконайтесь, що зробили копії всіх локальних даних або резервних копій, які хочете зберегти.
Видаліть всі заплановані завдання реплікації на ноду. Якщо ви не видалите завдання реплікації перед видаленням ноди, вони можуть стати неможливими для видалення.

Крок 2: Отримання ID ноди

Увійдіть на іншу ноду кластера (не ту, яку ви плануєте видалити).
Виконайте команду pvecm nodes, щоб отримати інформацію про членство в кластері та ID ноди, яку потрібно видалити.
```
hp1# pvecm nodes
```
Ви побачите інформацію про членство в кластері, наприклад:
```
Membership information
~~~~~~~~~~~~~~~~~~~~~~
    Nodeid      Votes Name
         1          1 hp1 (local)
         2          1 hp2
         3          1 hp3
         4          1 hp4
```

Крок 3: Вимкнення ноди

Вимкніть ноду, яку потрібно видалити (hp4).
Переконайтесь, що нода не ввімкнеться знову в мережі з поточною конфігурацією.

Крок 4: Видалення ноди з кластера

Виконайте команду для видалення ноди:
```
hp1# pvecm delnode hp4
```
Якщо ви отримаєте помилку Could not kill node (error = CS_ERR_NOT_EXIST), її можна ігнорувати.

Крок 5: Перевірка статусу кластера

Виконайте команду pvecm status або pvecm nodes, щоб перевірити, що нода була успішно видалена.

hp1# pvecm status

Ви побачите щось подібне:

Votequorum information
~~~~~~~~~~~~~~~~~~~~~~
Expected votes:   3
Highest expected: 3
Total votes:      3
Quorum:           2
Flags:            Quorate

Membership information
~~~~~~~~~~~~~~~~~~~~~~
    Nodeid      Votes Name
0x00000001          1 192.168.15.90 (local)
0x00000002          1 192.168.15.91
0x00000003          1 192.168.15.92

Крок 6: Очистка залишкових файлів

Видаліть конфігураційні файли видаленої ноди:
```
rm -r /etc/pve/nodes/hp4
```
Оновіть сертифікати SSH на інших нодах, якщо потрібно:
```
pvecm updatecerts
```

Альтернативний метод: Відокремлення ноди без перевстановлення

Цей метод не рекомендується, використовуйте його з обережністю.

Зупиніть сервіси corosync і pve-cluster:
```
systemctl stop pve-cluster
systemctl stop corosync
```
Запустіть файлову систему кластера в локальному режимі:
```
pmxcfs -l
```
Видаліть конфігураційні файли corosync:
```
rm /etc/pve/corosync.conf
rm -r /etc/corosync/*
```
Запустіть файлову систему як звичайний сервіс:
```
killall pmxcfs
systemctl start pve-cluster
```
Видаліть ноду з іншої ноди кластера:
```
pvecm delnode oldnode
```
Видаліть залишкові файли кластера на відокремленій ноді:
```
rm /var/lib/corosync/*
```
Очистіть конфігураційні файли з інших нод:
```
rm -r /etc/pve/nodes/NODENAME
```

Увага

Переконайтесь, що всі ресурси, які використовуються спільно, були розділені.
Видаліть ключі SSH з файлу authorized_keys.

Крок 1: Підготовка до видалення

Перемістіть всі віртуальні машини з ноди. Переконайтесь, що зробили копії всіх локальних даних або резервних копій, які хочете зберегти.
Видаліть всі заплановані завдання реплікації на ноду. Якщо ви не видалите завдання реплікації перед видаленням ноди, вони можуть стати неможливими для видалення.

Крок 2: Отримання ID ноди

Увійдіть на іншу ноду кластера (не ту, яку ви плануєте видалити).
Виконайте команду pvecm nodes, щоб отримати інформацію про членство в кластері та ID ноди, яку потрібно видалити.
```
hp1# pvecm nodes
```
Ви побачите інформацію про членство в кластері, наприклад:
```
Membership information
~~~~~~~~~~~~~~~~~~~~~~
    Nodeid      Votes Name
         1          1 hp1 (local)
         2          1 hp2
         3          1 hp3
         4          1 hp4
```

Крок 3: Вимкнення ноди

Вимкніть ноду, яку потрібно видалити (hp4).
Переконайтесь, що нода не ввімкнеться знову в мережі з поточною конфігурацією.

Крок 4: Видалення ноди з кластера

Виконайте команду для видалення ноди:
```
hp1# pvecm delnode hp4
```
Якщо ви отримаєте помилку Could not kill node (error = CS_ERR_NOT_EXIST), її можна ігнорувати.

Крок 5: Перевірка статусу кластера

Виконайте команду pvecm status або pvecm nodes, щоб перевірити, що нода була успішно видалена.

hp1# pvecm status

Ви побачите щось подібне:

Votequorum information
~~~~~~~~~~~~~~~~~~~~~~
Expected votes:   3
Highest expected: 3
Total votes:      3
Quorum:           2
Flags:            Quorate

Membership information
~~~~~~~~~~~~~~~~~~~~~~
    Nodeid      Votes Name
0x00000001          1 192.168.15.90 (local)
0x00000002          1 192.168.15.91
0x00000003          1 192.168.15.92

Крок 6: Очистка залишкових файлів

Видаліть конфігураційні файли видаленої ноди:
```
rm -r /etc/pve/nodes/hp4
```
Оновіть сертифікати SSH на інших нодах, якщо потрібно:
```
pvecm updatecerts
```

Альтернативний метод: Відокремлення ноди без перевстановлення

Цей метод не рекомендується, використовуйте його з обережністю.

Зупиніть сервіси corosync і pve-cluster:
```
systemctl stop pve-cluster
systemctl stop corosync
```
Запустіть файлову систему кластера в локальному режимі:
```
pmxcfs -l
```
Видаліть конфігураційні файли corosync:
```
rm /etc/pve/corosync.conf
rm -r /etc/corosync/*
```
Запустіть файлову систему як звичайний сервіс:
```
killall pmxcfs
systemctl start pve-cluster
```
Видаліть ноду з іншої ноди кластера:
```
pvecm delnode oldnode
```
Видаліть залишкові файли кластера на відокремленій ноді:
```
rm /var/lib/corosync/*
```
Очистіть конфігураційні файли з інших нод:
```
rm -r /etc/pve/nodes/NODENAME
```

Увага

Переконайтесь, що всі ресурси, які використовуються спільно, були розділені.
Видаліть ключі SSH з файлу authorized_keys.

Ця інструкція допоможе вам безпечно видалити ноду з кластера Proxmox, уникнувши потенційних проблем.

Видалення кластера

Якщо не виходить очистити папку з нодою та ключами то додаткові команди до цього

* remove the cluster configuration: rm /etc/pve/corosync.conf
* stop the corosync service: systemctl stop corosync
* remove the corosync auth keyfile: rm /etc/corosync/authkey
* restart the pve-cluster service: systemctl restart pve-cluster

systemctl stop pvestatd.service
systemctl stop pvedaemon.service
systemctl stop pve-cluster.service

Если не отображаются ВМ и контейнеры в админке

Ситуация может произойти, после удаления сервера из кластера.

Перед удалением лучше сделать резервную копию папок /etc/pve/nodes/

Основная инструкция по восстановлению взята тут от Proxmox Staff Member: https://forum.proxmox.com/threads/vm-disappeared.121466/

Hi, can you still see the VMs disk when you run lvs? Is the LVM present in the storage configuration (Datacenter > Storage in the UI)? If not, add it. The folder /etc/pve/nodes/<deleted node>/qemu-server was/is the one containing the VM's configuration file. If it does exist, just move the configuration to the remaining node. If it doesn't exist anymore, you need to create a new VM with the same settings and without any disks, but using the same ID as the disk has. Then run qm rescan --vmid <ID>. After that, the disk will show up as an unused disk for the VM and can be attached in the UI

PreviousРобота с хостом ProxMox NextDebian Bookworm sources.list

Last updated 6 months ago