Настройка кластера Ceph на Linux CentOS 7

Что такое Ceph, Linux и CentOS простыми словами.

Подготовка системы

Обновление пакетов

Обновим установленные пакеты на сервере следующей командой:

Синхронизация времени

Для корректной работы Ceph требуется, чтобы на нодах кластера было одинаковое время, поэтому на всех серверах настраиваем синхронизацию последнего.

Для этого сначала установим ntp следующей командой:

После задаем временную зону:

* в данном примере московское время.

Теперь открываем на редактирование cron:

И добавляем следующую строку:

* в данной настройке cron каждую ночь в 00:00 будет выполняться синхронизация времени с сервером ru.pool.ntp.org

Чтобы не ждать ночи, разово актуализируем время:

Чтобы время не сбивалось после перезагрузки, настроим аппаратное время:

Отключение SELinux

Рекомендуется отключить дополнительную систему безопасности SELinux.

Подробнее читайте статью Как отключить SELinux.

Настройка брандмауэра

Для корректной работы монитора Ceph требуется открыть порт 6789. Это делается следующей командой:

Также, для серверов хранения открываем порты 6800-7100:

* в нашем примере мониторы ceph и хранилища будут устанавливаться на одни и те же сервера, поэтому вышеописанные команды вводим на всех нодах.

Чтобы изменения вступили в силу, вводим команду:

Создание пользователей

На всех серверах кластера создаем пользователя следующей командой:

И задаем ему пароль (желательно, сложный):

У созданной учетной записи должны быть привилегии суперпользователя. Для этого создаем следующий файл:

И добавляем в него следующее:

* в данном примере учетной записи ceph предоставлены права суперпользователя без необходимости повторного ввода пароля.

Задаем следующие права на созданный файл:

Настройка распознования имен

Если мы работаем в среде без DNS, узлы кластера не смогут обращаться друг к другу по имени, поэтому необходимо открыть на редактирование следующий файл:

и добавить следующие строки:

* где 192.168.0.10 (11, 12) — IP-адреса серверов в моей тестовой среде; server1, 2, 3 — имена этих серверов.

Установка Ceph

Подключаемся к серверу CentOS 7, с которого будем устанавливать Ceph. Это может быть одна из нод кластера или отдельный компьютер. Все последующие команды выполняем с него.

Установка Ceph-deploy

Распространение Ceph на все узлы кластера происходит при помощи Ceph-deploy. Чтобы его установить, создаем следующий файл:

и добавляем в него следующее:

* где Hammer — LTS версия ceph; el7 — релиз CentOS 7. Эти значения нужно заменить на другие, если используемые версии отличаются. Релиз Linux CentOS можно посмотреть командой uname -r, а актуальную версию Ceph по ссылке http://docs.ceph.com/docs/jewel/releases/

Обновляем список пакетов:

Теперь можно установить ceph-admin следующей командой:

Чтобы заранее обойти ошибку «[ceph_deploy][ERROR ] RuntimeError: NoSectionError: No section: ‘ceph’», переименовываем наш репозиторий ceph:

Настройка беспарольного подключения по SSH

Заходим в систему под учетной записью ceph:

Генерируем ключ следующей командой:

* система задаст несколько вопросов относительно расположения ключа — оставляем значения по умолчанию, нажимая Enter.

и распространяем его на участников кластера:

* где ceph — созданная ранее на всех узлах учетная запись; server1, 2, 3 — имена серверов в моей тестовой среде.
** после ввода каждой команды система запросит разрешение принять сертификат — отвечаем yes. Также будет запрошен пароль от ранее созданной записи ceph.

Установка Ceph и создание кластера на всех нодах

Создаем рабочий каталог следующей командой:

и переходим в него:

Все последующие команды по управлению кластером стоит выполнять, находясь в нем.

Создаем новый кластер:

* напомню, что server1,2,3 — названия серверов в моей тестовой среде.

Устанавливаем Ceph на все узлы кластера:

Так как ceph-deploy не всегда устанавливает свежую версию ceph, обновим каждую ноду:

Настройка кластера Ceph

Создание и запуск мониторов

Выполним начальную настройку сервера монитора Ceph:

Подготовка дисков

Диски, доступные на сервере можно посмотреть следующей командой:

Готовим диски для использования их системой Ceph:

* в данном примере на каждом из серверов есть по два диска — sdb и sdc. Их мы и задействеум в качестве Ceph-хранилища.

И активируем их:

* обратите внимание, что при активации мы уже добавляем 1 к дискам, так как в процессе подготовки система создает два раздела — 1 для данных, 2 для журнала.

Проверка работоспособности

Для начала разрешим чтение файла ceph.client.admin.keyring:

Смотрим состояние дисков OSD:

Состояние дисков должно быть up, например:

Смотрим состояние кластера:

Система должна показать, примерно следующее:

Очень часто отображается предупреждение clock skew detected. Это означает, что не на всех серверах синхронизировано время. На всех серверах выполните команду

и подождите около 15 минут.