Синхрониация каталогов в Linux с помощью Lsyncd

Опубликовано: 13.10.2020

Используемые термины: rsync, Linux, CentOS.

Lsyncd позволяет отслеживать состояние каталога с помощью подсистемы ядра inotify, и при помощи утилиты синхронизации rsync, менять содержимое другого каталога, таким образом, приводя оба каталога к единому виду. Это может использоваться для зеркалирования кластерной системы или создания оперативного бэкапа (не путать с полноценной резервной копией).

В данной инструкции мы рассмотрим процесс установки и настройки Lsyncd на компьютер с Linux CentOS версий 8 и 7. Также мы настроим синхронизацию папок как на локальном компьютере, так и удаленных по сети.

Установка и тестовый запуск

Выполним установку lsyncd на CentOS, а также настроим сервис для синхронизации двух каталогов на локальном компьютере.

Установка

Выполняем команды:

Разрешаем автозапуск сервиса:

Настройка и запуск

Открываем конфигурационный файл:

Приводим его к виду:

* где:

• settings — общие настройки.
  • logfile — путь до файла логов.
  • statusFile — файл, в который заносятся изменения, найденные с помощью inotify.
  • statusInterval — интервал в секундах для обновления statusFile.
  • insist — позволяет продолжить работу сервиса, даже если одна или несколько целевых директорий недоступны.
  • nodaemon — отключаться или нет от вызывающей стороны. Проще говоря, если разрешить, то будет больше информации по его работе. Для боевого режима можно отключить.
• sync — настройка для синхронизации конкретного ресурса. Для каждого создается своя секция sync.
  • default.rsync — должен использоваться протокол для синхронизации rsync.
  • source — источник, откуда синхронизируем данные.
  • target — куда синхронизируем.

* в данном примере мы синхронизируем два каталога на локальном компьютере. Таким же образом, можно синхронизировать данные и в подмонтированных каталогах, например, по nfs или cifs (smb).

Создадим два тестовых каталога:

Перезапускаем сервис lsyncd:

Пробуем создать тестовый файл к каталоге-источнике:

Ждем 5-10 секунд. Проверяем содержимое каталога-цели:

Мы должны увидеть файл:

Сервис готов к работе.

Синхронизация по сети (SSH)

Для корректной передачи данных по сети с помощью SSH, нужно настроить возможность беспарольного подключения, затем — сам Lsyncd. Рассмотрим оба процесса по очереди.

SSH без пароля (по сертификату)

На компьютере, с которого будем передавать файлы (lsyncd) генерируем ключи:

… на все запросы просто нажимаем Enter.

Переносим id_rsa.pub на целевой компьютер (куда будем передавать данные с помощью lsyncd):

* если мы получим ошибку scp: /home/<user>/.ssh/authorized_keys: No such file or directory, необходимо на удаленном компьютере создать каталог .ssh в профиле пользователя, которому мы пытаемся передать ключ. Например, командами, mkdir /home/admins24/.ssh и chown admins24:admins24 /home/admins24/.ssh.
* обратите внимание, что мы передаем созданный ключ в каталог пользователя admins24. Это значит, что мы будем подключаться к целевому компьютеру от этого пользователя. Важно, чтобы у последнего были подходящие права для редактирования файлов в целевой папке, в которую мы будем синхронизировать данные.

Пробуем подключиться к удаленному компьютеру:

Мы должны подключиться по SSH без ввода пароля. В противном случае, на целевом компьютере (к которому у нас не получилось подключиться) открываем конфигурационный файл для ssh:

И приводим опцию AuthorizedKeysFile к следующему значению:

Перезапускаем sshd:

Снова пробуем подключиться по SSH.

Настройка Lsyncd для синхронизации по сети

Открываем конфигурационный файл:

Добавляем блок настроек sync:

* где:

• default.rsyncssh — в качестве протокола будем использовать rsync через ssh.
• source — указываем источник данных.
• host — удаленный компьютер, на который будет идти передача данных. До знака @ указывается пользователь, под которым будет идти подключение.
• targetdir — каталог на удаленном хосте, в который будет выполняться синхронизация.
• rsync, _extra — дополнительные ключи запуска rsync. В нашем примере запускаем в режиме архивирования.

На целевом компьютере создаем каталог, куда будем синхронизировать данные:

И не забываем назначить ему владельца, от пользователя которого мы планируем подключиться по ssh:

Также на целевом компьютере необходимо установить rsync.

а) на CentOS:

б) на Ubuntu:

После на компьютере источнике перезапускаем lsync:

Ждем 5-10 секунд и проверяем на целевом компьютере наличие файла:

Мы должны увидеть файл:

Передача по сети работает.

Полезные опции

Рассмотрим примеры использования некоторых настроек, которые могут показаться полезными.

Исключения

Мы можем настроить исключение файлов по маске, которые не нужно передавать в другую директорию. Это делается с помощью опций exclude или excludeFrom в разделе sync, например:

* в первом блоке мы исключим все файлы, которые заканчиваются на .bak или .tmp. Для второго мы будем использовать файл /etc/lsyncd.exclude, в котором перечислим исключения.

Для второго блока создаем файл с исключениями:

* в данном примере мы игнорируем файлы, заканчиваются на .bak или .tmp,а также файл testfile.txt и содержимое каталога test.

Комментарии

Стоит обратить внимание, что комментарии в конфигурационном файле ставятся с помощью двух дефисов, например: 

Порт SSH

Отдельный порт для подключения по ssh мы можем указать в блоке sync, разделе ssh:

* в этом примере мы указываем использовать порт 2222 для подключения по SSH.

Ограничения

При необходимости, мы можем установить некоторые значения для ограничения или обхода ограничений. Настройки задаются в блоке settings:

* где:

• statusInterval — как говорилось выше, задает интервал обновления статус-файла в секундах. Чем ниже значение, тем быстрее файлы попадают в очередь для синхронизации.
• maxDelays — задает количество файлов в очереди, при достижении которого задачи синхронизации будут запускаться ниже таймера задержки.
• maxProcesses — максимальное количество процессов, которое сможет запустить lsync.

Установка прав

Мы можем задать права после синхронизации. Это настраивается в блоке sync, разделе rsync:

* где:

• owner — говорит, сохранять ли владельца файла.
• chown — задает конкретного владельца и группу.
• chmod — задает права на синхронизированные файлы.
• perms — говорит, сохранять ли права.

Возможные ошибки

В процессе настройки и эксплуатации системы, мы можем столкнуться с различными проблемами. Опишем решение некоторых из них.

1. Consider increasing /proc/sys/fs/inotify/max_user_watches

Данную ошибку мы можем увидеть в логе или статусе сервиса lsyncd. При этом, сама служба останавливается с ошибкой.

Причина: для оптимизации нагрузки, ядро Linux не позволяет сильно нагружать подсистему inotify. Но если мы указываем каталог синхронизации с большим количеством файлов, это приведет к тому, что мы упремся в установленный лимит.

Решение: необходимо увеличить предел наблюдения за ядром inotify. Для этого создаем файл настройки ядра:

Применяем настройки:

Перезапускаем сервис:

И проверяем его состояние:

2. bash: rsync: command not found

Данную ошибку можно увидеть в статусе сервиса. При этом, сам сервис завершает свою работу. Полный лог имеет, примерно, такой вид:

Причина: на компьютере, с которым мы устанавливаем соединение по rsync не установлена одноименная утилита.

Решение: для установки необходимого пакета выполняем подходящую команду.

а) на CentOS:

б) на Ubuntu:

На компьютере с lsync перезапускаем сервис: