1. Блог
  2. Мануалы

Rclone: резервное копирование сервера в облако и S3

Rclone: резервное копирование сервера в облако и S3

Rclone — утилита командной строки для работы с облачными хранилищами. Она поддерживает более 70 сервисов — S3-совместимые хранилища, Google Drive, Dropbox, OneDrive, SFTP, WebDAV — и работает со всеми одинаковыми командами. Для сервера это самый универсальный способ отправлять резервные копии за его пределы.

Установка

Официальный скрипт установит последнюю версию:

sudo -v ; curl https://rclone.org/install.sh | sudo bash

В репозиториях дистрибутивов rclone тоже есть (apt install rclone), но версия там часто заметно старше. Проверьте установку:

rclone version

Подключение хранилища

Хранилище в терминах rclone называется remote. Запустите мастер настройки:

rclone config

Нажмите n, задайте имя (например, backup), выберите тип хранилища из списка и ответьте на вопросы. Настройки сохраняются в файле ~/.config/rclone/rclone.conf.

Пример: S3-совместимое хранилище

Для большинства S3-совместимых сервисов понадобятся ключ доступа, секретный ключ и адрес (endpoint). Те же параметры можно задать одной командой без мастера:

rclone config create backup s3 \
  provider=Other \
  access_key_id=ВАШ_КЛЮЧ \
  secret_access_key=ВАШ_СЕКРЕТ \
  endpoint=https://s3.example.com

Так же подключается собственное хранилище на базе Garage.

Пример: сервер по SFTP

Любой сервер с доступом по SSH может быть хранилищем:

rclone config create backup sftp host=203.0.113.20 user=backup key_file=~/.ssh/id_ed25519

Хранилища с входом через браузер

Google Drive, Dropbox и OneDrive требуют авторизации в браузере, которого на сервере нет. Мастер предложит выполнить на своём компьютере команду rclone authorize и вставить полученный код на сервере.

Основные команды

Путь в хранилище записывается как имя:путь.

rclone lsd backup:                      # список каталогов
rclone ls backup:site                   # список файлов с размерами
rclone copy /var/www/site backup:site   # скопировать новые и изменённые файлы
rclone sync /var/www/site backup:site   # сделать копию идентичной источнику
rclone check /var/www/site backup:site  # сравнить источник и копию
rclone size backup:site                 # общий размер и число файлов
rclone delete backup:site/old           # удалить файлы

Разница между copy и sync принципиальна: copy только добавляет и обновляет файлы, а sync ещё и удаляет в хранилище всё, чего нет в источнике.

Полезные ключи

Ключ Действие
--dry-run показать действия без выполнения
-P показывать прогресс
--transfers 8 число одновременных передач (по умолчанию 4)
--bwlimit 10M ограничить скорость
--exclude "cache/**" исключить файлы по шаблону
--max-age 24h только файлы, изменённые за последние сутки
--backup-dir backup:old перемещать удаляемые и заменяемые файлы в отдельный каталог
--log-file /var/log/rclone.log писать журнал в файл

Шифрование резервных копий

Копии в чужом облаке стоит шифровать. Rclone умеет делать это прозрачно: создаётся ещё одно хранилище типа crypt, которое шифрует имена и содержимое файлов и складывает их в обычное.

Запустите rclone config, создайте remote с именем secure и типом crypt, в качестве целевого хранилища укажите backup:encrypted и задайте пароль. Дальше работайте с secure: как с обычным хранилищем:

rclone sync /var/www/site secure:site

В облаке будут лежать файлы с нечитаемыми именами. Пароль шифрования хранится в rclone.conf в обратимом виде, поэтому сохраните его отдельно в менеджере паролей: без него восстановить данные невозможно.

Резервная копия по расписанию

Создайте скрипт /usr/local/bin/backup-cloud.sh:

#!/bin/bash
set -e
DATE=$(date +%F)
DUMP=/var/backups/db-$DATE.sql.gz

# дамп базы данных
mysqldump --single-transaction --all-databases | gzip > "$DUMP"

# файлы сайта: зеркало с сохранением удалённых версий
rclone sync /var/www secure:www \
  --backup-dir "secure:www-archive/$DATE" \
  --exclude "cache/**" \
  --log-file /var/log/rclone.log --log-level INFO

# дамп базы: копируем и удаляем локальные копии старше 7 дней
rclone copy "$DUMP" secure:db --log-file /var/log/rclone.log
find /var/backups -name 'db-*.sql.gz' -mtime +7 -delete

# в облаке храним дампы 30 дней
rclone delete secure:db --min-age 30d

Сделайте скрипт исполняемым и добавьте в cron:

chmod +x /usr/local/bin/backup-cloud.sh
0 3 * * * flock -n /tmp/backup-cloud.lock /usr/local/bin/backup-cloud.sh

Проверка и восстановление

Резервная копия, из которой ни разу не восстанавливали данные, — это надежда, а не копия. Периодически проверяйте целостность:

rclone check /var/www secure:www

Восстановление — та же команда в обратную сторону:

rclone copy secure:www/site /var/www/site-restored -P

Монтирование хранилища как папки

sudo apt install fuse3
mkdir -p /mnt/cloud
rclone mount backup:site /mnt/cloud --daemon --vfs-cache-mode writes

Хранилище появится в /mnt/cloud как обычный каталог. Отключить: fusermount3 -u /mnt/cloud. Монтирование удобно для просмотра и редких операций; для резервного копирования надёжнее команды copy и sync.

Что выбрать для бэкапов

Rclone отлично переносит файлы в облако, но сам не делает дедупликацию и снимки с историей. Часто его используют в паре: Borg Backup создаёт локальный репозиторий, а rclone отправляет его в облако. Для копирования между двумя серверами проще rsync.

Хранить копии можно и на отдельном хранилище бэкапов UnixHost — rclone подключается к нему по SFTP.

#rclone#резервное копирование#s3#облако#шифрование

Эта статья на других языках:EnglishУкраїнська