Rclone: резервное копирование сервера в облако и S3

Rclone — утилита командной строки для работы с облачными хранилищами. Она поддерживает более 70 сервисов — S3-совместимые хранилища, Google Drive, Dropbox, OneDrive, SFTP, WebDAV — и работает со всеми одинаковыми командами. Для сервера это самый универсальный способ отправлять резервные копии за его пределы.
Установка
Официальный скрипт установит последнюю версию:
sudo -v ; curl https://rclone.org/install.sh | sudo bash
В репозиториях дистрибутивов rclone тоже есть (apt install rclone), но версия там часто заметно старше. Проверьте установку:
rclone version
Подключение хранилища
Хранилище в терминах rclone называется remote. Запустите мастер настройки:
rclone config
Нажмите n, задайте имя (например, backup), выберите тип хранилища из списка и ответьте на вопросы. Настройки сохраняются в файле ~/.config/rclone/rclone.conf.
Пример: S3-совместимое хранилище
Для большинства S3-совместимых сервисов понадобятся ключ доступа, секретный ключ и адрес (endpoint). Те же параметры можно задать одной командой без мастера:
rclone config create backup s3 \
provider=Other \
access_key_id=ВАШ_КЛЮЧ \
secret_access_key=ВАШ_СЕКРЕТ \
endpoint=https://s3.example.com
Так же подключается собственное хранилище на базе Garage.
Пример: сервер по SFTP
Любой сервер с доступом по SSH может быть хранилищем:
rclone config create backup sftp host=203.0.113.20 user=backup key_file=~/.ssh/id_ed25519
Хранилища с входом через браузер
Google Drive, Dropbox и OneDrive требуют авторизации в браузере, которого на сервере нет. Мастер предложит выполнить на своём компьютере команду rclone authorize и вставить полученный код на сервере.
Основные команды
Путь в хранилище записывается как имя:путь.
rclone lsd backup: # список каталогов
rclone ls backup:site # список файлов с размерами
rclone copy /var/www/site backup:site # скопировать новые и изменённые файлы
rclone sync /var/www/site backup:site # сделать копию идентичной источнику
rclone check /var/www/site backup:site # сравнить источник и копию
rclone size backup:site # общий размер и число файлов
rclone delete backup:site/old # удалить файлы
Разница между copy и sync принципиальна: copy только добавляет и обновляет файлы, а sync ещё и удаляет в хранилище всё, чего нет в источнике.
Полезные ключи
| Ключ | Действие |
|---|---|
--dry-run |
показать действия без выполнения |
-P |
показывать прогресс |
--transfers 8 |
число одновременных передач (по умолчанию 4) |
--bwlimit 10M |
ограничить скорость |
--exclude "cache/**" |
исключить файлы по шаблону |
--max-age 24h |
только файлы, изменённые за последние сутки |
--backup-dir backup:old |
перемещать удаляемые и заменяемые файлы в отдельный каталог |
--log-file /var/log/rclone.log |
писать журнал в файл |
Шифрование резервных копий
Копии в чужом облаке стоит шифровать. Rclone умеет делать это прозрачно: создаётся ещё одно хранилище типа crypt, которое шифрует имена и содержимое файлов и складывает их в обычное.
Запустите rclone config, создайте remote с именем secure и типом crypt, в качестве целевого хранилища укажите backup:encrypted и задайте пароль. Дальше работайте с secure: как с обычным хранилищем:
rclone sync /var/www/site secure:site
В облаке будут лежать файлы с нечитаемыми именами. Пароль шифрования хранится в rclone.conf в обратимом виде, поэтому сохраните его отдельно в менеджере паролей: без него восстановить данные невозможно.
Резервная копия по расписанию
Создайте скрипт /usr/local/bin/backup-cloud.sh:
#!/bin/bash
set -e
DATE=$(date +%F)
DUMP=/var/backups/db-$DATE.sql.gz
# дамп базы данных
mysqldump --single-transaction --all-databases | gzip > "$DUMP"
# файлы сайта: зеркало с сохранением удалённых версий
rclone sync /var/www secure:www \
--backup-dir "secure:www-archive/$DATE" \
--exclude "cache/**" \
--log-file /var/log/rclone.log --log-level INFO
# дамп базы: копируем и удаляем локальные копии старше 7 дней
rclone copy "$DUMP" secure:db --log-file /var/log/rclone.log
find /var/backups -name 'db-*.sql.gz' -mtime +7 -delete
# в облаке храним дампы 30 дней
rclone delete secure:db --min-age 30d
Сделайте скрипт исполняемым и добавьте в cron:
chmod +x /usr/local/bin/backup-cloud.sh
0 3 * * * flock -n /tmp/backup-cloud.lock /usr/local/bin/backup-cloud.sh
Проверка и восстановление
Резервная копия, из которой ни разу не восстанавливали данные, — это надежда, а не копия. Периодически проверяйте целостность:
rclone check /var/www secure:www
Восстановление — та же команда в обратную сторону:
rclone copy secure:www/site /var/www/site-restored -P
Монтирование хранилища как папки
sudo apt install fuse3
mkdir -p /mnt/cloud
rclone mount backup:site /mnt/cloud --daemon --vfs-cache-mode writes
Хранилище появится в /mnt/cloud как обычный каталог. Отключить: fusermount3 -u /mnt/cloud. Монтирование удобно для просмотра и редких операций; для резервного копирования надёжнее команды copy и sync.
Что выбрать для бэкапов
Rclone отлично переносит файлы в облако, но сам не делает дедупликацию и снимки с историей. Часто его используют в паре: Borg Backup создаёт локальный репозиторий, а rclone отправляет его в облако. Для копирования между двумя серверами проще rsync.
Хранить копии можно и на отдельном хранилище бэкапов UnixHost — rclone подключается к нему по SFTP.


