Як зробити резервні копії S3 за допомогою DejaDup на Ubuntu 20.10

• Жовтень 18, 2020
• Василіс Врініотис
• . 2 коментарі

DejaDup — програма резервного копіювання за замовчуванням для Gnome. Це графічний інтерфейс для двоїстості, зосереджений на простоті, підтримує інкрементне зашифроване резервне копіювання і донедавна підтримував велику кількість хмарних провайдерів. На жаль, починаючи з версії 42.0, усі основні постачальники хмарних послуг були видалені. Таким чином, враховуючи, що Ubuntu 20.10 постачається з конкретною версією, будь-який користувач, який оновить і має резервні копії на Amazon S3, не зможе отримати до них доступ. У цій публікації блогу ми надамо рішення, яке дозволить вам продовжувати створювати резервні копії на AWS S3 за допомогою DejaDup.

Обов'язкова лайка (не соромтеся пропустити)

Видалення хмарних провайдерів не повинно стати несподіванкою. Я не точно впевнений, яка версія DejaDup застаріла, але це сталося навколо випуску Ubuntu 17.10 коли всі вони були приховані як варіант. Тож протягом 3 довгих років люди, які мали резервні копії на Amazon S3, Google Cloud Storage, Openstack Swift, Rackspace тощо, могли використовувати застарілу функцію та готуватися до неминучого видалення.

То навіщо скаржитися, запитаєте ви? Ну, по-перше, коли ви оновлюєтеся з попередньої версії Ubuntu до 20.10, ви насправді не знаєте, що всі хмарні постачальники видаляються з DejaDup. Тому, якщо під час оновлення щось піде не так, ви не зможете легко отримати доступ до резервних копій і відновити систему.

Ще однією великою проблемою є відсутність можливостей зберігання в останній версії DejaDup. Вони вирішили змінити свою політику та підтримувати лише «хмарні послуги, орієнтовані на споживача», але наразі вони підтримують лише Google Drive. Тому вони виключили всі економічно ефективні варіанти масового зберігання і залишили лише один дуже дорогий варіант. Я не дуже впевнений, наскільки це добре для користувачів програми. У Linux завжди був вибір (у багатьох випадках його занадто багато), то чому б не підтримувати кілька варіантів зберігання, щоб обслуговувати як досвідчених, так і недосвідчених користувачів? На щастя, оскільки ми працюємо на Linux, у нас є можливість виправити це.

Як використовувати Deja Dup v42+ з AWS S3

ПОПЕРЕДЖЕННЯ: я не ретельно перевіряв наступне налаштування, тому використовуйте його на свій страх і ризик. Якщо комп’ютер вибухне вам в обличчя, ви втратите свої дані, або ваш чоловік забере ваших дітей і залишить вас, не звинувачуйте мене.

Установка запобіжника s3fs

Покинувши це, давайте приступимо до виправлення. Ми будемо використовувати запобіжник s3fs, програма, яка дозволяє змонтувати відро S3 через FUSE і ефективно зробити його схожим на локальний диск. На щастя, вам не потрібно компілювати його з вихідного коду, оскільки він знаходиться в репозиторіях Ubuntu. Щоб встановити його, введіть у терміналі наступне:

sudo apt install s3fs

Налаштування файлу облікових даних AWS

Далі нам потрібно налаштувати ваші облікові дані. S3fs підтримує два методи аутентифікації: an Файл облікових даних AWS або спеціальний файл passwd. У цьому уроці ми будемо використовувати перший метод, але якщо вас цікавить останній, не соромтеся переглянути його Документація s3fs на Github. Щоб налаштувати облікові дані, переконайтеся, що файл ~/.aws/credentials містить ваш ідентифікатор доступу до AWS і секретний ключ. Це має виглядати так:


[default]
aws_access_key_id=YOUR_ACCESS_KEY_ID
aws_secret_access_key=YOUR_SECRET_ACCESS_KEY


Монтування вашого відра до локальної файлової системи

Коли у вас є файл облікових даних, ви готові підключити резервну копію. Якщо ви не пам’ятаєте назву відра, ви можете знайти її, відвідавши сторінку Обліковий запис AWS. Щоб встановити та демонтувати відро до/з певного типу розташування:


# mount
s3fs BUCKET_NAME /path/to/location

# розмонтувати
fusermount -u /шлях/до/розташування

Монтаж відра, як це, є лише тимчасовим і не триватиме під час перезавантажень. Ви можете додати його в /etc/fstab, але я вважаю, що це працює лише з файлом passwd. Якщо ви хочете використовувати файл облікових даних AWS, скористайтеся простим обхідним рішенням, щоб створити ярлик у налаштуваннях програм для запуску.

Зверніть увагу, що ви можете додати невелику затримку в 10 секунд, щоб переконатися, що Wi-Fi підключено, перш ніж спробувати встановити відро. Очевидно, що для його успішного монтажу необхідний доступ до Інтернету. Якщо ви використовуєте VPN або маєте інші складні налаштування, ви також можете створити сценарій bash, який виконує необхідні перевірки перед виконанням команди монтування.

Налаштування DejaDup

Тепер, коли бакет змонтовано як локальний диск, ми можемо легко налаштувати DejaDup на його використання. Перш за все, нам потрібно змінити бекенд на локальний. Це можна зробити за допомогою програми, наприклад dconfig, або консолі за допомогою такої команди:

gsettings set org.gnome.DejaDup backend 'local'

Нарешті ми відкриваємо DejaDup, переходимо до налаштувань і вказуємо місце зберігання до каталогу, у якому є ваші файли резервної копії S3. Переконайтеся, що ви вибрали підкаталог, який містить файли резервної копії; зазвичай це підкаталог у вашій точці монтування, ім'я якого дорівнює імені хоста вашого комп'ютера. І останнє, але не менш важливо, переконайтеся, що каталог монтування S3 виключено з DejaDup! Для цього перевірте ігноровані папки в налаштуваннях.

Це воно! Тепер перейдіть на вкладку відновлення, і DejaDup зможе прочитати ваші попередні резервні копії. Ви також можете взяти нові.

Зрозуміло

У цьому налаштуванні слід пам’ятати про кілька речей:

1. Перш за все, під час встановлення ковша ви повинні бути підключені до Інтернету. Якщо ви не є, ківш не буде встановлений. Тому я раджу вам замість того, щоб просто викликати команду монтування, написати сценарій bash, який виконає необхідні перевірки перед монтуванням (інтернет-з’єднання ввімкнено, брандмауер дозволяє зовнішні запити тощо).
2. Подібне створення резервних копій здається повільніше, ніж використання старої вбудованої підтримки S3, і, ймовірно, генеруватиме більше мережевого трафіку (враховуйте витрати на трафік AWS!). Це очікувано, оскільки DejaDup вважає, що він звертається до локальної файлової системи, тому немає потреби в агресивному кешуванні або мінімізації операцій, які викликають мережевий трафік.
3. Слід очікувати проблем зі стабільністю. Як ми вже говорили раніше, DejaDup не знає, що він записує дані через дріт, тому більшість функцій, які зазвичай існують у таких налаштуваннях (наприклад, повторна спроба при невдачі), відсутні. І, очевидно, якщо ви втратите з’єднання на середині резервної копії, вам доведеться видалити її та почати нове, щоб уникнути пошкодження ваших майбутніх резервних копій.
4. Нарешті, майте на увазі, що це дуже експериментальна установка, і якщо ви дійсно хочете мати надійне рішення, вам слід провести власне дослідження та вибрати те, що відповідає вашим потребам.

Якщо у вас є рекомендація щодо рішення для резервного копіювання з відкритим вихідним кодом, яке дозволяє локально зашифроване інкрементне резервне копіювання, підтримує S3 і має простий у використанні інтерфейс користувача, залиште коментар, оскільки я з радістю спробую його.