У цій статті ми розглянемо ефективні методи копіювання об’єктів з Google Cloud Storage з використанням фільтрації за класом зберігання. Google Cloud Storage (GCS) є потужним і надійним сервісом для зберігання об’єктів у хмарному середовищі, але іноді може виникнути потреба в копіюванні об’єктів лише з певними характеристиками, наприклад, з певним класом зберігання.

Одним зі способів копіювання об’єктів з GCS є використання утиліти gsutil. Для рекурсивного копіювання всього вмісту бакета з можливістю фільтрації за класом зберігання можна використовувати команду:

Ця команда копіює усі об’єкти з бакета gs://myBucket з класом зберігання “STANDARD” у локальний каталог /myDir. Проте, є ситуації, коли потрібно копіювати лише об’єкти з певними характеристиками, наприклад, тільки об’єкти з класом зберігання “STANDARD” або всі об’єкти, окрім тих, які мають клас зберігання “ARCHIVE”. Для цього потрібно використати підходящий фільтр в команді gsutil.

Щоб скопіювати лише об’єкти з класом зберігання “STANDARD”, можна використовувати параметр -cls=”STANDARD”. Аналогічно, щоб скопіювати всі об’єкти, за винятком тих, що мають клас зберігання “ARCHIVE”, можна використовувати параметр -cls=”ARCHIVE”, який відфільтрує ці об’єкти з копіювання.

Важливою вимогою при цьому є швидкість виконання копіювання та збереження структури каталогів. Команда gsutil з параметром -m використовує паралельне виконання, що робить процес копіювання швидшим, але при цьому зберігає структуру каталогів.

Недоліком підходу з фільтруванням на етапі підготовки списку файлів перед копіюванням є те, що це може призвести до повільного виконання операції, особливо при роботі з великою кількістю файлів або об’ємних об’єктів.

У підсумку, використання gsutil разом з фільтрацією за класом зберігання дозволяє ефективно копіювати об’єкти з Google Cloud Storage з урахуванням певних умов, таких як клас зберігання. Варто уважно аналізувати потреби вашого проекту та вибирати найбільш оптимальний підхід для копіювання об’єктів з GCS з урахуванням вимог до швидкості та структури каталогів.