Проблеми з багатогруповим тренуванням YOLOv8

3 Березня 2024 в 15:30 53

Модель YOLOv8 (You Only Look Once version 8) відома своєю ефективністю у завданнях об’єктного розпізнавання. Проте, коли мова йде про багатогрупове тренування цієї моделі на багатьох графічних процесорах (GPU), можуть виникати низка проблем, з якими доводиться зіткнутися. У цій статті ми розглянемо детальніше ситуацію, коли користувач стикається з нездатністю отримати очікувані результати під час багатогрупового тренування YOLOv8 на декількох GPU.

Спершу давайте розглянемо типовий сценарій. Припустимо, що у користувача є старий комп’ютер з процесором Intel Pentium G4400, 16 ГБ оперативної пам’яті та 7 відеокарт GTX1080Ti. Він бажає використати цю конфігурацію для тренування моделі YOLOv8. Інсталяція CUDA та Ultralytics пройшла успішно, і модель може тренуватися на одному GPU. Проте, коли користувач спробує тренувати модель на кількох GPU, результати можуть бути не такими, як очікувалося.

Однією з основних проблем, з якою зіткнувся користувач, є низька ефективність багатогрупового тренування. Він очікував, що час тренування однієї епохи буде відчутно меншим при використанні кількох GPU, проте це не відбувається. Час тренування залишається приблизно таким самим, як і при використанні лише одного GPU. Це свідчить про те, що багатогрупове тренування не працює на повну потужність, і існують якісь перешкоди, які його обмежують.

[W socket.cpp:697] [c10d] The client socket has failed to connect to ["name_of_pc"]:54920 (system error: 10049 - The requested address is not valid in its context.).

1	[W socket.cpp:697] [c10d] The client socket has failed to connect to ["name_of_pc"]:54920 (system error: 10049 - The requested address is not valid in its context.).

Інший проблемний аспект стосується помилки, яка виникає під час спроби тренування на кількох GPU. Повідомлення про помилку [W socket.cpp:697] [c10d] The client socket has failed to connect to [“name_of_pc”]:54920 (system error: 10049 – The requested address is not valid in its context.) може виникнути під час процесу з’єднання. Ця помилка може бути пов’язана з різними чинниками, такими як проблеми з мережею чи налаштуваннями мережевого захисту, такими як брандмауер.

Наприклад, використовуючи код:

import os
os.environ['PYTORCH_CUDA_ALLOC_CONF'] = 'expandable_segments:True'
import torch
from ultralytics import YOLO
if __name__ == '__main__':
    if torch.cuda.is_available():
        torch.cuda.empty_cache()
        cuda_devices = list(range(torch.cuda.device_count()))
        print("Using GPUs:", ", ".join([torch.cuda.get_device_name(i) for i in cuda_devices]))
    else:
        print("Using CPU")
    # num_workers = 0
    # Load the YOLOv8 model
    model = YOLO('yolov8n.pt')  # Automatic device selection
    # Train the model with specified and adjusted parameters
    results = model.train(
        data=r"D:\AI_Training\Datasets\siemens_numbers_mk3\data.yaml",
        imgsz=1280,  # Image size
        epochs=100,  # Number of epochs
        batch=64,  # Batch size, adjust based on your GPU memory capacity
        name='yolov8_b16_e100_sz1280_dtmk3',  # Custom run name
        workers=2,  # Adjusted based on GPU availability
        amp=True,  # Automatic Mixed Precision
        device=[0,1,2,3]  # And I change the number of devices based on the try
    )

import os

os.environ['PYTORCH_CUDA_ALLOC_CONF'] = 'expandable_segments:True'

import torch

from ultralytics import YOLO

if __name__ == '__main__':

if torch.cuda.is_available():

torch.cuda.empty_cache()

cuda_devices = list(range(torch.cuda.device_count()))

print("Using GPUs:", ", ".join([torch.cuda.get_device_name(i) for i in cuda_devices]))

else:

print("Using CPU")

# num_workers = 0

# Load the YOLOv8 model

model = YOLO('yolov8n.pt') # Automatic device selection

# Train the model with specified and adjusted parameters

results = model.train(

data=r"D:\AI_Training\Datasets\siemens_numbers_mk3\data.yaml",

imgsz=1280, # Image size

epochs=100, # Number of epochs

batch=64, # Batch size, adjust based on your GPU memory capacity

name='yolov8_b16_e100_sz1280_dtmk3', # Custom run name

workers=2, # Adjusted based on GPU availability

amp=True, # Automatic Mixed Precision

device=[0,1,2,3] # And I change the number of devices based on the try

)

Користувач перевіряв різні варіанти, змінюючи розмір партій та кількість використовуваних GPU, але жоден із них не призвів до вирішення проблеми.

У випадку невдачі багатогрупового тренування YOLOv8 можна спробувати декілька можливих рішень. По-перше, можна перевірити налаштування мережі та брандмауера, щоб переконатися, що вони не блокують з’єднання між GPU. Далі, слід перевірити, чи правильно налаштовані параметри тренування, такі як розмір партії та розподіл GPU. Також, можна спробувати зменшити розмір партії для зменшення навантаження на систему.

У разі продовження проблеми рекомендується звернутися до спеціалістів з машинного навчання або розробників бібліотеки YOLOv8 для отримання більш детальної допомоги та підтримки.