У сучасному світі розробка нейронних мереж для обробки зображень є однією з найбільш захоплюючих та перспективних областей досліджень. Одним із важливих завдань у цій сфері є розробка архітектур, які здатні працювати з зображеннями з різних кутів та створювати об’єми, аналогічні CT-скануванню. У цій статті ми розглянемо підхід до реалізації такої нейронної мережі за допомогою архітектури Encoder-Decoder.

Для початку, давайте з’ясуємо, що таке архітектура Encoder-Decoder та як вона працює в контексті обробки зображень. Encoder-Decoder – це тип архітектури нейронних мереж, де вхідний сигнал спочатку обробляється Encoder’ом, який виконує функцію зменшення розмірності та вилучення важливих ознак. Потім вихідний сигнал Encoder’а передається в Decoder, який відповідає за відновлення вихідного сигналу зі зменшеної розмірності до початкового.

У нашому випадку ми хочемо створити нейронну мережу, яка бере проекції (2D зображення) з різних кутів та створює об’єм, складений з 2D зрізів, аналогічно до CT-сканування. Це означає, що ми маємо вхідні дані у вигляді масиву проекцій зображень різних кутів та потрібно створити об’єм, який складається з декількох зрізів, що відображають триизмерну структуру об’єкта.

В якості Encoder’а ми вирішили використати архітектуру ResNet. ResNet – це одна з найпопулярніших архітектур глибоких нейронних мереж, яка має дуже глибоку структуру та використовує концепцію “залишкових з’єднань”, що допомагає уникнути проблеми з вивченням поглибленням мережі. Вона добре підходить для завдань класифікації та визначення ознак.

Однак, основний виклик полягає у реалізації Decoder’а, оскільки нам потрібно відновити об’єм з 2D зображень. Одним із можливих підходів є використання архітектури U-net. U-net – це архітектура нейронної мережі, яка широко використовується в обробці зображень для семантичної сегментації. Вона має специфічну структуру, де вихідні шари Decoder’а поєднуються з відповідними шарами Encoder’а, що допомагає відновити деталі об’єктів на зображенні.

Проте, в нашому випадку розмір виводу архітектури U-net відрізняється від потрібного нам. Ми маємо вивід об’єму розміром [100,100,100], тоді як вихід U-net має той самий розмір, що і вхід. Це може призвести до проблеми неправильного масштабування зображення та втрати інформації. Тому ми вирішили відмінити цю ідею та розглянути інші підходи до реалізації Decoder’а.

Один з можливих підходів – це реалізація власного Decoder’а, який буде здатний відновлювати об’єм з 2D зображень з урахуванням різниці у розмірах вводу та виводу. Для цього ми можемо використати конволюційні та транспоновані конволюційні шари, які дозволять збільшити розмір об’єкту та відновити деталі.

Іншим можливим варіантом є використання архітектур, спеціально розроблених для задач сегментації та відновлення об’ємів. Наприклад, архітектура V-net, яка була розроблена спеціально для медичної сегментації та реконструкції об’ємів зображень. Вона має складну структуру, яка дозволяє ефективно відновлювати тривимірні об’єми з 2D зображень.

Загалом, розробка нейронних мереж з архітектурою Encoder-Decoder для обробки зображень з різних кутів та створення об’ємів є важливим завданням у сфері глибокого навчання. Вона відкриває широкі можливості для застосування в медичній діагностиці, аналізі зображень та багатьох інших областях, де важливо мати можливість працювати з тривимірними даними на основі проекцій з різних кутів.