Інтерв’ю з командою, яка займається в Camco аналізом зображень і в даний час застосовує штучний інтелект та  методи поглибленого навчання для вирішення різноманітних завдань.

Camco Technologies 

Спеціальним підрозділом у відділі розробки програмного забезпечення Camco є група аналізу зображень, в яку  входять шість експертів з комп’ютерного зору, що володіють високою кваліфікацією в області штучного інтелекту (ШІ) і фундаментальних основ в області глибоких нейронних мереж.

Не дивно, що цей клуб комп’ютерних фанатів говорить на своєму власному жаргоні і тримається в підвалі Camco. Давайте дізнаємося, над чим вони зараз працюють і що ними рухає. Інтерв’ю з Пітером, Міланом, Оттокаром, Клаасом, Йорісом і Хендріком!

Що є найбільш важливою попередньою умовою для застосування додатків в області штучного інтелекту на основі систем технічного зору?

Пітер: Володіючи двадцятирічним досвідом в цій галузі, я можу сказати, що все починається з якості зображення, що означає деталізацію, різкість, різні кути, ефекти сонця/тіні і дня/ночі. Яку б техніку ви не використали, аналіз зображень старої школи або глибоке навчання, початкова погана картинка дасть погані результати. Тому я можу сказати, що я щасливий розробник, бо Camco вкладає багато зусиль і інвестицій в створення кращих зображень з наявних на ринку, іноді навіть в складних умовах навколишнього середовища. Оскільки ми розробляємо власні камери, це дає нам більше гнучкості в поліпшенні якості зображення.

Чи не могли б ви розповісти нам докладніше про те, як Camco еволюціонувала від традиційних методів аналізу зображень до методів глибокого навчання?

Клаас: З перших років існування компанії Camco (2000-ті роки) було досягнуто значного прогресу в розпізнаванні зображень, і ми завжди намагалися бути серед кращих. Наприклад, наші перші механізми OCR були засновані на методах порівняння пікселів (значень інтенсивності), таких як збіг шаблонів і аналіз основних компонентів (PCA). Це виявилося задовільним підходом для розпізнавання символів, але не для вирішення більш складних питань, таких як етикетки для небезпечних вантажів і пломби контейнерів.

Пізніші методи включали сканування зображень на наявність чітких візерунків або ознак, що характеризують об’єкт, таких як його форма, колір або текстура, і класифікація зображення на основі цих характеристик.

Один з цих методів, HOG або гістограма орієнтованих градієнтів, почав широко використовуватися для виявлення об’єктів: в інших галузях він застосовується для виявлення пішоходів і дорожніх знаків, тут, в Camco, ми його застосовуємо для виявлення пломб і IMO.

У той же час, дослідження в області глибоких згорткових нейронних мереж (CNN) неухильно росли, і глибоке навчання вийшло на повні оберти в 2010-х роках. Проте, з точки зору цілей промислового застосування все ще залишалися деякі труднощі, пов’язані з необхідною обчислювальною потужністю, масштабністю і великими наборами даних. Близько чотирьох років тому Camco змогла почати використання методів глибокого навчання для вирішення безлічі завдань машинного навчання і з тих пір домоглася відмінних результатів.

Як саме це працює?

Клаас: згорткові нейронні мережі навчаються на власному досвіді. Це означає, що замість того, щоб вручну створювати шаблони або шукати особливості зображень, ми просто подаємо в мережу велику кількість помічених зображень, і вона буде самостійно вивчати особливості, що характеризують об’єкт. Це досить важко візуалізувати, тому що насправді вивчалися мільйони значень вагової функції і зсувів, які утворюють зв’язку в багаторівневій мережі. Витяг ознак на кожному наступному рівні на основі цих вивчених ваг в кінцевому підсумку призводить до практичного результату: класу об’єкта і його розташування (местоположениям).

Camco успішно використовує глибоке навчання для підвищення швидкості оптичного розпізнавання символів і зменшення кількості завдань на виключення. В даний час наше програмне забезпечення для камер використовує движки для:

  • оптичного розпізнавання символів номерних знаків (потокова передача)
  • оптичного розпізнавання символів шасі
  • оптичного розпізнавання символів вагонів
  • виявлення печаток і IMO
  • оптичне розпізнавання символів номерів контейнерів і причепів
  • виявлення і класифікація контейнерів / вантажів
  • виявлення коліс для підрахунку осей, виявлення мітки відходів, … Для отримання більш детальної інформації зверніться до випуску Camco Times 6.

Оттокар: Цей процес керованого навчання вимагає наявності великої навчальної вибірки, а створення найбільш придатної мережевий архітектури (тобто визначення шарів і операцій) може зайняти дуже багато часу. Однак ми будемо дуже рідко створювати і навчати власні моделі з нуля. Оскільки численні дослідницькі групи часто випускають сучасні алгоритми і архітектури CNN для широкого кола завдань, ми з задоволенням зберемо результати їх опублікованих робіт і попередньо навчених моделей, а потім налаштуємо отримані мережеві архітектури в наших інтересах. Ми в компанії Camco уважно стежимо за тенденціями в нашій галузі, щоб залишатися в курсі нових досягнень і направляти наш розвиток у вірному напрямку.

Отже, в чому ж полягають додаткові переваги і досвід Camco?

Мілан: Наша сила полягає в аналізі обставин кожної проблеми, зборі масивів даних високої якості і оптимізації (існуючих) моделей і процедур навчання з урахуванням обмежень за часом і пам’яттю. Не кажучи вже про великий обсяг ручного кодування для виконання роботи і задоволення конкретних вимог клієнтів.

Це ітеративний процес. Ми постійно вдосконалюємо наші методи і моделі в міру надходження даних і нових відкриттів в області глибокого навчання.

Хендрік: Давайте не будемо забувати, що ми отримуємо підтримку від групи аналізу даних Camco, яка складає для нас статистику — вони щодня перевіряють наші алгоритми.

Чи можна сьогодні вирішити всі проблеми розпізнавання зображень за допомогою глибокого навчання?

Мілан: Глибоке навчання безумовно є рушійною силою сьогоднішнього вибухового розвитку ШІ і вважається його найпотужнішим інструментом. Але це не єдиний інструмент в нашому запасі, тому що одного глибокого навчання не завжди достатньо для вирішення проблем. Іноді поточні ресурси і витрати, відсутність зразків або складний і непередбачуваний характер проблеми є обмежуючими факторами, і може знадобитися поєднання технологій і алгоритмів. Ось тоді дійсно окупається наш двадцятирічний досвід.

Клієнти Camco, як правило, є операторами транспортних терміналів, які весь час стикаються з новими проблемами, оскільки їх бізнес постійно розвивається. Чи не могли б ви більше розповісти нам про типові запити клієнтів, які приходять до вас?

Мілан: Перший приклад відноситься до типів пломб. Незважаючи на те, що наше програмне забезпечення змогло виявити пломби на шпінгалетах на дверях контейнерів і причепів, конкретний замовник хотів дізнатися тип пломби. Розширюючи наші бази даних і перенавчаючи наші CNN-класифікатори, ми тепер можемо визначити наявність і інших типів пломб.

Оттокар: Оператор пункту транспортної переробки контейнерів та напівпричепів запитав нас, чи можемо ми виміряти товщину гальмівних колодок вагона, щоб автоматично визначити, коли вони будуть зношені і підлягатимуть заміні.

Зразкові класи пломб для виявлення: болт, стрічка, відсутність пломби
Зразкові класи пломб для виявлення: болт, стрічка, відсутність пломби

Основна проблема тут полягає в тому, щоб отримати зображення всіх гальмівних колодок, так як вони часто приховані кузовом вагона або іншим обладнанням.

Інше завдання полягало у відстеженні в реальному часі роботи портових робітників під краном з метою підвищення безпеки терміналу.

Об’єднуючи дані з декількох датчиків, а саме, даних ШІ на основі технічного зору для відстеження людей і наших запатентованих систем мікролокаціі для відстеження різних об’єктів (наприклад, пересувних контейнерів), ми можемо відзначати небезпечні ситуації і генерувати сигнали тривоги.

Мілан: У нашому останньому додатку ми використовуємо аналіз зображень на основі штучного інтелекту для виявлення структурних пошкоджень контейнерів або незаблокованих дверей контейнера. Пошкоджені рами контейнерів або незамкнені двері можуть бути дуже небезпечними при маніпулюванні та складанні контейнерів.

Дуже важливо запобігти потраплянню цих контейнерів у звичайний технологічний процес. ШІ допомагає нам зафіксувати критичні пошкодження. Ми також виявляємо вм’ятини, діри, сильну іржу та інші типи пошкоджень. Але ви не знайдете забагато контейнерів без вм’ятин, тому ця інформація в основному використовується для реєстрації та резервного копіювання для позовів. Невеликі пошкодження не відразу впливають на операції. Однак структурні пошкодження є критичними.

Автоматичне виявлення робочих під краном.
Автоматичне виявлення робочих під краном.

Завантаживши до мережі глибокого навчання значну кількість зображень контейнерів, що зазнали конструктивних пошкоджень та мали незамкнені двері, ми змогли довершити потужний додаток, який довів свою цінність.

Як щодо лазерної технології, яка застосовується для ADI?

Пітер: На жаль, камера не бачить різниці між чорною плямою і дірою, наприклад, на поверхні контейнера. Лазерне сканування може бути корисним, оскільки воно виконує глибинне сканування на поверхні. Однак ми прийшли до висновку, що на даний момент лазерна технологія ще не здатна досліджувати поверхні контейнерів або трейлерів з прийнятною швидкістю і дозволом.

Оскільки сучасні лазери мають максимальну швидкість сканування 100 Гц, це означає, що ми можемо сканувати вантажівку, що рухається зі швидкістю 10 м/с (36 км/год., 22,4 милі на годину) тільки один раз через кожні 10 см,
залишаючи більшу частину об’єкта непереглянутою.

В результаті ми не можемо надійно виявити пошкодження розміром менше 10 см. Більш того, лазер може виявляти тільки деформації поверхні об’єкту — подряпини і невеликі вм’ятини залишаються непоміченими. Крім того, лазерний сигнал залежить від відбивної здатності об’єкта, і ми виявили, що дуже темні об’єкти часто не повертають достатнього сигналу для перевірки ушкоджень. І, нарешті, цінник.

Лазери дуже дороги, а нам знадобиться принаймні по одному лазеру для кожної сторони вантажівки (зліва, справа і зверху). Також дуже складно, якщо не неможливо, сканувати передню і задню частину вантажівки або причепа, поки вантажівка проїжджає через ворота.

Ми прийшли до висновку, що, оскільки ми вже використовуємо камери для захоплення зображень, має сенс використовувати їх і для перевірки ушкоджень, позбав ляючись від необхідності в додатковому устаткуванні.

Оттокар: Оскільки ми вибрали комплексне рішення на основі зображень, наша перша і головна вимога — зафіксувати пошкодження, чітко видимі людським оком, незалежно від погоди і умов освітлення. Це завдання спонукає Camco продовжувати удосконалювати свої системи освітлення та камери.

Далі нам потрібно подумати про об’єднання існуючих рішень і нових розробок. ADI — це дуже всеосяжна концепція, яку слід розділити на окремі компоненти для кожної підзадачі. Не існує всемогутньої моделі глибокого навчання, що підходить під будь-яку обробку. Наприклад, якщо ми хочемо перевірити, чи відсутні бризговики вантажівки, нам
спочатку потрібно визначити область, що нас цікавить. Це робиться шляхом виявлення коліс і подальшої обробки прилеглих ділянок. Те ж саме і з ушкодженнями корпусу. Корисно знати, яку частину причепа або контейнера ми вивчаємо, щоб викликати призначений для неї движок і виключити певні результати.

Зокрема, штучний інтелект і глибоке навчання вимагають великих обчислювальних потужностей. Як ви працюєте з цими додатками?

Йоріс: Компанія Camco виступає за локальну обробку зображень, оскільки переміщення зображень по мережі займає дуже багато часу і створює безліч залежностей щодо часу і надійності. Всі інтелектуальні камери Camco останнього покоління мають вбудовані швидкі процесори Intel i3, які забезпечують більш ніж адекватну продуктивність (виконання завдання протягом декількох секунд) для більшості наших додатків глибокого навчання.

Проте, у нас є програми, такі як потокова передача LPR, які вимагають більш швидкої обробки. Тому ми інтегрували модуль Jetson TX2 NVIDIA до деяких камер. Це спеціалізоване обладнання, призначене для обчислень з використанням штучного інтелекту. За допомогою цього модуля ми можемо запускати наше програмне забезпечення на графічному процесорі. Це дозволяє нам використовувати більш глибокі і точні нейронні мережі на камерах і при цьому відповідати нашим тимчасовим обмеженням, тим самим підвищуючи точність розпізнавання.

Зворотний бік камери Camco LPR з модулем NVIDIA
Зворотний бік камери Camco LPR з модулем NVIDIA

Еталонне тестування показало, що робота наших поточних (легких) мереж на графічному процесорі призводить лише до невеликого поліпшення з точки зору часу обчислень — частково тому, що поточний код вже досить сильно оптимізований. Однак приріст продуктивності є набагато помітнішим при використанні більш глибоких мереж.

Завдання полягає в тому, щоб підійти до проблем під іншим кутом, щоб повністю розкрити потенціал обчислень з
прискоренням на графічному процесорі.

Погляд у майбутнє

Camco стикається зі все більш серйозними проблемами в області розпізнавання зображень, які вимагають нових і передових рішень. Використання нейронних мереж з більшою пропускною здатністю, про які раніше не могло бути й мови через обмеження за часом і пам’яттю, тепер стало можливим завдяки нашим інноваціям в області апаратного забезпечення.

Truck Portal, Camco Rail Portal

Camco Technologies
Werner Peeters

Project Manager –Business Development
+32 479 473 116
werner.peeters@camco.be
www.camcotechnologies.com

Тарас Рейка

Залізничний журнал “Railway Supply”

Дізнавайтесь першими найсвіжіші новини залізничної галузі в Україні та світі на нашій сторінці в Facebook, каналі в Telegram, долучайтесь до групи Ukraine: Railway Supply, читайте журнал Railway Supply онлайн.