Интервью с командой, которая занимается в Camco анализом изображений и в настоящее время применяет искусственный интеллект и методы углубленного обучения для решения различных задач.

Camco Technologies 

Специальным подразделением в отделе разработки программного обеспечения Camco является группа анализа изображений, в которую входят шесть экспертов по компьютерному зрению, обладающих высокой квалификацией в области искусственного интеллекта (ИИ) и фундаментальных основ в области глубоких нейронных сетей.

Неудивительно, что этот клуб компьютерных фанатов говорит на своем собственном жаргоне и держится в подвале Camco. Давайте узнаем, о чем они сейчас работают и ими движет. Интервью с Питером, Миланом, Оттокаром, Клаасом, Йорисом и Хендриком!

Что является наиболее важным предварительным условием для применения приложений в области искусственного интеллекта на основе систем технического зрения?

Питер: Обладая двадцатилетним опытом в этой области, я могу сказать, что все начинается с качества изображения, что означает детализацию, резкость, различные углы, эффекты солнца / тени и дня / ночи. Какую бы технику вы не использовали, анализ изображений старой школы или глубокое обучение, начальная плохая картинка даст плохие результаты. Поэтому я могу сказать, что я счастлив, как разработчик, потому что Camco вкладывает много усилий и инвестиций в создание лучших изображений из имеющихся на рынке, иногда даже в сложных условиях окружающей среды. Поскольку мы разрабатываем собственные камеры, это дает нам больше гибкости в улучшении качества изображения.

Не могли бы вы рассказать нам подробнее о том, как Camco эволюционировала от традиционных методов анализа изображений к методам глубокого обучения?

Клаас: С первых лет существования компании Camco (2000-е годы) был достигнут значительный прогресс в распознавании изображений, и мы всегда старались быть среди лучших. Например, наши первые механизмы OCR были основаны на методах сравнения точек (значений интенсивности), таких как совпадение шаблонов и анализ основных компонентов (PCA). Это был удовлетворительный подход для распознавания символов, но не для решения более сложных вопросов, таких как этикетки для опасных грузов и пломбы контейнеров.

Более поздние методы включали сканирования изображений на наличие четких узоров или признаков, характеризующих объект, как его форма, цвет или текстура, и классификация изображения на основе этих характеристик.

Один из этих методов, HOG или гистограмма ориентированных градиентов, начал широко использоваться для обнаружения объектов: в других областях он применяется для обнаружения пешеходов и дорожных знаков, здесь, в Camco, мы его применяем для выявления пломб и IMO.

В то же время, исследования в области глубоких сверточных нейронных сетей (CNN) неуклонно росли, и глубокое обучение вышло на полные обороты в 2010-х годах. Однако, с точки зрения целей промышленного применения все еще оставались некоторые трудности, связанные с необходимой вычислительной мощностью, масштабируемостью и большими наборами данных. Около четырех лет назад Camco смогла начать использование методов глубокого обучения для решения множества задач машинного обучения и с тех пор добилась отличных результатов.

Как это работает?

Клаас: Сверточные нейронные сети учатся на собственном опыте. Это означает, что вместо того, чтобы вручную создавать шаблоны или искать особенности изображений, мы просто подаем в сеть большое количество помеченных изображений, и она будет самостоятельно изучать особенности, характеризующие объект. Это довольно трудно визуализировать, потому что в действительности изучались миллионы значений, которые образуют связи в многоуровневой сети. Извлечение признаков на каждом следующем уровне на основе этих изученных данных в конечном итоге приводит к практическому результату: класса объекта и его расположения (местоположениям).

Camco успешно использует глубокое обучение для повышения скорости оптического распознавания символов и уменьшения количества задач на исключение. В настоящее время наше программное обеспечение для камер использует двигатели для:

  • оптического распознавания символов номерных знаков (потоковая передача)
  • оптического распознавания символов шасси
  • оптического распознавания символов вагонов выявление печатей и IMO
  • оптическое распознавание символов номеров контейнеров и прицепов
  • выявление и классификация контейнеров / грузов
  • выявление колес для подсчета осей, выявление метки отходов … Для получения более подробной информации обратитесь к выпуску Camco Times 6.

Оттокар: Этот процесс управляемого обучения требует наличия большой обучающей выборки, а создание наиболее подходящей сетевой архитектуры (т.е. определение слоев и операций) может занять очень много времени. Однако мы очень редко создаем и обучаем собственные модели с нуля. Поскольку многочисленные исследовательские группы часто выпускают современные алгоритмы и архитектуры CNN для широкого круга задач, мы с удовольствием берем результаты их опубликованных работ и предварительно обученных моделей, а затем настраиваем полученные сетевые архитектуры в наших интересах. Мы в компании Camco внимательно следим за тенденциями в нашей отрасли, чтобы оставаться в курсе новых достижений и направлять наше развитие в правильном направлении.

Итак, в чем же заключаются дополнительные преимущества и опыт Camco?

Милан: Наша сила заключается в анализе обстоятельств каждой проблемы, сборе массивов данных высокого качества и оптимизации (существующих) моделей и процедур обучения с учетом ограничений по времени и памяти. Не говоря уже о большом объеме ручного кодирования для выполнения работы и удовлетворения конкретных требований клиентов.

Это итеративный процесс. Мы постоянно совершенствуем наши методы и модели по мере поступления данных и новых открытий в области глубокого обучения.

Хендрик: Давайте не будем забывать, что мы получаем поддержку от группы анализа данных Camco, которая составляет для нас статистику — они ежедневно проверяют наши алгоритмы.

Можно ли сегодня решить все проблемы распознавания изображений с помощью глубокого обучения?

Милан: Глубокое обучение безусловно является движущей силой сегодняшнего взрывного развития ИИ и считается его самым мощным инструментом. Но это не единственный инструмент в нашем арсенале, потому что одного глубокого обучения не всегда достаточно для решения проблем. Иногда текущие ресурсы и расходы, отсутствие образцов или сложный и непредсказуемый характер проблемы являются ограничивающими факторами, и может потребовать сочетание технологий и алгоритмов. Вот тогда действительно окупается наш двадцатилетний опыт.

Клиенты Camco, как правило, являются операторами транспортных терминалов, которые все время сталкиваются с новыми проблемами, поскольку их бизнес постоянно развивается. Не могли бы вы больше рассказать нам о типичных запросах клиентов, которые приходят к вам?

Милан: Первый пример относится к типам пломб. Несмотря на то, что наше программное обеспечение смогло выявить пломбы на шпингалете, на двери контейнеров и прицепов, конкретный заказчик хотел узнать тип пломбы. Расширяя наши базы данных и обучая наши CNN-классификаторы, мы теперь можем определить наличие и других типов пломб.

Оттокар: Оператор пункта транспортной переработки контейнеров и полуприцепов спросил нас, можем ли мы измерить толщину тормозных колодок вагона, чтобы автоматически определить, когда они будут изношены и подлежат замене.

Примерные классы пломб для обнаружения: болт, лента, отсутствие пломбы
Примерные классы пломб для обнаружения: болт, лента, отсутствие пломбы

Основная проблема здесь заключается в том, чтобы получить изображение всех тормозных колодок, так как они часто скрыты кузовом вагона или другим оборудованием.

Другая задача состояла в отслеживании в реальном времени работы портовых рабочих под краном с целью повышения безопасности терминала.

Объединяя данные с нескольких датчиков, а именно, данных ИИ на основе технического зрения для отслеживания людей и наших запатентованных систем микролокации для отслеживания различных объектов (например, передвижных контейнеров), мы можем отмечать опасные ситуации и генерировать сигналы тревоги.

Милан: В нашем последнем приложении мы используем анализ изображений на основе искусственного интеллекта для выявления структурных повреждений контейнеров или незаблокированных дверей контейнера. Поврежденные рамы контейнеров или незапертая дверь могут быть очень опасными при манипулировании и составлении контейнеров.

Очень важно предотвратить попадание этих контейнеров в обычный технологический процесс. ИИ помогает нам зафиксировать критические повреждения. Мы также обнаруживаем вмятины, дыры, сильную ржавчину и другие типы повреждений. Но вы не найдете много контейнеров без вмятин, поэтому эта информация в основном используется для регистрации и резервного копирования для исков. Небольшие повреждения не сразу влияют на операции. Однако структурные повреждения являются критическими.

Автоматическое обнаружение рабочих под краном
Автоматическое обнаружение рабочих под краном

Загрузив в сети глубокого обучения значительное количество изображений контейнеров, подвергшихся конструктивным повреждениям и имели незапертую дверь, мы смогли завершить мощное приложение, которое доказало свою ценность.

Как насчет лазерной технологии, которая применяется для ADI?

Питер: К сожалению, камера не видит разницы между черным пятном и дырой, например, на поверхности контейнера. Лазерное сканирование может быть полезным, поскольку оно выполняет глубинное сканирование на поверхности. Однако мы пришли к выводу, что на данный момент лазерная технология еще не способна исследовать поверхности контейнеров или трейлеров с приемлемой скоростью и разрешением.

Поскольку современные лазеры имеют максимальную скорость сканирования 100 Гц, это означает, что мы можем сканировать грузовик, движущийся со скоростью 10 м / с (36 км / ч., 22,4 мили в час) только один раз через каждые 10 см, оставляя большую часть объекта непросмотренными.

В результате мы не можем надежно выявить повреждения размером менее 10 см. Более того, лазер может обнаруживать только деформации поверхности объекта — царапины и небольшие вмятины остаются незамеченными. Кроме того, лазерный сигнал зависит от отражательной способности объекта, и мы обнаружили, что очень темные объекты часто не возвращают достаточного сигнала для проверки повреждений. И, наконец, стоимость…

Лазеры очень дороги, а нам понадобится по крайней мере по одному лазера для каждой стороны грузовика (слева, справа и сверху). Также очень сложно, если не невозможно, сканировать переднюю и заднюю часть грузовика или прицепа, пока грузовик проезжает через ворота.

Мы пришли к выводу, что, поскольку мы уже используем камеры для захвата изображений, имеет смысл использовать их и для проверки повреждений, избавившись от необходимости в дополнительном оборудовании.

Оттокар: Поскольку мы выбрали комплексное решение на основе изображений, наша первое и главное требование — зафиксировать повреждения, четко видимые человеческим глазом, независимо от погоды и условий освещения. Эта задача побуждает Camco продолжать совершенствовать свои системы освещения и камеры.

Далее нам нужно подумать об объединении существующих решений и новых разработок. ADI — это очень всеобъемлющая концепция, которую следует разделить на отдельные компоненты для каждой подзадачи. Не существует всемогущей модели глубокого обучения. Например, если мы хотим проверить, отсутствуют ли брызговики грузовика, нам сначала нужно определить область, что нас интересует. Это делается путем выявления колес и последующей обработки прилегающих участков. То же самое и с повреждениями корпуса. Полезно знать, какую часть прицепа или контейнера мы изучаем, чтобы вызвать для нее движок и исключить определенные результаты.

В частности, искусственный интеллект и глубокое обучение требуют больших вычислительных мощностей. Как вы работаете с этими приложениями?

Йорис: Компания Camco выступает за локальную обработку изображений, поскольку перемещения изображений по сети занимает очень много времени и создает множество зависимостей по времени и надежности. Все интеллектуальные камеры Camco последнего поколения имеют встроенные быстрые процессоры Intel i3, которые обеспечивают более адекватную производительность (выполнение задания в течение нескольких секунд) для большинства наших приложений глубокого обучения.

Однако, у нас есть программы, такие как потоковая передача LPR, которые требуют более быстрой обработки. Поэтому мы интегрировали модуль Jetson TX2 NVIDIA в некоторых камерах. Это специализированное оборудование, предназначенное для вычислений с использованием искусственного интеллекта. С помощью этого модуля мы можем запускать наше программное обеспечение на графическом процессоре. Это позволяет нам использовать более глубокие и точные нейронные сети на камерах и при этом соответствовать нашим временным ограничением, тем самым повышая точность распознавания.

Обратная сторона камеры Camco LPR с модулем NVIDIA
Обратная сторона камеры Camco LPR с модулем NVIDIA

Эталонное тестирование показало, что работа наших текущих (легких) сетей на графическом процессоре приводит лишь к небольшому улучшению с точки зрения времени вычислений — отчасти потому, что текущий код уже достаточно сильно оптимизирован. Однако прирост производительности намного заметнее при использовании более глубоких сетей.

Задача состоит в том, чтобы подойти к проблемам под другим углом, чтобы полностью раскрыть потенциал вычислений с ускорением на графическом процессоре.

Взгляд в будущее

Camco сталкивается со все более серьезными проблемами в области распознавания изображений, которые требуют новых и передовых решений. Использование нейронных сетей с большей пропускной способностью, о которых раньше не могло быть и речи из-за ограничений по времени и памяти, теперь стало возможным благодаря нашим инновациям в области аппаратного обеспечения.

Truck Portal, Camco Rail Portal

Camco Technologies
Werner Peeters

Project Manager –Business Development
+32 479 473 116
werner.peeters@camco.be
www.camcotechnologies.com

Тарас Рейка

Железнодорожный журнал “Railway Supply”

Узнавайте первыми самые свежие новости железнодорожной отрасли в Украине и мире на нашей странице в Facebook, канале в Telegram, читайте журнал Railway Supply онлайн.