Рис.5. Последовательность действий системы машинного зрения
Изображение, полученное с камеры, попадает в захватчик кадров или в память компьютера. Захватчик кадров - это устройство, которое преобразует выходные данные с камеры в цифровой формат (как правило, это двумерный массива чисел) и размещает изображения в памяти компьютера, так чтобы оно могло быть обработано с помощью программного обеспечения для машинного зрения.
Программное обеспечение, как правило, совершает несколько шагов для обработки изображений. Часто изображение для начала обрабатывается с целью уменьшения шума или конвертации множества оттенков серого в простое сочетание черного и белого (бинаризации). После первоначальной обработки программа будет считать, производить измерения и/или определять объекты, размеры, дефекты и другие характеристики изображения. В качестве последнего шага, программа пропускает или забраковывает деталь в соответствии с заданными критериям. Если деталь идет с браком, программное обеспечение подает сигнал механическому устройству для отклонения детали; другой вариант развития событий, система может остановить производственную линию и предупредить человека работника для решения этой проблемы, и что привело к неудаче. Хотя большинство систем машинного зрения полагаться на «черно-белые» камеры, использование цветных камер становится все более распространенным явлением. Кроме того, все чаще системы машинного зрения используют цифровые камеры прямого подключения, а не камеры с отдельным захватчиком кадров, что сокращает расходы и упрощает систему.
4. Смежные области
Машинное зрение относится к инженерным автоматизированным системам визуализации в промышленности и на производстве, и в этом качестве машинное зрение, связано с самыми разными областями компьютерных наук: компьютерное зрение, оборудования для управления, базы данных, сетевые системы и машинное обучение.
Не стоит путать машинное и компьютерное зрения. Компьютерное зрение является более общей областью исследований, тогда как машинное зрение является инженерной дисциплиной связанной с производственными задачами.
Рассмотрим подробнее смежные науки и их взаимодействие с машинным зрением.
4.1. Компьютерное зрение
Компьютерное зрение представляет собой научную дисциплину, изучающую теорию и базовые алгоритмы анализа изображений и сцен.
Машинное зрениеследует рассматривать как гораздо более комплексную и технологическую область научных и инженерных знаний, охватывающую все проблемы разработки практических систем: выбор схем освещения исследуемой сцены, выбор характеристик датчиков, их количества и геометрии расположения, вопросы калибровки и ориентирования, выбор или разработка оборудования для оцифровки и процессорной обработки, разработка собственно алгоритмов и их компьютерная реализация – то есть весь круг сопутствующих задач.
Кроме того, фигурирует такое понятие как зрение роботов. Это более узкая область технологий машинного зрения, а именно часть, которая обеспечивает функционирование систем машинного зрения в условиях жестких временных ограничений. Например, оборудуя роботов нового поколения мобильными камерами и алгоритмами стереовидения, многие компании работают над созданием интеллектуальных роботов, способных не только свободно ориентироваться в квартире и узнавать своих хозяев, но и выполнять определенные задачи по дистанционно подаваемым командам.
4.2. Обработка и анализ изображений
Обработка изображений - любая форма обработки информации, для которой входные данные представлены изображением, например, фотографиями или видеокадрами. Обработка изображений может осуществляться как для получения изображения на выходе, так и для получения другой информации (например, распознание текста, подсчёт числа и типа клеток в поле микроскопа и т. д.). Кроме статичных двухмерных изображений, обрабатывать требуется также изображения, изменяющиеся со временем, например видео.
В последнее время традиционный термин «обработка изображений» чаще употребляется не как обозначение научной дисциплины, а как указатель на предметную область. Наметилась также тенденция использования этого термина для обозначения обработки нижнего уровня, когда результатом обработки изображения снова является изображение. В то же время термин «понимание изображений» употребляется для обработки верхнего уровня.
Цифровая фотограмметрия, бурно развивающаяся в последние годы дисциплина, пришла на смену аналитической фотограмметрии. В то время как классическая аналитическая фотограмметрия изучала в основном метрические соотношения между точками снимков и реальной сцены, современная цифровая фотограмметрия ставит самые сложные задачи анализа и 3D'описания сцены по видеоданным оптических сенсоров. Цифровая фотограмметрия концентрируется прежде всего не на вопросах «понимания» сцены или обнаружения объектов, а на вопросах высокоточного измерения различных ее элементов и реконструкции форм трехмерных поверхностей с использованием стерео и многокамерной съемки, а также специального структурированного подсвета.
4.3. Машинное обучение
Машинное обучение - обширный подраздел искусственного интеллекта, изучающий методы построения алгоритмов, способных обучаться. Целью машинного обучения является частичная или полная автоматизация решения сложных профессиональных задач в самых разных областях человеческой деятельности. Машинное обучение имеет широкий спектр приложений, среди которых есть приложения распознавания изображений - область, которой занимается машинное зрение.
5. Наиболее интересные примеры систем машинного зрения
5.1. Видеонаблюдение
Автоматические и автоматизированные системы видеонаблюдения являются одной из ключевых составляющих современных комплексных систем безопасности. Задача видеонаблюдения подразумевает визуальный контроль заданной области пространства при помощи одной или нескольких видеокамер, позволяющий сохранять и просматривать цифровые видеоданные, а также постоянно оценивать состояние контролируемой территории, выделяя так называемые охранные события.
Охранное видеонаблюдение сегодня имеет два самых важных направления развития - полный переход на цифровые системы видеонаблюдения и развитие функций видеоаналитики. Цифровое (IP) видеонаблюдение предполагает отказ от аналоговых камер и средств передачи данных. Видеоаналитика представляет развитие функций систем видеонаблюдения, позволяя сократить объем регистрируемых данных.
Современная система видеонаблюдения включает в себя значительное количество различных технологий компьютерного зрения. Технология интеллектуального видеонаблюдения должна включать следующие основные элементы и программно-алгоритмические модули:
• визуальные датчики различного типа для дистанционного видеонаблюдения
• средства распределенного сбора информации, сжатия, обработки и передачи цифровой видеоинформации по локальным и глобальным сетям в реальном времени
• автоматическое выделение объектов интереса (люди, транспортные средства, другие объекты)
· автоматическое слежение за движущимися объектами в зоне наблюдения
· биометрическое распознавание персонала, биометрический контроль доступа в критические зоны объекта наблюдения
• автоматическую идентификацию транспортных средств, грузов и оборудования на основе распознавания идентификационных меток (регистрационных номеров, штриховых кодов, других технологических маркировок)
• методы оценки сценариев поведения наблюдаемых объектов и групп объектов
• формирование «тревожных» сообщений оператору в случае реализации неблагоприятных или нестандартных сценариев развития событий в зоне видеонаблюдения
· программно-аппаратные средства для реализации методов и алгоритмов сбора и обработки видеоинформации.
Рассмотрим ряд примеров создания систем видеонаблюдения и их элементов.
5.1.1. Система обнаружения и сопровождения движущихся объектов по признаку их движения
Технология детектирования движения в поле зрения камеры, или motion detection, стала одной из первых коммерческих технологий на потребительском рынке Web-камер [Морзеев, 2002]. Принцип работы технологии очень простой, поскольку предполагается, что камера неподвижна, а следовательно, неподвижен и фон. Движутся только объекты. Хотя существуют и такие технологии, которые позволяют детектировать движущиеся объекты на движущемся фоне.
Разработанная в ИИТ (Институт информационных технологий) система предназначена для автоматического выделения и сопровождения малоразмерных объектов по признаку их движения на изображениях, получаемых с подвижной видеокамеры.
Система, реализованная на базе персонального компьютера, осуществляет ввод с видеокамеры, визуализацию и обработку цифровых изображений движущихся сцен в реальном времени. Система производит оценку и компенсацию общего сдвига изображения сцены, происходящего за счет собственного относительного движения приемника изображения, а также выделение движущихся малоразмерных объектов по признаку их движения и одновременное сопровождение движения нескольких обнаруженных объектов. На рис.6 показаны: слева – кадр видеопоследовательности с выделенными движущимися объектами; справа – стадии выделения движущихся объектов.
Рис.6. Выделение движущихся объектов сцены наблюдения
У систем обнаружения и сопровождения движущихся объектов могут быть различные функции, такие как:
• обнаружение новых объектов сцены наблюдения;
• обнаружение пропавших объектов сцены наблюдения;
• регистрация новой сцены наблюдения;
• контроль отсутствия сдвигов камеры относительно сцены наблюдения.