А. А. Гера. Решения Huawei для интеллектуального видеонаблюдения с использованием алгоритмов идентификации внешности человека в рамках концепции SDC
А. А. Гера,
специалист по средствам интеллектуального видеонаблюдения и унифицированным коммуникациям ООО «Техкомпания Хуавей»
(Китай-Россия)
В рамках статьи описан широкий набор алгоритмов анализа видеопотока, разработанный компанией Huawei, а также рассмотрены основные и наиболее перспективные практические реализации механизмов видеоанализа. Уделено внимание современным методам построения видеосетей, в том числе оптимизации вычислительных ресурсов и гибкости их применения. Рассмотрен опыт уже реализованных систем на примере «безопасных городов» Китая и изложены возможные концепции дальнейшего развития технологии.
Ключевые слова: интеллектуальное облачное видеонаблюдение Huawei; распознавание лица; безопасный город; видеофиксация; ситуационный анализ; видеосеть; программно определяемая камера.
Г 37
ББК 67.53
УДК 343.983
ГРНТИ 10.85.31
Код ВАК 12.00.12
A. A. Gera. Intelligent video surveillance Huawei solutions using a person’s appearance identification algorithms as part of the concept
A. A. Gera,
Specialist in intelligent video surveillance and unified communications of «the TechCompany Huawei» Limited Liability Company
(China–Russia)
The article describes a wide range of video stream analysis algorithms developed by the Huawei company, and also describes the main and most promising practical implementations of video analysis mechanisms. Attention is paid to modern methods of building video networks, including optimization of computational resources and flexibility of their application. The experience of the already implemented systems is considered on the example of the “safe cities” of China and the possible concepts of the further development of the technology are stated.
Keywords: intelligent cloud video surveillance Huawei; face recognition; safe city; video recording; situational analysis; video network; software defined camera.
_____________________________________
Ускоряющиеся темпы развития IT-технологий оказывают заметное влияние на сферу безопасности, в частности, – на интеллектуальные средства видеофиксации и анализа изображения.
После доказанного превосходства оптической составляющей машинного зрения над человеческим глазом одним из основных направлений развития видеонаблюдения становится анализ изображения, то есть преобразования «сырых» оптических данных в адаптированный для ручного или автоматизированного изучения материал. Уточним, что это превосходство является техническим, то есть речь идёт только о разрешающей способности и спектральной чувствительности.
Ещё недавно человеческое зрение как комплекс, состоящий из оптического инструмента (глаза) и центра обработки данных (центральной нервной системы), опережало машинное зрение. Такие ошибки изображения, как хроматические аберрации и неточность определения цветовых параметров, человек корректирует мгновенно и неосознанно, на уровне биологического автоматизма. Даже некоторые современные системы видеонаблюдения до сих пор обладают названными выше дефектами, оставляя их коррекцию оператору в ручном режиме.
Следуя за ростом производительности вычислительных ресурсов, китайская штаб-квартира компании Huawei делает искусственный интеллект ключевым направлением своего развития. Именно искусственный интеллект, как второй недостающий компонент машинной системы, аналогичной человеческому комплексу «глаз – мозг», в будущем может превзойти возможности человека в эффективности фиксации и анализа изображений.
Следует оговориться, что сегодня искусственный интеллект – это средство частичной автоматизации обработки уже полученного машинного видеопотока, то есть речь идёт о сокращении нагрузки на оператора, проводящего исследование, а не о его полной замене. Однако не следует считать, что искусственный интеллект может выполнять только апостериорный анализ видеоданных. Важным направлением его развития является превентивное автоматическое оповещение оператора о совершаемом правонарушении или другой изучаемой им ситуации. Таким образом, искусственный интеллект на службе правоохранительной системы потенциально способен не только предоставлять важные сведения для проведения расследований уже произошедших преступлений, но и предупреждать, а в обозримом будущем и прогнозировать их.
К концу 2018 года исследовательским и инженерным подразделениями компании Huawei разработан широкий набор алгоритмов анализа видеопотока – как превентивных, так и апостериорных.
Потоковый анализ видеоданных и превентивное оповещение оператора. Потоковый анализ видеоданных можно разделить на следующие категории:
– ситуационный анализ поведения человека или иного объекта;
– анализ параметров и характерных примет человека или группы лиц;
– анализ параметров и характерных признаков транспортного средства или транспортного потока.
К алгоритмам ситуационного анализа относятся детекторы пересечения виртуальной линии, вторжения в зону, образования толпы, праздношатания, превышения заданного порога скорости (здесь речь идёт именно о скорости передвижения человека, например, беге в местах массового скопления людей, где обычной скоростью передвижения является шаг), определение пропавшего из кадра или оставленного в кадре предмета. На первый взгляд данные алгоритмы являются стандартным функционалом любой современной системы видеонаблюдения, однако в авторском воплощении Huawei каждый из перечисленных механизмов может быть реализован как на базе центра обработки данных, так и непосредственно на камере видеонаблюдения и встроенных в неё вычислительных ресурсах. Такой подход позволяет снизить нагрузку на каналы связи и избежать образования «бутылочного горлышка» на пути видеоданных.
Кроме того, из описанных выше частных алгоритмов можно составлять логические цепочки, значительно усложняя и сужая критерии срабатывания тревожного оповещения – человек входит через дверь А, остаётся в зоне наблюдения Б не менее 15 секунд, а затем покидает помещение через дверь В.
Все описанные алгоритмы и их комбинации могут при срабатывании немедленно оповещать оператора или просто накапливать ситуационную выборку, по которой позднее можно произвести аналитический поиск. Таким образом, реализуется и превентивная функция, и удобная структурированная база метаданных для последующего апостериорного аналитического поиска.
Анализ параметров человека и его характерных примет делится на два основных направления – обнаружение/распознавание лица и определение дополнительных параметров человека.
Автоматизированное распознавание лица в видеопотоке является одним из наиболее востребованных способов обеспечения правопорядка. Инвестиции в разработку соответствующих алгоритмов со стороны заказчиков и разработчиков-производителей огромны, и компания Huawei не является исключением. Разработан как классический механизм получения изображения на видеокамере с отправкой необработанного потока в дата-центр и последующим анализом лиц на сервере обработки, так и современный механизм обработки на камере видеонаблюдения с отправкой в дата-центр только самих результатов идентификации.
Одна из самых ценных возможностей, предлагаемых компанией, – обнаружение лица в видеопотоке и формирование стоп-кадра с ним на вычислительных ресурсах камеры с последующей отправкой этого стоп-кадра на сервер для сличения с базой данных правонарушителей (или иных субъектов интереса) и идентификацией личности ресурсами дата-центра. Такой подход равномерно распределяет нагрузку между оконечным устройством и центром обработки, а также существенно увеличивает скорость распознавания, решая сразу и задачу оптимизации, и задачу повышения эффективности.
Ещё одним дополнением компании Huawei к данному механизму распознавания является возможность использования алгоритмов сторонних разработчиков видеоанализа человеческого лица прямо на борту камеры, с помощью встраивания алгоритма в её открытую операционную систему. Это дополнение позволяет системе принимать решение об итоговой достоверности распознавания на базе нескольких алгоритмов суммарно. Каждый алгоритм может показывать высокую эффективность именно в определённой ситуации, например, один из алгоритмов хорошо распознаёт л’ица в фас, другой – в профиль, а сумма их работы даст высокую достоверность при фиксации лица в пол-оборота.
Как и в случае с ситуационным видеоанализом, идентификация определённого лица из «чёрного» или «белого» списков может служить сигналом для немедленного оповещения оператора или просто фиксироваться в системе и сохранятся для последующего быстрого изучения в составе накопленного архива видео- и метаданнных.
В настоящий момент компания Huawei достигла производительности лицевого поиска на уровне обнаружения до 100 одновременно присутствующих в кадре человеческих лиц. Такой объём обеспечивается аппаратным и программным обеспечением одной специализированной камеры без привлечения ресурсов серверной платформы.
Алгоритм определения дополнительных примет человека распространённым не назовёшь, это пока перспективное, но не имеющее массового применения направление анализа видеопотока. К искомым характеристикам могут относиться пол, примерный возраст, общий тип фигуры, длина волос, цвет и тип одежды, наличие очков, маски, сумки или рюкзака, даже наличие изображений или надписей на одежде. Далеко не во всех случаях очевидцы могут запомнить лицо правонарушителя, зато отдельные предметы гардероба или аксессуары часто сразу бросаются в глаза и остаются в памяти. Организация фильтрации видеоархива по таким параметрам может не просто сузить круг подозреваемых, но и привести к одному единственному человеку, если один из параметров является редким – жёлтый цвет в одежде, один из предметов гардероба не соответствует погоде, сочетание разноплановых признаков, например длинные волосы у мужчины.
Алгоритмы анализа параметров и характерных признаков транспортного средства строятся на основе распознавания государственного регистрационного знака и определения дополнительных атрибутов транспортного средства.
Первое направление сходно с распознаванием лица, но с точки зрения достижения достоверности результата и ресурсоёмкости значительно проще, поскольку вид автомобильных номеров строго регламентирован, их изображение, как правило, контрастно и легко читаемо, а база данных для сравнения есть по умолчанию. Такой механизм широко применяется в составе любой системы класса «безопасный город» на дорогах общего пользования, в составе КПП и въездных групп на некоторых режимных предприятиях, а также в торговых центрах и на объектах критической инфраструктуры. Использование алгоритмов распознавания номерных знаков является одним из важных факторов успеха оперативно-розыскных мероприятий.
К дополнительным параметрам относятся тип (грузовая, легковая), марка, модель и модельный год автомобиля, его цвет, наличие технических отметок, а также наличие прицепа или багажника на крыше. Как и в случае с параметрами человека, описанные признаки могут значительно сузить розыскной список. В сочетании с возможностью интеллектуальной платформы Huawei поиска номерных знаков по обрывочным данным выборка сокращается ещё больше, например, свидетель происшествия запомнил только три символа номера, но также запомнил цвет и марку автомобиля и наличие наклейки на капоте. Совокупный результат анализа перечисленных примет может дать тот единственный верный результат, что и поиск по заведомо известному полному номерному знаку.
Описанные алгоритмы анализа дополнительных параметров транспорта в случае с массовым применением на дорогах могут использоваться в качестве средств постоянного контроля за исполнением дорожного законодательства и автоматического выставления штрафов водителям-нарушителям, например, не пристёгнут ремень, нет страхового полиса ОСАГО, транспортное средство загрязнено.
Аналитический апостериорный поиск в накопленном видеоархиве. Этот вид видеоанализа реализуется строго ресурсами платформы, то есть серверов видеонаблюдения. Камеры в работе этих алгоритмов пока не задействованы. К апостериорным алгоритмам относятся:
– поиск номерных знаков по обрывочным данным (уже описанный выше);
– обратный поиск по параметрам объекта;
– сравнение фотографий лиц «один к одному» для выявления их математической схожести;
– алгоритм «видео синопсис».
Обратный поиск в архиве по параметрам объекта – это комплекс алгоритмов, основанный на сумме всех аналитических критериев, доступных системе.
Предположим, что при расследовании правонарушения оператор видит в видеоархиве подозреваемого, но лицо в кадр не попадает. В этой ситуации можно выделить несколько изображений подозреваемого и «попросить» систему проверить весь или часть архива на предмет видеофиксации этого же изображения. На этом этапе фильтрации видеоданных системе даже не нужно понимать, ищет ли она человека или абстрактный объект, поиск будет произведён по комплексу из формы и цвета объекта. Результатом этого поиска станет список ситуаций, в которых система видела похожий объект. На одном из отфильтрованных видеоотрезков объект превращается в субъект, показывая видеокамере своё лицо. Далее оператор может использовать вырезку с лицом для фильтрации по модулю распознавания лиц, то есть ещё больше сузить выборку. Если эта итерация не даёт результатов, оператор может применить поиск по дополнительным параметрам – цвету одежды, аксессуарам и т. п. Наконец, если субъект сел в автомобиль и продолжил передвижение на нём, оператор, всё ещё не зная личность подозреваемого, имеет в своём распоряжении параметры транспортного средства, то есть переключается на алгоритмы поиска распознанных государственных регистрационных знаков и дополнительных характеристик транспортных средств.
На каждом из перечисленных этапов в кадре вместе с подозреваемым оператор может зафиксировать других людей, и, если удастся, распознать их по описанным выше методикам. В таком случае можно использовать живые показания как дополнительные данные для расследования.
Этот сценарный пример описывает только основные критерии поиска, но не следует забывать о возможностях системы использовать сторонние аналитические алгоритмы, а также открытую архитектуру платформы, подразумевающую интеграцию со смежными охранными системами – СКУД, пожарная сигнализация, рамки-металлоискатели, тепловизионные системы контроля, периметральные средства охраны и т. п. Открытость системы делает потенциал апостериорного поиска безграничным и гибко изменяемым под любые частные условия.
Алгоритм сравнения лиц «один к одному» не позволяет оператору производить немедленный аналитический поиск, однако он решает очень важную задачу этапа подготовки к фильтрации – валидацию разных изображений одного и того же субъекта. Допустим, что в видеоархиве оператором найден человек, предположительное фото которого уже находится в распоряжении следствия, но давность этой фотографии не позволяет сделать однозначного вывода, он на видео или нет? Новое и старое изображения загружаются в детектор сличения, и система выдаёт математический результат их схожести.
Принцип работы машинного распознавания лиц базируется на соотношении расстояний между реперными точками человеческого лица. Данные соотношения не меняются с возрастом, то есть система на первом этапе распознавания пренебрегает такими признаками, как борода, головной убор, очки и т. п., в то время как живого очевидца всё перечисленное может легко ввести в заблуждение. При этом ракурс съёмки всё же может исказить искомые пропорции, но система не просто выдаст прямой ответ в формате «да/нет», а предоставит оператору процентную вероятность того, что на двух разных снимках один и тот же человек.
Алгоритм «видеосинопсис» даёт возможность визуализировать комбинированные видеоданные в едином окне для быстрой и эффективной обработки оператором. В классической системе видеонаблюдения для проверки сегмента видеоархива по определённым аналитическим критериям пришлось бы изучать каждый результат выборки и отсеивать их по порядку. Видеосинопсис выдаёт все найденные за сутки объекты на едином фоне, как если бы они все были в кадре в один и тот же момент времени.
Например, оператор хочет проверить восьмичасовой архив одной камеры на появление в кадре людей, одетых в оранжевую одежду (например, униформу дорожных рабочих). Система в течение считанных минут обрабатывает видеоархив и выдаёт изображение с камеры, где на едином неизменном фоне отображены все зафиксированные субъекты интереса. При этом система автоматически постарается избежать наложения объектов друг на друга. Следующим действием оператора является простое нажатие курсором на изображение интересующего его человека, после чего система выдаёт конкретный сегмент видеоархива, на котором он был зафиксирован. Если первоначальная выборка не даёт ожидаемого результата, она может быть подвергнута повторному отбору по другому критерию, например, по направлению движения.
Современная структура видеосистемы и передовые концепции её построения. Как бы ни были обширны аналитические возможности платформы и как бы совершенны ни были видеокамеры, ключевыми факторами их успешного использования являются быстродействие системы и оптимальное использование ресурсов (то есть экономическая целесообразность внедрения). В обоих направлениях компания Huawei предлагает авторский подход.
Системы интеллектуального наблюдения с единой точкой анализа уходят в прошлое. Если для анализа используется только платформа, неизбежно образуется перегрузка каналов и серверного аналитического модуля, падает быстродействие или избыточно растёт серверное ядро, что увеличивает стоимость аппаратных и программных средств, стоимость внедрения, обслуживания и поддержки. Если анализ проводится только на камерах, падает потенциал системы, так как чипы камер не могут эффективно обрабатывать сложные алгоритмы и комбинации аналитических правил.
Концепция построения видеосистемы будущего – облако гетерогенных ресурсов с автоматическим распределением задач анализа по наиболее эффективным для конкретного алгоритма и наименее загруженным узлам.
Гетерогенность системы Huawei обеспечивается одновременным использованием центральных процессоров классической архитектуры, графических процессоров и микроконтроллеров нейросетей. Каждый из этих элементов показывает оптимальную производительность в отношении ограниченного спектра задач анализа, но автоматическая балансировка и координация процесса вычислений позволяют оператору забыть о ресурсной базе и просто работать с системой в режиме «одного окна».
Облачность обеспечивается построением системы в виде распределённого вычислительного ресурсного пула, например:
– камера, ведущая обзорное наблюдение и не занятая в текущем видеоанализе, может в фоновом режиме отдавать свои незанятые вычислительные ресурсы соседней перегруженной камере;
– серверный узел, сконцентрированный на задаче записи видеоизображений, может переключиться в режим потокового анализа в критической ситуации, опуская второстепенные функции и усиливая текущее быстродействие серверного кластера при введении чрезвычайного положения.
Такая универсальность и взаимозаменяемость ресурсной базы обеспечивают повышенную надёжность системы (при отказе одного универсального узла его задачи на себя берут оставшиеся исправные), снижение инвестиций в построение системы (один универсальный узел может быть гибко переключён в другой более актуальный режим работы без её остановки), и стоимость обслуживания (при отказе производится замена универсального однотипного модуля).
Опыт внедрения. Характерной чертой любого крупного внедрения системы охранного интеллектуального видеонаблюдения в Китае является нацеленность на огромный масштаб входящих данных, географическую распределённость программно-аппаратных средств и обязательную готовность системы к количественному и функциональному росту.
Примером такой системы служит «безопасный город» Гуанчжоу с населением в 14 миллионов человек, десятками тысяч видеокамер, среди которых тысячи работают над задачей распознавания лиц, облачной платформой анализа и накопления видеоданных, десятками разнообразных математических алгоритмов. Такие масштабы принято называть Big Data. При этом городская администрация сообщает конкретный параметр эффективности внедрения системы – общий рост раскрываемости правонарушений – на 20 %.
Другим примером масштабной системы является «безопасный город» Хэфей. При относительно скромной по китайским меркам численности населения (около 4 миллионов жителей) был создан эталонный образец интеллектуальной безопасной городской среды, послужившей предметом тиражирования на всю провинцию. Облачная структура системы и гетерогенность ресурсов позволили бесшовно превратить «безопасный город» в «безопасный регион».
Обе внедрённых описанных выше системы охранного интеллектуального видеонаблюдения постоянно растут в количестве каналов записи и анализа, вводятся новые функции и аналитические алгоритмы, отвечающие изменяющимся и растущим потребностям заказчиков. В обоих случаях системы строились не с нуля, и старые системы видеонаблюдения были использованы в новом видеокомплексе, частично сохраняя предыдущие инвестиции.
Вероятные направления развития систем интеллектуального видеоанализа. Заметным трендом современности является массовое использование социальных сетей. Одно из вероятных направлений функционального развития видеоанализа – интеграция с пользовательским контентом. Аккаунт среднестатистического пользователя содержит огромный объём фото- и видеоинформации о владельце. Такой материал в рамках современной практики правоохранителей используется в лучшем случае как дополнительный источник информации для следствия, и строго в ручном режиме.
Перспектива интеграции системы распознавания лиц с базой фотографий и видеоконтента социальных сетей предлагает ещё бóльшую автоматизацию в сокращении выборки подозреваемых лиц и упрощение установления личности подозреваемого на основании учётной записи.
Помимо этого интересным направлением развития является интеграция систем видеонаблюдения с подсистемами видеоконференцсвязи, географического позиционирования и диспетчеризации в рамках ситуационных центров разного масштаба – от национального до ведомственного. Подобная система контроля обстановки позволит не только оперативно выявить правонарушение или предшествующую ему опасную ситуацию, но и немедленно обеспечить весь процесс принятия оперативного решения (в том числе удалённо, средствами видеосвязи), а также скоординировать работу «полевых» служб, задействованных в розыскных или силовых мероприятиях.
Совершенствование технических средств не только меняет саму индустрию или подход заказчика к собственной работе, но и вносит корректировки в профильное законодательство. До недавнего времени в КНР в качестве доказательства в суде рассматривались только видеоматериалы в формате MJPEG, однако по совокупности накопленного опыта эксплуатации современных средств видеонаблюдения на государственном уровне было выдвинуто экспертное заключение, что актуальные форматы сжатия видеопотока H.264/H.265 обеспечивают достаточную достоверность видеоданных, параллельно снижая нагрузку на каналы связи видеосети и средства хранения данных.
Заключение
Тема вычислительных облачных ресурсов и искусственного интеллекта переходит из стадии теоретических научных изысканий и первоначального накопления инженерного опыта в стадию прикладного применения в области обеспечения общественной безопасности. Компания Huawei помимо традиционных для себя областей – сетей связи, серверных платформ, средств хранения данных и аудиовизуальных коммуникаций – делает ставку на развитие видеоанализа и видеонаблюдения, внося вклад в общественную безопасность по всему миру.
Комментарии могут оставлять только зарегистрированные и авторизованные пользователи.
