Как работает распознавание лиц в смартфонах

Зачем мы останавливаемся на разблокировку по фейсу

В прошлые времена распознавание лиц превратилось в одной из самых популярных опций для деблокировки мобильных телефонов. Лишь несколько годков назад большинство юзеров удовлетворялись пин-кодами, ключами доступа или датчиками отпечатков пальцев. Но при появлением таких технологий, например вулкан россия, нам достаточно лишь взглянуть на экран — и устройство тут же опознает своего владельца.

Какая вещь превращает эту конкретную функцию очень нужной? Во-первых, это практично: не нужно помнить сложные пароли или искать нужный палец в тьме. Также, это быстро: современные алгоритмы узнают лицо практически за мгновения ока. В-третью очередь, это ощущение футуристичности — будто в фильмах про вулкан россия агентов.

Впрочем за такой на первый взгляд несложностью прячется полный мир комплексных методов и инженерных разработок. Позвольте нам разобраться, как конкретно функционирует идентификация по лицу в актуальных смартфонах, какие бывают технологии, насколько они защищены и что нас ждёт впереди.

Сжатая история развития инноваций

Распознавание лиц как техника имеется уже более 50 годов. Начальные пробы автоматического исследования лиц были осуществлены еще в 1960-х годы в исследовательских центрах США. Тогда вычислительные машины могли лишь выделять контуры головы и определять промежутки между глазами и губами на монохромных изображениях.

Первые бизнес установки возникли в 1990-х годах, но они были несовершенны: работали медленно и нередко ошибались. Только с эволюцией синтетических сетей и таких платформ, как вулкан россии, сильных мобильных процессоров идентификация лиц стало по-настоящему массовым явлением.

В 2017 году Apple представила iPhone X с системой Face ID — это был первый популярный смартфон с надёжным трёхмерным идентификацией лица. За этим пошли Android-производители: Samsung, Huawei, Xiaomi и другие стали интегрировать собственные разработки.

Главные этапы действия механизма определения

Процесс определения лица можно ориентировочно разделить на несколько основных этапов:

1. Идентификация лиц — аппарат определяет наличие гуманного образа в снимке.
2. Определение особенностей — система изучает черты облика: очертания зрительных органов, носа, губ, расположение бровей.
3. Построение шаблона — создаётся уникальный виртуальный отпечаток (faceprint) на основе выделенных признаков.
4. Сравнение со эталоном — полученный модель сопоставляется с зафиксированной при регистрации биометрической информацией владельца.
5. Принятие выбора — если совпадение достаточно значительное, смартфон деблокируется.

Каждый из данных стадий нуждается в индивидуальных методов и улучшений для оперативной работы прямо на устройстве.

Аппаратные элементы: что прячется внутри

Типичная селфи камера.

Самый легкий вариант распознавания физиономии использует только лицевую камеру смартфона смартфона. Данный метод внедрён во различных бюджетных вариантах Android-девайсов.

Сильные стороны:

• Необходимо нуждается в дополнительные сенсоров.
• Оперативно работает при достаточном освещении.

Отрицательные стороны:

• Несложно одурачить фотографией или видео.
• Неправильно работает при слабом свете или нестандартных углах обзора.

ИК фотокамера и пунктирный проектор

Более совершенные системы, такие как вулкан россии, применяют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта самая технология составляет базу Face ID от Apple.

Каким способом это функционирует:

• Точечный проектор проецирует на физиономию пользователя невидимую сетку из тысяч инфракрасных точек (например, Face ID использует около 30 000 пятен).
• ИК устройство записывает деформацию данной сетки по поверхности лица.
• Формируется трёхмерная карта глубинности, что почти невозможна для фальсификации обычной фотографией или маской.

Плюсы

• Надёжная функционирование даже в полной неосвещённости.
• Сильная сопротивляемость к фальсификациям.
• Точность идентификации выше 99%.

Дополнительные датчики

В отдельных аппаратах используются также дополнительные датчики: ToF (Time-of-Flight), которые фиксируют время движения света до объекта и обратно; Цветные-датчики глубины; специальные световые лидары для создания более точной 3D-модели физиономии.

Эти технологии используются в основном во топовых устройствах Huawei (серия Mate) или Xiaomi (серия Mi).

Программные процедуры: искуственный разум в работе

Нынешние устройства идентификации лиц немыслимы при отсутствии применения искусственного интеллекта и машинного обучения. Именно вследствие таким разработкам, как вулкан россии, аппарат способно идентифицировать владельца даже при изменениях внешности: новая причёска, щетина, очки или косметика не становятся препятствием для открытия.

Обнаружение лица

В начальном этапе программа должна оперативно найти образ лица среди полного снимка камеры. Для этой задачи применяются многоуровневые классификаторы Хаара или более новейшие конволюционные нейронные сети (CNN), которые подготовлены находить лица людей среди множества других объектов.

Пример: алгоритм MTCNN способен распознавать облик даже при частичном закрытии (например, шарфом или рукой).

Выделение ключевых моментов

После обнаружения лица устройство, такая как вулкан россии, вычисляет расположение ключевых точек: кончики глаз, конец носа, контуры губ и так далее. Как правило используется от 68 до 128 главных точек на лицевой поверхности.

Это действие необходимо для нормализации визуала: если пользователь держит смартфон под углом, или повернул головку, программа “выпрямляет” изображение до обычного угла для дальнейшего анализа.

Создание биометрического идентификатора образца

Далее нейросеть строит сжатое математическое представление (“эмбеддинг”) облика пользователя — своеобразный цифровой образ внешности длиной от 128 до 512 вещественных чисел.

Такой образец весьма трудно сфальсифицировать: он не сохраняет непосредственно фото юзера, а лишь исключительные характеристики его облика, что делает его совершенным для таких площадок, как vulkan russia.

Сопоставление и принятие заключения

Когда человек хочет разлочить телефон глазами, программа повторяет все описанные шаги заново и сверяет полученный шаблон с эталоном из памяти устройства.

Если аналогичность превышает определённый порог (обычно больше 99%), телефон, как и платформа vulkan russia, разблокируется; если нет — доступ не предоставляется.

Привыкание к трансформациям облика

Интересная характеристика актуальных системы — способность самостоятельного обучения. Если ты регулярно доступаете к смартфон с свежей стрижкой или оптикой, алгоритм постепенно освежает основной модель вашего лица для повышения точности работы без ухудшения безопасности.

Охрана биометрических данных информации.

Множество юзеры опасаются хранить свои био-идентификационные данные на мобильном устройстве из-за угрозы потери данных или взлома гаджета. Некоторые фирмы, вроде vulkan russia, предлагают методы для повышения безопасности сведений клиентов.

• Локальное сбережение: Основная часть устройств записывает био-идентификационные образцы лишь в пределах защищенного микросхемы Secure Enclave (Apple) или TrustZone (Android). Они никогда не покидают аппарат и не доступны в том числе производителю.

• Шифрование: Все сведения хранятся только в зашифрованном виде с использованием новейших криптографических алгоритмов AES256.

• Изоляция программ: Программы внешних девелоперов не обладают прямого возможности доступа к биометрическим данным; они могут лишь запрашивать факт верификации идентичности через системный API.

Стоит подчеркнуть значимую подробность: в случае, если кто-то сможет получить доступ к вашему телефону физически (например, во время сна), теоретически возможно разблокировать устройство поднеся его к вашему лицу. Поэтому большинство компании реализуют систему защиты от неосознанного разблокирования — к примеру, требуют раскрыть глаза во время сканирования или применять дополнительное подтверждение после длительного простоя устройства.

Какие существуют типы идентификации лиц на изображениях?

В настоящее время можно различить три главных способа к выполнению этой операции:

Программное 2D распознавание

Эксплуатируется только фронтальная видеокамера без вспомогательных детекторов глубины. Такой способ встречается наиболее часто в доступных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Плюсы: несложность реализации; минимальная стоимость; быстрая работа при достаточном свете.
Минусы: просто ввести в заблуждение снимком; неустойчивая деятельность ночью; слабая охрана.

Техническое трёхмерное сканирование

Применяет ИК видеокамеру + проектор пикселей + датчики глубины (Face ID от Apple; подобные решения у Huawei Mate).
Преимущества: значительная надёжность; невозможно подделать изображение/видеозапись; устойчивая функционирование в любых условиях освещения.
Минусы: увеличение цены устройства; наращивание толщины верхней рамки экрана (“чёлка”)

Гибридные подходы с дополнением ИИ

Задействуют комбинацию софтверных методов + аппаратную обработку + последующую обработку нейросетями для усиления устойчивости к атакам (“anti-spoofing”). Например, подобные продукты, как вулкан россии и Google Pixel Face Unlock современных поколений, сочетают фронталку c ИК датчиком движения Soli Radar для защиты от подделок руками/масками/видеоэкранами посторонних устройств.

Иллюстрации использования разных способов

• iPhone серии X/11/12/13/14 задействуют только аппаратное трёхмерное сканирование
• Xiaomi Mi8 Explorer Edition первый раз предложил подобие Face ID среди Android.
• Samsung Galaxy S10 модель/S20 поддерживают как программное плоское распознавание по изображению селфи-камерой, так и датчик ириса глаза.
• Huawei Mate20 Pro применяет комплекс из ИК-инфракрасного света + Dot Projector + ToF-сенсорный элемент

Трудности защиты и ошибочные сигналы

Несмотря на замечательный прогресс техники за недавние годы, идеальных механизмов пока не наблюдается:

1. Возможность подвоха: Бюджетные мобильники легко доступны четкой изображением владельца или видеозаписью с дисплея иного гаджета.
2. Идентичные близняшки: Даже самые безупречные устройства могут ошибиться между однояйцевыми близнецами либо родственниками с очень похожей внешностью.
3. Трансформации облика: Внезапное снижение веса/набор веса, пластические операции или травмы иногда необходимы для обновления данных биометрических данных.
4. Условия съёмки: Интенсивная подсветка солнечным светом либо глубокая тень могут уменьшить аккуратность определения признаков.

Ниже пара подсказок для надёжному эксплуатации:

• Для важных операций всегда применяйте дополнительную аутентификацию;
• Не активируйте возможность “Разблокировка по лицу” на бюджетных аппаратах без ИК-сенсоров;
• Постоянно обновляйте прошивку программное обеспечение смартфона для предотвращения угроз от новых видов атак;
• Включайте функцию “Требовать распахнутых глаз” там, где она есть.

В каких областях также используется технология за исключением смартфонов?

Пускай основная мысль нашей статьи сосредоточена на именно мобильным устройствам, следует отметить прочих направлениях внедрения технологии:

• Управление входа в офисах и жилых домах;
• Платёжные устройства финансовых учреждений (“Face Pay”);
• Виртуальные паспорта нового образца;
• Установки видеонаблюдения городских служб;
• Автоматизация регистрации присутствия образовательных учреждений/вузов;
• Авторизация юзеров ПК/ноутбуков.

Например: В городском метро уже проверяется система платежа проезда по лицу (“Face Pay”) — достаточно пройти через турникет без карты или телефона! Схожие проекты реализуются в Китае (Шэньчжэнь), Южной Корее и ряде стран Европы.

Как изменяется технический процесс сегодня?

Любой годочек возникают современные идеи для усовершенствования уровня работы систем лицевого распознавания:

1. Увеличивается разрешение датчиков — чем больше информации фиксируется видеокамерой/глубинными сенсорами, тем меньше риск ошибки;
2. Совершенствуются нейронные сети — новейшие конструкции модели MobileNetV3 позволяют быстро адаптироваться к новым характеристикам вида обладателя непосредственно на девайсе без пересылки информации в облачное хранилище.
3. Совершенствуются методы антиспуфинга — теперь смартфоны могут распознавать подлинные движущиеся облики от статичных снимков/масок по незаметным микродвижениям.
4. Интеграция со смарт-гаджетами — интеллектуальные часы могут авто закрыть доступ к мобильный телефон, если владелец отошёл далеко.
5. Проявляются смешанные механизмы — в частности комбинирующие речевую аутентификацию + физиономию + пальцевой отпечаток.

Вот, которые тренды особенно актуальны на сегодняшний день:

1) Сокращение элементов

Компании пытаются уменьшить размер прорези (“чёлки”) для сенсоры на экране за счёт встраивания компактных ИК-излучателей прямо под поверхность дисплея либо высувных модулей камеры.

2) Обработка прямо на девайсе

Для увеличения личной безопасности всё больше расчётов осуществляется внутри устройства без передачи данных во сторонний облачный услугу.

3) Упорядочивание норм

Гугл энергично продвигает норму BiometricPrompt API, для того чтобы аналогичные платформы, например как вулкан россия, и любые Android-аппы могли взаимодействовать с любыми видами биометрии единообразно.

Что решить на сегодня?

Если вам важна наивысшая защита информации, подбирайте передовые модели с интегрированным ИК-излучателем или ToF-сенсором глубины.

• iPhone всех последних версий
• Huawei Partner/Series P ряда
• Xiaomi Expert
• Vivo X линейки
• Oppo Find Х линейки.

Если финансы невелик – лучше отдавать предпочтение классическим методам безопасности (PIN-код/сканер пальца), а опцию “разблокировка по лицу”, такую как в вулкан россия, применять только как второстепенную опцию удобства.

Как увеличить удобство использования возможности?

Есть пара лайфхаков для пользователей, кто уже использует разблокировку через лицо:

1. Периодически обновляйте свою изображение-шаблон, если значительно трансформируется облик.
2. Не упускайте из виду очищать линзу фронтальной камеры – разводы могут снизить четкость!
3. Включайте настройку “Raise to Wake” (“Поднять чтобы проснуться”) – так телефон сам включает камеру когда вы берёте его в руки.
4. В процессе регистрационного процесса старайтесь держать лицевую часть неподвижно перед камеры не допуская сильного наклона головы.
5. Используйте функцию “Attention Aware” (“Реакция на внимание”) – она закрывает мобильное устройство, если вы отвели взгляд от экрана.

Будущее развития технологии

В ближайшие времена можно ожидать возникновения полностью бесконтактных способов распознавания человека сразу по нескольким биометрическим данным параметрам одновременно: физиономия + звучание + шаги + движения рук!

Также предполагается возникновение свежих методов охраны конфиденциальности – скажем, изменяющееся корректировка диджитал шаблона после каждой результативной авторизации, чтобы затруднить его копирование злоумышленниками.

Распознавание лиц – единственная из самых захватывающих инноваций нашего периода! Она обеспечивает интеракцию со мобильным устройством удобнее чем до этого, и такие приложения, как vulkan russia, могут существенно оптимизировать ваш юзерский опыт, но требует внимательного подхода к вопросам защиты личной информации и правильного выбора соответствующей модели гаджета для ваших нужд.

Теперь, если вы понимаете, как работает эта методика изнутри, – сумеете более осмысленно подбирать свой очередной гаджет!