Каким образом функционирует идентификация лиц в мобильных устройствах

Почему мы предпочитаем разблокирование по лицу

В недавние годы определение лиц является одной из самых популярных возможностей для разблокировки смартфонов. Еще пару годков назад основная часть использующих удовлетворялись пин-кодами, ключами доступа или сканерами отпечатков пальцев. Но при появлением таких технологий, как admiral x, нам достаточно просто взглянуть на экран — и аппарат тут же узнает своего владельца.

Какая вещь делает эту конкретную особенность такой востребованной? Для начала, это комфортно: не нужно запоминать замысловатые пароли или искать правильный палец в мраке. Во-вторых, это мгновенно: современные алгоритмы идентифицируют лицо фактически за мгновение. В-третьих, это ощущение футуризма — словно в кинофильмах про адмирал х разведчиков.

Однако за такой на первый взгляд простотой скрывается целый вселенная сложных методов и инженерных решений. Попробуем понять, как точно работает идентификация по лицу в актуальных смартфонах, какие бывают методы, насколько они надёжны и что нас ждёт впереди.

Короткая хроника развития техники

Идентификация лиц как методика имеется уже более 50 годов. Изначальные эксперименты машинного анализа лица были осуществлены еще в 1960-х годы в лабораториях США. Тогда ЭВМ умели лишь определять контуры черепа и измерять промежутки между зрачками и губами на ахроматических фотографиях.

Изначальные коммерческие системы стали доступны в 1990-х годах, но они были несовершенны: работали медленно и часто ошибались. Только с эволюцией нейронных сетей и таких платформ, как адмирал х, сильных мобильных микросхем определение лиц стало по-настоящему массовым явлением.

В две тысячи семнадцатом году Apple представила iPhone X с системой Face ID — это был первый популярный смартфон с достоверным трёхмерным идентификацией лица. За ним последовали Android-изготовители: Samsung, Huawei, Xiaomi и прочие начали внедрять личные разработки.

Ключевые шаги функционирования механизма распознавания

Процесс идентификации лица можно ориентировочно сегментировать на несколько ключевых этапов:

1. Обнаружение лица — аппарат определяет наличие гуманного лица в снимке.
2. Определение характеристик — алгоритм изучает особенности лица: конфигурацию зрительных органов, обонятельного органа, уст, позицию надбровных дуг.
3. Построение структуры — создаётся уникальный виртуальный отпечаток (faceprint) на основе идентифицированных признаков.
4. Сравнение с эталоном — сформированный образец сопоставляется с сохранённой при учёте биометрической информацией владельца.
5. Принятие решения — если совпадение достаточно существенное, смартфон открывается.

Любой из данных шагов требует индивидуальных алгоритмов и оптимизаций для оперативной работы непосредственно на девайсе.

Железные компоненты: что скрыто внутри них

Стандартная селфи камера.

Наиболее простой способ распознавания физиономии задействует только фронтальную камеру смартфона смартфона. Такой метод реализован во многих бюджетных версиях Android-устройств.

Положительные стороны:

• Не нуждается в дополнительные датчиков.
• Шустро действует при хорошем освещённости.

Отрицательные стороны:

• Несложно обмануть фотографией или видеозаписью.
• Неудачно работает при слабом освещённости или необычных углах обзора.

ИК фотокамера и пунктирный проекционный аппарат

Более совершенные системы, такие как адмирал х, используют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Данная техпроцесс составляет базу Face ID от Apple.

Каким образом это действует:

• Точечный проекционный прибор отображает на облик юзера невидимую сетку из тысяч инфракрасных меток (например, Face ID использует около 30 000 пятен).
• Инфракрасная устройство регистрирует деформацию данной решетки по поверхности лица.
• Получается трёхмерная карта глубины, что практически неосуществима для подделки типичной фото или маскировкой.

Выигрыши

• Надёжная работа даже в полной темноте.
• Большая устойчивость к имитациям.
• Точность распознавания выше 99%.

Дополнительные датчики

В отдельных девайсах задействуются также вспомогательные сенсоры: ToF (Time-of-Flight), которые определяют период движения луча до цели и обратно; RGB-датчики дальности; специальные лазерные дальномеры для создания более аккуратной 3D-модели физиономии.

Эти инновации применяются в основном во передовых аппаратах Huawei (серия Mate) или Xiaomi (серия Mi).

Компьютерные методы: синтетический интеллект на работе

Нынешние системы распознавания физиономий неосуществимы при отсутствии применения искусственного интеллекта и машинного обучения. Именно благодаря таким технологиям, как адмирал х, аппарат может распознавать юзера даже при изменениях облика: новая стрижка, борода, линзы или макияж не становятся помехой для разблокировки.

Распознавание физиономии

В начальном шаге система должна мгновенно распознать лицо в пределах целого изображения камеры. Для этого применяются последовательные классификаторы Хаара или более современные сверточные нейронные сети (CNN), которые натренированы находить человеческие лица среди множества других объектов.

Пример: алгоритм MTCNN может находить лицо даже при частичном перекрытии (например, шарфом или ладонью).

Идентификация основных моментов

После распознавания лица механизм, такая как адмирал х, устанавливает положение ключевых точек: кончики глаз, кончик носа, контуры губ и так далее. Часто используется от 68 до 128 главных меток на лицевой поверхности.

Это требуется для стабилизации изображения: если человек держит смартфон под наклоном, или наклонил головку, программа корректирует картинку до нормального состояния для дальнейшего анализа.

Построение биометрии шаблона

Далее нейросеть строит сжатое цифровое представление (« эмбеддинг ») внешности пользователя — своеобразный цифровой образ лица длиной от 128 до 512 флоатов.

Этот шаблон весьма сложно имитировать: он не сохраняет непосредственно изображение юзера, а лишь исключительные характеристики его облика, что делает его совершенным для таких систем, как admiral-x.

Сравнительный анализ и принятие выбора

Если человек желает разблокировать мобильник взглядом, программа воспроизводит все описанные шаги снова и сопоставляет полученный шаблон с эталоном из памяти устройства.

Если схожесть превышает определённый порог (обычно выше 99%), телефон, как и платформа admiral-x, открывается; если нет — доступ не предоставляется.

Адаптация к метаморфозам облика

Занимательная особенность актуальных систем — возможность самообучения. Если вы регулярно доступаете к телефон с обновленной прической или очками, система постепенно освежает основной модель вашего внешности для увеличения точности действия без ухудшения безопасности.

Охрана биометрии информации.

Множество пользователи опасаются держать свои биометрические данные на смартфоне из-за угрозы утечки информации или взлома гаджета. Иные организации, например admiral-x, предлагают методы для улучшения защиты данных юзеров.

• Локальное сбережение: Преимущественно аппаратов хранит биометричные модели лишь в пределах защищенного микросхемы Secure Enclave (Apple) или TrustZone (Android). Они никогда не оставляют устройство и не доступны даже создателю.

• Шифрование: Все сведения хранятся только в кодированном виде с использованием новейших криптографических алгоритмов AES256.

• Изоляция программ: Приложения сторонних девелоперов не имеют прямого возможности доступа к биометрическим данным; они могут лишь запрашивать факт верификации личности через системный API.

Стоит отметить важную особенность: если кто-то получит доступ к вашему телефону физически (например, во время сна), теоретически можно разблокировать устройство, поднеся его к вашему лицу. Поэтому значительное количество изготовители внедряют меры безопасности от автоматического разблокирования — например, требуют разомкнуть глаза во время сканирования или применять дополнительное подтверждение после длительного простоя устройства.

Какие бывают категории определения лиц на изображениях?

В настоящее время можно определить определить 3 основных способа к реализации этой задачи:

Софтверное 2D определение

Используется только передняя видеокамера без дополнительных датчиков глубины. Такой подход наблюдается чаще всего в доступных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Преимущества: несложность реализации; умеренная стоимость; оперативная деятельность при качественном свете.
Минусы: просто обмануть снимком; нестабильная деятельность ночью; недостаточная охрана.

Аппаратное трёхмерное сканирование

Задействует инфракрасную видеокамеру + проектор пикселей + сенсоры дистанции (Face ID у Apple; подобные решения у Huawei Mate).
Преимущества: высокая надежность; невозможно подделать фото/видео; стабильная работа при любом освещении.
Минусы: повышение стоимости устройства; наращивание толщины верхней рамки экрана (« чёлка »)

Комбинированные методы с интеграцией ИИ

Используют комбинацию программных методов + аппаратную обработку + дополнительную обработку нейросетями для повышения устойчивости к атакам (« anti-spoofing »). Например, подобные продукты, например адмирал х и Google Pixel Face Unlock новейших версий, объединяют фронтальную камеру c инфракрасным сенсором движения Soli Radar для защиты от подделок жестами/масками/видеоэкранами чужих устройств.

Образцы эксплуатации различных техник

• iPhone линейки X/11/12/13/14 применяют только аппаратное трёхмерное сканирование в 3D
• Xiaomi Mi8 Explorer Edition в первый раз внедрил аналог Face ID в числе Android.
• Samsung Galaxy S10 версия/S20 поддерживают как софтверное плоское определение по фото фронталкой, так и сканер радужки глаза.
• Huawei Mate20 Pro использует набор из ИК-освещения + Dot Projector + ToF-сенсорный элемент

Вопросы безопасности и ошибочные сигналы

Несмотря на впечатляющий прогресс технологий за последние лет, совершенных системы пока не наблюдается:

1. Вероятность мошенничества: Недорогие телефоны без труда доступны четкой изображением пользователя или же роликом с экрана другого устройства.
2. Идентичные близнецы: Даже самые совершенные механизмы могут спутать между однояйцевыми близнецами либо семьями с очень аналогичной внешностью.
3. Изменения внешнего вида: Стремительное похудение/набор веса, косметические процедуры или повреждения в некоторых случаях требуют перерегистрации биометрических данных.
4. Условия фотографирования: Интенсивная засветка солнечным светом или интенсивная затенение могут уменьшить аккуратность распознавания признаков.

Вот несколько подсказок для надёжному эксплуатации:

• Для значимых операций всегда применяйте двухэтапную аутентификацию;
• Не активируйте возможность « Разблокировка по лицу » на бюджетных устройствах без ИК-сенсоров;
• Постоянно апгрейдите прошивку смартфона для предотвращения угроз от новых видов атак;
• Включайте настройку « Требовать открытых глаз » там, где она есть.

В каких местах также используется технология за исключением смартфонов?

Несмотря на то, что основная мысль данной статьи сосредоточена на конкретно портативным гаджетам, необходимо сказать о прочих направлениях внедрения технологии:

• Мониторинг прохода в деловых центрах и резиденциях;
• Платёжные терминалы финансовых учреждений (« Face Pay »);
• Цифровые паспорта нового типа;
• Комплексы видеомониторинга городских подразделений;
• Автоматизирование регистрации посещаемости школ/университетов;
• Аутентификация участников персональных компьютеров/ноутбуков.

Например: В городском метро уже проверяется система платежа проезда по лицу (« Face Pay ») — достаточно пройти через барьер без карты или мобильника! Схожие проекты развиваются в Поднебесной (Шэньчжэнь), Южной Корее и ряде стран Европы.

Как меняется технология сегодня?

Всякий годик появляются свежие идеи для улучшения качества работы систем идентификации лиц:

1. Увеличивается разрешение датчиков — чем больше элементов фиксируется фотоаппаратом/датчиками глубины, тем меньше риск ошибки;
2. Развиваются нейросети — новейшие архитектуры типа MobileNetV3 обеспечивают возможность скоростно обучаться дополнительным характеристикам облика обладателя непосредственно на девайсе без отправки данных в облако.
3. Развиваются методы антиспуфинга — теперь смартфоны способны распознавать подлинные анимированные облики от неподвижных фото/масок по мельчайшим микродвижениям.
4. Интеграция со интеллектуальными приборами — смарт-часы могут автоматически блокировать мобильный телефон, если обладатель отошёл далеко.
5. Проявляются гибридные механизмы — к примеру объединяющие аудио опознание + облик + дактилоскопический след.

Здесь, те тенденции очень популярны сейчас:

1) Миниатюризация деталей

Компании стараются сократить величину прорези (« чёлки ») под сенсоры на дисплее за счёт внедрения маленьких ИК-проекторов прямо под стекло дисплея либо выдвижных модулей камеры.

2) Обработывание прямо на устройстве

Для улучшения приватности всё более расчётов осуществляется на месте без пересылки данных во внешний облачный сервис.

3) Упорядочивание норм

Google активно продвигает стандарт BiometricPrompt API, с целью чтобы аналогичные системы, вроде admiral x, и каждые Android-приложения могли взаимодействовать с любыми видами биометрии стандартизированно.

Что решить на сегодня?

Если тебе необходима предельная сохранность информации, подбирайте топовые аппараты с вмонтированным ИК-проектором либо ToF-сенсором глубины.

• iPhone всех новейших поколений
• Huawei Companion/Series P ряда
• Xiaomi Pro
• Vivo X линейки
• Oppo Find Икс серии.

Если финансы ограничен – лучше выбирать традиционным методам защиты (PIN-код/сканер отпечатка), а возможность « разблокировка по лицу », такую как в admiral x, использовать только как дополнительную возможность комфорта.

Как увеличить комфорт функционирования опции?

Есть некоторые хитростей для пользователей, кто уже использует разблокировку через лицо:

1. Часто обновляйте свою изображение-шаблон, если кардинально трансформируется облик.
2. Не пренебрегайте протирать линзу передней камеры – загрязнения могут снизить четкость!
3. Включайте опцию “Raise to Wake” (“Поднять чтобы проснуться”) – в результате смартфон сам запускает фотоаппарат если вы берёте его в руки.
4. Во время регистрационного процесса постарайтесь держать лицо ровно впереди камеры исключая сильного наклона головы.
5. Используйте возможность “Attention Aware” (“Реакция на внимание”) – она блокирует телефон, если вы отвели взгляд от экрана.

Перспективы прогресса технологии

В ближайшие периоды можно предполагать появления полностью бесконтактных способов опознания персоны сразу по нескольким биометрическим характеристикам параметрам одновременно: лицо + речь + манера ходьбы + жесты рук!

Также предполагается появление свежих подходов обеспечения конфиденциальности – например, изменяющееся корректировка цифрового паттерна после каждой успешной авторизации, чтобы затруднить его копирование злоумышленниками.

Распознавание лиц – одна из очень интересных инноваций нашего периода! Она делает общение со мобильным устройством проще чем до этого, и такие аппы, как admiral-x, могут в разы повысить ваш пользовательский опыт, но запрашивает осознанного отношения к вопросам безопасности личных данных и грамотного выбора подходящей модели устройства под ваши задачи.

Теперь, когда вы понимаете, как функционирует эта технология в деталях, – сумеете вдумчиво выбирать свой будущий гаджет!