Как работает распознавание лиц в смартфонах

Почему мы предпочитаем разлочивание по лицу

В последние годы распознавание физиономий превратилось в одной из наиболее востребованных функций для открытия смартфонов. Всего несколько лет тому назад основная часть юзеров довольствовались PIN-кодами, секретными кодами или сканерами отпечатков пальцев. Но при появлением подобных технологий, как admiral x, нам достаточно лишь взглянуть на экран — и аппарат тут же узнает своего владельца.

Какая вещь превращает данную функцию такой востребованной? Прежде всего, это удобно: не нужно удерживать в памяти сложные пароли или отыскивать правильный палец в мраке. Во-вторых, это оперативно: современные программы распознают лицо буквально за доли секунды. В-третьих, это ощущение футуризма — как будто в кинофильмах про адмирал х официальный сайт разведчиков.

Однако за этой на первый взгляд легкостью таится полный универсум трудных методов и инженерных концепций. Позвольте нам понять, как точно функционирует идентификация по лицу в актуальных мобильных телефонах, какие бывают технологии, насколько они безопасны и что нас предстоит.

Короткая повествование прогресса техники

Распознавание лиц как технология присутствует уже более пятидесяти годов. Первые пробы автоматического изучения облика были осуществлены еще в 1960-х годах в лабораториях США. Тогда ЭВМ могли лишь определять силуэты черепа и измерять расстояния между зрачками и ртом на черно-белых снимках.

Изначальные коммерческие установки появились в 90-х, но они были неидеальны: действовали неспешно и часто ошибались. Только с развитием нейронных сетей и таких систем, как адмирал х, высокопроизводительных мобильных процессоров определение лиц стало по-настоящему широко распространённым явлением.

В две тысячи семнадцатом году Apple представила iPhone X с системой Face ID — это был первый массовый смартфон с безопасным трёхмерным распознаванием лица. За ним последовали Android-изготовители: Samsung, Huawei, Xiaomi и другие стали интегрировать свои решения.

Ключевые стадии действия устройства идентификации

Процесс распознавания лица можно примерно поделить на несколько важных этапов:

1. Идентификация лица — устройство выявляет присутствие гуманного лица в снимке.
2. Определение признаков — алгоритм анализирует черты облика: очертания глаз, обонятельного органа, губ, положение бровей.
3. Построение шаблона — создаётся уникальный электронный отпечаток (faceprint) на основе выделенных признаков.
4. Сравнение со образцом — созданный модель сопоставляется со зафиксированной при учёте биометрической сведениями владельца.
5. Принятие выбора — если сходство достаточно существенное, смартфон разблокируется.

Любой из этих этапов требует специальных алгоритмов и усовершенствований для оперативной работы непосредственно на девайсе.

Аппаратные элементы: что прячется внутри них

Типичная фронтальная камера.

Самый легкий метод определения физиономии применяет только лицевую камеру мобильного устройства. Подобный метод осуществлён во различных недорогих вариантах Android-устройств.

Положительные стороны:

• Необходимо нуждается в дополнительные датчиков.
• Шустро функционирует при хорошем освещённости.

Недостатки:

• Просто обмануть снимком или видео.
• Плохо действует при слабом освещении или нестандартных углах обзора.

ИК камера и пунктирный проекционный аппарат

Более продвинутые системы, такие как адмирал х, используют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта самая техпроцесс составляет базу Face ID от Apple.

Каким способом это функционирует:

• Точечный проектор показывает на физиономию использующего невидимую структуру из тысяч инфракрасных меток (например, Face ID использует около 30 000 точек).
• Инфракрасная устройство записывает деформацию этой сетки по поверхности лица.
• Создаётся трёхмерная карта глубинности, которая почти что неподвластна для фальсификации стандартной фото или маскировкой.

Достоинства

• Надёжная работа даже в полной неосвещённости.
• Высокая сопротивляемость к фальсификациям.
• Точность идентификации выше 99%.

Дополнительные датчики

В отдельных устройствах задействуются также дополнительные датчики: ToF (Time-of-Flight), которые измеряют период распространения света до предмета и обратно; RGB-датчики дальности; специальные лазерные лидары для построения более аккуратной 3D-модели лица.

Эти разработки применяются наиболее часто во топовых аппаратах Huawei (серия Mate) или Xiaomi (серия Mi).

Компьютерные методы: синтетический ум на действии

Современные устройства опознания физиономий невозможны в отсутствие эксплуатации искусственного интеллекта и машинного обучения. Именно из-за таким инновациям, как адмирал х, устройство в состоянии распознавать юзера даже при трансформациях внешнего вида: новая стрижка, растительность на лице, оптика или макияж не становятся барьером для деблокировки.

Детектирование лица

На стартовом стадии система обязана оперативно распознать образ лица в пределах всего снимка с камеры. Для этой задачи используются многоуровневые классификаторы Хаара или более современные конволюционные нейронные сети (CNN), которые “обучены” идентифицировать лица людей среди множества других объектов.

Пример: процесс MTCNN способен обнаруживать лицо даже с частичном закрытии (например, шалью или ладонью).

Выделение основных моментов

После распознавания лица устройство, такая как адмирал х, вычисляет положение главных точек: уголки глаз, верхушка носа, границы губ и так далее. Как правило задействуется от 68 до 128 главных маркеров на лицевой области.

Данное нужно для выравнивания картинки: если пользователь находится с телефон под углом, или склонил головку, программа исправляет изображение до стандартного положения для дальнейшего анализа.

Создание биометрии образца

Далее искусственная сеть строит компактное цифровое представление (“эмбеддинг”) лица пользователя — своеобразный цифровой “отпечаток” внешности длиной от 128 до 512 чисел с плавающей запятой.

Такой формат весьма трудно сфальсифицировать: он не удерживает непосредственно изображение юзера, а лишь исключительные характеристики его облика, что делает его совершенным для таких площадок, как admiral-x.

Сравнительный анализ и принятие заключения

В случае, когда пользователь хочет разлочить смартфон взором, система осуществляет все шаги снова и сопоставляет полученный шаблон с эталоном из памяти устройства.

Если аналогичность превышает определённый уровень (обычно больше 99%), телефон, как и платформа admiral-x, разблокируется; если нет — доступ запрещается.

Адаптация к трансформациям облика

Интересная характеристика современных системы — способность самостоятельного обучения. Если вы регулярно доступаете к смартфон с свежей прической или очками, алгоритм постепенно обновляет эталонный образец вашего внешности для увеличения точности действия без ухудшения безопасности.

Защита биометрии информации.

Большинство юзеры боятся сохранять свои био-идентификационные данные на мобильном устройстве из-за угрозы утечки информации или взлома устройства. Некоторые организации, например admiral-x, предлагают решения для повышения защиты информации клиентов.

• Локальное сбережение: Большинство аппаратов хранит био-идентификационные шаблоны только внутрь защищённого микросхемы Secure Enclave (Apple) или TrustZone (Android). Они ни разу не не выходят из гаджет и закрыты в том числе производителю.

• Шифрование: Все данные сберегаются только в зашифрованном виде с использованием современных криптографических алгоритмов AES256.

• Изоляция приложений: Программы третьих девелоперов не имеют прямого доступа к биометрическим данным; они могут лишь требовать подтверждение верификации идентичности через системный API.

Необходимо отметить важную деталь: в случае, если кто-либо сможет получить доступ к вашему телефону физически (например, во время сна), теоретически возможно разблокировать устройство поднеся его к вашему лицу. Поэтому значительное количество производители осуществляют меры безопасности от автоматического разблокирования — например, требуют раскрыть глаза во время сканирования или задействовать дополнительное подтверждение после длительного простоя устройства.

Какие именно бывают категории идентификации лиц?

На сегодняшний день можно определить определить 3 главных подхода к реализации этой задачи:

Программируемое плоское идентификация

Используется только фронтальная видеокамера без вспомогательных сенсоров дистанции. Такой подход наблюдается наиболее часто в доступных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Преимущества: простота осуществления; минимальная цена; скоростная функционирование при достаточном освещении.
Минусы: несложно одурачить фотографией; нестабильная деятельность ночью; низкая охрана.

Оборудование для объёмное сканирование

Использует ИК камеру + проекционный модуль точек + датчики глубины (Face ID от Apple; аналогичные решения у Huawei Mate).
Плюсы: большая надежность; невозможно исказить изображение/видеозапись; стабильная деятельность при любом освещении.
Минусы: удорожание устройства; возрастание толщины верхней рамки экрана (“чёлка”)

Гибридные методы с ИИ-дополнением

Задействуют комбинацию софтверных методов + аппаратно-техническую обработку + дополнительную обработку нейросетями для усиления устойчивости к атакам (“anti-spoofing”). Например, подобные товары, например адмирал х и Google Pixel Face Unlock новейших поколений, объединяют фронтальную камеру c ИК сенсором движения Soli Radar для предотвращения от подделок жестами/масками/видеодисплеями чужих устройств.

Иллюстрации применения разных методов

• iPhone линейки X/11/12/13/14 используют только физическое трёхмерное 3D-сканирование
• Xiaomi Mi8 Explorer Edition впервые внедрил подобие Face ID среди Android.
• Samsung Galaxy S10/S20 обеспечивают как программное плоское распознавание по фото селфи-камерой, так и сенсор ириса глаза.
• Huawei Mate20 Pro применяет комплекс из ИК-инфракрасного света + Dot Projector + ToF-датчик

Вопросы защиты и неверные срабатывания

Несмотря на замечательный развитие инноваций за прошедшие годы, идеальных системы пока не имеется:

1. Вероятность подвоха: Недорогие мобильники легко “разблокируются” четкой фотографией владельца или видео с дисплея иного гаджета.
2. Идентичные близняшки: Даже самые безупречные механизмы могут перепутать между однояйцевыми близнецами либо семьями с очень аналогичной внешностью.
3. Метаморфозы внешнего вида: Внезапное похудение/увеличение массы тела, косметические процедуры или травмы порой требуют обновления данных биометрии.
4. Условия записи: Интенсивная засветка солнечным светом или плотная темнота могут понизить точность определения признаков.

Вот пара советов по защищённому применению:

• Для важных операций всегда внедряйте двухфакторную аутентификацию;
• Не запускайте возможность “Разблокировка по лицу” на дешёвых устройствах без ИК-сенсоров;
• Постоянно апгрейдите ПО смартфона для обеспечения безопасности от современных угроз;
• Включайте функцию “Требовать раскрытых глаз” везде, где она есть.

В каких областях дополнительно применяется технологии помимо мобильных телефонов?

Хотя предмет нашей публикации касается именно мобильным устройствам, необходимо сказать о прочих направлениях внедрения технологии:

• Контроль доступа в офисах и многоквартирных зданиях;
• Платёжные устройства финансовых учреждений (“Face Pay”);
• Цифровые паспорта последнего образца;
• Установки видеомониторинга городских сервисов;
• Механизация отслеживания посещаемости учебных заведений/вузов;
• Вход участников ПК/ноутбуков.

Например: В московском метро уже испытывается система платежа проезда по лицу (“Face Pay”) — хватит пройти через турникет без карты или мобильника! Похожие программы осуществляются в Поднебесной (Шэньчжэнь), Республике Корея и некоторых европейских странах.

Каким образом изменяется технология сегодня?

Любой годик проявляются современные концепции для повышения стандарта работы систем лицевого распознавания:

1. Увеличивается детализация датчиков — чем больше информации фиксируется фотоаппаратом/датчиками глубины, тем меньше шанс погрешности;
2. Развиваются искусственные интеллекты — современные конструкции типа MobileNetV3 позволяют быстро адаптироваться к дополнительным чертам вида пользователя прямо на устройстве без отправки данных в облако.
3. Развиваются технологии антиспуфинга — теперь мобильные устройства могут отличать подлинные движущиеся облики от статичных фото/масок по микроскопическим микродвижениям.
4. Интеграция со умными устройствами — умные часы могут автоматически блокировать мобильный телефон, если владелец удалился на значительное расстояние.
5. Проявляются комбинированные системы — например объединяющие голосовую аутентификацию + лицо + отпечаток пальца.

Вот, те тенденции особенно актуальны в данный момент:

1) Уменьшение деталей

Производители стараются уменьшить величину выреза (“чёлки”) для сенсоры на дисплее за счёт внедрения компактных ИК-излучателей прямо под поверхность дисплея либо выдвижных модулей камеры.

2) Переработка прямо на аппарате

Для увеличения приватности всё более обработки данных осуществляется внутри устройства без пересылки данных во дополнительный облачный услугу.

3) Упорядочивание регламентов

Гугл энергично продвигает эталон BiometricPrompt API, с целью чтобы подобные системы, вроде admiral x, и каждые Android-программы были совместимы с любыми видами биометрии единообразно.

Какое выбрать на сегодня?

Если тебе нужна предельная сохранность информации, остановите выбор на топовые аппараты со встроенным ИК-излучателем либо ToF-датчиком глубины.

• iPhone всех последних версий
• Huawei Partner/P ряда
• Mi Pro
• Vivo X линейки
• Оппо Find X серий.

Если средства ограничен – лучше выбирать обычным способам безопасности (PIN-код/сканер отпечатка), а возможность “разблокировка по лицу”, такую как в admiral x, задействовать только как дополнительную опцию комфорта.

Как улучшить удобство использования функции?

Есть некоторые хитростей для людей, кто уже использует разблокировку через лицо:

1. Периодически меняйте свою фотографию-шаблон, если сильно изменяется внешность.
2. Не пренебрегайте очищать линзу фронтальной камеры – разводы могут уменьшить четкость!
3. Включайте настройку “Raise to Wake” (“Поднять чтобы проснуться”) – так телефон сам включает камеру когда вы поднимаете его.
4. Во время регистрационного процесса старайтесь сохранять лицо прямо напротив камеры без сильного наклона головы.
5. Задействуйте опцию “Attention Aware” (“Реакция на внимание”) – она закрывает телефон, если вы отвернулись от дисплея.

Возможности эволюции техники

В ближайшие времена можно ожидать появления полностью безконтактных способов идентификации человека сразу по нескольким биометрическим данным параметрам одновременно: лицо + звучание + шаги + движения рук!

Также возможно возникновение новых подходов охраны приватности – например, изменяющееся модификация цифрового образца после каждой успешной авторизации, чтобы усложнить его копирование злоумышленниками.

Идентификация лиц – единственная из очень интересных технологий нашего периода! Она обеспечивает интеракцию со телефоном удобнее чем когда-либо прежде, и такие программы, как admiral-x, могут в разы оптимизировать ваш пользовательский опыт, но запрашивает осознанного отношения к вопросам безопасности личных данных и грамотного выбора подходящей модели устройства под ваши задачи.

Теперь, когда вы осведомлены, как функционирует эта система изнутри, – будете в состоянии более осмысленно определять свой следующий девайс!