KFC

Система распознавания лиц

Сделали приложение с биометрией по лицам. Оно учитывает, кто, когда и сколько работал. Обмануть систему невозможно. Учёт рабочего времени стал на 100% автоматический и зарплата начисляется верно.

Раньше менеджеры KFC записывали рабочее время сотрудников в бумажном журнале и вручную переносили его в систему табельного учёта. Было много ошибок. Старые устройства для учёта по отпечатку пальца можно было обмануть с помощью скотча.

Теперь в ресторанах есть система распознавания лиц. Мы связали 3D-камеру и приложение на Android. Сотрудники ресторана отмечаются в начале и конце смены. Данные передаются в общую систему для расчёта зарплаты и производительности.

app store google play

Решение

Выбрали оборудование

Система должна быть защищена от мошенничества: нужно, чтобы она распознавала, настоящее ли перед ней лицо, или это фотография, или экран с видеозаписью. Под наши требования подошла 3D-камера Intel RealSense со встроенным ToF датчиком — он строит карту глубины, чтобы отличать объемное лицо от плоского изображения.

В некоторых ресторанах может быть нестабильное соединение с интернетом: использовать облачные сервисы для распознавания не получится. Процесс должен происходить локально, на стороне клиента — на сервер мы отправляем только результат распознавания. Для этой задачи хорошо подходит планшетный компьютер с Android.

У планшета должен быть отдельный вход для питания и USB-порт для подключения камеры. Большинство моделей бытовых устройств не удовлетворяют этому требованию. Мы нашли сенсорный монитор-планшет с 22-дюймовым экраном и ОС Android. У него нет встроенной батареи, он питается от сети 220V. USB-портов несколько: можно подключать камеру, не перекрывая доступ к питанию.

Планшет PROLITE T2253MTS-B1, 3D-камера Intel® RealSense™ Depth Camera D435i

Разработали дизайн интерфейса

Применили фирменный стиль KFC и постарались сделать дружелюбный UI. Он вызывает положительные эмоции и вау-эффект при первой встрече: приветствуем сотрудника на «ты», желаем хорошей смены, даём дополнительную информацию, которая пригодится в работе.

Особое внимание уделили UX, сделали интерфейс понятным для сотрудников. Тщательно проработали пограничные кейсы:

• лицо найдено и распознано, но его нет в базе,
• лицо не найдено,
• ошибка приложения,
• ошибка связи с сервером,
• превышен тайм-аут и т.д.

Мы учли все возможные ситуации: что может пойти не так и что при этом сказать пользователю. Важно не поставить человека в неловкое положение и не вызвать у него негативных эмоций — ведь это может сказаться на мотивации и качестве работы.

Приложение выполняет информационную функцию: в режиме ожидания на экране прокручивается карусель баннеров. Отображается информация по целям и задачам для каждого сотрудника ресторана.

В ERP системе KFC DSR мы добавили отчёты фактическом времени выхода на смену и завершения смены.

Внедрили обработку и распознавание изображений

Обработка и распознавание изображений происходит на стороне клиента — в Android-приложении. Для этого мы использовали библиотеку Face SDK.

С 3D камеры мы получаем два фрейма: один цветной, другой — с картой глубины. Они используются в дальнейших вычислениях. Фреймы преобразуются в изображения нужного формата и передаются библиотеке для распознавания.

Библиотека находит лицо на фотографии, кадрирует изображение, получает из него цифровой слепок. С помощью модуля Recognizer слепок сравнивается по базе с другими. Библиотека находит совпадение и определяет, чьё это лицо. С помощью модуля DepthLivenessEstimator и карты глубины идёт проверка: реальный ли человек находится в кадре или это плоское изображение.

Результат успешного или неудачного распознавания уходит на сервер системы KFC DSR.

Интегрировали с KFC DSR

ERP система KFC DSR построена на микросервисной архитектуре. Для системы распознавания лиц мы создали отдельный сервис.

Android-приложение получает из DSR актуальный список сотрудников ресторана. Менеджеру требуется сделать фотографии сотрудников ресторана прямо с устройства и добавить их в базу. По этим фото будет происходить распознавание.

Если распознавание личности прошло успешно, система отправляет время фактического начала и завершения смены в:

• ERP систему KFC DSR для расчёта производительности и других операционных метрик работы ресторана,
• в систему табельного учёта для расчёта заработной платы.

Директор ресторана и менеджеры смены могут смотреть отчёты о фактическом отработанном времени через веб-интерфейс DSR.

Протестировали в боевых условиях

После тщательного тестирования в офисе Surf мы провели пробный запуск в одном из ресторанов KFC. Мы добавили в отчёты таблицу с регистрацией инцидентов, чтобы отслеживать неудачные сеансы распознания и разбирать их причины. За месяц работы в боевых условиях система показала стопроцентную точность: ни разу не было ситуации, когда лицо или личность человека не распознались.

Результат

Процесс табельного учёта стал эффективнее. Исключены ошибки, связанные с человеческим фактором

• Автоматизировали учёт рабочего времени в ресторанах с использованием биометрии по лицам.
• Лица распознаются без ошибок.
• Отрезали возможности для мошеннических действий.
• Приложение станет основой для полноценного интерактивного портала и избавит рестораны от бумажных объявлений. Информация будет более точной, своевременной, доступной и будет распространяться централизованно.
• Система даёт простор для экспериментов: кроме лица она умеет определять пол, возраст, эмоции, может распознавать несколько лиц в кадре, получать информацию с камер наблюдения, установленных, например, на кухне или в зале.