KFC Face Recognition

Cистема финансовой аналитики и управления бизнес-процессами в ресторанах KFC на территории СНГ

Задача

Создать систему распознавания лиц
и автоматизировать учёт рабочего времени в ресторанах KFC

Раньше менеджеры ресторанов KFC записывали рабочее время сотрудников в бумажном журнале и вручную переносили данные в систему табельного учёта. Это приводило к ошибкам из-за человеческого фактора: менеджер мог некорректно учесть отработанное время, не отметить приход или уход сотрудника.

Известно несколько случаев, когда в ресторанах партнёров директора нанимали фейковых сотрудников: «мёртвых душ», которые существовали только по документам, или официально оформляли одного человека, а фактически работал вместо него другой.

В некоторых ресторанах работала автоматизированная система: рабочее время учитывалось по отпечатку пальца. Но она стоила дорого, интегрировать её было трудно, а перехитрить — легко: датчик отпечатка пальца можно обмануть с помощью канцелярского скотча.

Система распознавания лиц подойдёт для автоматизации учёта рабочего времени лучше. В будущем её можно развить и проверять не только приход и уход сотрудников, но и качество работы на рабочих станциях в ресторане: к системе можно подключать несколько камер наблюдения и распознавать лица в режиме онлайн.

Наша задача — разработать приложение, которое будет:

  • Корректно распознавать сотрудников ресторана,
  • Фиксировать время фактического начала и завершения смены
  • Отправлять данные на сервер

Приложение необходимо интегрировать с ERP системой KFC DSR, корпоративным порталом Workplace и специальным ПО для табельного учёта.

В будущем приложение должно стать полноценным интерактивным порталом. В каждом ресторане будет цифровая инфопанель с важными показателями работы ресторана, корпоративными новостями и другой полезной информацией. Сейчас сотрудники пользуются маркерной доской и пишут бумажные объявления.

Решение

Выбрали оборудование

Система должна быть защищена от мошенничества: нужно, чтобы она распознавала, настоящее ли перед ней лицо, или это фотография, или экран с видеозаписью. Под наши требования подошла 3D-камера Intel RealSense со встроенным ToF датчиком — он строит карту глубины, чтобы отличать объемное лицо от плоского изображения.

В некоторых ресторанах может быть нестабильное соединение с интернетом: использовать облачные сервисы для распознавания не получится. Процесс должен происходить локально, на стороне клиента — на сервер мы отправляем только результат распознавания. Для этой задачи хорошо подходит планшетный компьютер с Android.

У планшета должен быть отдельный вход для питания и USB-порт для подключения камеры. Большинство моделей бытовых устройств не удовлетворяют этому требованию. Мы нашли сенсорный монитор-планшет с 22-дюймовым экраном и ОС Android. У него нет встроенной батареи, он питается от сети 220V. USB-портов несколько: можно подключать камеру, не перекрывая доступ к питанию.

Планшет PROLITE T2253MTS-B1, 3D-камера Intel® RealSense™ Depth Camera D435i

Разработали дизайн интерфейса

Применили фирменный стиль KFC и постарались сделать дружелюбный UI. Он вызывает положительные эмоции и вау-эффект при первой встрече: приветствуем сотрудника на «ты», желаем хорошей смены, даём дополнительную информацию, которая пригодится в работе.

Особое внимание уделили UX, сделали интерфейс понятным для сотрудников. Тщательно проработали пограничные кейсы:

  • лицо найдено и распознано, но его нет в базе,
  • лицо не найдено,
  • ошибка приложения,
  • ошибка связи с сервером,
  • превышен тайм-аут и т.д.

Мы учли все возможные ситуации: что может пойти не так и что при этом сказать пользователю. Важно не поставить человека в неловкое положение и не вызвать у него негативных эмоций — ведь это может сказаться на мотивации и качестве работы.

Приложение выполняет информационную функцию: в режиме ожидания на экране прокручивается карусель баннеров. Отображается информация по целям и задачам для каждого сотрудника ресторана.

В ERP системе KFC DSR мы добавили отчёты фактическом времени выхода на смену и завершения смены.

Внедрили обработку и распознавание изображений

Обработка и распознавание изображений происходит на стороне клиента — в Android-приложении. Для этого мы использовали библиотеку Face SDK.

С 3D камеры мы получаем два фрейма: один цветной, другой — с картой глубины. Они используются в дальнейших вычислениях. Фреймы преобразуются в изображения нужного формата и передаются библиотеке для распознавания.

Библиотека находит лицо на фотографии, кадрирует изображение, получает из него цифровой слепок. С помощью модуля Recognizer слепок сравнивается по базе с другими. Библиотека находит совпадение и определяет, чьё это лицо. С помощью модуля DepthLivenessEstimator и карты глубины идёт проверка: реальный ли человек находится в кадре или это плоское изображение.

Результат успешного или неудачного распознавания уходит на сервер системы KFC DSR.

Интегрировали с KFC DSR

ERP система KFC DSR построена на микросервисной архитектуре. Для системы распознавания лиц мы создали отдельный сервис.

Android-приложение получает из DSR актуальный список сотрудников ресторана. Менеджеру требуется сделать фотографии сотрудников ресторана прямо с устройства и добавить их в базу. По этим фото будет происходить распознавание.

Если распознавание личности прошло успешно, система отправляет время фактического начала и завершения смены в:

  • ERP систему KFC DSR для расчёта производительности и других операционных метрик работы ресторана,
  • в систему табельного учёта для расчёта заработной платы.

Директор ресторана и менеджеры смены могут смотреть отчёты о фактическом отработанном времени через веб-интерфейс DSR.

Протестировали в боевых условиях

После тщательного тестирования в офисе Surf мы провели пробный запуск в одном из ресторанов KFC. Мы добавили в отчёты таблицу с регистрацией инцидентов, чтобы отслеживать неудачные сеансы распознания и разбирать их причины. За месяц работы в боевых условиях система показала стопроцентную точность: ни разу не было ситуации, когда лицо или личность человека не распознались.

Результат

Процесс табельного учёта стал эффективнее. Исключены ошибки, связанные с человеческим фактором

  • Автоматизировали учёт рабочего времени в ресторанах с использованием биометрии по лицам.
  • Лица распознаются без ошибок.
  • Отрезали возможности для мошеннических действий.
  • Приложение станет основой для полноценного интерактивного портала и избавит рестораны от бумажных объявлений. Информация будет более точной, своевременной, доступной и будет распространяться централизованно.
  • Система даёт простор для экспериментов: кроме лица она умеет определять пол, возраст, эмоции, может распознавать несколько лиц в кадре, получать информацию с камер наблюдения, установленных, например, на кухне или в зале.

Команда
1-го релиза
Дизайн и проектирование
Никита Скоробулатов
Алексей Прохода
Менеджмент
Стас Сажаев
Роман Давыдов
Бизнес анализ
Виктория Юльская
Frontend
Артём Маркушев
Тестирование
Дарья Демидова
Алексей Хрипунов
Android
Владимир Шальков
Илья Трофименко
Backend
Дмитрий Пешехонов
Александр Андреев
Мы найдем лучшее решение вашей задачи
Обсудить проект
Заявка отправлена!
Мы свяжемся с вами в течение рабочего дня
Обсудить проект