KFC Face Recognition

Cистема финансовой аналитики и управления бизнес-процессами в ресторанах KFC на территории СНГ
Содержание

Задача

Создать систему распознавания лиц
и автоматизировать учёт рабочего времени в ресторанах KFC

Раньше менеджеры ресторанов KFC записывали рабочее время сотрудников в бумажном журнале и вручную переносили данные в систему табельного учёта. Это приводило к ошибкам из-за человеческого фактора: менеджер мог некорректно учесть отработанное время, не отметить приход или уход сотрудника.

Известно несколько случаев, когда в ресторанах партнёров директора нанимали фейковых сотрудников: «мёртвых душ», которые существовали только по документам, или официально оформляли одного человека, а фактически работал вместо него другой.

В некоторых ресторанах работала автоматизированная система: рабочее время учитывалось по отпечатку пальца. Но она стоила дорого, интегрировать её было трудно, а перехитрить — легко: датчик отпечатка пальца можно обмануть с помощью канцелярского скотча.

Система распознавания лиц подойдёт для автоматизации учёта рабочего времени лучше. В будущем её можно развить и проверять не только приход и уход сотрудников, но и качество работы на рабочих станциях в ресторане: к системе можно подключать несколько камер наблюдения и распознавать лица в режиме онлайн.

Наша задача — разработать приложение, которое будет:

  • Корректно распознавать сотрудников ресторана,
  • Фиксировать время фактического начала и завершения смены
  • Отправлять данные на сервер

Приложение необходимо интегрировать с ERP системой KFC DSR, корпоративным порталом Workplace и специальным ПО для табельного учёта.

В будущем приложение должно стать полноценным интерактивным порталом. В каждом ресторане будет цифровая инфопанель с важными показателями работы ресторана, корпоративными новостями и другой полезной информацией. Сейчас сотрудники пользуются маркерной доской и пишут бумажные объявления.

Решение

Выбрали оборудование

Система должна быть защищена от мошенничества: нужно, чтобы она распознавала, настоящее ли перед ней лицо, или это фотография, или экран с видеозаписью. Под наши требования подошла 3D-камера Intel RealSense со встроенным ToF датчиком — он строит карту глубины, чтобы отличать объемное лицо от плоского изображения.

В некоторых ресторанах может быть нестабильное соединение с интернетом: использовать облачные сервисы для распознавания не получится. Процесс должен происходить локально, на стороне клиента — на сервер мы отправляем только результат распознавания. Для этой задачи хорошо подходит планшетный компьютер с Android.

У планшета должен быть отдельный вход для питания и USB-порт для подключения камеры. Большинство моделей бытовых устройств не удовлетворяют этому требованию. Мы нашли сенсорный монитор-планшет с 22-дюймовым экраном и ОС Android. У него нет встроенной батареи, он питается от сети 220V. USB-портов несколько: можно подключать камеру, не перекрывая доступ к питанию.

Планшет PROLITE T2253MTS-B1, 3D-камера Intel® RealSense™ Depth Camera D435i

Разработали дизайн интерфейса

Применили фирменный стиль KFC и постарались сделать дружелюбный UI. Он вызывает положительные эмоции и вау-эффект при первой встрече: приветствуем сотрудника на «ты», желаем хорошей смены, даём дополнительную информацию, которая пригодится в работе.

Особое внимание уделили UX, сделали интерфейс понятным для сотрудников. Тщательно проработали пограничные кейсы:

  • лицо найдено и распознано, но его нет в базе,
  • лицо не найдено,
  • ошибка приложения,
  • ошибка связи с сервером,
  • превышен тайм-аут и т.д.

Мы учли все возможные ситуации: что может пойти не так и что при этом сказать пользователю. Важно не поставить человека в неловкое положение и не вызвать у него негативных эмоций — ведь это может сказаться на мотивации и качестве работы.

Приложение выполняет информационную функцию: в режиме ожидания на экране прокручивается карусель баннеров. Отображается информация по целям и задачам для каждого сотрудника ресторана.

В ERP системе KFC DSR мы добавили отчёты фактическом времени выхода на смену и завершения смены.

Внедрили обработку и распознавание изображений

Обработка и распознавание изображений происходит на стороне клиента — в Android-приложении. Для этого мы использовали библиотеку Face SDK.

С 3D камеры мы получаем два фрейма: один цветной, другой — с картой глубины. Они используются в дальнейших вычислениях. Фреймы преобразуются в изображения нужного формата и передаются библиотеке для распознавания.

Библиотека находит лицо на фотографии, кадрирует изображение, получает из него цифровой слепок. С помощью модуля Recognizer слепок сравнивается по базе с другими. Библиотека находит совпадение и определяет, чьё это лицо. С помощью модуля DepthLivenessEstimator и карты глубины идёт проверка: реальный ли человек находится в кадре или это плоское изображение.

Результат успешного или неудачного распознавания уходит на сервер системы KFC DSR.

Интегрировали с KFC DSR

ERP система KFC DSR построена на микросервисной архитектуре. Для системы распознавания лиц мы создали отдельный сервис.

Android-приложение получает из DSR актуальный список сотрудников ресторана. Менеджеру требуется сделать фотографии сотрудников ресторана прямо с устройства и добавить их в базу. По этим фото будет происходить распознавание.

Если распознавание личности прошло успешно, система отправляет время фактического начала и завершения смены в:

  • ERP систему KFC DSR для расчёта производительности и других операционных метрик работы ресторана,
  • в систему табельного учёта для расчёта заработной платы.

Директор ресторана и менеджеры смены могут смотреть отчёты о фактическом отработанном времени через веб-интерфейс DSR.

Протестировали в боевых условиях

После тщательного тестирования в офисе Surf мы провели пробный запуск в одном из ресторанов KFC. Мы добавили в отчёты таблицу с регистрацией инцидентов, чтобы отслеживать неудачные сеансы распознания и разбирать их причины. За месяц работы в боевых условиях система показала стопроцентную точность: ни разу не было ситуации, когда лицо или личность человека не распознались.

Результат

Процесс табельного учёта стал эффективнее. Исключены ошибки, связанные с человеческим фактором

  • Автоматизировали учёт рабочего времени в ресторанах с использованием биометрии по лицам.
  • Лица распознаются без ошибок.
  • Отрезали возможности для мошеннических действий.
  • Приложение станет основой для полноценного интерактивного портала и избавит рестораны от бумажных объявлений. Информация будет более точной, своевременной, доступной и будет распространяться централизованно.
  • Система даёт простор для экспериментов: кроме лица она умеет определять пол, возраст, эмоции, может распознавать несколько лиц в кадре, получать информацию с камер наблюдения, установленных, например, на кухне или в зале.

Давайте создадим мобильное приложение под ваши задачи вместе
Обсудить проект
Обсудить проект