Новая камера не даст водителям заснуть. Число критичных нарушений у тех, кто с ней ездил, снизилось на 26%
Сервис такси стал первым видом пассажирских перевозок, где внедрили разработку «Яндекса» SignalQ2 — камеру безопасности, которая следит за поведением водителя и распознает критические ситуации. Если водитель отвлекся, вот-вот заснет или забыл пристегнуться, система привлечет его внимание и разбудит, а также отправит сигнал диспетчеру и позволит заглянуть в салон. А в случае ДТП камера работает как видеорегистратор. Поставщик песка и щебня Greenline два месяца тестировал SignalQ2 на большегрузах и приобрел камеры безопасности для своего автопарка. Мы отправились на базу компании в Рузский городской округ и рассказываем о результатах.
Уважение к водителям
Геннадий Волчек считает себя предельно ответственным водителем, у него 22 года стажа и все категории.
«Я что днем, что ночью за рулем не сплю. И не засыпаю даже. Что она (камера — прим. ред.) есть, что ее нет — мне все равно», — заявил Волчек.
Но как только он переводит глаза на навигатор и перестает следить за дорогой, голосовой помощник Алиса издает сигнал: «Пристегните ремень! Не отвлекайтесь!».
Greenline — компания по оптовой поставке нерудных материалов — щебня, гравия, песка. Большегрузы перевозят их с карьеров на московские бетонные заводы. Вес полной машины — около 20 тонн. Дорога требует предельной концентрации.
«Камера эта — хорошая вещь. Потому что, я считаю, машина у нас тяжелая, большая. В такси людей везут, например, но на этой машине можно в этих людей въехать. То есть риск есть», — добавил Геннадий Волчек.
Видео с нарушением моментально появляется на экране в диспетчерской, и ответственный сотрудник должен принять решение — узнать у водителя о его состоянии или сразу отправить на отдых.
«Прежде, без камеры, невозможно было контролировать, что происходит, стоит водителю покинуть территорию парка. Разве что соблюдение режима труда и отдыха: если, допустим, водитель простоял в пробке, на карьере, мы его выдергиваем — он дальше не работать едет, а отдыхать. Контроль был всегда. Но сейчас для этого контроля открывается больше возможностей», — рассказала старший диспетчер Ольга Смирнова.
По словам диспетчера, главная польза от камер — это безопасность. Программа позволяет выставлять фильтр, например, «Сонливость» или «Закрытые глаза».
Видит, что-то непонятное происходит, может остановить водителя, сказать ему: «Ты засыпаешь, остановись, отдохни». Потому что мы работаем на тяжелой технике, и если водитель где-нибудь уснет на дороге, то это будут страшные последствия — для других людей и, соответственно, для нашей компании
У диспетчеров есть возможность наблюдать за водителем постоянно, но они стараются попусту коллег не тревожить.
«Первое время, когда установили камеры, водители были не очень-то довольны. Они воспринимали эту систему так, что теперь я могу в любой момент посмотреть, чем занят водитель. Но, как правило, мы (компания — прим. ред.) этим не пользуемся. Да, мы можем заглянуть в кабину и посмотреть, что происходит в данный момент, но только если возникнет какой-то вопрос», — отметил инженер по эксплуатации автомобильного транспорта Дмитрий Караваев.
Он пояснил, что диспетчеры на следят за водителями круглосуточно. Они подключаются, только если камера зафиксировала нарушение, например, сонливость и отсутствие внимания у водителя, превышение скорости, непристегнутый ремень, внезапную остановку. В таком случае диспетчеры, как только получают сигнал об опасной ситуации, начинают разбираться, что происходит в кабине.
Принцип работы
Камера безопасности устанавливается на лобовое стекло и реагирует на поведение водителя. Она отслеживает положение лица: куда направлен взгляд и повернута голова, как часто и как долго человек моргает. Определив, что водителю хочется спать, SignalQ2 включает запись и в течение 10-15 секунд фиксирует это состояние. Видео отправляется в облачный сервис SignalQ. Потом этот фрагмент можно будет использовать, чтобы установить причину, если произошло ДТП, или как аргумент в спорах: было нарушение или водитель отвернулся, чтобы сдать назад. Каждый может скачать собственные записи.
Система умеет анализировать частоту нарушений и отправлять отчеты о состоянии водителей. В парке видят, кто однократно отвлекся или потер глаза, а кто действительно хочет спать и нуждается в отдыхе.
«Я знаю весь наш парк, диспетчеры, соответственно, тоже весь штат водительский знают. Но мы не можем быть уверены наверняка, как они переносят ночные вахты. Теперь мы можем увидеть, кто как себя чувствует. Планируем адаптировать рабочий график под каждого водителя», — объяснил Дмитрий Караваев.
Кроме того, программа сопоставляет данные из разных машин, анализирует качество вождения, сохраняет данные с GPS. Она знает, какая у водителей манера вождения, как часто они превышают скорость.
Зачем устанавливать
Оборудование подходит для любого общественного, грузового и специального транспорта. Компания Greenline первой использовала SignalQ2 на большегрузах. Камеры установлены во всем парке грузовиков — 24 машины. В итоге за два месяца число критичных нарушений снизилось на 26%. Еще на 8,6% — число некритичных.
Устройства могут фиксировать ДТП: дополнительные камеры на них работают как видеорегистраторы.
Камеры SignalQ2 уже установлены в таксопарках «Яндекс.Такси» и автобусных парках в Москве, Санкт-Петербурге, Омске, Екатеринбурге, Сочи и Самаре.
Источник
«Яндекс» показал Путину автомобильную камеру, не дающую водителю уснуть
Управляющий директор «Яндекса» Тигран Худавердян продемонстрировал президенту России Владимиру Путину и руководителю Сбербанка Герману Грефу разработанное компанией устройство Yandex Signal Q1. Это камера, которая устанавливается в автомобиле напротив водителя и анализирует уровень его внимательности на дороге с помощью технологий компьютерного зрения.
«Камера работает в реальном времени и отслеживает 68 точек на лице водителя, чтобы мониторить направление его взгляда, поворот головы и частоту моргания»,— уточнили в «Яндексе» газете «Коммерсантъ». Если алгоритм замечает признаки усталости, то подает специальный сигнал.
Компания протестировала Yandex Signal Q1 в автомобилях партнеров сервиса «Яндекс.Такси». Позднее она планирует связать устройство с приложением «Таксометр» и ограничивать доступ к заказам тем водителям сервиса, которые невнимательны или потеряли концентрацию. До конца года компания также намерена установить эти устройства в 5000 автомобилей и ведет «переговоры с регионами о закупках», рассказали в «Яндексе».
Стать «властелином мира»
Если в России появится федеральный проект по искусственному интеллекту, его финансирование на шесть лет может составить около 90 млрд рублей, заявил вице-премьер Максим Акимов, курирующий технологическое развитие. Сам проект будет разработан не позднее октября 2019 года. Акимов уточнил, что этот федеральный проект будет исполняться в рамках национального проекта «Цифровая экономика» и его бюджета.
Источник
Yandex Signal Q1 (камера для анализа усталости водителя)
Разработчики:
Яндекс (Yandex)
Дата премьеры системы:
май 2019 г
Дата последнего релиза:
2019/08/05
Отрасли:
Транспорт
Технологии:
Системы безопасности и контроля автотранспорта
Содержание
Включение алгоритмов SDK VisionLabs в систему мониторинга Yandex Signal Q1
5 августа 2019 года компания VisionLabs сообщила, что алгоритмы анализа лиц VisionLabs стали частью системы мониторинга усталости и внимания водителей, которую намерен запустить Яндекс.Такси после пилотного тестирования на нескольких тысячах автомобилей. Система способна оценить состояние водителя, после чего он в случае необходимости получает предупреждающий сигнал или ограничение доступа к заказам сервиса. Нейросеть Яндекса научилась распознавать усталость водителей, а технологии VisionLabs помогли делать это в движении.
Устройство мониторинга усталости и внимания – это небольшая инфракрасная камера Yandex Signal Q1 со специализированным ПО. Она закреплена на лобовом стекле и направлена в сторону водителя. Устройство разработали специалисты Яндекс.Такси, оно отслеживает состояние человека за рулем по 68 ключевым точкам на его лице. При этом требуется распознавать лица как анфас и в профиль, так и в движении, при наклонах головы —для этого были использована технология SDK VisionLabs.
Алгоритмы SDK VisionLabs обрабатывают каждый кадр, находят на нем лицо водителя и выдает координаты расположения глаз, носа, рта и других ключевых точек. Полученные данные используются для создания нормализованного кадра размером 250х250, где лицо находится строго по центру. Этот кадр уже можно использовать для вычисления положения головы в градусах по трём осям: yaw, pitch и roll. Чтобы отследить статус глаз водителя, алгоритмы анализируют изображение глаз и для каждого глаза принимают решение: закрыт он или открыт. Алгоритмы умеют при помощи технологии IR Liveness определять, находится ли перед камерой сам человек или его фотоизображение. Для анализа используется нормализованный кадр, а на выходе получается результат alive или notalive.
После анализа ключевых точек технологии Яндекс.Такси определяют степень усталости по характерным признакам: частоте и длительности моргания, а также зеванию и наклонам головы. Обработка и анализ данных происходит непосредственно на устройстве, поэтому оно может работать автономно без подключения к интернету. Это позволяет использовать устройство в условиях нестабильной связи, например в междугородних автобусах или грузовиках. На основе полученной информации сервис принимают решение о том, может ли водитель оставаться за рулем или ему нужен перерыв для отдыха.
«Технологически сложно было научиться определять момент, когда степень концентрации внимания водителя близка к снижению настолько, что ему лучше прекратить управление автомобилем. Именно для этого нам потребовалось распознавать множество точек на лице и анализировать их с помощью нейросетей. Мы рады, что с помощью коллег из VisionLabs нам удалось справиться с этой задачей»,
«Мы рады представить совместную систему для мониторинга состояния водителей. Уникальность проекта Яндекса заключается в том, что весь процесс происходит внутри каждой камеры, а не на отдельных серверах»,
Анонс
30 мая 2019 года на совещании по вопросам технологий в области искусственного интеллекта управляющий директор «Яндекса» Тигран Худавердян показал президенту Владимиру Путину устройство для анализа степени усталости водителей.
Получившие название Yandex Signal Q1 гаджет представляет собой камеру, которая, используя возможности машинного зрения, контролирует уровень внимания человека за рулем.
Электронное приспособление отслеживает 68 точек на лице водителя, осуществляя мониторинг направления его взгляда, поворота головы и частоты моргания. Если шофёр отвлекается от дороги, а алгоритм обнаруживает признаки усталости или сонливости, камера подает ему специальный сигнал: либо сфокусироваться на дороге, либо сделать перерыв в поездках.
Компания протестировала Yandex Signal Q1 в автомобилях партнеров сервиса «Яндекс.Такси». Позднее «Яндекс» планирует связать ИИ-устройство с приложением «Таксометр» и ограничивать доступ к заказам тем водителям сервиса, которые невнимательны или потеряли концентрацию.
До конца 2019 года планируется установить Yandex Signal Q1 примерно на 5 тыс. автомобилей. Кроме того, с властями ряда регионов ведутся переговоры об установке устройств на междугородних автобусах и в городском транспорте.
Ранее в 2019 году компании «Яндекс.Такси» «Везет» и «Ситимобил» объявили о тестировании системы обмена данными о совокупном времени работы водителей, чтобы исключить возможность переработки таксистов. Использование такой технологии призвано сократить риски, связанные с усталостью, и повысить безопасность перевозок в России. [1]
Источник
Как мы разработали устройство для контроля внимания водителей. Опыт Яндекс.Такси
Такси должно быть комфортным и безопасным. А это зависит не только от качества автомобиля и сервиса, но и от концентрации внимания водителя, которая падает при переутомлении. Поэтому на уровне сервиса мы ограничиваем время, которое водитель проводит за рулём.
Но иногда водители выходят на линию уже уставшими — например, весь день человек был занят на другой работе, а вечером решил “подрулить”. Что с этим делать? Как понять, что водитель заступает на смену не выспавшись? Можно, например, попробовать оценить, насколько внимательно он следит за дорогой, и определить признаки усталости, например по характеру морганий. Звучит просто? Всё сложнее, чем кажется.
Сегодня мы впервые расскажем читателям Хабра о том, как мы придумывали и разрабатывали камеру, которая умеет это делать.
Итак, дано: частота и длительность морганий зависят от степени усталости. Когда мы утомлены, голова менее подвижна, направление взгляда меняется реже, мы моргаем чаще и оставляем глаза закрытыми на большие промежутки времени — разница может измеряться долями секунд или несколькими градусами поворота, но она есть. Нашей задачей было сконструировать устройство, которое позволяет анализировать моргания, а также направление взгляда, зевки и движения головы, чтобы оценивать уровень внимания и усталости водителя.
Сначала мы решили: а давайте сделаем приложение для ноутбука, поставим его добровольцам из числа сотрудников, а оно будет при помощи встроенной камеры отслеживать нужные нам признаки? Так мы сразу соберём большой массив информации для анализа и быстро проверим свои гипотезы.
Спойлер: ничего не вышло! Довольно быстро стало понятно, что большинство людей при работе за компьютером постоянно смотрят на клавиатуру и наклоняют голову. То есть глаз не видно, и даже непонятно, закрыты они или открыты, моргает человек или просто переводит взгляд с экрана на клавиатуру и обратно.
Тогда мы поняли, что даже для того, чтобы сделать прототип, нам нужно какое-то устройство. Мы купили первую попавшуюся модель IP-камеры, которая работает в ИК-диапазоне.
Зачем нам ИК-диапазон? Освещение бывает разным, иногда пользователь в тени, иногда свет сзади, сверху или его вообще нет. Если мы делаем измерительный прибор, то он должен работать в любых условиях одинаково.
Для эксперимента подошла довольно популярная камера от Xiaomi — CHUANGMI.
Оказалось, что она снимает с частотой 15 кадров в секунду, а нам надо в два раза больше: моргание длится от 30 до 150 мс, при 15 кадрах в секунду мы рисковали «не увидеть» моргания короче 60–70 мс. Поэтому нам пришлось модифицировать её прошивку, чтобы принудительно включить ИК-подсветку, получить прямой доступ к видеопотоку и забирать нужные нам 30 кадров в секунду. Подключив камеру к ноутбуку и настроив получение видеопотока через RTSP-протокол, мы начали записывать первые видеоролики. Камеру расположили на 15 см ниже камеры ноутбука, и это позволяло лучше «видеть» глаза пользователя.
Успех? И снова нет. После сбора нескольких сотен видеозаписей мы поняли, что и так ничего не получается. Поведение пользователя ноутбука в течение дня отличается от поведения водителя: человек может в любой момент встать, отойти перекусить, просто пройтись и сделать разминку, в то время, как водитель гораздо больше времени проводит в сидячем положении. Поэтому такие данные нам не подходят.
Стало понятно, что единственный путь — сделать или купить подходящую камеру и установить её в машину.
Казалось бы, всё элементарно: покупаем видеорегистратор, поворачиваем в сторону водителя, крепим в машине и раз в неделю забираем SD-карты с видеозаписями. Но и тут на деле всё оказалось не так просто.
Во-первых, крайне сложно найти видеорегистратор с ИК-подсветкой, а нам надо хорошо видеть лицо, особенно ночью.
Во-вторых, у всех видеорегистраторов широкоугольная линза, так что область с лицом водителя получается довольно небольшая и на записи ничего не разобрать. Да и искажения от линзы довольно сильно портят анализ положения головы и направления взгляда.
В-третьих, эта затея плохо масштабируется на десять, сто и более машин. Нам ведь нужно собрать много данных от разных водителей, чтобы проанализировать их и сделать выводы. Каждую неделю или каждый день менять карты памяти на сотне машин вручную — огромная трата времени. Мы даже пробовали найти камеру, которая бы загружала видеозаписи в облако, но ничего похожего на рынке не было.
Возникла даже идея сделать «свой видеорегистратор» из Raspberry Pi, камеры с ИК-подсветкой и крепления.
Получилось не совсем то, чего мы ожидали: громоздко, невозможно установить камеру отдельно от компьютера. Дело в том, что при длине кабеля больше 50 см начинались проблемы с сигналом, да и сам по себе CSI-шлейф довольно хрупкий, слишком широкий и поэтому не очень пригоден для монтажа в машину.
Надо ехать в Гонконг, решили мы. Цель поездки была довольно абстрактная: посмотреть, что делают разные производители в области анализа поведения водителя, купить образцы изделий, если найдём, и поискать подходящие технические решения/компоненты, которые мы могли бы установить в машины.
Мы поехали сразу на две популярные выставки электроники и компонентов. В павильоне автомобильной электроники мы увидели невиданное засилье видеорегистраторов, камер заднего вида и систем ADAS, но анализом поведения водителя практически никто не занимался. Прототипы нескольких производителей определяли засыпание, отвлечение внимания, курение и разговор по телефону, но про усталость никто даже не думал.
В итоге мы купили несколько образцов камер и одноплатных компьютеров. Стало понятно, что 1) подходящих нам готовых изделий нет; 2) надо разделять компьютер и камеру, чтобы не заслонять обзор водителю. Поэтому мы взяли плату камеры с интерфейсом USB и в качестве вычислительного блока к ней одноплатный компьютер Banana Pi, а заодно и несколько Android-плееров на процессорах Amlogic.
«Почему плееры?» — спросите вы. На самом деле S912 и даже S905 — довольно мощные с точки зрения производительности и вполне себе потянут запись видео для наших целей даже с анализом изображения прямо на месте. Анализ изображения на месте нужен был для того, чтобы не слать весь видеопоток на сервер.
Давайте посчитаем: минута хорошо сжатого в H.264 видео в разрешении 640 × 480 (30 FPS) занимает не меньше 5 мегабайт. Значит, за час будет 300 мегабайт, а за стандартную 8-часовую смену — примерно 2-3 гигабайта.
Заливать каждый день при помощи LTE-модема 3 гигабайта видео — ну очень “дорого”. Поэтому мы решили периодически записывать 5-минутные ролики, а всё, что происходит в машине, анализировать прямо там и загружать на наши сервера уже в виде разобранного потока событий: набор точек лица, направление взгляда, поворот головы и т. п.
Мы вернулись с выставок в хорошем настроении, привезли кучу нужного (и ненужного) барахла и поняли, как мы будем дальше делать прототип.
USB-камера, которую мы нашли в Гонконге, нам почти идеально подходила: размер 38 × 38 мм, стандартные линзы (12 мм), возможность припаять прямо на плату ИК-диоды подсветки.
Поэтому мы сразу попросили производителя сделать нам прототип с необходимыми компонентами. Теперь мы понимали: нам нужна USB-камера с подсветкой и одноплатный ПК для обработки видео. Мы решили попробовать всё, что было представлено на рынке, и устроили сеанс шопинга на AliExpress. Мы накупили четыре десятка разных камер, десяток одноплатных ПК, Android-плееров, коллекцию 12мм линз и много других странных устройств.
Вопрос с “железом” решился. А как быть с софтом?
Довольно быстро нам удалось на основе OpenCV получить простой прототип, который пишет видео, находит лицо водителя, анализирует его, размечает на лице 68 ключевых точек, распознаёт моргания, зевки, поворот головы и т. п.
Следующей задачей было заставить наш прототип работать на одноплатном ПК. Raspberry PI отвалился сразу: мало ядер, слабый процессор, больше семи кадров в секунду из него не вытащить. А о том, чтобы одновременно писать видео, распознавать лицо и анализировать его, и речи не было. По этим же причинам нам не подошли ТВ-приставки и одноплатные компьютеры на Allwinner (H2, H3, H5), Amlogic S905 и Rockchip RK3328, хотя последний был очень близок к желаемым показателям. В итоге у нас осталось две потенциальных SoC: Amlogic S912 и Rockchip RK3399.
На Amlogic выбор устройств был небольшой: ТВ-бокс или Khadas VIM2. На ТВ-боксе и Khadas всё работало примерно одинаково, но охлаждение ТВ-приставок оставляло желать лучшего, да и настройка Linux на них — зачастую занятие не для слабонервных: заставить работать Wi-Fi, BT, сделать так, чтобы ОС видела всю память, — это долго, сложно и непредсказуемо. В итоге мы выбрали Khadas VIM2: к нему есть штатный радиатор охлаждения, и плата достаточно компактная, чтобы спрятать её за приборной панелью машины.
К этому моменту производитель платы камеры уже прислал нам пробную партию из ста штук, и мы рвались в бой: делать прототип, ставить в машину и собирать данные.
У нас была камера, был софт, был одноплатный ПК, но не было ни малейшего представления, как всё это разместить в машине и подключить к бортовому питанию.
Очевидно, что для камеры нужен был корпус и крепление. Мы купили сразу два 3D-принтера, чтобы печатать детали, а первую примитивную модель корпуса нам сделал подрядчик.
Теперь возникла непростая задача выбора: куда крепить камеру в машине, чтобы получить хорошую картинку, но не загораживать обзор водителю. Вариантов было ровно три:
В тот момент нам показалось, что лучше всего прикрепить камеру прямо к зеркалу заднего вида: оно всегда направлено в лицо водителю, поэтому камера будет снимать именно то, что нам надо. К сожалению, производители зеркал заднего вида не позаботились о том, чтобы к ним можно было что-то удобно и надёжно прикрепить. Камеры плохо держались, падали и закрывали обзор.
Тем не менее мы оборудовали несколько машин и начали собирать с них данные. Стало понятно, что конструкция неидеальная, и полезли проблемы, связанные с производительностью и нагревом при одновременной видеозаписи и анализе лица.
Тогда мы решили крепить камеру на уровне глаз у левой стойки: меньше закрываем обзор и хороший угол для камеры, чтобы было видно водителя. Корпус пришлось переделать, поскольку крепления с шарнирами показали себя крайне ненадёжно: они разбалтываются при тряске, ломаются, а присоски отклеиваются от стекла.
Мы решили, что для прототипа и сбора данных лучше намертво приклеить камеры к стеклу, чтобы никакая тряска и внешнее воздействие не могли поменять их положение. Мы слегка доработали корпус и заодно провели нагрузочное тестирование монтажа при помощи специального двухстороннего скотча. Для тестирования использовали сложное и высокоточное оборудование.
Из-за проблем с производительностью мы решили поменять SoC на более мощную, поэтому выбрали одноплатный ПК NanoPI M4 на процессоре Rockchip RK3399.
По сравнению с Khadas VIM2 он примерно на треть производительнее, у него есть аппаратное сжатие и декодирование видео, и он намного стабильнее ведёт себя в сложных температурных условиях. Да, мы пробовали запускать камеры и платы в морозильнике, грели их в духовке и проводили множество других нечеловеческих испытаний.
Поскольку мы записываем видео не просто так, а в динамике в течение дня, было важно, чтобы системное время на устройстве было точным. К сожалению, большинство одноплатных компьютеров не оборудованы часами с автономным питанием. Нам повезло, что на нашем NanoPI был разъём для подключения батарейки.
Пришлось спроектировать корпус для компьютера, который защищал бы его физически и выступал в качестве держателя для антенн WiFi и BT. Там же мы предусмотрели место для монтажа батарейки часов с держателем.
Далее мы планировали оборудовать прототипами сто машин, которые будут записывать видео и в режиме онлайн передавать нам в облако всю телеметрию: есть ли водитель, как часто и долго он моргает, зевает, отвлекается от дороги, поворачивает голову и т. п. Все эти (и не только) параметры позволяют нам обучать модель, которая оценивает, насколько сконцентрирован на дороге водитель, не отвлекается ли он и не устал ли. Чтобы всё это делать прямо на устройстве в машине, нам пришлось полностью переписать код, сделать аппаратное сжатие видео, ротацию логов и видеозаписей, регулярную отправку на сервер, удалённое обновление ПО и многое другое.
В это же время нам стало понятно, что наши расчёты и алгоритмы будут работать намного лучше при более точном базовом анализе лица. В первых прототипах мы использовали встроенный в OpenCV детектор лиц на основе haar-каскадной модели и модель для разметки 68 точек лица на основе библиотеки dlib. Положение головы мы вычисляли сами путём расчёта проекции точек лица на фокальную плоскость. Open-source решения по распознаванию и разметке лиц хорошо работают на кадрах, где лицо снято в анфас или профиль, но на промежуточных состояниях часто ошибаются.
Поэтому мы решили лицензировать хорошее стороннее решение по распознаванию и разметке лица — SDK от компании VisionLabs. По сравнению с предыдущими алгоритмами оно более ресурсоёмкое, но даёт заметный прирост качества распознавания и разметки лица, что приводит к более точному извлечению факторов для машинного обучения. С помощью коллег из VisionLabs нам удалось быстро перейти на их SDK и получить нужную нам производительность: 30 кадров/сек. при разрешении 640х480.
SDK VisionLabs использует нейронные сети для распознавания лиц. Технология обрабатывает каждый кадр, находит на нем лицо водителя и выдает координаты расположения глаз, носа, рта и других ключевых точек. Полученные данные используются для создания нормализованного кадра размером 250х250, где лицо находится строго по центру. Этот кадр уже можно использовать для вычисления положения головы в градусах по трём осям: yaw, pitch и roll. Чтобы отследить статус глаз водителя, система анализирует изображение глаз и для каждого глаза принимает решение: закрыт он или открыт. Система умеет при помощи технологии IR Liveness определять, живой человек перед камерой, или водитель прикрепил фотографию. Для анализа используется нормализованный кадр, а на выходе мы получаем результат alive или notalive.
Заключение
Пока мы переписывали и отлаживали ПО, наши 3D-принтеры днями и ночами печатали корпусы для камер и одноплатных ПК. На печать комплекта (корпус камеры + корпус ПК) уходило примерно 3–4 часа работы принтера, поэтому нам пришлось расширить производственные мощности: задействовали четыре принтера. Но мы всё успели сделать в запланированные сроки.
За две недели мы полностью оборудовали первую сотню машин в нескольких таксопарках — партнёрах Яндекс.Такси. Сейчас с их помощью мы собираем видеозаписи, анализируем поведение водителя, признаки усталости, улучшаем алгоритмы и обучаем модели, оценивающие уровень внимания и усталости. И только после этого (с учётом всех данных, отзывов водителей и пассажиров) мы будем готовы перейти к следующему этапу – массовому производству и внедрению.
К сожалению, для масштабирования на несколько тысяч или десятков тысяч установок текущее техническое решение не очень подходит по ряду причин. Всё, о чём мы рассказали в этой статье – это быстрый эксперимент, целью которого было в сжатые сроки научиться непосредственно в машинах собирать данные для обучения моделей. Следующий большой этап для нас – разработать и начать производить устройство тех же габаритов, но состоящее из одного блока: и камера, и датчики, и модем будут расположены в одном компактном корпусе, который мы и будем массово устанавливать в машинах.
