Управление автономкой планар: Планар 44Д-24 GP Инструкция по эксплуатации онлайн [10/54]

Содержание

Планар, режим работы по температуре.. Официальный дилер

Как воздушный отопитель работает по температуре? 

Многие, обращающиеся в нашу компанию, часто спрашивают: «А может ли Планар поддерживать нужную температуру в салоне, в фургоне ?». Рассмотрим более детально этот вопрос.

Каждый выпускаемый сегодня Планар изначально оборудован датчиком температуры, который установлен на блоке управления отопителя (мозги Планар). Смысл в том, что температура воздуха, проходящего через корпус отопителя, регистрируется блоком управления. Управляющая программа постоянно отслеживает эти данные, когда заданная и фактическая температуры сравниваются, блок дает команду на прекращение подачи топлива в камеру сгорания и переход в режим вентиляции салона до тех пор, пока снова не появится разница температур в 5-6 °C. Цикл повторяется снова и снова на всем протяжении работы автономного воздушного отопителя. Выключить отопитель можно в любой момент вручную.

Что нужно чтобы реализовать эту функцию режима «по температуре»?

К большому сожалению, стандартная комплектация воздушных отопителей Планар любой модели не предусматривает наличия опций климат-контроля и работа предполагается только в режиме «по мощности».

  Поэтому обычно пользователям этих автономок приходится докупать отдельно некоторые комплектующие. Рассмотрим их более подробно, будем исходить из того что Ваш новый воздушный отопитель Планар имеет обычную комплектацию с механическим пультом управления ПУ-5.


  1. Самым дешевым вариантом выступает покупка выносного датчика температуры, он применим ко всем моделям Планар. В этом случае он подключается в свободный выход отопителя и пока он подключен, Планар будет работать всегда в режиме по температуре. Управление желаемой температурой воздуха происходит вращением регулятора. При повороте изменяет  от 1°С до 30°С. Хоть этот пульт и механический, но тем не менее он не является аналоговым, внутри установлен микроконтроллер, который посылает именно цифровые сигналы на блок управления ПЛАНАР.

      2. Замена стандартного на электронный пульт ПУ-22.  При использовании этого органа управления появляется возможность выбора датчика, по которому будет осуществляться поддержка температуры в диапазоне от 1°С до 30°С. Важно знать, что режим по температуре настраивается до запуска отопителя!

Если просто заменить, то на выбор доступно 2 датчика. Один в отопителе на блоке, другой непосредственно в самом пульте. Также стоит отметить, что при подключении дополнительно выносного датчика, как в первом случае, этот датчик тоже станет доступным на пульте. 

Небольшое замечание: На самом деле, работа по датчику в пульте не совсем точная, т.к. данные имеют довольно высокую погрешность. Поэтому рекомендовано для получения «правильного» климата в салоне использовать датчик находящийся именно в отопителе.


     3. Замена на новый пульт управления ПУ 27М. Красивый внешний вид, интуитивно понятное пользование и удобная индикация на LCD-дисплее. Это устройство по функциям сравнимо с пультом ПУ-22, но есть приятное дополнение — таймер. С появление этого пульта, пользователь может настроить время запуска отопителя. Функция безусловно покажется удобной многим автолюбителям, ведь теперь не придется ждать прогрева салона.  

Важно знать! При включении отопителя Планар с таймера цикл работы будет длиться 2 часа. После чего обогрев будет остановлен, отопитель выйдет в продувку до полного отключения.

Как Работает Автономка На Камазе ~ AUTOINTERLINE.RU


инструкция, 14ТС-10, неисправности, не запускается, ошибки

Стояночный отопитель (в просторечии автономка) на КамАЗ служит для обогрева кабины при неработающем основном двигателе. В зависимости от конструкции устройства делятся на «сухие» и «мокрые». Первые факелом пламени нагревают воздух, который подается в кабину, а вторые — теплоноситель системы охлаждения двигателя автомобиля. В этом случае обогрев кабины проводится штатной печкой.

Как работает

Подогреватель является автономным источником тепла и работает независимо от двигателя автомобиля. В состав устройства входит:

  • горелка;
  • топливный насос;
  • помпа;
  • блок управления;
  • выносной пульт управления;
  • соединительные провода.

Принцип действия отопителя 14ТС-10 основан на передаче тепла сгоревшего топлива охлаждающей жидкости, прокачиваемой через теплообменник. Устройство располагается под капотом и соединено с системой охлаждения двигателя.

Перед включением автономного подогревателя в работу проводится автоматическая проверка работоспособности всех его узлов. Получив информацию об исправном состоянии, блок управления дает команду на розжиг устройства. Одновременно с этим включается циркуляционный насос. Предусмотрены 2 программы работы отопителя: «Экономичная» и «Предпусковая». У первой — меньшая потребляемая мощность, а время выполнения составляет 8 часов. Вторая — более энергоемкая, но выполняется за 3 часа. Остановить работу устройства можно вручную на любом этапе цикла.

Розжиг топливной смеси происходит после продувки камеры сгорания воздухом. В качестве источника огня применяется свеча накаливания, которая остается в работе до устойчивого горения факела. Солярка подается в камеру сгорания электромагнитным топливным насосом из своей емкости или бака автомобиля. После передачи тепла стенкам теплообменника отработанные газы выбрасываются под автомобиль.

Автоматика обеспечивает безопасную эксплуатацию устройства и отключает его в следующих случаях:

  • 2 неудачные попытки запуска;
  • срыв факела пламени;
  • повышение напряжения сети более 30 В и снижение ниже 20 В;
  • перегрев теплообменника.

Первый пуск и периодические включения подогревателя при выполнении программы «Предпусковая» проводятся в режиме «Полный», а при «Экономичной» — в режиме «Средний». При этом расход топлива составляет 2 и 1,2 л/час.

Неисправности и их устранение

Организация поиска дефектов описана в инструкции по эксплуатации устройства. Неисправности, возникшие в процессе эксплуатации и требующие полной или частичной разборки подогревателя, должны выполняться специалистами ремонтных организаций. Все поломки, кроме невозможности включения отопителя, отображаются миганием светодиода на панели пульта управления.

Коды ошибок

Подогреватель оборудован системой контроля за исправной работой узлов и отдельных элементов. При возникновении дефекта автоматика классифицирует его и количеством миганий светодиода оповещает водителя. Перечень возможных неисправностей сведен в таблицу с указанием необходимых действий, выполняемых для восстановления работоспособности устройства. Коды ошибок соответствуют количеству миганий индикатора.

Неисправности собраны в 10 групп по принципу одинаковых причин возникновения и методов устранения дефектов. Таблица приведена в руководстве по эксплуатации отопителя.

Почему не запускается

Если при попытке включения подогревателя LED-индикатор не светится, и пуск не произошел, то в этой ситуации причин может быть несколько, но все они связаны с отсутствием питания:

  • перегорел предохранитель на 25 А;
  • неисправна электропроводка;
  • окислились контакты в разъемах.

При наличии питания на ПУ причиной неисправности может быть дефект любого из контролируемых элементов. В этом случае код дефекта покажет мигающий индикатор.

Как включить

Пуск и изменение режимов работы «автономки» осуществляются с пульта управления. Чтобы запустить подогреватель, необходимо выбрать программу клавишей режимов (3 или 8 часов) и выключателем подать питание. При этом загорится светодиод, и блок управления начнет выполнение программы. После окончания тестирования и включения нагнетателя, помпы и топливного насоса произойдет розжиг горелки. Программа выполняется автоматически и не требует вмешательство водителя. По окончании заданного времени устройство остановится.

Повторный пуск возможен после отключения питания; последующее его включение — не ранее чем через 10 секунд.

Ремонт

Несмотря на то что производитель рекомендует проводить ремонт поломок, связанных с разборкой автономного отопителя, в специализированных мастерских, многие водители и владельцы автомобилей предпочитают устранять неисправности самостоятельно. К такому решению их подталкивает достаточно высокая цена на работы.

Чаще всего выходит из строя датчик пламени, и засоряется топливопровод. Работы простые и не требуют использование специального инструмента.

Уменьшить количество дефектов поможет регулярное проведение плановых ТО.

Для данного типа подогревателей предусмотрено 2 вида обслуживания: ежедневное и сезонное. Объемы, сроки проведения и перечень выполняемых работ приведены в технической документации на устройство.

Как установить

Подогреватель 14ТС-10 устанавливается на поперечине рамы под капотом перед радиатором. Крепление устройства стандартное: болтовое. Котел патрубками врезается в штатную систему охлаждения. Подвод топлива возможен от собственного бачка, установленного вне моторного отсека, или от топливной системы. Отвод отработанных газов организовывают через гофрированный металлический рукав под днище автомобиля между кабиной и кузовом (прицепом).

Такое размещение автономки позволяет максимально удалить от кабины отработанные газы, свести до минимума длину патрубков системы охлаждения и получить дополнительный источник тепла в моторном отсеке.

specmahina.ru

Как включается автономка КАМАЗ | КАМАЗ

автономная печь камаз

Как работают Воздушные автономные отопители

Дальнобой по России, про автономку…

Запуск ПЖД

автономка камаз своими руками

Сброс активных ошибок предпускового подогревателя Eberspacher

Пжд14ТС ТС 10(GP) Камаз Омск

Автономка ПЛАНАР на Зубренке

Планар 44д-12gp

автономка

Также смотрите:

  • Сколько осей у КАМАЗ 5410
  • КАМАЗ максимальный уклон
  • Насос на раму КАМАЗ
  • Сколько масла заливать в двигатель КАМАЗ евро 3
  • КАМАЗ для отсоса
  • КАМАЗ 53501 семейства мустанг
  • Все виды пгу на КАМАЗ
  • Шасси автомобили КАМАЗ 4310
  • Сколько масла заливать в мосты КАМАЗ 5511
  • КАМАЗ в каком городе создаются
  • Кронштейн запасного колеса КАМАЗ евро
  • Обслуживание ввт КАМАЗ
  • Крепление радиатора на КАМАЗе
  • Усилие затяжки коленвала КАМАЗ
  • Пгу КАМАЗ как расположен

Главная » Хиты » Как включается автономка КАМАЗ
kamaz136.ru

Автономки на КАМАЗе без блока управления

Планар 44д не запускается. Запуск автономки без котла.

D5WSC запуск без блока управления

Отопитель планар 4дм2 24

Подключения пульта управления к отопителю Планар 2D. СТО Тим сервис.

Блок управления Планар 14ТС-10 24В (индикатор пламени термопара)

камаз 65115

Запуск ГК автономки.

Запуск ПЖД

Глюк автономки Планар 44Д или как проверить свечу на отопителе Планар.

центральный замок на камаз 2

Также смотрите:

  • Съемник шестерни распредвала КАМАЗ
  • Тягово КАМАЗ 5320
  • Какой двигатель можно поставить на КАМАЗ 4310
  • КАМАЗ головной офис
  • Тюнинг кабина КАМАЗ сам
  • Бетономешалки КАМАЗ 65115
  • Рама КАМАЗ 6520 в сборе
  • Объем жидкостей автомобиля КАМАЗ
  • КАМАЗ в рейсе видео
  • КАМАЗ батыр самосвал
  • Столкновение КАМАЗа с легковушкой
  • КАМАЗ на кукурузном поле видео
  • Принимаем на утилизацию КАМАЗ
  • Как определить модель двигателя на КАМАЗе
  • Сцепление КАМАЗа 54115

Главная » Видео » Автономки на КАМАЗе без блока управления
kamaz136.ru

Камаз и романтика | Автор темы: Евгений

всем привет вопрос, запускаю автономку, но печка сама не включается, и так на всех пяти новых камазах, на старом включалась, что можно сделать?

LYDI (Macario) предрохранитель!

Артём (Nadiyya) а может ее нужно подключить?

Cергей (Luvena) бывает замерзает подача топлива и она не выключается покабочек не заполнится у нас так было.

Cергей (Luvena) автономка это ПЖД так?

Cергей (Luvena) ну так вот у неё есть свой топливный бочек откуда она питается когда там топливо есть то работает как положенно включается и отключается только топливо кончилось и не бролось она не отключится пока не наберется.

Как снять автономку на КАМАЗе

автономная печь камаз

Автономка ПЛАНАР на Зубренке

камаз 65115

Глюк автономки Планар 44Д или как проверить свечу на отопителе Планар.

Как работают Воздушные автономные отопители

КАМАЗ 65221 ,Снимаем ПЖД или правильнее Прамотронник на ремонт )

Обслуживание, разборка/ сборка и ремонт автономного отопителя Планар.

Сброс активных ошибок предпускового подогревателя Eberspacher

Дальнобой по России, про автономку…

Дальнобой по Европе.Что за знак L на траке и как смазать седло

Также смотрите:

  • Видеть аварию из КАМАЗов
  • Анимация КАМАЗа 5460
  • Клинят передние тормоза на КАМАЗе
  • Автономка КАМАЗа 6520
  • КАМАЗ с зениткой
  • Как снять с ручника КАМАЗ
  • Намотка спидометра КАМАЗ своими руками
  • КАМАЗ самосвал 55111 ширина
  • Влагомаслоотделитель КАМАЗ 53215
  • Как снять помпу на КАМАЗе евро 3
  • Объем масла для двигателя КАМАЗ
  • Спецтехника КАМАЗ грузовики
  • Супротек для двигателя КАМАЗ
  • Лесовоз на базе КАМАЗ 4310
  • КАМАЗ объемы гидравлики

Главная » Лучшее » Как снять автономку на КАМАЗе
kamaz136.ru

Электрическая схема

ЭФУ питается от аккумуляторных батарей автомобиля и включает в себя факельные свечи 6 (рис 2), термореле 5, служащее для включе­ния электромагнитного топливного клапа­на 7, и контрольной лампы блока 8, сигна­лизирующей о том, что свечи достаточно нагреты и подано питание на электромаг­нитный клапан; реле 4, предназначенное для включения свечей на максимальный разогрев; реле 18 отключения обмотки возбуждения генератора на период ра­боты ЭФУ.

Для приведения в действие ЭФУ нужно нажать кнопку 14 дистанционного вклю­чения массы, затем нажать кнопку 9 и удерживать ее в таком положении до загорания лампы в блоке 8, затем включить стартер поворотом ключа выключателя 19 во второе положение, не отпуская кнопки 9.

Питание ЭФУ осуществляется от акку­муляторных батарей включением кнопки 14 по цепи: «+» аккумуляторных батарей — клеммы стартера 17 — реле 12 стартера — амперметр — выключатель 19 приборов и стартера — реле 13 электродвигателя отопителя — кнопка 14 — обмотка выключа­теля -15 массы — «—» аккумуляторных батарей.

Выключатель 15 срабатывает и соединяет «—» аккумуляторных ба­тарей с массой автомобиля.

Следует иметь в виду, что нельзя держать кнопку 14 нажатой более 2 с, поскольку в противном случае возможен перегрев обмотки элек­тромагнита выключателя 15.

Нормально замкнутые контакты реле 13 электродвигателей отопителя кабины за­действованы для подачи тока в обмотку электромагнита выключателя 15. Это сде­лано для предотвращения возможности отключения аккумуляторных батарей

Упрощенные схемы подключения ЭФУ (чтобы было проще понять как работает электрофакельное устройство):



Установка дополнительного воздушного отопителя «Планар» 3 кВт

Для многих водителей грузовиков проблема обогрева салона стоит очень остро — ведь порой приходится практически жить в своем транспортном средстве. В силу этой причины подавляющее большинство водителей предпочитают недешевые, но при этом весьма комфортные — автономные отопители Планар и Вебасто. Они имеют обширное количество разных видов. Зачастую это «горелка», которая распространяет тепловентилятором.

Установка и ремонт автономного отопителя салона

Используя отопитель, водитель сможет ощущать теплоту и комфорт в холодные будни, что в нашем суровом климате является обыденностью. Как правило, у отопитеиля присутствует свой источник питания. Это очень полезное устройство, становящаяся зачастую незаменимым.

Современный автономный отопитель салона является компактным устройством, поэтому установка автономного отопителя происходит в небольшие сроки. Процесс невероятно простой: нужно найти в салоне место, которое подойдет для отопителя, затем он подсоединяется к источнику питания и системе охлаждения, и в завершении протянуть топливопровод.

Поскольку это выглядит несложным, водители зачастую стараются сами провести монтаж, только вот из-за отсутствующего опыта, инструментов, а самое главное знаний нередки ситуации с некачественной установкой системы, что приведет к некачественной работе отопителя.

Хоть автономные отопители Планар и Вебасто надежны, но это не застраховывает их от поломки. Чтобы была качественно проведена установка автономных отопителей на грузовики, следует сразу обращаться к нам.

Предпусковой подогреватель двигателя — установка и ремонт

Владельцы автомобилей зимой часто сталкиваются с проблемой запуска двигателей. Но и для этой проблемы есть решение — предпусковой подогреватель двигателя!

Профессиональная установка автономных отопителей избавляет от множество проблем, с которыми сталкиваются многие автолюбители:

  • Лёгкость запуска двигателя, по причине его хорошего прогревания;
  • Уменьшается расход топлива;
  • Меньший износ двигателя;
  • Быстрая прогреваемость салона;
  • На стёклах нет снега и наледи, стёкла не запотевают и обеспечивают хороший обзор;
  • Сокращается количество вредных выбросов в окружающую среду.

Как и все виды товаров, предпусковой подогреватель имеет несколько видов, соответственно и цена тот или иной вид тоже разная. Есть автономные и неавтономные виды подогревателей. Автономное оборудование имеет топливную и охлаждающую систему, что уменьшает расход топлива и износ двигателя.

Поэтому автономное оборудование несколько дороже из-за сложности конструкции, но цена оправдана. Управление отоплением также можно производить по-разному.

Самый простой и недорогой вариант — это мини-таймер. При невысокой цене, имеет некоторые преимущества, например, вы его не потеряете, к нему не нужны батарейки, так как он запитывается прямо от сети автомобиля. Помимо всего прочего можно подключить пульт дистанционного управления, который поможет зависти двигатель в любое время и действует в радиусе километра.

Почему стоит заказать услугу у нас?

Чтобы выбрать качественные автономные отопители для грузовиков, установки печки на КамАЗ, автономки на КамАЗ, необходимо доверить опытным профессионалам, со знанием и современным оборудованием, которые хорошо знают своё дело и имеют большой опыт работы.

Компания «Камавтокомплект Трак» производит установку дополнительного воздушного отопителя «Планар» 3 кВт. Если вас интересует качественный ремонт и установка автономных отопителей на грузовики, то мы к вашим услугам!

инструкция, 14ТС-10, неисправности, не запускается, ошибки

Стояночный отопитель (в просторечии автономка) на КамАЗ служит для обогрева кабины при неработающем основном двигателе. В зависимости от конструкции устройства делятся на «сухие» и «мокрые». Первые факелом пламени нагревают воздух, который подается в кабину, а вторые — теплоноситель системы охлаждения двигателя автомобиля. В этом случае обогрев кабины проводится штатной печкой.

Как работает

Подогреватель является автономным источником тепла и работает независимо от двигателя автомобиля. В состав устройства входит:

  • горелка;
  • топливный насос;
  • помпа;
  • блок управления;
  • выносной пульт управления;
  • соединительные провода.

Принцип действия отопителя 14ТС-10 основан на передаче тепла сгоревшего топлива охлаждающей жидкости, прокачиваемой через теплообменник. Устройство располагается под капотом и соединено с системой охлаждения двигателя.

Перед включением автономного подогревателя в работу проводится автоматическая проверка работоспособности всех его узлов. Получив информацию об исправном состоянии, блок управления дает команду на розжиг устройства. Одновременно с этим включается циркуляционный насос. Предусмотрены 2 программы работы отопителя: «Экономичная» и «Предпусковая». У первой — меньшая потребляемая мощность, а время выполнения составляет 8 часов. Вторая — более энергоемкая, но выполняется за 3 часа. Остановить работу устройства можно вручную на любом этапе цикла.

Розжиг топливной смеси происходит после продувки камеры сгорания воздухом. В качестве источника огня применяется свеча накаливания, которая остается в работе до устойчивого горения факела. Солярка подается в камеру сгорания электромагнитным топливным насосом из своей емкости или бака автомобиля. После передачи тепла стенкам теплообменника отработанные газы выбрасываются под автомобиль.

Автоматика обеспечивает безопасную эксплуатацию устройства и отключает его в следующих случаях:

  • 2 неудачные попытки запуска;
  • срыв факела пламени;
  • повышение напряжения сети более 30 В и снижение ниже 20 В;
  • перегрев теплообменника.

Первый пуск и периодические включения подогревателя при выполнении программы «Предпусковая» проводятся в режиме «Полный», а при «Экономичной» — в режиме «Средний». При этом расход топлива составляет 2 и 1,2 л/час.

Какие функции выполняет

Основная функция предпускового подогревателя – предварительное прогревание двигателя перед запуском, в основном используется в холодное время года.

Также может использоваться зимой при минусовых температурах для предотвращения замерзания дворников и оледенения лобового стекла.

В некоторых случаях может использоваться для обогрева кабины водителя: прогретый воздух из фена дует в салон.

Предпусковой подогреватель 14ТС-10

ПЖД 14ТС-10 подготавливает двигатель к работе посредством подогрева охлаждающей жидкости.

Этот вид предпускового подогревателя имеет несколько режимов подогрева:

  • полный
  • средний
  • малый

А также 2 программы подогрева:

  • предпусковая
  • экономичная

В режиме полный на предпусковой программе жидкость прогревается до 70°С, на экономичной – до 55°С. После достижения наивысшей температуры ПЖД переходит в режим «средний», при котором жидкость нагревается до 75°С, а после – в режим «малый»: в нем достигается максимальная температура 80°С. Далее подогреватель переходит в режим остывания.

Технические характеристики:

  • Масса подогревателя – 10 кг
  • Потребляемая мощность – 132 Вт (полный)/101 Вт (средний)/ 77 Вт (малый)
  • Расход топлива при разных режимах – 2 л/ч (полный), 1,2 л/ч (средний), 0,54 л/ч (малый)
  • Теплопроизводительность – 15 кВт/ 9кВт/ 4 кВт
  • Топливо, используемое для работы – дизель, теплоноситель – тосол или антифриз.
  • Регулировка осуществляется автоматически, дистанционно с помощью блока управления.

Электрическая схема

Подогреватель работает от аккумулятора, а также имеет питание дизельным топливом. Именно электрические цепи подогревателя обеспечивают автоматическое и удаленное управление через блок и пульт управления.

При перегреве система автоматически выключается. Также при снижении напряжения до 20 Вт или повышения до 30 Вт предпусковой подогреватель выключается. Кроме того, выключение ПЖД происходит после двух неудачных попыток запуска; если во время работы горение прекращается – система выключается.

Схема подключения электрической цепи 14ТС-10:

Предпусковой подогреватель модели 15.8106

Предпусковой подогреватель данной модели применяется на грузовиках КамАЗ 65115, 6520 и других.

Большинство модификаций 15.8106 имеют дискретные датчики температуры, за исключением 15.8106-15 – он оснащен аналоговым терморезистером.

Управление ПЖД осуществляется с помощью блока и пульта управления. Работает предпусковой подогреватель автономно от двигателя, подключаясь к аккумулятору или топливной системе.

Подогрев происходит в разных режимах, нагревая охлаждающую жидкость до определенных температур.

Пульт управления имеет индикатор, показывающий, стабильно ли работает система. Электронный таймер позволяет включать подогреватель на определенное время, либо до нагревания жидкости до необходимой температуры.

Различные датчики определяют напряжение в электроцепи, и если он окажется ниже 20 Вт, то подогреватель автоматически отключится. При напряжении от 26 Вт подогреватель переходит в режим с максимальной температурой 80°С.

ТТХ 15.8106:

  • расход топлива в час – 1,6 литра
  • напряжение – 24 В
  • теплопроизводительность – 15 кВт
  • масса – 15 кг

Неисправности и их устранение

Организация поиска дефектов описана в инструкции по эксплуатации устройства. Неисправности, возникшие в процессе эксплуатации и требующие полной или частичной разборки подогревателя, должны выполняться специалистами ремонтных организаций. Все поломки, кроме невозможности включения отопителя, отображаются миганием светодиода на панели пульта управления.

Коды ошибок

Подогреватель оборудован системой контроля за исправной работой узлов и отдельных элементов. При возникновении дефекта автоматика классифицирует его и количеством миганий светодиода оповещает водителя. Перечень возможных неисправностей сведен в таблицу с указанием необходимых действий, выполняемых для восстановления работоспособности устройства. Коды ошибок соответствуют количеству миганий индикатора.

Неисправности собраны в 10 групп по принципу одинаковых причин возникновения и методов устранения дефектов. Таблица приведена в руководстве по эксплуатации отопителя.

Узнать об ошибке можно по индикатору на таймере-терморегуляторе или пульте управления.

Коды ошибок на таймере:

  • Е-01 – неисправность пусковой системы
  • Е-02 – нет розжига пламени
  • Е-03 – низкое напряжение
  • Е-04 – нарушение в работе индикатора пламени
  • Е-05 – неисправность в работе источника питания
  • Е-06 – датчик температуры работает некорректно
  • Е-07 – неисправность электромагнитного клапана
  • Е-08 – неисправность двигателя вентилятора
  • Е-09 – неполадки электронасоса
  • Е-10 – высокое напряжение
  • Е-20 – нет связи блока управления с таймером-терморегулятором

На контрольной лампе те же ошибки идентифицируются по количеству миганий, и их количество соответствует коду ошибки. Например, если индикатор моргает 4 раза, то возникла неисправность в цепи индикатора пламени (Е-04).

При ошибке Е-20 контрольная лампа не будет мигать.

Коды ошибок на пульте управления обозначаются звуковым и световым сигналом: индикатор начинает мигать красным цветом. Количество раз звукового и цветового сигнала одинаково, например, коду ошибки соответствует 02 мигания индикатора и 2 звуковых сигнала.

Коды ошибок:
01 – срыв пламени
02 – нет розжига
03 – высокое напряжение
04 – низкое напряжение
05 – поломка датчика температуры
06 – неисправность цепи индикатора пламени
07 – поломка электронасоса
08 – поломка электромагнитного клапана
09 – неисправность двигателя горелки
10 – проблемы в высоковольтном источнике напряжения
11 – нет связи с блоком управления
12 – срабатывание термопредохранителя
13 – пробит транзистор нагревателя топлива

Почему не запускается

Если при попытке включения подогревателя LED-индикатор не светится, и пуск не произошел, то в этой ситуации причин может быть несколько, но все они связаны с отсутствием питания:

  • перегорел предохранитель на 25 А;
  • неисправна электропроводка;
  • окислились контакты в разъемах.

При наличии питания на ПУ причиной неисправности может быть дефект любого из контролируемых элементов. В этом случае код дефекта покажет мигающий индикатор.

Как включить

Пуск и изменение режимов работы «автономки» осуществляются с пульта управления. Чтобы запустить подогреватель, необходимо выбрать программу клавишей режимов (3 или 8 часов) и выключателем подать питание. При этом загорится светодиод, и блок управления начнет выполнение программы. После окончания тестирования и включения нагнетателя, помпы и топливного насоса произойдет розжиг горелки. Программа выполняется автоматически и не требует вмешательство водителя. По окончании заданного времени устройство остановится.

Повторный пуск возможен после отключения питания; последующее его включение — не ранее чем через 10 секунд.

Устройство пульта управления

Пульт используется для ручного управления режимами подогревателя, для продления время работы, а также для включения и выключения.

Рисунок панели пульта:

Один переключатель используется для включения/выключения, второй – для управления режимами работы.

Ручка терморегулятора используется для регулировки обогрева кабины, который осуществляется при температуре охлаждающей жидкости выше 55°С.

Если светодиодный индикатор мигает, то в предпусковом подогревателе имеется неисправность, стабильное горение сигнализирует о работе системы

Ремонт

Несмотря на то что производитель рекомендует проводить ремонт поломок, связанных с разборкой автономного отопителя, в специализированных мастерских, многие водители и владельцы автомобилей предпочитают устранять неисправности самостоятельно. К такому решению их подталкивает достаточно высокая цена на работы.

Чаще всего выходит из строя датчик пламени, и засоряется топливопровод. Работы простые и не требуют использование специального инструмента.

Уменьшить количество дефектов поможет регулярное проведение плановых ТО.

Для данного типа подогревателей предусмотрено 2 вида обслуживания: ежедневное и сезонное. Объемы, сроки проведения и перечень выполняемых работ приведены в технической документации на устройство.

Ремонт ПЖД 14ТС-10 своими руками

Автовладельцы задаются вопросом: можно ли отремонтировать ПЖД своими руками? Все зависит от сложности поломки: некоторые неисправности легко устранить самостоятельно, иные может исправить только специалист.

Перед ремонтом необходимо провести диагностику: установить код ошибки, возможную причину неисправности.

Например, при низком напряжении дело скорее всего в регуляторе напряжения, нужна либо его замена, либо проверка контактов.

При срыве пламени источник проблемы может быть в засорении фильтров, некачественная работа газоотведения или нагнетания воздуха.

Если причина была установлена, но исправить ситуацию не получается, то лучше обратиться к специалисту, ведь некачественный ремонт может еще больше усугубить проблему.

Как установить

Подогреватель 14ТС-10 устанавливается на поперечине рамы под капотом перед радиатором. Крепление устройства стандартное: болтовое. Котел патрубками врезается в штатную систему охлаждения. Подвод топлива возможен от собственного бачка, установленного вне моторного отсека, или от топливной системы. Отвод отработанных газов организовывают через гофрированный металлический рукав под днище автомобиля между кабиной и кузовом (прицепом).

Такое размещение автономки позволяет максимально удалить от кабины отработанные газы, свести до минимума длину патрубков системы охлаждения и получить дополнительный источник тепла в моторном отсеке.

Сталкивались ли Вы с поломками ПЖД?

Как включать и выключать автономный отопитель Eberspacher !!!!КАМАЗ 5490

Особенности эксплуатации и ремонта автономки на грузовых автомобилях КамАЗ Стояночный отопитель (в просторечии автономка) на КамАЗ служит для обогрева

Как работает

Подогреватель является автономным источником тепла и работает независимо от двигателя автомобиля. В состав устройства входит:

  • горелка;
  • топливный насос;
  • помпа;
  • блок управления;
  • выносной пульт управления;
  • соединительные провода.

Принцип действия отопителя 14ТС-10 основан на передаче тепла сгоревшего топлива охлаждающей жидкости, прокачиваемой через теплообменник. Устройство располагается под капотом и соединено с системой охлаждения двигателя.

Перед включением автономного подогревателя в работу проводится автоматическая проверка работоспособности всех его узлов. Получив информацию об исправном состоянии, блок управления дает команду на розжиг устройства. Одновременно с этим включается циркуляционный насос. Предусмотрены 2 программы работы отопителя: «Экономичная» и «Предпусковая». У первой — меньшая потребляемая мощность, а время выполнения составляет 8 часов. Вторая — более энергоемкая, но выполняется за 3 часа. Остановить работу устройства можно вручную на любом этапе цикла.

Розжиг топливной смеси происходит после продувки камеры сгорания воздухом. В качестве источника огня применяется свеча накаливания, которая остается в работе до устойчивого горения факела. Солярка подается в камеру сгорания электромагнитным топливным насосом из своей емкости или бака автомобиля. После передачи тепла стенкам теплообменника отработанные газы выбрасываются под автомобиль.

Автоматика обеспечивает безопасную эксплуатацию устройства и отключает его в следующих случаях:

  • 2 неудачные попытки запуска;
  • срыв факела пламени;
  • повышение напряжения сети более 30 В и снижение ниже 20 В;
  • перегрев теплообменника.

Первый пуск и периодические включения подогревателя при выполнении программы «Предпусковая» проводятся в режиме «Полный», а при «Экономичной» — в режиме «Средний». При этом расход топлива составляет 2 и 1,2 л/час.

Какие функции выполняет

Основная функция предпускового подогревателя – предварительное прогревание двигателя перед запуском, в основном используется в холодное время года.

Также может использоваться зимой при минусовых температурах для предотвращения замерзания дворников и оледенения лобового стекла.

В некоторых случаях может использоваться для обогрева кабины водителя: прогретый воздух из фена дует в салон.

Источник: http://specmahina.ru/kamaz/avtonomka.html

Особенности эксплуатации и ремонта автономки на грузовых автомобилях КамАЗ

Стояночный отопитель (в просторечии автономка) на КамАЗ служит для обогрева кабины при неработающем основном двигателе. В зависимости от конструкции устройства делятся на «сухие» и «мокрые». Первые факелом пламени нагревают воздух, который подается в кабину, а вторые — теплоноситель системы охлаждения двигателя автомобиля. В этом случае обогрев кабины проводится штатной печкой.

Источник: http://evakuator-ru-ru.ru/drugoe/kak-zapustit-avtonomku-na-kamaze-65115.html

Типы отопителей салона по источникам питания

В зависимости от типа топлива автономные отопители бывают:

  • электрические на 12 и 24 В;
  • бензиновые;
  • дизельные;
  • газовые.

Отопитель салона 12 вольт

Это компактные мобильные отопители салона небольшой мощности (до 200 Вт), работающие от автомобильного прикуривателя на 12 В. Их функция ограничивается обогревом водительского кресла и лобового стекла. Такие приборы можно быстро установить и убрать самому.

Отопитель салона 24 вольта

Воздушные отопители салона на 24 В аналогичны предыдущим приборам, но используются преимущественно в грузовых авто. Вместо них можно использовать и 12-вольтовые модели с преобразователем тока.

Бензиновый отопитель салона

В отличие от воздушных, бензиновые отопители выполняют сразу 2 функции: отопление салона плюс предпусковой прогрев двигателя. Бензиновые модели эффективнее воздушных, но дороже и требуют сложного монтажа.

Дизельные отопители салона

Конструктивно дизельные отопители салона идентичны бензиновым. Их мощность достигает 5 кВт и более, а расход горючего составляет в среднем 0,4 литра в час, что в 40 раз меньше, чем при работающем двигателе.

Источник: http://pridesaratov.ru/marki/upravlenie-avtonomkoj.html

Как включается автономка КАМАЗ | КАМАЗ

автономная печь камаз

Как работают Воздушные автономные отопители

Дальнобой по России, про автономку…

Запуск ПЖД

автономка камаз своими руками

Сброс активных ошибок предпускового подогревателя Eberspacher

Пжд14ТС ТС 10(GP) Камаз Омск

Автономка ПЛАНАР на Зубренке

Планар 44д-12gp

автономка

Также смотрите:

  • Сколько осей у КАМАЗ 5410
  • КАМАЗ максимальный уклон
  • Насос на раму КАМАЗ
  • Сколько масла заливать в двигатель КАМАЗ евро 3
  • КАМАЗ для отсоса
  • КАМАЗ 53501 семейства мустанг
  • Все виды пгу на КАМАЗ
  • Шасси автомобили КАМАЗ 4310
  • Сколько масла заливать в мосты КАМАЗ 5511
  • КАМАЗ в каком городе создаются
  • Кронштейн запасного колеса КАМАЗ евро
  • Обслуживание ввт КАМАЗ
  • Крепление радиатора на КАМАЗе
  • Усилие затяжки коленвала КАМАЗ
  • Пгу КАМАЗ как расположен

Главная » Хиты » Как включается автономка КАМАЗ
kamaz136.ru

Источник: http://retrotruck.ru/gruzovoj-transport/avtonomka-kamaz-65116.html

Предпусковой подогреватель 14ТС-10

ПЖД 14ТС-10 подготавливает двигатель к работе посредством подогрева охлаждающей жидкости.

Этот вид предпускового подогревателя имеет несколько режимов подогрева:

  • полный
  • средний
  • малый

А также 2 программы подогрева:

  • предпусковая
  • экономичная

В режиме полный на предпусковой программе жидкость прогревается до 70°С, на экономичной – до 55°С. После достижения наивысшей температуры ПЖД переходит в режим «средний», при котором жидкость нагревается до 75°С, а после – в режим «малый»: в нем достигается максимальная температура 80°С. Далее подогреватель переходит в режим остывания.

Технические характеристики:

  • Масса подогревателя – 10 кг
  • Потребляемая мощность – 132 Вт (полный)/101 Вт (средний)/ 77 Вт (малый)
  • Расход топлива при разных режимах – 2 л/ч (полный), 1,2 л/ч (средний), 0,54 л/ч (малый)
  • Теплопроизводительность – 15 кВт/ 9кВт/ 4 кВт
  • Топливо, используемое для работы – дизель, теплоноситель – тосол или антифриз.
  • Регулировка осуществляется автоматически, дистанционно с помощью блока управления.

Электрическая схема

Подогреватель работает от аккумулятора, а также имеет питание дизельным топливом. Именно электрические цепи подогревателя обеспечивают автоматическое и удаленное управление через блок и пульт управления.

При перегреве система автоматически выключается. Также при снижении напряжения до 20 Вт или повышения до 30 Вт предпусковой подогреватель выключается. Кроме того, выключение ПЖД происходит после двух неудачных попыток запуска; если во время работы горение прекращается – система выключается.

Схема подключения электрической цепи 14ТС-10:

Источник: http://specmahina.ru/kamaz/avtonomka.html

Камаз и романтика | Автор темы: Евгений

всем привет вопрос, запускаю автономку, но печка сама не включается, и так на всех пяти новых камазах, на старом включалась, что можно сделать?

LYDI (Macario) предрохранитель!

Артём (Nadiyya) а может ее нужно подключить?

Cергей (Luvena) бывает замерзает подача топлива и она не выключается покабочек не заполнится у нас так было.

Cергей (Luvena) автономка это ПЖД так?

Cергей (Luvena) ну так вот у неё есть свой топливный бочек откуда она питается когда там топливо есть то работает как положенно включается и отключается только топливо кончилось и не бролось она не отключится пока не наберется.

Источник: http://retrotruck.ru/gruzovoj-transport/avtonomka-kamaz-65116.html

Установка автономки на КАМАЗ

Как установить автономку в КАМАЗ-43118? Нужно выполнить следующие действия:

  1. Автомобиль устанавливается на предназначенную для его обслуживания платформу.
  2. Определяется место, в котором будет установлено устройство, с учётом инструкции.
  3. Происходит установка прокладки провода топлива и электропроводки. Топливным проводом преимущественно служит трубка из меди или стали толщиной не более 0,5 см.
  4. Определение конфигурации топливопровода, установка трубки из меди или стали с прикреплением последней к корпусу автомобильного кузова с помощью хомутов из металла и болтов для крепежа.
  5. Обработка отверстий для установки крепёжных элементов с помощью антикоррозийного раствора.
  6. Прокладка электропроводки, монтаж предохранительного механизма, а также выключателя.
  7. Монтаж панели управления автономкой, соединение этой панели с проводкой.
  8. Прокладка коаксиального воздуховода-дымохода (вентилятора, содержащегося в комплекте автономного устройства). Прикрепление шлангов устройства к автомобильному кузову.
  9. Монтаж и закрепление самого обогревателя.
  10. Проверка целостности и исправности трубки подачи топлива.
  11. Включение автономного отопителя, проверка уровня потребления электротока. В случае, когда его количество выше 20 процентов от той цифры, что указана в инструкции, требуется отключение механизма с устранением неисправности.
  12. Включение двигателя, проверка исправности воздушного отопителя автономного типа.

Источник: http://evakuator-ru-ru.ru/drugoe/kak-zapustit-avtonomku-na-kamaze-65115.html

Общие признаки неисправности воздушных отопителей Webasto

При возникновении неисправности необходимо проверить все предохранители и штекерные разъёмы и обязательно устранить найденные дефекты.

Неисправность Причина Рекомендации по устранению
Отопитель автоматически отключается.

Нет горения после 2 пусков либо обрыв пламени во время работы.

Отопитель перегревается, индикатор работы мигает.

Бортовое напряжение слишком низкое.

Выключить отопитель (не менее чем на 2 сек) и затем ещё один раз включить.

Проверить воздуховод на проходимость, остудить отопитель, выключить его (не менее чем на 2 сек), затем ещё один раз включить.

Зарядить аккумулятор. Выключить отопитель (не менее чем на 2 сек) и ещё один раз включить.

Если представленные выше меры не помогли, воздушный отопитель необходимо отдать на диагностику.

Внимание! Если невозможно устранить неисправность с помощью указанных выше мер то свяжитесь с сервисным центром Webasto. Не пытайтесь выполнить ремонт самостоятельно.

Источник: http://zapchasti-isuzu.ru/remont-i-tyuning/ne-vklyuchaetsya-avtonomka-2.html

Неисправности предпусковых подогревателей двигателя Прамотроник

Прамотроник – современный отечественный предпусковой подогреватель не уступающий по своим характеристикам зарубежным аналогам, тем не менее это не исключает возможности его поломки.

В данной статье мы рассмотрим все возможные неисправности и ошибки предпусковых подогревателей двигателя автомобиля Прамотроник.

Внимание! При эксплуатации и ремонте пжд необходимо строго соблюдать правила техники безопасности и принимать меры, исключающие возможность возникновения пожара.

Источник

Источник: http://spectorg.su/avtobrendy/kak-vklyuchaetsya-avtonomka-na-kamaze.html

Вице-президент Boeing рассказывает о будущем автономности пассажирских самолетов

Симулятор Боинга 787. Фото предоставлено Боингом

На третий день Парижского авиасалона компания Boeing сделала то, чего обычно не делает: всестороннюю публичную презентацию передовых авиационных технологий, над которыми она в настоящее время работает. Майк Синнетт, вице-президент по разработке продуктов для коммерческих самолетов Boeing, сказал, что будущие исследования одного из крупнейших в мире производителей коммерческих самолетов сосредоточены на трех областях: технологии автономного руления и управления полетом, машинное обучение и системы высокой интеграции.

Во время выставки компания Boeing опубликовала обновленный текущий рыночный прогноз, в котором прогнозируется спрос на 41 030 самолетов в течение следующих 20 лет, что создаст рынок стоимостью 6,1 триллиона долларов. Хотя это представляет собой здоровый рынок для Boeing и его конкурентов, Синнетт также отметил, что Boeing рассматривает необходимость повышения уровня автономности и машинного обучения в пассажирских самолетах более продвинутым способом, чем автономия, характерная для пассажирских самолетов Boeing. сегодня.

По словам Синнетта, рыночный спрос проекта создает потребность не только в более новых и экономичных самолетах, но и в пилотах — их 617 тысяч.Руководитель Boeing сказал, что у Boeing есть опасения, что сегодня недостаточно новых пилотов, проходящих обучение, чтобы удовлетворить эту потребность, что может привести к тому, что в будущем просто не хватит пилотов для управления всеми самолетами на всех самолетах. рейсов, которые авиакомпании и операторы будут выполнять через 20 лет.

Основная задача для Boeing с точки зрения повышения уровня автономной авионики и других технологий в пассажирских самолетах — обеспечить тот же уровень безопасности пассажирских полетов, который доступен сегодня.Чтобы представить это в перспективе, в презентации Синнетта была представлена ​​статистика автомобильных смертельных случаев, которые увеличились на 14% с 2014 года до 40 000 смертельных случаев в 2016 году. Несколько производителей автомобилей в настоящее время исследуют беспилотные автомобили для борьбы с этой статистикой. Для сравнения, в прошлом году на регулярных авиаперевозках не было ни одного случая смерти.

Поэтому компания Boeing ищет способы безопасного введения повышенных уровней автономии таким образом, чтобы они соответствовали уровням безопасности, уже установленным в отрасли сегодня.По словам Синнетта, одна из первых автономных возможностей, которую изучает Boeing, сосредоточена на автономной системе такси. Он сказал, что Boeing в настоящее время исследует технологию автономного руления в аэропортах в районе Пьюджет-Саунд в Сиэтле, и обозначил проблемы и конкретные технологии, которые необходимо освоить, чтобы воплотить это в жизнь.

«Мы должны выяснить, как предоставить информацию о самолете, чтобы предоставить информацию, которая необходима самолету, чтобы понять, где он находится и где все вокруг него.Это означает, что у вас должно быть значительное количество слияния сенсоров. Визуальные датчики, объединенные с данными о самолете, информация ADS-B In, информация [системы предотвращения столкновений] в сочетании с информацией о собственном корабле и визуальными подсказками с системой камер, объединенных вместе», — сказал Синнетт, добавив, что Boeing готовится для демонстрации технологии автономной системы такси в ближайшие два года.

Машинное обучение — еще одна автономная технология, которую Boeing также исследует прямо сейчас.Сосредоточение внимания на машинном обучении — это серьезный сдвиг в мышлении для Boeing и коммерческих самолетов, которые в основном имеют детерминированные системы, действующие по схеме «один вход — один выход».

В настоящее время отдел исследований и разработок компании Boeing внедрил в свои авиасимуляторы алгоритм машинного обучения, который ориентирован на принятие эксплуатационных решений в полете и изучение результатов каждого из этих решений. Он сказал, что по мере того, как алгоритм продолжает постепенно узнавать о решениях, в конечном итоге он будет готов управлять реальным самолетом.

«В следующем году у нас будет этот алгоритм на самолете, работающем в среде с незамкнутым контуром, просто понимая решение, которое приняла машина, и к чему это решение привело бы на реальном самолете», — сказал Синнетт.

Команда, которую возглавляет Синнетт, также пытается лучше понять роль пилотов в самолете с точки зрения безопасности. Он сказал, что особое внимание уделяется их предположению о неисправностях, возникающих в авионике самолета, а также реакциях на неисправности и последствиях режима отказа, когда летный экипаж вмешивается, чтобы предотвратить возникновение чего-то плохого.

Одним из примеров является самолет с включенным автопилотом, который летит прямо и горизонтально на крейсерской высоте 35 000 футов, и внезапно, без всякой причины, автопилот слегка поворачивает самолет. Когда это происходит, пилот обычно вмешивается, отключает автопилот, а затем снова подключает его, заставляя его работать точно до конца полета. Затем этот летный экипаж обычно сообщал об этой неисправности в Boeing, который сообщал об этом в FAA, а затем пытался выяснить, почему это произошло.

Некоторые из этих концепций, такие как алгоритмы машинного обучения и возможности автономного руления, могут быть представлены в следующих двух программах Boeing Eco Demonstrator: 777, запланированный на 2018 год, и 787, запланированный на 2019 год, поскольку Boeing продолжает использовать Eco Demonstrator, как и раньше. в прошлом для исследования передовых концепций.

«Мы уже планируем работу в 2019 году, которая вернется к 787, и основная часть этой работы будет связана с внутренними особенностями и внутренними возможностями с прицелом на [новый самолет среднего размера] и автономными возможностями с прицелом на что-то далеко за пределами NMA», — сказал Синнетт.

Некоторые из самых больших проблем на пути к возможности внедрения беспилотных летательных аппаратов будут заключаться в том, чтобы получить сертификат такого самолета и внедрить правильное сочетание технологий, которые позволили бы этому самолету предвидеть все различные непредсказуемые опасности, неисправности и аномалии, которые могут возникнуть в полет, как пилот делает сегодня. Синнетт признает, что до такой концепции еще много лет.

«Когда у нас появится эта возможность? Я знаю только две вещи: во-первых, это произойдет не раньше 2040 года.А во-вторых, я ошибаюсь. Мы просто не знаем», — сказал Синнетт.

Автономные системы и управление – Michigan Aerospace Engineering

Область автономных систем и управления связана с движением летательных аппаратов в атмосфере и в космосе, а также с вопросами динамики, управления и планирования, связанными с полетами и космическими приложениями. Кафедра имеет долгую историю передового опыта в области динамики полета и систем управления. Это был один из первых инженерных факультетов в стране, предлагающий курсы по автоматическому управлению, динамике полета и моделированию.

Автономные системы и специализация управления имеют сильный аэрокосмический акцент, о чем свидетельствуют текущие исследования динамики самолетов, планирования полета, управления полетом и автономного полета; динамика и управление системами ориентации; астродинамика; наведение, навигация и связанные с ними полетные системы; гибкие аэрокосмические аппараты; и акустика и управление потоком. Существует сильная ориентация на междисциплинарные системы, в которой особое внимание уделяется линейным и нелинейным системам, оптимизации, управлению с обратной связью, оптимальному планированию и принятию решений, стохастическим процессам и оценке, а также вычислительным и программным аспектам полетных систем.

Эта специализация охватывает теорию, эксперименты и вопросы реализации, а также изучение конкретных передовых аэрокосмических аппаратов.

Факультет автономных систем и управления

ИССЛЕДОВАТЕЛЬСКИЕ ГРУППЫ Автономных систем и управления

Лаборатория аэрокосмической техники, робототехники и управления

Лабораторией аэрокосмической, робототехники и управления (ARC) руководит  доцент Анук Жирар .Его миссия состоит в том, чтобы исследовать и разрабатывать ключевые технологии для совместного управления несколькими беспилотными транспортными средствами, противоборствующих стратегий, взаимодействия оператора и машины, расширенного планирования миссий и других наук об авиационном управлении.

Лаборатория автономных аэрокосмических систем

Лабораторией автономных аэрокосмических систем (AASL) руководит профессор Элла Аткинс . AASL разрабатывает системы, которые могут пилотировать или помогать пилотировать летательные аппараты. Примеры проектов включают Flying Fish, океанский беспилотный летательный аппарат наблюдения, который может патрулировать акваторию.Команда также разрабатывает систему, помогающую пилотам эффективно реагировать на чрезвычайные ситуации, рекомендуя траектории полета, которые могут позволить самолету безопасно приземлиться, несмотря на серьезные повреждения.

Лаборатория распределенных аэрокосмических систем и управления

Миссия Лаборатории распределенных аэрокосмических систем и управления, которой руководит доцент Димитра Панагу , заключается в исследовании методологий безопасности и защиты многоагентных систем с применением в многотранспортных системах, воздушной и космической робототехнике и взаимодействие человека и робота.Лаборатория оснащена системой захвата движения (14 камер VICON) для высокоточного слежения за объектами, а также современным парком малых БПЛА различной полезной нагрузки, а именно: восемь Hummingbirds и один Firefly от Ascending Technologies, два Solos от 3D Robotics, один DJI M100 и один DJI M210, двенадцать Bitcraze Crazyflies и 10 изготовленных на заказ небольших БПЛА с бортовыми контроллерами Pixhawk 2.1. БПЛА оснащены IMU, приемниками GPS и линиями беспроводной связи. Мы также установили камеры и датчики обнаружения и определения дальности (а именно, беспилотный LiDAR от Velodyne (Puck 16 Lite) и датчик дальности от Leddartech) на M210 и Solo соответственно.Кроме того, в лаборатории есть несколько установок виртуальной и дополненной реальности, а именно Oculus Rift, Microsoft Hololens и VufineWearable Display. Наконец, есть также семь марсоходов R1 (ArduROS Edition) от AION Robotics. Каждый марсоход оснащен Pixhawk 2.1 с Ardupilot, архитектурой Nvidia Jetson TX2 с установленными Ubuntu и ROS, а также двухканальным контроллером двигателя RoboClaw, способным управлять скольжением или дифференциальным приводом.

Лаборатория интеллектуальной робототехники и автономии

Целью Лаборатории интеллектуальной робототехники и автономии (iRAL), возглавляемой доцентом Василиосом Цумасом , является разработка алгоритмов искусственного интеллекта, которые позволяют роботам гибко понимать свое окружение, самостоятельно ориентироваться и сотрудничать друг с другом.В общих чертах, наша лаборатория заботится о надежной совместной автономности мобильных роботов, от беспилотных автомобилей до дронов и спутников, даже когда эти роботы работают в сложных условиях, таких как не нанесенные на карту области, загроможденные улицы и враждебные условия, где злоумышленники могут уничтожить некоторые автомобили/дроны/спутники. В этом контексте цель iRAL состоит в том, чтобы разработать алгоритмы, эффективные в вычислительном отношении и доказуемо эффективные.

Мичиганская исследовательская лаборатория

Исследовательской лабораторией штата Мичиган (MXL) руководит профессор Джеймс Катлер .Команда разрабатывает методы калибровки и оптимизации датчиков и систем на малых спутниках для исследования космоса. MXL также исследует, могут ли распределенные вычисления в глобальной сети пользователей малых спутников позволить спутникам доставлять больше данных на Землю. Миссии включают Radio Aurora Explorer (RAX), который изучает плазму в атмосфере, которая, как известно, нарушает спутниковую связь с Землей.

Лаборатория контроля шума, вибрации и движения

Лабораторией вибрации, акустики и управления движением руководит профессор Деннис Бернштейн .Лаборатория предоставляет возможности для проведения экспериментов по активному управлению с обратной связью. Исследовательские проекты включают активный контроль шума, контроль структурной вибрации и контроль вращательного дисбаланса. Эти эксперименты направлены на разработку подходящих аппаратных конфигураций для реализации алгоритмов управления с обратной связью, а также надежных, нелинейных и адаптивных алгоритмов управления. Соответствующее оборудование включает анализаторы спектра SRS, Scientific Atlantia и Siglab для обработки сигналов и идентификации системы, платы управления dSPACE для реализации контроллера в реальном времени и программное обеспечение для генерации кода для реализации контроллера.

Электрический шейкерный стол 6DOF используется для экспериментов по управлению движением. Этот стол имеет грузоподъемность 2000 фунтов и имеет цифровое управление. Датчик Polhemus используется для измерения трехмерного вращения и смещения.

Лаборатория оптимизации, динамики, управления и автономности транспортных средств

Лабораторией оптимизации, динамики, управления и автономности транспортных средств руководят доцент Анук Жирар и профессор Илья Колмановский .Миссия лаборатории состоит в том, чтобы исследовать и разрабатывать передовые технологии для управления передовыми и все более автономными транспортными средствами, работающими в космосе, воздухе, на земле и на море. Эти транспортные средства и транспортные системы демонстрируют сложную нелинейную динамику и должны функционировать в неопределенных условиях с ограниченными ресурсами, удовлетворяя при этом строгим ограничениям и противодействуя воздействию помех. Помимо моделирования и контроля механических движений таких транспортных средств, мы решаем связанные с этим проблемы оптимального управления энергопотреблением, температурным управлением и сбором информации.Мы поддерживаем тесные связи со сложными и появляющимися приложениями для транспортных средств реального мира, чтобы информировать о новых направлениях исследований в теории управления и оказывать максимальное влияние.

Лаборатория воздушного транспорта,


Инфраструктура и подключенные среды (LATTICE)

Лаборатория воздушного транспорта, инфраструктуры и подключенных сред (LATTICE) возглавляется приглашенным доцентом Максом Ли и сосредоточена на выявлении и решении исследовательских проблем, которые способствуют созданию более безопасных, более эффективных, более устойчивых и ориентированных на пользователя система воздушного транспорта.Примеры исследовательских проектов и областей, представляющих интерес, включают моделирование процессов разрушения и восстановления в сетях воздушного транспорта, разработку передовых моделей и механизмов управления потоками воздушного движения, контроль и оптимизацию сетевых систем, а также концепции системного проектирования для Advanced Air Mobility.

Используйте наши превосходные возможности для проведения исследований. Работайте с преподавателями, ведущими в своих областях.

Аэродинамические трубы аэрокосмического факультета Мичиганского университета были основным инструментом в исследованиях многих тысяч аэродинамических проектов, таких как испытания порывов ветра на воздушных судах, усовершенствования крыла, автомобили Мичиганского университета на солнечных батареях, автомобили Формулы SAE Мичиганского университета, и так далее.На этом фото Крис Шартье, старший технический специалист аэрокосмической отрасли, демонстрирует использование аэродинамических труб. Фото: Джозеф Сюй, Michigan Engineering Communications & Marketing www.engin.umich.edu

Keptn — объяснение плоскости управления Autonomous Cloud для Dynatrace

Autonomous Cloud Enablement (ACE) и Keptn — управляемая событиями автономная плоскость управления облаком — помогают нашим клиентам Dynatrace автоматизировать свои процессы доставки и операций.

Помимо наших первых историй успеха от avodag AG или amasol, мы видели много замечательных инноваций от Кристиана Хекельмана из eResearchTechnology (ERT), который интегрировал Keptn Quality Gates в свой GitLab Pipeline, который автоматизирует до 90% процесса утверждения сборки вручную. задачи.Прошли те дни, когда Кристиан вручную просматривал информационные панели и показатели после того, как новая сборка была развернута в среде тестирования или приемки:

Интеграция Keptn в ваши существующие инструменты DevOps, такие как GitLab, — это просто вызов API.

Кристиан и остальные участники сообщества Keptn и Autonomous Cloud предлагают еще больше полезного. Но прежде чем мы углубимся в детали, позвольте мне сначала объяснить, как мы пришли к нашей практике ACE, как она связана с Dynatrace и какую роль Keptn играет для наших клиентов Dynatrace.

Автономное облако было обусловлено потребностью наших клиентов в лучшей автоматизации

Наши инженеры и специалисты по доставке в Dynatrace потратили много времени на автоматизацию построения платформы Dynatrace Software Intelligence. Наш недавно запущенный Dynatrace API v2 был направлен на обеспечение единообразного взаимодействия с разработчиками, что позволяет нашим клиентам и партнерам реализовывать новые варианты использования и использовать API для масштабного управления Dynatrace.

Команды Dynatrace также внедрили автоматизацию поверх Dynatrace, чтобы автоматизировать многие задачи непрерывной доставки и обратной связи (CDF) и операционных процессов.Основываясь на наших знаниях о том, как мы интегрировали Dynatrace в нашу цепочку инструментов DevOps, мы советуем нашим клиентам следовать нашим передовым методам интеграции инструментов доставки с Dynatrace, обеспечения контроля качества на основе Dynatrace, реализации мониторинга как кода или автоматического исправления на основе проблем Dynatrace.

За последние два года мы вывели эти методы на рынок под названием «Автономное облако» и Autonomous Cloud Enablement — это практика, позволяющая вашей организации стать более автономной при развертывании и эксплуатации ваших приложений и служб в новой мультигибридной среде. облачные платформы.ACE занимается автоматизацией доставки, автоматизацией качества, автоматизацией операций и автоматизацией циклов обратной связи путем интеграции Dynatrace в ваш конкретный набор инструментов:

Autonomous Cloud Enablement — это автоматизация доставки, операций и циклов обратной связи

. Основываясь на нашем опросе, проведенном в Perform 2019, мы знали — хотя мы говорили о том, как автоматизировать Dynatrace в ваших процессах в течение многих лет — многие организации все еще пытаются:

  1. Автоматизация доставки: улучшение Среднее время до внедрения инноваций (MTTI)
  2. Автоматизация операций: сокращение среднего времени восстановления (MTTR)
Наш опрос показал, что многие из наших клиентов еще недостаточно зрелы, когда речь идет о доставке и эксплуатации

Хотя эти цифры улучшились за последний год, мы еще не приблизились к тому, чего хотим достичь как отрасль.Мы разработали четырехэтапный план развития автономного облака, который дает нашим клиентам рекомендации по интеграции их инструментов DevOps с Dynatrace для улучшения MTTI и MTTR.

Хотя этот план является хорошим началом, мы заметили, что многие клиенты тратят много времени на реализацию одних и тех же вариантов использования с помощью аналогичных инструментов, что приводит к дублированию работы. Например, внедрение качественных шлюзов в Jenkins или рабочих процессов автоматического исправления с помощью ServiceNow. Чтобы избежать дублирования работы и упростить реализацию этих вариантов использования более высокого уровня, мы выпустили Keptn — Autonomous Cloud Control Plane, которая реализует ключевые варианты использования автономного облака поверх Dynatrace API.

Чтобы лучше понять, как Keptn может ускорить внедрение Autonomous Cloud, позвольте мне сначала рассказать о плане зрелости, а затем о том, как вы можете извлечь выгоду из Keptn:

4-этапный план развития автономного облака

Мы говорили об этих четырех шагах в нескольких сообщениях в блогах, выступлениях на конференциях, в учебных пособиях на YouTube, а также предоставили Autonomous Cloud Service Engagement, чтобы помочь вам улучшить MTTI и MTTR.

Следующая анимация знакомит вас с этими строительными блоками и показывает, какие API-интерфейсы Dynatrace следует использовать для интеграции ваших инструментов DevOps для автоматизации ключевых случаев использования, таких как:

Автоматизируйте операции, также известные как NoOps, как самообслуживание: наблюдайте за самовосстановлением с помощью Dynatrace и Ansible

Autonomous Cloud Maturity Path проведет вас через автоматизацию мониторинга, производительности, доставки и операций

Богатство Dynatrace API позволяет интегрировать все ваши инструменты DevOps с Dynatrace, автоматически создавать информационные панели, настраивать оповещения на основе ваших SLI (индикаторов уровня обслуживания) и SLO (Цели уровня обслуживания) обеспечивают автоматическую обратную связь для тестов производительности или производственных развертываний и позволяют автоматизировать процессы исправления:

API Dynatrace позволяет автоматизировать все соответствующие варианты использования автономного облака с помощью существующих инструментов DevOps

. Хотя мы узнали, что некоторые из наших клиентов действительно успешно интегрировали Dynatrace с помощью этих API для автоматизации своих процессов доставки и операций, мы также узнали, что мы должны предоставить API более высокого уровня, чтобы сделать реализацию таких вещей, как Quality Gate на основе SLI/SLO, такой же простой, как один вызов API вместо множества вызовов различных API Dynatrace.Именно здесь на сцену выходит Keptn, наша управляемая событиями плоскость управления для автономной плоскости управления облаком!

Keptn — управляемая событиями плоскость управления для автономного облака

Keptn — это проект с открытым исходным кодом, и мы гордимся тем, что с июля 2020 года мы являемся проектом песочницы CNCF (Cloud Native Computing Foundation). Вы можете найти нас в CNCF, а также в среде CDF (Continuous Delivery Foundation).

Keptn может интегрироваться с другими платформами мониторинга и наблюдения благодаря нашей архитектуре, управляемой событиями.Поскольку этот блог ориентирован на Autonomous Cloud и Dynatrace, я, тем не менее, сосредоточусь на конкретных случаях использования, которые Keptn предоставляет за счет интеграции с Dynatrace. Если вас интересует Keptn с Prometheus или другими платформами мониторинга, ознакомьтесь с нашими руководствами.

Следующая анимация показывает, что Keptn делает для пользователей Dynatrace. Он обеспечивает дополнительный уровень автоматизации (через Keptn API) и пользовательский интерфейс (мы называем его Keptn Bridge). Keptn будет интегрироваться с Dynatrace через Dynatrace API, поэтому все, что нужно Keptn, — это наша конечная точка API Tenant и токен API.С этого момента он дает вам доступ к основным вариантам использования, таким как:

  • Отзыв о производительности в качестве самообслуживания
  • Конфигурация мониторинга как код
  • Проверка развертывания с помощью контрольных точек качества на основе SLI/SLO
  • Уведомление об инциденте и автоматическое исправление
Keptn действует как дополнительный уровень автоматизации поверх Dynatrace, обеспечивая основные варианты использования автономного облака

Установка Keptn

Keptn можно установить на широкий спектр платформ k8s, включая мою любимую, которая находится в облегченном дистрибутиве k3s.Хотя сам Keptn работает на k8s, он не ограничивается включением вариантов использования ACE в приложениях, работающих на k8s. Помните: Keptn — это уровень автоматизации поверх таких API, как Dynatrace API. Многие из наших нынешних пользователей используют Keptn для автоматизации вариантов использования своих существующих корпоративных приложений, например, Quality Gates для своих приложений на основе Java или .NET!

Дополнительные руководства по установке Keptn можно найти на странице https://tutorials.keptn.sh. Мы также планируем предложить Keptn как часть вашего арендатора Dynatrace на тот случай, если вы не захотите управлять Keptn самостоятельно.Сначала планируется Dynatrace Managed, позже — SaaS. Если вы заинтересованы, дайте нам знать!

Keptn автоматизирует 90 % утверждений сборки вручную с помощью контрольных параметров качества на основе SLI/SLO

Популярным вариантом использования Keptn является функция Quality Gate на основе SLI/SLO. Он автоматизирует проверку набора метрик (индикаторов уровня обслуживания) на соответствие пороговым значениям (целям уровня обслуживания). Keptn не только позволяет вам определять статические пороговые значения, но также позволяет сравнивать метрики с предыдущими оценками, такими как предыдущие сборки, тестовые прогоны или выпуски.Это делает этот вариант использования очень мощным и очень простым для интеграции в ваши существующие инструменты CI/CD, такие как Jenkins, GitLab Pipelines, Azure DevOps или другие. Результаты также визуализируются в Keptns Bridge либо с помощью тепловой карты, либо диаграммы:

. Возможности Keptn Quality Gate позволяют автоматически получать отзывы о сборках, тестовых запусках или развертываниях, которые можно легко интегрировать в Jenkins, GitLab…

Интеграция Keptn с Dynatrace не только извлекает метрики для оценки Quality Gate, но и отправляет события в Dynatrace при каждом действии Keptn. выполняет.Это дает вам полные контрольные журналы Dynatrace о том, что произошло в процессе доставки:

. Keptn автоматически связывает свои собственные события (контроль качества, развертывание, тестирование и т. д.) с Dynatrace через Dynatrace Events API

. С какими бы инструментами CI/CD вы ни интегрировали Keptn Quality Gates — вот преимущества для вас:

  • Простота интеграции с существующими инструментами
  • Мощная конфигурация как программный подход с SLI и SLO
  • Сравнение сборок
  • Тепловая карта и визуализация диаграмм в Keptn Bridge

Если у вас есть вопросы, присоединяйтесь к нашему каналу в Slack, и мы поможем вам.Хотя Keptn API легко вызвать из любого из ваших инструментов CI/CD, мы также можем указать вам на такие проекты, как общая библиотека Jenkins, расширение Azure DevOps или подключаемый модуль GitLab.

Keptn обнаруживает 90 % проблем с производительностью и масштабируемостью с помощью функции «Производительность как самообслуживание»

Еще один очень популярный вариант использования — «Производительность как самообслуживание». Это предназначено для организаций, которые пытаются создать культуру производительности, при которой инженеры могут в любое время получать отзывы о производительности, выполняя некоторую нагрузку для развернутой службы или приложения, и получать автоматические отзывы о производительности и масштабируемости.

На анимации ниже показано, как вы можете уведомить Keptn о новом развертывании, например: URL-адрес конечной точки службы, которую только что развернул инженер. Кроме того, вы можете указать Keptn, какой тип теста вы хотите выполнить (называемый стратегией тестирования) и какие SLI / SLO вы хотите, чтобы Keptn оценил после завершения теста. Keptn организует для вас весь рабочий процесс, сначала выполнив ваши тесты, а затем оценив наши SLI/SLO. Благодаря событийно-ориентированной архитектуре может быть запущен ЛЮБОЙ инструмент тестирования:

Keptn может организовать выполнение тестов и анализ результатов.Это обеспечивает настоящую производительность в качестве самообслуживания!

Хотя JMeter является популярным инструментом с открытым исходным кодом, и Keptn может выполнять ваш сценарий JMeter прямо в кластере k8s, где вы установили Keptn, он также может запускать другие инструменты тестирования. Neotys реализовала интеграцию для Neoload, при которой тест запускается через их предложение Neoload Web SaaS. Любой другой инструмент тестирования, предоставляющий API автоматизации, может быть легко интегрирован с Keptn. Если у вас есть вопросы, дайте нам знать через наш слабый канал.

Автоматическое исправление производственных проблем и создание приложений с самовосстановлением — это следующая большая вещь, но это также не так просто. Хотя у многих наших клиентов есть инструменты, которые позволяют им выполнять рабочие процессы, когда Dynatrace обнаруживает проблему, многие спрашивали нас, почему Dynatrace не может просто сделать то же самое. С Keptn мы предоставляем эту возможность.

Keptn можно активировать с помощью интеграции уведомлений о проблемах Dynatrace, а затем выполнить рабочий процесс исправления, который был определен с помощью «Автоматическое исправление как код».Keptn выполнит действия по исправлению, проверит Dynatrace, вернулась ли система в работоспособное состояние, и продолжит свой рабочий процесс, вызвав следующие шаги рабочего процесса, остановив рабочий процесс или эскалировав его, если автоматическое исправление не сработало.

Keptn реализует исправление как кодовый подход. Он выполняет действия и проверяет влияние перед переходом на

Keptn 0.7.0, выпуск которого запланирован на ближайшие недели, и предоставит вам новые возможности определения пользовательских действий по исправлению.Если вы заинтересованы и у вас есть вопросы по поддержке интеграции инструментов, сообщите нам об этом через наш канал Slack.

Keptn может полностью модернизировать наш конвейер доставки с помощью Progressive Continuous Delivery

Если вы смотрели некоторые из наших презентаций Keptn или ознакомились с учебными пособиями, то вы, вероятно, видели, как мы демонстрировали вариант использования сквозной доставки, в котором Keptn организует полный конвейер доставки, начиная с развертывания, тестирования, оценки и продвижения. Самое замечательное в этом то, что Keptn может использовать любой существующий инструмент или конвейер для доставки и продвижения, например.g: Keptn может вызывать ваши существующие конвейеры Jenkins.

Преимущество того, что Keptn управляет конвейером доставки, заключается в том, что вы можете шаг за шагом модернизировать свой конвейер, попутно интегрируя новые инструменты, например: интегрировать тестирование, проверки безопасности или канареечное развертывание без необходимости внедрять это в существующие конвейеры. . Интеграция Keptn с Dynatrace также гарантирует, что Dynatrace знает о каждом отдельном действии, отправляя события Dynatrace, такие как развертывание, запуск/остановка тестирования или результаты контроля качества.Следующая анимация показывает, как работает Keptn Progressive Continuous Delivery:

Keptn может организовать ваш процесс доставки, используя существующие активы, такие как конвейеры для развертывания.

В предстоящем выпуске мы представляем нового Помощника по доставке, которого требовали наши более ранние пользователи, предоставляя вам больше контроля над тем, какие версии ваших служб будут переведены на следующий этап. Узнайте больше в блоге Расширенная производственная поддержка с помощью Keptn 0.7 или отправьте нам запрос на слабый канал, если у вас есть дополнительные вопросы.

Keptn может быть расширен новыми вариантами использования с помощью архитектуры, управляемой событиями

Keptn внутренне просто управляет процессами посредством событий. Это позволяет Keptn отделить определение процесса от фактического выполнения. Преимущество этой архитектуры заключается в том, что каждый может добавлять в процессы новые инструменты, просто подписываясь на такие события, как «Развертывание завершено», «Оценка выполнена» или «Обнаружена проблема».

Кристиан Хекельманн уже использует эту возможность в ERT, используя не только службу Dynatrace Keptn, которая отправляет события развертывания, тестирования, контроля качества и автоматического исправления в Dynatrace, но и разработала собственную службу Dynatrace Synthetic Keptn, которая автоматизирует SLA-мониторинг развернутых услуги путем создания нового синтетического теста Dynatrace для новых развернутых версий программного обеспечения.

Таким образом, всякий раз, когда его конвейеры GitLab развертывают новую версию, Keptn помогает ему отправлять информацию о развертывании в Dynatrace (включая ссылки на GitLab), а также создает синтетическую проверку, чтобы убедиться, что недавно развернутая версия доступна конечным пользователям и соответствует соглашениям об уровне обслуживания. :

Архитектура Keptn, управляемая событиями, позволяет добавлять новые варианты использования, такие как автоматизация проверок SLA.

Сообщество Keptn уже предоставило несколько сервисов Keptn, которые расширяют Keptn новыми вариантами использования. Чтобы получить обзор, посетите репозитории Kept-Contrib и Keptn-Sandbox GitHub.Если у вас есть вопросы по какому-либо сервису или как написать свой собственный, дайте нам знать через slack-канал.

Резюме: Keptn ускоряет ваше путешествие в автономное облако

Я надеюсь, что объяснение того, как Keptn может ускорить ваше автономное облачное путешествие, ответило на многие ваши вопросы, которые у вас могли возникнуть, когда вы впервые услышали о Keptn.

Если вы хотите отправиться в это путешествие, я настоятельно рекомендую использовать Keptn. Большинство пользователей, с которыми я работал, начинали с одного варианта использования, такого как Quality Gates.Это дает вам немедленную выгоду, поскольку автоматизирует утомительный ручной процесс. Следующим может быть «Производительность как самообслуживание» или ваши первые шаги в автоматизированном исправлении.

Шаг за шагом Keptn поможет вам модернизировать и автоматизировать доставку и операции. Если вам нужна помощь, не стесняйтесь обращаться к команде Keptn, а также к нашей команде автономных облачных служб, которые также будут рады помочь вам реализовать один вариант использования за раз.

Новое прогнозирующее управление движением планарного транспортного средства в условиях неопределенности с помощью выпуклой оптимизации

  • B.Сюй, Д.Дж. Стилуэлл и А.Дж. Курдила, «Контроллер отступающего горизонта для планирования движения при наличии движущихся препятствий», Proc. Международной конференции IEEE по робототехнике и автоматизации , стр. 315–320, 2010 г.

    Google ученый

  • А. Бемпорад и К. Рокки, «Децентрализованная линейная модель с изменяющейся во времени прогностической моделью формирования беспилотных летательных аппаратов», Proc. IEEE Conference on Decision and Control и European Control Conference , стр.7488–7493, 2011.

    Глава Google ученый

  • Н., Дадхах и Б. Меттлер, «Обзор литературы по планированию движения в условиях неопределенности: рекомендации по управлению БПЛА», Journal of Intelligent and Robotic Systems , vol. 68, нет. 1 стр. 223–246, 2012.

    Google ученый

  • М., Инноченти, Л. Поллини и Д. Турра, «Нечеткий подход к наведению беспилотных летательных аппаратов, отслеживающих движущиеся цели», IEEE Transactions on Control Systems Technology , vol.16, нет. 6 стр. 1125–1137, 2008.

    Статья Google ученый

  • Б., Грохольский, Х. Даррант-Уайт и П. Гиббенс, «Теоретико-информационный подход к децентрализованному управлению несколькими автономными летательными аппаратами», IPoc. SPIE: Объединение датчиков и децентрализованное управление в робототехнических системах III , том. 4196, стр. 348–359, 2000.

    Статья Google ученый

  • С., Караман и Э. Фраццоли, «Алгоритмы на основе выборки для оптимального планирования движения», Международный журнал исследований робототехники , том. 30, нет. 2011. Т. 7. С. 846–894.

    Статья МАТЕМАТИКА Google ученый

  • Б. М. Сатьярадж, Л. К. Джейн, А. Финн и С. Дрейк, «Алгоритмы планирования маршрута нескольких БПЛА: сравнительное исследование», Нечеткая оптимизация и принятие решений , том. 7, нет. 3, стр. 257–267, 2008.

    MathSciNet Статья МАТЕМАТИКА Google ученый

  • С.Кениг и М. Лихачев, «Быстрое перепланирование для навигации в неизвестной местности», IEEE Transactions on Robotics , vol. 21, нет. 3, стр. 354–363, 2005.

    Статья Google ученый

  • С. Гарридо, Л. Морено, Д. Бланко и П. Юревич, «Планирование пути для навигации мобильных роботов с использованием диаграммы Вороного и быстрого марша», International Journal of Robotics and Automation , vol. 2, нет. 1, стр. 42–64, 2011.

    Google ученый

  • В.Каллем, А. Т. Комороски и В. Кумар, «Последовательная композиция для навигации неголономной тележки при наличии препятствий», IEEE Transactions on Robotics , vol. 27, нет. 2011. Т. 6. С. 1152–1159.

    Статья Google ученый

  • С., Гарридо, Л. Морено, Д. Бланко и П. Юревич, «Планирование пути для навигации мобильных роботов с использованием диаграммы Вороного и быстрого марша», International Journal of Robotics and Automation , vol.2, нет. 1, стр. 42–64, 2011.

    Google ученый

  • E. Besada-Portas, L. de la Torre, JM de la Cruz и B. de Andres-Toro, «Планировщик эволюционных траекторий для нескольких БПЛА в реалистичных сценариях», IEEE Transactions on Robotics , vol. 26, нет. 2010. Т. 4. С. 619–634.

    Статья Google ученый

  • Х. Курниавати, Ю. Ду, Д. Хсу и В. С. Ли, «Планирование движения в условиях неопределенности для роботизированных задач с длительными временными горизонтами», Международный журнал исследований робототехники , том.30, нет. 2011. Т. 3. С. 308–323.

    Статья МАТЕМАТИКА Google ученый

  • П. Абичандани, Г. Форд, Х. Ю. Бенсон и М. Кам, «Математическое программирование для задач планирования движения с несколькими транспортными средствами», В материалах Международной конференции IEEE по робототехнике и автоматизации , стр. 3315– 3322, 2012.

    Google ученый

  • А. Ричардс и Дж. П. Хоу, «Надежная модель прогнозирующего управления с переменным горизонтом для маневрирования транспортных средств», International Journal of Robust and Nonlinear Control , vol.16, нет. 7, стр. 333–351, 2006.

    MathSciNet Статья МАТЕМАТИКА Google ученый

  • Д. Шим, Х. Дж. Ким и С. Састри, «Децентрализованная нелинейная модель прогнозирующего управления несколькими летающими роботами», Proc. IEEE Conference on Decision and Control , стр. 3621–3626, 2003 г.

    Google ученый

  • А. Ричард и Дж. П. Хоу, «Надежное прогнозирующее управление распределенной моделью», International Journal of Control , vol.80, нет. 9, стр. 1517–1531, 2007.

    MathSciNet Статья МАТЕМАТИКА Google ученый

  • К. Седиги, К. Ашенайи и Р. Уэйнрайт, «Автономное локальное планирование пути для мобильного робота с использованием генетического алгоритма», Конгресс по эволюционным вычислениям , том. 3, стр. 1338–1345, 2004.

    Google ученый

  • П. О. Скокарт и Д. К. Мейн, «Прогнозирующее управление моделью минимально-максимальной обратной связи для линейных систем с ограничениями», IEEE Transactions on Automatic Control , vol.43, нет. 8, стр. 1136–1142, 1998.

    MathSciNet Статья МАТЕМАТИКА Google ученый

  • Д. К. Мейн, Э. К. Керриган, Э. Дж. ван Вик и П. Фалуги, «Надежное нелинейное прогнозирующее управление на основе трубок», International Journal of Robust and Nonlinear Control , vol. 21, нет. 11, стр. 1341–1353, 2011.

    MathSciNet Статья МАТЕМАТИКА Google ученый

  • Б.Звонок, Обход препятствий для беспилотных летательных аппаратов с использованием компьютерного зрения , магистерская работа, Университет Бригама Янга, 2006 г.

    Google ученый

  • M. Deng, A. Inoue, Y. Shibata, K. Sekiguchi и N. Ueki, «Метод предотвращения препятствий для двухколесного мобильного робота», IEEE International Conference on Networking, Sensing and Control , стр. 689–692, 2007.

    Глава Google ученый

  • Х.Ю., Шарма Р., Берд Р. В. и Тейлор С. Н., «Планирование маршрута на основе наблюдаемости и предотвращение столкновений для микролетательных аппаратов с использованием измерений только пеленга», Proceedings of the American Control Conference , стр. 4649–4654. , 2011

    Google ученый

  • А. Бемпорад и К. Рокки, «Децентрализованная линейная модель с изменяющейся во времени прогностической моделью формирования беспилотных летательных аппаратов», Proc. IEEE Conference on Decision and Control и European Control Conference , стр.7488–7493, 2011.

    Глава Google ученый

  • К. Г. Прево, Оптимальное совместное предотвращение препятствий и отслеживание целей БПЛА в динамических стохастических средах , докторская диссертация, Университет Лаваля, 2011.

    Google ученый

  • М. Оно, Л. Блэкмор и Б. К. Уильямс, «Оптимальное управление случайным ограничением на конечном горизонте с невыпуклыми ограничениями», Proc.Американской конференции по контролю (ACC) , 2001.

    Google ученый

  • К. Норен, Планирование пути для автономных большегрузных транспортных средств с использованием нелинейного прогнозирующего управления , магистерская диссертация, 2013.

    Google ученый

  • М. А. Мусави, Б. Мошири и З. Хешмати «Совместное управление сетевыми автономными транспортными средствами с использованием выпуклой оптимизации», Proc.2015 г. 3-я Международная конференция RSI по робототехнике и мехатронике (ICROM) , 2015 г.

    Google ученый

  • В. Ян и С. Бойд, «Быстрое прогнозирующее управление с использованием онлайн-оптимизации», IEEE Transactions on Control Systems Technology , vol. 18, нет. 2010. Т. 2. С. 267–278.

    Статья Google ученый

  • Н. Беззо, Р. Фиерро, А. Свинглер и С.Ferrari «Дизъюнктивный подход к программированию для планирования движения сетей мобильных маршрутизаторов», International Journal of Robotics and Automation , vol. 24, нет. 1, стр. 267–278, 2011.

    МАТЕМАТИКА Google ученый

  • Ли X. Р. и Жилков В. П., «Обзор сопровождения маневрирующих целей: динамические модели», AeroSense , стр. 212–235, 2000.

    Google ученый

  • Н.Э. Д. Тойт и Дж. В. Бердик, «Вероятностная проверка столкновений с ограничениями вероятности», IEEE Transactions on Robotics , vol. 27, нет. 2011. Т. 4. С. 809–815.

    Статья Google ученый

  • К. Г. Прево, Оптимальное совместное предотвращение препятствий и отслеживание целей БПЛА в динамических стохастических средах , докторская диссертация, Университет Лаваля, 2011.

    Google ученый

  • М.Грант и С. Бойд, «CVX: Программное обеспечение Matlab для дисциплинированного выпуклого программирования. Версия 2.0 Beta», [Онлайн]. Доступно: http://cvxr.com/Version, 2012.

    Google ученый

  • М. А. Мусави, З. Хешмати и Б. Мошири «Планирование пути автономного транспортного средства на основе LTV-MPC с помощью выпуклой оптимизации», Proc. материалов IEEE 21-й Иранской конференции по электротехнике (ICEE) , стр. 1–7, 2013 г.

    Google ученый

  • Распределенная автономия/Реагирующее управление — DA/RC

    Распределенная автономия/Реагирующее управление — DA/RC — Northrop Grumman

    Этот веб-сайт лучше всего просматривать в таких браузерах, как: Edge, Firefox, Chrome или Safari.Мы рекомендуем вам использовать один из этих браузеров для получения наилучших результатов.

    Распределенное автономное/отзывчивое управление — DA/RC

    Устранение зависимости беспилотных систем от непрерывной связи.

    Система DA/RC компании Northrop Grumman является ведущим прототипом системы совместного управления и контроля во всех областях (JADC2). Он соединяет и контролирует широкий спектр сложных систем во всех доменах и службах в высококонкурентных средах.

    Это зрелое трансформационное программное обеспечение обеспечивает превосходство в принятии решений для пилотируемого и беспилотного флота в условиях высокой конкуренции. С помощью DA/RC операторы могут контролировать большое количество активов со скоростью машины с масштабируемой степенью человеческого контроля.

    Возможности DA/RC будут играть важную роль в формировании будущего боевых действий, позволяя технологиям работать в тесном сотрудничестве с людьми. Эта трансформационная технология обеспечивает беспрепятственное взаимодействие человека и машины для эффективного принятия решений и совместного управления миссиями на распределенных пилотируемых и беспилотных объектах.

    Connected to Defend

    Распределяя автономию для каждого транспортного средства и автоматизируя принятие срочных тактических решений, DA/RC позволяет продолжать миссии даже в недопустимой среде, где каналы связи могут быть заблокированы.

    Узнайте больше о DA/RC в действии

    Специальное издание Ars Technicast: Роль открытых систем в соединении объединенных сил

    Роль открытых систем играет важную роль в объединении так называемых «Объединенных сил».«Это объединенное и скоординированное функционирование нескольких подразделений службы США и их международных союзников. Послушайте Ричарда Салливана, вице-президента, в подасте Ars Technica, чтобы узнать больше о том, как Объединенные силы становятся единым целым.

    Слушайте подкаст

    Цели этого революционного программного обеспечения:
    • Устранение зависимости беспилотных систем от непрерывной связи
    • Автоматизация принятия тактических решений и рутинных задач в режиме реального времени, которые в настоящее время выполняются людьми для пилотируемых и беспилотных систем
    • Повышение эффективности и точности принятия тактических решений, необходимых для работы нескольких взаимодействующих систем в сложных, динамичных, неблагоприятных условиях
    • Сокращение общей рабочей силы
    • Предоставление людям эффективного интерфейса для регулирования, контроля и управления поведением системы на всех уровнях от общего усилить отдельные подсистемы
    • Обеспечить интероперабельную/масштабируемую архитектуру (UCI, OMS, микросервисы, облачные технологии)

    Подход DA/RC подчеркивает силу взаимодействия человека и машины и позволяет быстрее и эффективнее принимать решения в сложные и динамичные среды в будущем.

    Автономные системы

    Человеческий потенциал ограничен. Пока нет.

    Объединение объединенных сил в единое целое

    Будущий успех миссии будет зависеть от высокоэффективного Совместного всестороннего управления и контроля (JADC2)

    Будущее обороны

    Сейчас. Работает на базе Northrop Grumman

    ВВС запускают беспилотники-шпионы над Южно-Китайским морем

    Система DA/RC производства Northrop-Grumman, которая в настоящее время находится в разработке, направлена ​​на то, чтобы распределить большую автономность на самом самолете.

    Northrop Pitches Программное обеспечение автономного управления боем для ABMS

    Журнал Air Force Magazine сообщает о том, как Northrop Grumman стремится пролить свет на дилемму совместного управления и контроля во всех областях.

    Northrop Grumman представляет DA/RC View на современном поле боя

    Новости AUVSI сообщают о том, как интеллектуальные системы, пилотируемые и беспилотные, работают вместе

    Цель состоит в том, чтобы обеспечить сферическое радиолокационное предупреждение, идентификацию угроз и возможности противодействия для защиты экипажей от современного электромагнитного спектра…

    Northrop Grumman одновременно перехватывает несколько угроз во время летных испытаний беспрецедентная совместимость и способность обнаруживать, отслеживать и одновременно реагировать на угрозы

    Northrop Grumman демонстрирует автономные морские возможности в U.Учения ВМС США по передовым военно-морским технологиям

    Учения продемонстрировали десантирование гидроакустических буев с суррогатного самолета Northrop Grumman Fire Scout и развертывание сына с микросинтетической апертурой Northrop Grumman…

    границ | На пути к общим схемам управления автономией для систем человек-робот: распознавание примитивов действий с использованием функций взгляда

    Введение

    Повседневная деятельность (ADL) может быть сложной для людей с поражением верхних конечностей.Использование вспомогательных роботов-манипуляторов является активной областью исследований с целью повышения функциональной независимости человека (Groothuis et al., 2013). Однако современные вспомогательные роботизированные руки, такие как рука Kinova и рука Manus, управляются джойстиками, что требует от операторов частого переключения между несколькими режимами захвата, включая режим положения, режим ориентации и режим открытия/закрытия (Driessen). и др., 2001; Маэу и др., 2011). Пользователям необходимо управлять манипулятором с точки зрения захвата в неинтуитивном декартовом пространстве координат.Операторы получат большую пользу от интерфейса управления с более низкой когнитивной нагрузкой, который может точно и надежно определять намерения человека.

    Долгосрочная цель этой работы состоит в том, чтобы продвигать общие схемы управления автономией, чтобы люди с нарушениями верхних конечностей могли более естественно управлять роботами, помогающими в повседневной жизни. С этой целью краткосрочной целью этого исследования является продвижение использования взгляда для распознавания действий. Наш подход заключается в разработке алгоритма на основе нейронной сети, который использует информацию, основанную на взгляде, для распознавания примитивов действия, которые можно использовать в качестве модульных, обобщаемых строительных блоков для более сложного поведения.Мы определяем новые функции на основе взгляда и показываем, что они повышают точность распознавания и уменьшают задержку наблюдения (Ellis et al., 2013) классификатора.

    Эта статья организована следующим образом. В разделе «Связанные работы» описывается связанная работа в отношении пользовательских интерфейсов для вспомогательных манипуляторов роботов и методов распознавания действий. Раздел «Материалы и методы» представляет экспериментальный протокол и предлагаемую структуру модели распознавания примитивов действия, производительность которой подробно описана в разделе «Результаты».Раздел «Обсуждение» посвящен влиянию входных функций на производительность классификатора и соображениям относительно будущей реализации в реальном времени. Вклады обобщены в разделе Заключение.

    Связанная работа

    Пользовательские интерфейсы для вспомогательных роботов-манипуляторов

    Многие типы невербальных пользовательских интерфейсов были разработаны для управления вспомогательными манипуляторами роботов, которые полагаются на различные входные сигналы, такие как электрокортикографические (ЭКоГ) (Hochberg et al., 2012), жесты (Rogalla et al., 2002), электромиография (ЭМГ) (Bi et al., 2019) и электроэнцефалография (ЭЭГ) (Bi et al., 2013; Salazar-Gomez et al., 2017). Несмотря на то, что ЭКоГ была сопоставлена ​​с непрерывными движениями кисти и руки с высокой степенью свободы (Chao et al., 2010; Wang et al., 2013), недостатком является то, что требуется инвазивная хирургическая процедура. Интерфейсы на основе жестов часто требуют, чтобы операторы запоминали сопоставления конкретных положений рук с поведением роботов (Rogalla et al., 2002; Ghobadi et al., 2008; Raheja et al., 2010), что не является естественным.Интерфейсы на основе ЭМГ и ЭЭГ, хотя и неинвазивные и интуитивно понятные, требуют от пользователей надевания и снятия электродов ЭМГ или шапочки ЭЭГ, что может быть неудобно и требует ежедневной повторной калибровки.

    В этой работе мы рассматриваем интерфейсы на основе взгляда, которые имеют ряд преимуществ. Взгляд относительно легко измерить, и его можно включить в пользовательский интерфейс, который является невербальным, неинвазивным и интуитивно понятным. Кроме того, с этим типом интерфейса можно заранее распознать намерение оператора, поскольку взгляд обычно предшествует движениям рук (Hayhoe et al., 2003).

    Во многих исследованиях сообщается об использовании взгляда для управления роботами. В начале 2000-х устройство отслеживания глаз использовалось в качестве прямой замены ручной мыши, так что точка взгляда на дисплее компьютера обозначает положение курсора, а моргание функционирует как нажатие кнопки (Lin et al., 2006; Gajwani and Chhabria). , 2010). С 2015 года взгляд используется для передачи трехмерного целевого положения (Li et al., 2015a, 2017; Dziemian et al., 2016; Li and Zhang, 2017; Wang et al., 2018; Zeng et al., 2020) за управление движением роботизированного концевого эффектора. Распознавание действий не требовалось, поскольку эти методы заранее предполагали конкретные действия, такие как дотянуться и схватить (Li et al., 2017), написать и нарисовать (Dziemian et al., 2016) и взять и поместить (Wang et al. , 2018). В последнее время взгляд использовался для распознавания действия из априорного списка. Например, Шафти и др. разработали вспомогательную роботизированную систему, которая распознавала предполагаемые действия субъектов (включая протягивание руки, чтобы схватить, протягивание руки, чтобы уронить и протягивание руки, чтобы налить), используя конечный автомат (Shafti et al., 2019).

    В этой работе мы продвигаем использование взгляда для распознавания действий. Мы считаем, что управление взглядом роботов перспективно из-за невербального характера интерфейса, богатой информации, которую можно извлечь из взгляда, и низкой когнитивной нагрузки на оператора при отслеживании естественных движений глаз.

    Действие Представление и признание

    Мёслунд и др. описал человеческое поведение как композицию трех иерархических уровней: (i) деятельность, (ii) действия и (iii) примитивы действия (Moeslund et al., 2006). На самом высоком уровне деятельность включает ряд действий и взаимодействий с объектами. В свою очередь, каждое действие состоит из набора примитивов действия. Например, действие «заварить чашку чая» состоит из серии действий, таких как «поднести чайник к плите». Это конкретное действие можно далее разделить на три примитива действия: «ведущая рука тянется к чайнику», «ведущая рука перемещает чайник к плите» и «ведущая рука ставит чайник на плиту».

    Большое количество исследований, основанных на компьютерном зрении, уже способствовало признанию действий повседневной жизни, таких как ходьба, бег, махание рукой, еда и питье (Lv and Nevatia, 2006; Wang et al., 2012; Vemulapalli et al. ., 2014; Ду и др., 2015). Эти исследования выявили расположение суставов и углы суставов в качестве входных признаков от внешних камер RGB-D и классифицировали ADL с использованием таких алгоритмов, как скрытые марковские модели (HMM) и рекуррентные нейронные сети (RNN).

    В других исследованиях использовались эгоистичные видеоролики, снятые на головные камеры или устройства для отслеживания движения глаз (Yu and Ballard, 2002; Yi and Ballard, 2009; Fathi et al., 2011, 2012; Бехера и др., 2012 г.; Фатхи и Рег, 2013 г.; Мацуо и др., 2014 г.; Ли и др., 2015b; Ма и др., 2016). Методы предварительной обработки видео требовали сначала вычитания переднего плана, а затем обнаружения человеческих рук и объектов, связанных с деятельностью. Несколько функций, связанных с руками, объектами и взглядом, затем использовались в качестве входных данных для распознавания действий с использованием таких подходов, как HMM, нейронные сети и машины опорных векторов (SVM). Особенности, связанные с рукой, включали позу руки, расположение руки, соотношение между левой и правой рукой и поле оптического потока, связанное с рукой (Fathi et al., 2011; Ма и др., 2016). Особенности, связанные с объектами, включали парные пространственные отношения между объектами (Behera et al., 2012), изменения состояния объекта (открытое или закрытое) (Fathi and Rehg, 2013) и поле оптического потока, связанное с объектами (Fathi et al. ., 2011). «Визуально рассматриваемый объект», определенный Йи и Баллардом (2009) как объект, фиксируемый глазами, широко использовался в качестве признака, связанного со взглядом (Ю и Баллард, 2002; Йи и Баллард, 2009; Мацуо и др. , 2014). Некоторые исследования дополнительно извлекали такие характеристики, как цвет и текстура вблизи визуально воспринимаемого объекта (Fathi et al., 2012; Ли и др., 2015b).

    Из-за ряда ограничений современные методы распознавания действий нельзя напрямую применять для интуитивного управления вспомогательным роботом с помощью взгляда. Во-первых, основанные на компьютерном зрении подходы к автоматическому распознаванию ADL были сосредоточены на уровнях активности и действий в соответствии с описанием иерархии действий Моэслунда (Moeslund et al., 2006). Тем не менее, современные роботы недостаточно сложны, чтобы автономно планировать и выполнять эти высокоуровневые действия.Во-вторых, движения глаз традиционно используются только для оценки точки или объекта взгляда (Yu and Ballard, 2002; Yi and Ballard, 2009; Matsuo et al., 2014). Можно было бы проделать дополнительную работу, чтобы извлечь другие полезные функции из пространственно-временных данных взгляда, таких как временная история угла объекта взгляда и угловой скорости объекта взгляда, которые далее описаны в разделе Величины, связанные со взглядом.

    Материалы и методы

    Экспериментальная установка

    Это исследование было одобрено Институциональным наблюдательным советом Калифорнийского университета в Лос-Анджелесе.Экспериментальная установка и протокол ранее сообщались в нашей предыдущей статье (Хаджи Фаталиян и др., 2018). Сообщаются данные по 10 субъектам [девять мужчин, одна женщина; в возрасте 18–28 лет; два чистых правши, шесть смешанных правшей, два нейтральных, согласно оценке леворукости (Zhang, 2012) на основе Эдинбургской инвентаризации рукости (Oldfield, 1971)]. Субъектам было предложено выполнить три бимануальных действия, связанных с повседневными предметами и действиями: приготовить растворимый кофе, приготовить порошкообразный напиток и приготовить чистящую губку (рис. 1).Объекты, участвующие в этих трех действиях, были выбраны из эталонного набора объектов Yale-CMU-Berkeley (YCB) (Calli et al., 2015). Мы называем эти объекты объектами, относящимися к деятельности , поскольку они будут захватываться и манипулироваться ими, когда субъекты выполняют определенные действия.

    Рис. 1. (A) Субъект готовится к выполнению действия 2 (приготовление растворимого кофе), в то время как взгляд и кинематика отслеживаются с помощью надетого на голову устройства отслеживания движения и системы захвата движения (не показано).Упражнение 2 включает банку из-под кофе, ложку и кружку. (B) Упражнение 1 (приготовление порошкообразного напитка) включает банку из-под кофе, ложку и кружку. (C) Упражнение 3 (подготовьте чистящую губку) включает распылитель с крышкой, губку и кружку. Субъект, показанный на панели (A) , одобрил публикацию этого изображения.

    В Упражнении 1 испытуемые снимали крышку кувшина, перемешивали воду в кувшине и переливали воду в кружку двумя разными способами (зачерпывая ложкой и выливая).В Упражнении 2 испытуемых просили снять крышку банки с кофе, зачерпнуть смесь растворимого кофе в кружку и налить в кружку воду из кувшина. В Упражнении 3 испытуемые отвинчивали крышку пульверизатора, наливали воду из бутылки в кружку, распыляли воду на губку и завинчивали крышку обратно на бутылку. Чтобы стандартизировать инструкции, данные испытуемым, экспериментальные процедуры были продемонстрированы с помощью предварительно записанного видео. Каждое действие повторялось испытуемым четыре раза; экспериментальная установка сбрасывалась перед каждым новым испытанием.

    Для отслеживания точки взгляда испытуемого на частоте 60 Гц по отношению к встроенной эгоцентрической камере сцены использовалось устройство для отслеживания движения глаз (ETL-500, ISCAN, Inc., Woburn, MA, USA). По данным калибровки точность и точность устройства отслеживания глаз составляли ~1,4° и 0,1° соответственно. Движение объектов YCB, устройства отслеживания глаз и верхней конечности каждого субъекта отслеживалось с частотой 100 Гц с помощью шести камер захвата движения (T-Series, Vicon, Калвер-Сити, Калифорния, США). Затемняющая занавеска окружала поле зрения испытуемого, чтобы свести к минимуму визуальные отвлекающие факторы.Репрезентативное экспериментальное испытание показано в дополнительном видео 1.

    Величины, связанные с взглядом

    Мы извлекаем четыре типа величин, связанных со взглядом, из естественных движений глаз, когда испытуемые выполняли задания 1–3. Количества включают объект взгляда (ГО) (Ю и Баллард, 2002; Йи и Баллард, 2009; Мацуо и др., 2014) и последовательность объектов взгляда (ГОС) (Хаджи Фаталиян и др., 2018). В этом разделе описывается, как определяются и строятся эти величины.Как описано в разделе «Входные функции для модели распознавания примитивов действий», эти связанные с взглядом величины используются в качестве входных данных для рекуррентной нейронной сети с долговременной памятью (LSTM) для распознавания примитивов действий.

    Необработанные данные, которые мы получаем от айтрекера, представляют собой набор 2D-пиксельных координат. Координаты представляют собой перспективную проекцию точки взгляда субъекта на плоскость изображения эгоцентрической камеры сцены устройства отслеживания глаз. Чтобы преобразовать координату 2D-пикселя в 3D-вектор взгляда, мы используем параметры калибровки камеры, определенные с использованием традиционной процедуры калибровки шахматной доски (Heikkila and Silven, 1997) и набора инструментов MATLAB Camera Calibration Toolbox (Bouguet, 2015).Трехмерный вектор взгляда строится путем соединения начала кадра эгоцентрической камеры с положением точки взгляда в плоскости двумерного изображения, которое теперь выражается в трехмерной глобальной системе отсчета.

    Объект взгляда (GO) определяется как первый объект, пересекаемый трехмерным вектором взгляда, поскольку вектор взгляда исходит от субъекта. Таким образом, если вектор взгляда пронзает множество объектов, то объект, ближайший к началу координат трехмерного вектора взгляда (внутри устройства слежения за движением головы), помечается как объект взгляда.

    Как определено в нашей предыдущей статье, последовательность объектов взгляда (GOS) относится к идентичности объектов взгляда в соответствии с последовательностью, в которой объекты взгляда рассматриваются визуально (Хаджи Фаталиян и др., 2018). В частности, временная история последовательности объектов взгляда GOS(t i ) состоит из последовательности объектов взгляда, выбранных с частотой 60 Гц в пределах заданного окна времени W(t i

  • 7 ) (рис. 2).Временное окно W (T I ) содержит W шаги из T I W T I -1 .

    Рис. 2. (A) Временная история последовательности объектов взгляда GOS(t i ) в пределах окна времени W(t i ) (зеленая скобка) показана для Действия 1 (приготовление порошкообразного напитка). (B) Чтобы предсказать примитив действия на временном шаге t i , векторы входных признаков (показаны как матрицы 5 × 5 для ясности) создаются для каждого из моментов времени от t i-w до t i- 1 .Релевантные для деятельности объекты сортируются по частоте их появления в ГСН (t i ).

    В этой работе мы используем значение w = 75 временных шагов, что эквивалентно 1,25 с. Этот размер временного окна был определен в пилотном исследовании, результаты которого представлены в разделе «Влияние размера временного окна на точность распознавания». Пилотное исследование было мотивировано работой Haseeb et al. в котором на точность LSTM RNN влиял размер временного окна (Haseeb and Parasuraman, 2017).

    Объектный угол (GOA) описывает пространственное отношение между вектором взгляда и каждым объектом взгляда. GOA определяется как угол между вектором взгляда и вектором глаз-объект (рис. 3). Вектор глаз-объект имеет то же начало, что и вектор взгляда, но заканчивается в центре масс объекта. Центр масс каждого объекта оценивался путем усреднения трехмерных координат точек в облаке точек объекта. Облако точек каждого объекта было отсканировано с помощью 3D-сканера со структурированным светом (Structure Sensor, Occipital, Inc., Калифорния, США) и изготовленный на заказ аппарат с проигрывателем. Контейнеры, такие как кувшин и кружка, считаются пустыми для оценки центра масс.

    Рисунок 3 . Объектный угол взгляда определяется как угол между вектором взгляда и вектором глаза-объекта (заканчивающимся в центре масс объекта).

    Угловая скорость объекта взгляда (GOAS) рассчитывается путем взятия производной GOA по времени. Мы используем GOAS для измерения того, как вектор взгляда перемещается по отношению к другим объектам, связанным с деятельностью.Ранее объект взгляда и последовательность объектов взгляда использовались для распознавания действий (Yi and Ballard, 2009; Matsuo et al., 2014). Насколько нам известно, это первая работа, в которой угол объекта взгляда и угловая скорость объекта взгляда используются для распознавания примитивов действия.

    Модель распознавания примитивов действий

    Представление примитивов действий

    Мы представляем каждый примитив действия в виде триплета, состоящего из глагола , целевого объекта (TO) и объекта руки (HO) .Каждый примитив действия может выполняться доминирующей или недоминирующей рукой. Когда обе руки активны одновременно, примитивы действий для конкретных рук могут выполняться одновременно.

    Глагол может быть одного из четырех классов: Дотянуться, Переместить, Установить или Манипулировать . Классы Reach, Move и Set down описывают движения руки по направлению к объекту или опорной поверхности, с объектом в руке или без него. Примечательно, что эти глаголы не связаны и не зависят от идентичности объекта.Напротив, класс Manipulate включает в себя список глаголов, тесно связанных с объектно-ориентированными аффордансами (Gibson, 1977). Например, в Упражнении 1 глаголы «черпать» и «размешивать» тесно связаны с объектом «ложка» (табл. 1). Мы называем эти глаголы глаголами манипулятивного типа .

    Таблица 1 . Каждое из трех действий разделено на действия, которые далее разлагаются на примитивы действий. Каждый примитив действия определяется как тройка, состоящая из глагола, целевого объекта (TO) и ручного объекта (HO).

    В дополнение к глаголу тройка примитивов действия включает идентификатор двух объектов. Целевой объект TO относится к объекту, на который будут непосредственно воздействовать такие глаголы, как «достать», «переместить», «установить» и «манипулировать». Объект руки HO относится к объекту, который в данный момент схвачен. Например, когда ведущая рука берет ложку и помешивает в кружке, тройка примитива действия для ведущей руки будет следующей: манипулировать (глагол), кружка (ТО) и ложка (НО).Иерархическое описание действий, действий и примитивов действий для действий 1–3 представлено в таблице 1.

    Чтобы разработать контролируемую модель машинного обучения для распознавания примитивов действия, мы вручную помечаем каждый временной шаг тройкой примитивов действия либо для доминирующей, либо для недоминирующей руки. Этикетка аннотируется с помощью видео, записанного эгоцентричной камерой сцены, установленной на головном айтрекере. Мы аннотируем каждый временной шаг тройкой доминирующей руки субъекта, поскольку она, скорее всего, является объектом внимания субъекта.Например, когда доминирующая рука (держащая ложку) и недоминантная рука (держащая кружку) одновременно движутся навстречу друг другу, мы обозначаем примитив действия как «пододвинь ложку к кружке», где глагол — «подвинь». », а целевой объект — «кружка». Однако, когда доминирующая рука не выполняет никакого примитива действия, вместо этого мы ссылаемся на недоминирующую руку. Если ни одна рука не двигается и не манипулирует объектом, мы исключаем этот временной шаг из процесса обучения RNN.

    Функции ввода для модели распознавания примитивов действий

    Учитывая, что идентичность объектов взгляда будет варьироваться в зависимости от деятельности, мы заменяем конкретные идентичности объектов взгляда числовыми индексами.Это предназначено для улучшения обобщаемости нашего алгоритма распознавания примитивов действий для различных действий. Для каждого временного шага t i n релевантных для деятельности объектов сортируются в порядке убывания их частоты встречаемости в ГОС(t i 6 ​​). После сортировки объекты индексируются от Объекта 1 до Объекта n , так что Объект 1 является объектом, который чаще всего появляется в последовательности объектов взгляда t i .Если два или более объекта появляются в последовательности объектов взгляда с одинаковой частотой, объекту с меньшим углом объекта взгляда присваивается меньший числовой индекс, так как он ближе всего выровнен к вектору взгляда и будет рассматриваться в первую очередь.

    На рис. 2 показано, как релевантным для деятельности объектам в последовательности объектов взгляда будут присвоены индексы на определенном временном шаге t i . Релевантные для деятельности объекты ( n = 4) в Деятельности 1 были отсортированы по частоте их появления в GOS(t i ) , что подчеркнуто зеленой скобкой на рисунке 2А.В зависимости от частоты встречаемости объекты, связанные с деятельностью, были проиндексированы следующим образом: кувшин (объект 1), крышка кувшина (объект 2), кружка (объект 3) и ложка (объект 4).

    Мы вводим здесь понятие «опорной поверхности», которой может быть стол, полка шкафа и т.п. перемещается или подвергается манипуляциям и не влияет напрямую на выполнение действия. Тем не менее, опорная поверхность по-прежнему играет ключевую роль в алгоритме распознавания примитива действия из-за сильной связи с глаголом Set down.Кроме того, опорная поверхность часто фигурирует в ГОСТ .

    Чтобы предсказать примитив действия на временном шаге t i , входные векторы признаков создаются для каждого временного шага от времени t i-w до t i-1 , как показано на рисунке 2B. Для Действия 1 каждый входной вектор признаков состоит из пяти признаков для каждого из четырех объектов, относящихся к действию, и опорной поверхности. Для ясности каждый результирующий вектор признаков 25 × 1 показан в виде матрицы пять на пять на рисунке 2B.Объект взгляда, объект слева и объект справа кодируются в виде однократных векторов, а угол объекта взгляда и угловая скорость являются скалярными величинами.

    Идентификация объекта взгляда была включена в качестве входной функции, поскольку она поддерживала распознавание действий в предыдущих исследованиях (Ю и Баллард, 2002; Йи и Баллард, 2009; Мацуо и др., 2014). Мы включили объект руки в качестве входного признака, хотя он является компонентом тройки примитивов действия, которую мы пытаемся распознать. Рассматривая применение управления роботизированной рукой с помощью взгляда, мы ожидаем, что роботизированная система определит идентичность объекта, прежде чем планировать какие-либо движения по отношению к объекту.В результате мы предполагаем, что идентичность объекта руки всегда доступна для алгоритма классификации. Мы включили GOA и GOAS в качестве входных признаков, потому что предположили, что пространственно-временные отношения между взглядом и объектами будут полезны для распознавания примитивов действия. Конвейер предварительной обработки входных функций показан в дополнительном видео 1.

    Архитектура модели распознавания примитивов действий

    Мы обучаем рекуррентную нейронную сеть с долговременной кратковременной памятью (LSTM) распознавать глагол и целевой объект TO для каждого временного шага t i .С помощью этого контролируемого метода обучения мы принимаем в качестве входных данных векторы признаков, описанные в разделе «Входные признаки для модели распознавания действий-примитивов». Для выходных данных RNN мы помечаем каждый временной шаг t i парой элементов из дискретного набора глаголов и общих индексированных целевых объектов:

    Глагол(ti)∈V={Достичь, Переместить, Посадить, Манипулировать}    (1) TO(ti)∈O={Объект1, Объект2,Объект3,Опорная поверхность}    (2)

    Целевой класс объектов Object 4 был исключен из выходных данных модели, поскольку на его использование приходилось <1% всего набора данных.Четыре метки глагола и четыре метки TO объединяются в 16 различных пар глагол-TO, которые затем берутся в качестве выходных классов при обучении RNN.

    (Глагол(ti),TO(ti))∈O×V={ (Достичь,Объект1),…,(Управлять,Поддерживать поверхность) }    (3)

    В результате пары глагол-TO, которые никогда не встречаются в процессе обучения, такие как (Manipulate, Support Surface), могут быть легко устранены.

    Чтобы оценить работу RNN по отдельности для глагола и целевого объекта, мы разделили пары глагол-TO после распознавания.Слой softmax использовался в качестве последнего слоя RNN.

    Verb(ti)=argmax∈V(∑∈Osoftmax((Verb(ti)=,TO(ti)=)))    (4) TO(ti)= argmax∈O(∑∈Vsoftmax((Verb(ti)=,TO(ti)=)))    (5)

    RNN состоял из одного слоя LSTM, трех плотных слоев и одного слоя softmax. LSTM содержал 64 нейрона, а каждый из трех плотных слоев содержал 30 нейронов. RNN была обучена с помощью адаптивной оптимизации оценки импульса (Adam), которая использовалась для адаптации скорости обучения параметра (Kingma and Ba, 2015).Коэффициент отсева 0,3 был применен, чтобы уменьшить переоснащение и улучшить производительность модели. Размер партии и номер эпохи были установлены как 128 и 20 соответственно. RNN был построен с использованием Keras API на Python с бэкэндом TensorFlow (версия 1.14) и в среде разработки Jupyter Notebook.

    Дисбаланс классов — хорошо известная проблема, которая может привести к смещению классификации в сторону большинства (Japkowicz, 2000). Поскольку наш набор данных был получен от участников, выполняющих естественные действия, обучающий набор образцов не был сбалансирован между различными классами глаголов и TO (см. размеры выборки на рисунке 5).Дисбаланс в классах TO также может быть результатом сортировки и индексации объектов, как описано в разделе «Входные функции для модели распознавания примитивов действий». Например, Объект 1 чаще всего встречается в ГСН по определению. Таким образом, Объект 1 с большей вероятностью будет целевым объектом, чем Объекты 2 или 3. Чтобы компенсировать дисбаланс классов, вклад каждого класса в функцию кросс-энтропийных потерь был взвешен по соответствующему количеству выборок (Aurelio et al. ., 2019).

    Временная последовательность целевого объекта и глагола, распознаваемая RNN, может содержать резкие изменения, как показано в верхних строках рисунков 5A,B.Эти резкие изменения происходят в течение ограниченного времени и делают прогноз непрерывной модели негладким. Такие нестабильные результаты классификатора могут привести к неожиданной реакции вспомогательного робота. Таким образом, мы внедрили одномерный модовый фильтр с порядком m (в нашей работе m = 12 временных шагов, что эквивалентно 0,2 с), чтобы сгладить эти последовательности (Wells, 1979):

    verb(ti)=mode({verb(ti-m),verb(ti-m+1),…,verb(ti-1)})    (6) TO(ti)=mode({TO(ti-m),TO(ti-m+1),…,TO(ti-1)})    (7)

    Последовательности после фильтрации показаны в средних рядах рис. 5А,Б.

    Учитывая, что в нашем исследовании участвовало 10 субъектов, мы использовали метод перекрестной проверки с исключением одного. То есть, когда данные одного испытуемого были зарезервированы для тестирования, данные остальных девяти испытуемых использовались для обучения.

    Показатели производительности для распознавания действий

    Чтобы оценить эффективность классификации примитивов действия, мы оценили общую достоверность, воспроизводимость и показатель F1. Общая точность — это количество правильно классифицированных выборок, деленное на общий размер набора данных.Для каждого класса глагола или целевого объекта точность представляет долю правильно распознанных временных шагов, которые фактически принадлежат данному классу, а отзыв представляет собой долю класса, который успешно распознан. Мы используем TP, TN и FP для представления количества истинных положительных результатов, истинных отрицательных результатов и ложных положительных результатов при классификации глагола или класса целевого объекта.

    общая точность = ∑TPобщий размер набора данных    (8) точность=TPTP+FP    (9) отзыв=TPTP+TN    (10)

    Показатель F1 представляет собой гармоническое среднее значение точности и полноты.

    F1=2·точность·отзывточность+отзыв    (11)

    Мы также использовали показатели производительности, связанные с временным характером данных. Чтобы оценить, насколько рано был успешно распознан примитив действия, мы приняли терминологию «латентность наблюдения», как определено в Ellis et al. (2013). Термин был определен как «разница между временем, когда субъект начинает действие, и временем, когда классификатор классифицирует действие», что означает время, на которое правильный прогноз отстает от начала примитива действия.Следует отметить, что задержка наблюдения не включает время вычислений, которое требуется алгоритму распознавания для предварительной обработки входных данных и распознавания действий модели.

    Мы консервативно оценивали успех классификации примитива действия, проверяя, было ли правильно предсказано более 75% его периода времени. Сводная статистика по задержке наблюдения сообщается для примитивов действия, которые были сочтены правильными в соответствии с этим 75% порогом.Задержка наблюдения отрицательна, если примитив действия предсказывается до его фактического начала.

    Результаты

    Вспомним нашу цель — указать три компонента триплета примитивов действия: глагол, целевой объект и ручной объект. Учитывая, что объект руки уже известен, как описано в разделе «Входные функции для модели распознавания примитивов действий», мы сообщаем о способности RNN распознавать глагол и целевой объект. Демонстрация обученной RNN включена в дополнительное видео 1.

    Влияние размера временного окна на точность распознавания

    Чтобы установить размер временного окна, мы провели пилотное исследование, вдохновленное Haseeb and Parasuraman (2017). Мы проверили, как F1-оценки классов глагола и TO изменялись при увеличении размера временного окна с пяти временных шагов (эквивалентно 83 мс) до 2 с с шагом в пять временных шагов (рис. 4). Учитывая, что средняя продолжительность примитива действия составляла всего 1,2 с, мы не рассматривали размеры временного окна более 2 с.

    Рисунок 4 . Влияние размера временного окна (от 83 мс до 2 с) на эффективность распознавания показано для Упражнения 1. Общая точность распознавания для глагола и целевого объекта показана в (A) . Баллы F1 для классов глаголов и целевых объектов показаны в (B, C) соответственно.

    Как видно из рисунка 4А, размер временного окна оказал более существенное влияние на распознавание ТО, чем глагол. Это связано с тем, что размер временного окна может сильно повлиять на распределение выборки данных между целевыми классами объектов в результате сортировки и индексации объектов, связанных с деятельностью.Рисунок 4C показывает, что объект 3 класса TO был особенно чувствителен к размеру окна. Соответствующая оценка F1 постоянно увеличивалась с ~ 30% до 80%, пока размер окна не достиг 1,8 с. Производительность распознавания трех других классов TO Объект 1, Объект 2 и Опорная поверхность также была улучшена, так как размер временного окна был увеличен с 80 мс до 1,25 с. Увеличенные баллы F1 классов TO могут быть частично связаны с уменьшением проблемы дисбаланса классов, поскольку временное окно было увеличено, особенно для класса Объект 3.Количество выборок данных Объекта 3 значительно увеличилось за счет характера сортировки и индексации объектов по частоте их появления в последовательности объектов взгляда.

    Как видно на рисунке 4B, баллы F1 классов глаголов Reach, Move и Manipulate увеличивались по мере увеличения размера временного окна с 80 мс до 0,5 с. Небольшое улучшение показателей F1 наблюдалось для размеров временного окна > 0,5 с, за исключением Set down. Это предполагало, что буфера памяти в 0,5 с может быть достаточно для предсказания класса глагола на основе взгляда.Информация о взгляде, собранная задолго до начала примитива действия, скорее всего, не имела отношения к глаголу.

    Принимая во внимание влияние размера временного окна на точность классификации как глагола, так и целевого объекта (рис. 4), мы решили использовать размер временного окна 1,25 с. Временное окно длиннее 1,25 с может немного повысить эффективность распознавания, но с дополнительными вычислительными затратами.

    Распознавание внутри деятельности

    Мы сообщаем о результатах распознавания внутри действия, в котором мы обучили и протестировали рекуррентную нейронную сеть на одном и том же действии.Эти результаты описывают, насколько хорошо RNN распознавала новые случаи каждого действия, несмотря на изменчивость, присущую повторению действий. Результаты распознавания внутри действия для Действия 1 показаны на рисунке 5 в традиционной форме матриц путаницы. Строки соответствуют истинному классу, а столбцы соответствуют предсказанному классу. Для краткости результаты распознавания внутри действия для действий 1 и 2 также показаны в таблице 2 в виде F1-показателей. Средневзвешенные баллы F1 для глагола и целевого объекта были рассчитаны с учетом количества выборок данных для каждого класса.RNN не была обучена действию 3 из-за меньшего набора данных по сравнению с действиями 1 и 2. Таким образом, для действия 3 не сообщалось о результатах распознавания внутри действия.

    Рисунок 5 . Результаты распознавания внутри действия для действия 1 показаны в форме матрицы путаницы для (A) глагола и (B) целевого объекта. Результаты интерактивного распознавания для RNN, обученной для действия 2 и протестированного для действия 1, показаны для глагола (C) и целевого объекта (D) .Целые числа в матрицах путаницы представляют количество выборок. Матрицы путаницы дополнены результатами точности, отзыва и точности (зеленый).

    Таблица 2 . Производительность RNN для распознавания внутри и интерактивности сообщается с помощью F1-баллов (%). Средневзвешенные баллы F1, которые учитывают количество выборок данных в каждом классе, сообщаются как для глагола, так и для целевого объекта (TO).

    Мы дополнили традиционную матрицу путаницы, используемую для представления результатов в соответствии с истинными и предсказанными классами, дополнительными показателями точности и полноты (рис. 5).Точность и полнота были указаны в процентах (зеленым цветом) в крайнем правом столбце и самой нижней строке соответственно. Ячейка в правом нижнем углу представляла общую точность распознавания.

    Образцы данных не были сбалансированы между различными глаголами и классами TO, поскольку наш набор данных был составлен из участников, выполняющих естественные действия. Доля каждого глагола и класса TO в Упражнении 1 представляла собой сумму соответствующей строки на рисунках 5A, B, деленную на общий размер набора данных (77 774 выборки временных шагов).Пропорции для классов глаголов составили 15% для достижения, 17% для перемещения, 13% для установки и 55% для манипулирования. Пропорции целевых классов объектов составляли 44% для объекта 1, 34% для объекта 2, 9% для объекта 3 и 13% для опорной поверхности.

    RNN показала хорошие результаты в распознавании класса большинства глаголов Manipulate (точность: 90%, полнота: 77%) и класса TO Object 1 (точность: 86%, полнота: 86%), что заложило прочную основу для его общая точность (глагол: 77%, TO: 83%).

    Распознавание интерактивности

    Мы сообщаем о результатах интерактивного распознавания действий, в ходе которых мы обучили и протестировали рекуррентную нейронную сеть на различных действиях. Эти результаты описывают, насколько хорошо RNN может распознавать глаголы и целевые объекты, несмотря на различия в различных действиях. Чтобы оценить обобщаемость алгоритма для перекрестных действий, RNN, обученная для действия 2 (приготовление растворимого кофе), была протестирована для действия 1 (приготовление порошкового напитка) и наоборот. RNN, обученные в Упражнении 1 и Упражнении 2, были дополнительно протестированы на Упражнении 3 (подготовьте чистящую губку).Матрицы путаницы RNN, обученной для действия 2 и протестированного для действия 1, показаны на рисунках 5C, D для оценки глагола и целевого объекта соответственно. Для краткости дополнительные результаты распознавания интерактивности представлены в таблице 2 в виде баллов F1.

    Мы также сравнили производительность моделей RNN, протестированных на одной и той же активности, в рамках одной и той же активности. Для этого мы вычли средние баллы F1 для распознавания взаимодействия из соответствующих показателей распознавания внутри действия для RNN, протестированных в действии 1 и действии 2.Как и ожидалось, при тестировании с активностью, отличной от активности, на которой обучалась RNN, производительность классификации снижалась. Средние баллы F1 глагола и целевого объекта снизились на 8 %, когда RNN обучалась на Упражнении 1 и тестировалась на Упражнении 2. Средние баллы F1 глагола и целевого объекта снизились на 18 и 10 % соответственно, когда RNN была обучена на Упражнении 2 и протестирована на Упражнении 1. Среднее снижение F1-показателя не превышало 20 %, что свидетельствует о том, что алгоритм классификации может в некоторой степени обобщать действия по видам деятельности.Кроме того, несмотря на то, что в Упражнении 3 есть только один общий предмет (кружка) с двумя другими действиями, средние баллы F1 глагола и TO, полученные в Упражнении 3, были немного выше, чем в других интерактивных действиях. тесты распознавания (табл. 2).

    Влияние входных признаков на точность распознавания

    Чтобы оценить важность признаков, мы сравнили эффективность классификации, достигнутую в Упражнении 1, с различными комбинациями входных признаков, используя лепестковую диаграмму (рис. 6).Оси представляли классы глаголов и целевых объектов. Линиями сетки отмечены баллы F1 с шагом 22%. Классификация с использованием только HO была плохой, с баллами F1 для «Установить» и «Объект 3» <10%. Только немного лучше, классификация с использованием только GO по-прежнему неэффективна, а F1-баллы «Установить», «Объект 3» и «Опорная поверхность» достигают значений только около 22%. Напротив, только функции на основе GOA (GOA, GOAS) превзошли как HO, так и GO сами по себе в каждом классе глаголов и целевых объектов.За исключением «Охвата», одни только функции на основе GOA также превзошли использование HO и GO вместе.

    Рисунок 6 . Для Упражнения 1 производительность RNN определяется баллами F1 для различных комбинаций входных характеристик (HO, GO, GOA, GOAS) с использованием радиолокационной диаграммы. Оси представляют глагол (жирный шрифт) и целевые классы объектов. Линии сетки очков F1 смещены на 22%. Каждый полигон соответствует одной комбинации входных признаков. Совместное использование функций HO, GO, GOA и GOAS привело к наилучшей производительности; Одна только HO показала худшие результаты.

    Хотя функция HO сама по себе не обеспечивает хороших результатов распознавания, она может существенно повысить эффективность классификации при использовании совместно с функциями на основе GOA. Для каждого класса баллы F1, полученные с помощью комбинации функции на основе GOA и HO, были равны или выше, чем при использовании только функции на основе GOA.

    Влияние входных функций на задержку наблюдения

    Истории времени распознавания глагола и целевого объекта для репрезентативного испытания Activity 1 показаны на рисунках 7A, B.На каждой из рисунков 7A, B верхняя цветная полоса представляет временную динамику необработанных результатов прогнозирования. Средняя цветная полоса показывает выходные данные фильтра режима, который сглаживает необработанные результаты прогнозирования. Нижняя цветная полоса представляет основную истину. Белые промежутки в основной истине соответствуют случаям, когда ни одна рука не двигала и не манипулировала объектом. Задержка наблюдения получается путем сравнения средней и нижней цветных полос.

    Рисунок 7 . Для репрезентативного испытания Действия 1 временные последовательности результатов распознавания и наземной истины представлены для (A) глаголов и (B) целевых объектов.В обоих (A, B) верхняя, средняя и нижняя цветные полосы представляют необработанные выходные данные RNN, выходные данные RNN, сглаженные модовым фильтром, и помеченные вручную наземные данные соответственно. Общая продолжительность этого испытания составляет 36 с.

    В то время как на рисунке 7 показана задержка наблюдения для одного репрезентативного испытания, задержки наблюдения для всех испытаний и участников представлены на рисунке 8. В частности, на рисунках 8A, B суммированы результаты распознавания глагола и целевого объекта, соответственно, для RNN обучена и протестирована на мероприятии 1.Рисунок 8 иллюстрирует влияние входных признаков на задержку наблюдения путем сравнения результатов RNN, которые использовали только GO и HO в качестве входных признаков, с результатами RNN, которые дополнительно использовали GOA и GOAS в качестве входных признаков.

    Рисунок 8 . Для Упражнения 1 задержка наблюдения для распознавания глагола (A) и целевого объекта (B) показана с использованием графиков с прямоугольниками и усами. Отрицательное значение задержки указывает, что глагол или целевой объект идентифицируется до начала примитива действия.Для каждой пары диаграмм задержка наблюдения без использования GOA и GOAS (тонкие линии) сравнивается с задержкой с использованием GOA и GOAS (толстые линии). Каждая диаграмма показывает 25-й, 50-й и 75-й процентили. Усы простираются до самых экстремальных точек данных, которые не считаются выбросами («+»), имеющими значения, более чем в 1,5 раза превышающие межквартильный диапазон от верхней или нижней части поля. Звездочками обозначено p < α = 0,05.

    Мы предположили, что включение входных функций на основе GOA может значительно уменьшить задержку наблюдения.Чтобы проверить это, мы провели критерий знакового ранга Вилкоксона (после теста Лиллиефорса на нормальность) с 714 примитивами действия. Все односторонние значения p для глаголов и целевых объектов были ниже уровня α 0,05, за исключением целевого объекта крышки кувшина. Таким образом, мы пришли к выводу, что использование GOA и GOAS в качестве входных признаков в дополнение к GO и HO привело к уменьшению задержки наблюдения (рис. 8).

    Обсуждение

    Особенности, основанные на угле объекта взгляда, улучшают точность распознавания примитивов действий

    Долгосрочная цель этой работы состоит в том, чтобы продвигать общие схемы управления автономией, чтобы люди с нарушениями верхних конечностей могли более естественно управлять роботами, помогающими в повседневной жизни.Один вариант осуществления такой дистанционно управляемой системы может включать в себя как джойстик, так и устройство отслеживания взгляда в качестве устройств пользовательского ввода. Краткосрочной целью этого исследования было улучшение точности распознавания примитивов действия и задержки наблюдения. Мы преследовали эту цель, (i) сосредоточившись на распознавании низкоуровневых примитивов действия и (ii) определяя входные функции на основе взгляда, которые улучшают распознавание примитивов действия.

    Предыдущие исследования использовали эгоцентрические видеоролики для распознавания действий, когда субъект естественным образом выполнял ADL.Особенности, описанные в этих исследованиях, можно разделить на три категории: особенности, основанные на человеческих руках, объектах или человеческом взгляде. Примеры особенностей рук включают расположение руки, позу руки и относительное расположение левой и правой руки (Fathi et al., 2011; Ma et al., 2016). Фатхи и др. полагались на изменения состояния объектов, таких как состояние «кофейной банки» (открытое или закрытое) (Fathi and Rehg, 2013), для распознавания действий. Бехера и др. использовали пространственно-временные отношения между объектами в качестве входных данных классификатора (Behera et al., 2012). Особенности, связанные с человеческим взглядом, включали объект взгляда, который широко использовался для классификации действий (Yi and Ballard, 2009; Matsuo et al., 2014). Использование внешнего вида объекта (гистограммы цвета и текстуры) вблизи точки взгляда также было эффективным для повышения точности распознавания (Fathi et al., 2012; Li et al., 2015b).

    Принимая во внимание долгосрочную цель этой работы, мы решили не полагаться исключительно на признаки, основанные на человеческих руках или объектах, для распознавания примитивных действий.Функции, основанные на человеческих руках, доступны только тогда, когда субъекты используют свои руки, чтобы напрямую брать объекты и манипулировать ими. Для вспомогательного робота, который мы предполагаем, функции человеческих рук, такие как положение руки, поза руки и относительное расположение левой и правой руки (Fathi et al., 2011; Ma et al., 2016), будут недоступны. Особенности, основанные на объектах, являются следствием движений рук, таких как изменения состояний объектов или пространственно-временных отношений между объектами. Такие объектные функции будут доступны только задним числом и не могут быть собраны достаточно рано, чтобы быть полезными для предлагаемого приложения вспомогательного робота.

    Мы стремимся использовать наблюдения о том, что поведение взгляда является критическим компонентом зрительного захвата и манипуляции, и что движения глаз предшествуют движениям рук (Johansson et al., 2001; Land, 2006). В частности, сообщалось, что взгляд часто перемещается на целевой объект до того, как будет замечено какое-либо движение руки (Land and Hayhoe, 2001). Таким образом, мы взяли основанную на взгляде функцию GO из литературы (например, Yi and Ballard, 2009) и дополнили ее двумя новыми функциями, которые мы определили: GOA и GOAS.

    Как сообщалось в разделе «Влияние входных признаков на точность распознавания», модели, которые включали GOA и GOAS в качестве входных признаков, превосходили модели, которые в основном полагались на GO или HO для каждого глагола и целевого класса объектов. Добавление GOA и GOAS существенно улучшило средний балл F1 с 64% до 77% для глагола и с 71 до 83% для целевого объекта (рис. 6).

    Преимущества использования признаков, основанных на угле объекта взгляда, для распознавания примитивов действий двойственны. Во-первых, угол объекта взгляда количественно определяет пространственно-временную связь между вектором взгляда и каждым объектом в рабочей области, включая объекты, на которые субъект в данный момент не смотрит.Напротив, объект взгляда фиксирует только идентичность объекта, на который субъект смотрит в данный конкретный момент. Учитывая, что повседневная деятельность обычно связана с множеством объектов, для классификатора жизненно важно собрать достаточно информации, касающейся взаимодействия взгляда с объектом. Функция GOA может косвенно предоставлять информацию, аналогичную информации GO. Например, значение GOA, близкое к нулю, будет получено, если вектор взгляда по существу указывает на объект взгляда.Когда GOA, GOAS и HO уже включены в качестве входных признаков, добавление GO в качестве входного признака практически не влияет на точность классификации (рис. 6). Кроме того, производительность классификатора улучшается при использовании GOA и GOAS в качестве входных признаков по сравнению с использованием GO, HO или их комбинации (рис. 6).

    Во-вторых, входной объект GOAS содержит информацию о скорости GOA. В некоторой степени GOAS также фиксирует информацию о направлении, поскольку положительные и отрицательные значения GOAS отражают, приближается или удаляется вектор взгляда от каждого объекта в рабочей области соответственно.Мы считаем, что информацию о приближении/отбытии можно использовать для предсказания целевого объекта для данного примитива действия, поскольку взгляд используется для сбора визуальной информации для планирования до и во время ручных действий (Land, 2006). Объект, к которому приближается вектор взгляда, не обязательно является целевым объектом, поскольку объект может просто находиться на пути вектора взгляда во время его движения. Однако объекты с меньшей вероятностью будут помечены как «целевой объект», когда вектор взгляда удаляется от них.

    Функции, основанные на угле объекта взгляда, уменьшают задержку наблюдения

    Хотя точность распознавания важна, системам человек-робот также требуется низкая задержка наблюдения (Ellis et al., 2013). Даже примитив действия, правильно распознаваемый в 100% случаев, перестанет быть полезным, если задержка в распознавании препятствует эффективному ответу или увеличивает когнитивную нагрузку оператора. Чем раньше роботизированная система сможет определить намерения человека-оператора или сотрудника, тем больше времени будет доступно для вычислений и планирования соответствующих движений робота.

    Предыдущие исследования были сосредоточены на классификации действий в видео, которые уже были сегментированы по времени (например, Fathi et al., 2012). Однако эти методы, разработанные для распознавания действий задним числом, будут менее эффективны для использования в реальном времени. Мы хотим, чтобы предполагаемый примитив действия был предсказан до движения робота и с минимально возможной задержкой наблюдения.

    Хоффман предложил несколько показателей для оценки беглости выполнения совместных задач человека и робота.Например, функциональная задержка робота определялась как количество времени, которое человек провел в ожидании робота (Хоффман, 2019). Эта концепция беглости отражает то, насколько быстро робот может правильно реагировать на команды оператора. Высокая задержка наблюдения ухудшит беглость системы человек-робот и увеличит когнитивную нагрузку, усилия и уровень разочарования оператора. Пользовательский интерфейс, который требует от оператора намеренно смотреть на определенные объекты или области в течение фиксированного периода времени, может быть менее естественным и иметь более низкую беглость, чем пользовательский интерфейс, который использует естественное поведение взгляда (Li et al., 2017; Ван и др., 2018).

    В этой работе использование признаков, связанных со взглядом, позволило распознавать примитивы действия на ранней стадии. Средняя задержка наблюдения для распознавания глагола составила 120 мс, что составляет ~ 10% от средней продолжительности примитива действия (1,2 с). Средняя задержка наблюдения за целевым объектом составляла -50 мс; отрицательное значение задержки указывает на то, что целевой объект иногда идентифицировался до запуска примитива действия. К сожалению, в совокупности для всех классов задержка наблюдения для целевого объекта не была статистически значимо меньше нуля ( p = 0.075; а = 0,05). Тем не менее, тот факт, что некоторые из испытаний привели к отрицательным значениям наблюдательной латентности, был неожиданным и обнадеживающим.

    Среди функций ввода, связанных со взглядом, использование GOA и GOAS уменьшило задержку наблюдения по сравнению с использованием только GO (рис. 8). В соответствии с критерием знакового ранга Вилкоксона задержка наблюдения была статистически значимо меньше, когда GOA и GOAS использовались в качестве входных признаков, чем когда они были исключены ( p < α = 0,05). Это верно для всех классов глаголов и всех классов целевых объектов, за исключением крышки.Для глагола и целевого объекта задержка наблюдения снизилась в среднем на 108 и 112 мс соответственно. Одной из причин этого может быть то, что функции на основе GOA могут кодировать тенденцию вектора взгляда приближаться к объекту, как только глаза начинают двигаться. Напротив, функция GO не фиксирует идентичность какого-либо объекта, пока вектор взгляда не достигнет объекта.

    Значения задержки наблюдения менее секунды, о которых мы сообщаем, вероятно, являются результатом того факта, что движение глаз обычно предшествует движению рук при выполнении ручных действий (Johansson et al., 2001; Земля, 2006). Лэнд и др. сообщили, что вектор взгляда обычно достигал следующего целевого объекта до каких-либо видимых признаков движения руки во время приготовления чая (Land and Hayhoe, 2001). Небольшие значения задержки наблюдения могут также быть результатом того факта, что наш классификатор был разработан для распознавания примитивов действия, которые намного проще, чем действия или действия (Moeslund et al., 2006). Примитивы действия часто включают один объект, одну руку и происходят в течение более короткого периода времени, чем действия и действия.Распознавание действий и действий для ADL потребует наблюдений в течение более длительного периода времени и обязательно будет включать более сложное поведение глаз, более сложные движения тела и взаимодействие взгляда с несколькими объектами.

    Ryoo предсказал повседневную деятельность и определил «коэффициент наблюдения» как соотношение между латентностью наблюдения и продолжительностью активности (Ryoo, 2011). Ryoo сообщил, что минимальный коэффициент наблюдения ~ 45% необходим для классификации действий с точностью не менее 60%.В этой работе мы обнаружили, что минимальные коэффициенты наблюдения 18 и 5% необходимы для достижения точности 60% для каждого глагола и целевого объекта соответственно. Это говорит о том, что распознавание примитивных действий низкого уровня может быть достигнуто при более низких коэффициентах наблюдения и в течение более коротких периодов времени, чем действия высокого уровня, которые требуют прохождения большего времени и сбора большего количества информации для аналогичных уровней точности.

    Одним из ограничений этой работы является то, что алгоритм распознавания примитивов действия еще не тестировался в режиме реального времени.Это область будущей работы, и вопросы реализации в реальном времени обсуждаются в разделе «Сравнения с современными алгоритмами распознавания». Основываясь на нашем опыте, мы ожидаем, что в общей задержке будет доминировать задержка наблюдения и меньше зависеть от задержки вычислений. Это связано с относительно простой структурой предлагаемой архитектуры RNN и тем фактом, что модель RNN априори будет обучаться в автономном режиме.

    Сегментация объектов на регионы в соответствии с доступностью может повысить эффективность распознавания

    Распределение фиксаций взгляда может быть сосредоточено на определенных областях объекта, таких как те, которые связаны с «возможностями объекта».«Аффорданс объекта» описывает действия, которые могут быть выполнены с объектом (Gibson, 1977). Например, Белардинелли и др. показывали испытуемым двухмерное изображение чайника и давали им указание поднять, открыть или классифицировать чайник как объект, который может или не может содержать жидкость (Belardinelli et al., 2015). Было замечено, что фиксация взгляда испытуемых была сосредоточена на ручке чайника, крышке и носике для подъема, открытия и классификации соответственно. Кроме того, в предыдущем исследовании мы сообщали о трехмерных тепловых картах взгляда для действия «приготовить порошкообразный напиток» (Haji Fathaliyan et al., 2018). Мы заметили, что фиксация взгляда была сфокусирована на верхней и нижней частях кувшина во время действий «дотянуться до кувшина» и «поставить кувшин».

    Вдохновленные этими открытиями, мы предположили, что информация о примитиве действия теоретически может быть закодирована поведением взгляда по отношению к определенным областям объектов. Это обеспечило бы алгоритм классификации информацией с более высоким пространственным разрешением, чем при рассмотрении каждого объекта в целом. В апостериорном исследовании мы сегментировали облака точек каждого из четырех связанных с деятельностью объектов в Упражнении 1 (приготовление порошкового напитка) на несколько областей в соответствии с аффордансами объекта (рис. 9).Например, ложка была разделена на верхнюю и нижнюю грани для чаши, ручки и кончика ручки. Примечательно, что внутренняя и внешняя стенки контейнеров (кувшина и кружки) рассматривались как разные области, поскольку внутренняя и внешняя стенки часто фиксировались по-разному в зависимости от примитива действия.

    Рисунок 9 . Облака точек четырех связанных с деятельностью объектов, участвующих в Упражнении 1, были сегментированы на несколько областей для более точного пространственного разрешения: (A) кувшин , (B) крышка кувшина , (C) ложка и (D). кружка.

    После сегментации мы увеличили признаки, связанные со взглядом (GO, GOA, GOAS), рассматривая каждую область как независимый объект, сохраняя при этом неизменными признаки левого и правого объекта. Затем мы переобучили RNN с новыми расширенными функциями. Точность распознавания глагола немного увеличилась с 77 до 79%, а точность распознавания целевого объекта увеличилась с 83 до 86%. При увеличении общего количества областей объекта с 4 до 20 время, необходимое обученной RNN для получения одного результата классификатора, увеличилось на 26%.В зависимости от последствий неправильной классификации и минимально приемлемого уровня точности можно было решить, какие объекты сегментировать и насколько тонко сегментировать объекты. Например, производительность распознавания можно улучшить, если кружку разделить на внутреннюю стенку, внешнюю стенку и ручку, а не на пять сегментов, которые мы тестировали.

    Сравнения с современными алгоритмами распознавания

    При оценке предложенного нами метода распознавания примитивных действий на основе взгляда мы не смогли определить подходящие эталоны для прямого количественного сравнения.Во-первых, наш подход предназначен для распознавания низкоуровневых примитивов действий, которые можно использовать в качестве модульных, обобщаемых строительных блоков для более сложных уровней иерархии действий (Moeslund et al., 2006). В литературе по распознаванию действий представлены методы распознавания на уровне действий и деятельности, но не на уровне примитивов действия, которые исследуются в нашей работе. Например, общедоступный набор данных «GTEA+» и «EGTEA Gaze+», предоставленный Fathi et al. (2012) Ли и соавт. (2018) включают в себя такие действия, как «возьми хлеб.Это действие необходимо разделить на два отдельных примитива действия: «достать хлеб» и «положить хлеб на стол». Аналогичным образом, общедоступный набор данных «CMU-MMAC», предоставленный De la Torre et al. (2009) включает в себя такие действия, как «размешать яйцо». Это действие необходимо разделить на три примитива действия: «достать вилку», «переместить вилку в миску» и «размешать яйцо в миске с помощью вилки». Многие современные методы распознавания для ADL (независимо от того, используют ли они поведение взгляда или нет) основаны на этих общедоступных наборах данных на уровне действий.

    Во-вторых, модели распознавания действий в литературе основаны на подходах, основанных на компьютерном зрении, для анализа 2D-видео, записанных эгоцентрической камерой, например, (Fathi et al., 2011, 2012; Fathi and Rehg, 2013; Matsuo et al., 2014). ; Soran et al., 2015; Ma et al., 2016; Li et al., 2018; Furnari and Farinella, 2019; Sudhakaran et al., 2019; Liu et al., 2020). Будь то использование элементов ручной работы (Fathi et al., 2011, 2012; Fathi and Rehg, 2013; Matsuo et al., 2014; Soran et al., 2015; Ma et al., 2016; Furnari and Farinella, 2019) или изучение сквозных моделей (Li et al., 2018; Sudhakaran et al., 2019; Liu et al., 2020), основанные на компьютерном зрении подходы к распознаванию действий также должны учитывать проблемы идентификации и отслеживания объектов, связанных с деятельностью. Напротив, мы обошли проблемы, присущие анализу 2D-изображений, объединив систему отслеживания движения глаз с системой захвата движения на основе маркеров. Эта экспериментальная установка позволила напрямую собирать 3D-функции на основе взгляда, а также информацию об идентичности объекта и позе, чтобы мы могли сосредоточиться на полезности 3D-функций взгляда, которые недоступны для 2D-изображений с камеры.Наш метод можно было бы внедрить в нелабораторную среду, объединив устройство слежения за движением глаз с 2D-камерами и маркерами ArUco, например, вместо системы захвата движения на основе маркеров.

    Соображения по реализации алгоритма распознавания действий в режиме реального времени в системах человек-робот

    В качестве примера того, как наша модель распознавания примитивов действий может быть применена в сценарии совместной автономии человека и робота, рассмотрим действие «размешать содержимое в кружке». Во-первых, когда вектор взгляда субъекта перемещается к ложке, вероятность потенциального примитива действия «достать ложку» увеличивается до тех пор, пока не превысит заданный порог.Пересечение порога запускает роботизированный концевой эффектор, который автономно перемещается к ручке ложки, чтобы схватить ложку. Робот будет использовать свою трехмерную модель сцены в реальном времени для планирования своих движений на низком уровне, чтобы уменьшить когнитивную нагрузку на человека-оператора. Во-вторых, когда взгляд субъекта переключается на кружку после успешного захвата ложки, модель распознает примитив действия с наибольшей вероятностью как «поднести ложку к кружке». Опять же, пересечение порога вероятности или уровня достоверности вызовет автономное размещение захваченной ложки в кружке для последующего допустимого примитива действия манипулятивного типа, который будет ограничен набором допустимых примитивов действия манипулятивного типа, основанных на на предмете взгляда и предмете руки.В-третьих, когда субъект фиксирует свой взгляд на кружке, модель распознает примитив действия с наивысшей вероятностью как «помешивание в кружке», и начнется автономное перемешивание. Траектория перемешивания может быть сгенерирована, например, с использованием примитивов параметрического динамического движения (Schaal, 2006). Наконец, по мере того как взгляд испытуемого перемещается на опорную поверхность и примитив действия распознается как «положить ложку», система переходит к определению места на столе, на которое следует положить ложку.Это точное местоположение может быть извлечено из отфильтрованных сигналов взгляда, как это было представлено в Li et al. (2015а).

    Как описано в приведенном выше примере, мы предполагаем, что наша модель может использоваться для распознавания предполагаемых примитивов действий субъектов посредством их естественных движений взгляда, в то время как робот обрабатывает детали планирования и контроля, необходимые для реализации. В отличие от некоторых современных подходов к управлению движениями роботов (Li and Zhang, 2017; Wang et al., 2018; Shafti et al., 2019; Zeng et al., 2020), субъекты не будут вынуждены неестественно, намеренно фиксировать свой взгляд на целевых объектах, чтобы вызвать заранее запрограммированные действия. Конечно, для реализации предложенной схемы управления общей автономией необходимо проделать большую работу, и это является предметом будущей работы.

    Что касается практической реализации предлагаемого метода распознавания примитивов действия, необходимо устранить несколько ограничений.

    Специфика примитива действия

    Предлагаемый метод распознавания предназначен для присвоения обобщенных меток каждому временному шагу как одному из четырех классов глаголов (достигать, перемещать, устанавливать и манипулировать).Текущий метод не различает подклассы глаголов манипулятивного типа, таких как «налить» и «перемешать». Распознавание подклассов глагола может позволить вспомогательным роботам оказывать даже более конкретную помощь, чем та, которая продемонстрирована в этой работе.

    Специфичность распознавания можно повысить, включив дополнительные шаги. Одна из идей состоит в том, чтобы создать справочную таблицу, основанную на возможностях объектов, участвующих в действиях. Например, примитивная тройка действия (глагол = манипулировать, ТО = кружка, НО = кувшин) связана с подклассом глагола «налить».Однако триплет (глагол = манипулировать, ТО = кувшин, ХО = ложка) связан с обоими подклассами глаголов «перемешивать» и «черпать». В качестве альтернативы мы предлагаем использовать тепловые карты взгляда для облегчения классификации подклассов глаголов, поскольку примитивы действия обусловлены деятельностью, а распределение фиксации взгляда может значительно зависеть от доступности объекта (Belardinelli et al., 2015; Haji Fathaliyan et al. др., 2018).

    Состояния рассеянного или праздного взгляда

    Предлагаемый метод распознавания не распознает отвлеченное или бездействующее состояние человека.Например, зрительное внимание субъекта может быть отвлечено раздражителями окружающей среды. В этом исследовании мы минимизировали визуальные отвлекающие факторы за счет использования черных штор и ограничения объектов в рабочем пространстве до тех, которые необходимы для инструктируемой деятельности. Включение отвлекающих факторов (аудио, визуальных, когнитивных и т. д.) выходит за рамки этой работы, но его необходимо решить перед переходом предлагаемого метода распознавания в естественную, неструктурированную среду.

    В настоящее время эта работа не рассматривает состояния простоя.Руки используются не для всех видов деятельности, и субъекты также могут хотеть отдохнуть. Если вектор взгляда мечтающего или отдыхающего субъекта пересекается с важным для деятельности объектом, вспомогательный робот может неправильно распознать примитив непреднамеренного действия и выполнить непреднамеренные движения. Это похоже на проблему «прикосновения Мидаса» в области взаимодействия человека с компьютером, которая сталкивается с аналогичной проблемой «как отличить «внимательные» саккады с намеченной целью общения от движений глаз более низкого уровня, которые являются просто случайными» ( Величковский и др., 1997). Эту проблему можно решить, включив дополнительные механизмы человеческого ввода, такие как джойстик, который можно запрограммировать так, чтобы он отражал согласие или несогласие оператора с движениями робота. Включение классов «отвлеченных» и «праздных» глаголов было бы интересной областью для будущих улучшений.

    Интеграция с подходами активного восприятия

    Предлагаемый метод распознавания может быть объединен с подходами активного восприятия, которые могут принести пользу замкнутой системе человек-робот, которая использует активный взгляд как людей, так и роботов.В этой работе камеры от третьего лица, входящие в состав системы захвата движения, пассивно наблюдали за сценой. Однако, используя концепцию «совместного внимания» (Huang and Thomaz, 2010), можно использовать внешнюю и/или установленную на роботе камеру для активного изучения сцены и отслеживания объектов, представляющих интерес, которые можно использовать для улучшить управление роботом в системе человек-робот.

    Как обсуждалось в разделе «Сравнение с современными алгоритмами распознавания», для целей этой работы мы обошли процесс идентификации и определения местоположения объектов, связанных с деятельностью, внедрив в нашем эксперименте систему захвата движения на основе маркеров.Тем не менее, восприятие объектов, связанных с деятельностью, в нелабораторной среде остается проблемой из-за окклюзии объектов и ограниченного поля зрения. В таких ситуациях можно использовать подходы, основанные на активном восприятии. В многообъектных условиях, таких как кухонный стол, загроможденный многочисленными предметами, конфигурациями физических камер можно активно управлять, чтобы изменять перспективу от третьего лица и более точно идентифицировать объекты и оценивать их позы (Eidenberger and Scharinger, 2010).Как только позы нескольких объектов определены, точка обзора камеры может затем ориентироваться на вектор взгляда человека, чтобы отразить локализованное визуальное внимание субъекта. Поскольку люди склонны выравнивать визуальные цели с центрами своих полей зрения (Kim et al., 2004), можно использовать естественное поведение человеческого взгляда для управления перспективой камеры (внешней или установленной на роботе), чтобы удерживать целевой объект, например как один, признанный предложенным нами методом распознавания, в центре плоскости изображения для более стабильного анализа на основе компьютерного зрения и роботизированного вмешательства (Li et al., 2015а). При реализации с помощью видимой камеры, установленной на роботе, получающееся в результате биологическое центрирование целевого объекта может также служить неявным каналом связи, который обеспечивает обратную связь с сотрудником-человеком. Идя дальше, перспективой камеры можно было бы активно и автономно управлять, чтобы сосредоточиться на возможностях целевого объекта после того, как пара глагол-TO будет идентифицирована с использованием предложенного нами метода распознавания. Вместо того, чтобы изменять физическую конфигурацию камеры для центрирования аффорданса в плоскости изображения, можно вместо этого сосредоточить внимание робота на аффордансе на этапе обработки изображения (Ognibene and Baldassare, 2015).Например, фовеальное зрение камеры может быть перенесено на ручку кувшина, чтобы управлять движением робота дотянуться до захвата. Такое сфокусированное внимание робота, будь то физические изменения в конфигурации камеры или методы цифровой обработки изображений, может быть эффективным способом максимизировать ограниченные вычислительные ресурсы. Полученная в результате повышенная автономия робота может помочь снизить когнитивную нагрузку на человека в системе общей автономии.

    Принимая во внимание цель нашей работы — сделать вывод о намерениях человека и улучшить распознавание действий для общих схем управления автономией, можно также интегрировать предлагаемые нами методы с концепцией «активного распознавания событий», которая использует активные конфигурации камеры для одновременного изучения сцены и вывода. человеческое намерение (Огнибене и Демирис, 2013).Огнибене и Демирис разработали имитацию робота-гуманоида, который активно контролировал свой взгляд, чтобы определять намерения человека, наблюдая за тем, как человек выполняет целенаправленное действие. Используя политику управления камерой на основе оптимизации, робот скорректировал свой взгляд, чтобы свести к минимуму ожидаемую неопределенность в отношении многочисленных предполагаемых целевых объектов. Было замечено, что полученный в результате взгляд робота постепенно переходил от руки человека к истинному целевому объекту до того, как рука субъекта достигла объекта.В качестве будущей работы было бы интересно исследовать, может ли и каким образом интеграция информации о человеческом взгляде от первого лица, например, собранной с эгоцентрической камеры, улучшить контроль взгляда робота для распознавания действий. Например, результаты предлагаемого нами метода распознавания примитивов действия (пары глагол-TO) можно использовать в качестве дополнительных входных данных для схемы распознавания активных событий, чтобы повысить точность распознавания и уменьшить задержку наблюдения.

    Влияние актера на поведение взгляда

    Предложенная модель распознавания была обучена с использованием данных, в которых здоровые субъекты выполняли действия своими руками, а не субъекты с нарушениями верхних конечностей, которые наблюдали за роботом, выполняющим действия.В нашей предполагаемой системе человек-робот мы стремимся определить намерения оператора по его естественному поведению взгляда до того, как произойдут какие-либо движения робота. Известно, что поведение взгляда предшествует движениям рук и направляет их во время естественной зрительно-моторной координации (Hayhoe et al., 2003). Напротив, мы предполагаем, что поведение взгляда субъектов, наблюдающих за роботами, может быть реактивным по своей природе. Аронсен и др. показали, что поведение испытуемых различается в задачах манипулирования только человеком и в задачах совместной манипуляции человека и робота (Aronson et al., 2018). Дальнейшее исследование влияния робота на взгляд человека оправдано, но выходит за рамки данной работы. Мы предлагаем, чтобы поведение взгляда, описанное в этой работе, могло быть использовано в качестве эталона для будущих исследований систем человек-робот, которые стремятся воссоздать бесшовное человеческое поведение.

    Прямой перевод модели в систему человек-робот может быть невозможен. Во-первых, сам робот должен рассматриваться как объект в общем рабочем пространстве, так как он, вероятно, привлечет некоторое визуальное внимание оператора.К счастью, как предложили Драган и Шриниваса в Dragan and Srinivasa (2013), предсказание примитива действия не обязательно должно быть идеальным, поскольку модель распознавания может быть реализована с участием человека. Роботизированная система может быть спроектирована так, чтобы ждать, пока не будет достигнут определенный уровень достоверности для ее предсказания намерений человека, прежде чем двигаться.

    Еще одно важное соображение заключается в том, что на распознавание примитивов действия с помощью взгляда человека обязательно будет влиять то, как робот запрограммирован на выполнение действий.Например, поведение взгляда будет зависеть от экспериментальных переменных, таких как ручное дистанционное управление по сравнению с предварительно запрограммированными движениями, задержка в системе управления роботом и обработка для полуавтономного поведения (например, распознавание объектов) и т. д. общая автономность может быть реализована в системе «человек-робот», мы намеренно решили исключить мешающий фактор управления роботом из этой фундаментальной работы по координации глаз и рук человека.

    Интеграция моделей распознавания примитивных действий низкого уровня с моделями распознавания более высокого уровня

    Эта работа сосредоточена на распознавании низкоуровневых примитивов действия.Однако предполагаемое приложение к вспомогательным роботам в схеме общей автономии потребует признания на всех трех иерархических уровнях человеческого поведения (примитивы действий, действия, действия) (Moeslund et al., 2006), чтобы настроить степень автономии в соответствии с оператор (Kim et al., 2012; Gopinath et al., 2017). Например, выходные данные низкоуровневых моделей распознавания действий (таких как в этой работе) можно использовать в качестве входных признаков для моделей распознавания действий среднего уровня (например,g., Haji Fathaliyan et al., 2018), которые затем будут использоваться в высокоуровневых моделях распознавания активности (Yi and Ballard, 2009). В то же время знание действия или действия может быть использовано для прогнозирования действий более низкого уровня или примитивов действия соответственно.

    Заключение

    Долгосрочной целью этой работы является продвижение совместной автономии путем разработки пользовательского интерфейса, который может распознавать намерения оператора во время повседневной деятельности с помощью естественных движений глаз. С этой целью мы ввели структуру классификатора для распознавания низкоуровневых примитивов действия, которая включает в себя новые функции, связанные со взглядом.Мы определили примитив действия как триплет, состоящий из глагола, целевого объекта и объекта руки. Используя неспецифический подход к классификации и индексации объектов, мы наблюдали умеренный уровень обобщаемости примитивного классификатора действия для разных действий, включая те, для которых классификатор не был обучен. Мы обнаружили, что угол объекта взгляда и скорость его изменения были особенно полезны для точного распознавания примитивов действия и уменьшения задержки наблюдения классификатора.Таким образом, мы предлагаем основанный на взгляде подход к распознаванию примитивов действия, который можно использовать для определения намерений человека-оператора для интуитивного управления роботизированной системой. Этот метод можно усовершенствовать, комбинируя классификаторы на нескольких уровнях иерархии действий (примитивы действий, действия, действия) (Moeslund et al., 2006) и совершенствуя подход для использования в режиме реального времени. Мы подчеркнули применение вспомогательных роботов для мотивации и разработки этого исследования. Однако наши методы могут быть применены и к другим приложениям роботов-человеков, таким как совместное производство.

    Заявление о доступности данных

    Наборы данных, представленные в этой статье, недоступны, поскольку они не предназначались для публичного распространения в виде необработанных данных. Запросы на доступ к наборам данных следует направлять Веронике Дж. Сантос, [email protected]

    Заявление об этике

    Исследования с участием людей были рассмотрены и одобрены Институциональным наблюдательным советом Калифорнийского университета в Лос-Анджелесе. Участники дали письменное информированное согласие на участие в этом исследовании.Письменное информированное согласие было получено от лица (лиц) на публикацию любых потенциально идентифицируемых изображений или данных, включенных в эту статью.

    Вклад авторов

    XW и AH контролировали сбор данных. XW выполнил анализ данных, интерпретацию и помощь со стороны AH. XW создал первый черновой вариант рукописи, который затем отредактировали VS и AH. Все авторы прочитали и одобрили представленную рукопись и внесли свой вклад в концепцию и дизайн исследования.

    Финансирование

    Эта работа была частично поддержана Премией Управления военно-морских исследований № N00014-16-1-2468. Любые мнения, выводы, выводы или рекомендации принадлежат авторам и не обязательно отражают официальные взгляды, мнения или политику финансирующих организаций.

    Конфликт интересов

    Авторы заявляют, что исследование проводилось при отсутствии каких-либо коммерческих или финансовых отношений, которые могли бы быть истолкованы как потенциальный конфликт интересов.

    Благодарности

    Авторы благодарят Даниэлу Зокаим, Аарранона Бхаратана, Кевина Хсу и Эмму Су за помощь в анализе данных. Авторы выражают благодарность Eunsuk Chong, Yi Zheng и Eric Peltola за обсуждение ранних вариантов этой рукописи.

    Дополнительный материал

    Дополнительный материал к этой статье можно найти в Интернете по адресу: https://www.frontiersin.org/articles/10.3389/fnbot.2020.567571/full#supplementary-material

    .

    Дополнительное видео 1. Дополнительное видео показывает (i) описание экспериментальной установки и реконструкции вектора взгляда, (ii) описание подготовки входных признаков для рекуррентной нейронной сети (RNN) и (iii) демонстрацию RNN распознавание глагола и целевого объекта.

    Ссылки

    Аронсон, Р. М., Сантини, Т., Кюблер, Т. С., Каснечи, Э., Шриниваса, С., и Адмони, Х. (2018). «Поведение глаз и рук при совместной манипуляции человека и робота», в материалах Proceedings of the 2018 ACM/IEEE International Conference on Human-Robot Interaction (Чикаго, Иллинойс: ACM), 4–13.дои: 10.1145/3171221.3171287

    Полнотекстовая перекрестная ссылка | Академия Google

    Аурелио, Ю. С., де Алмейда, Г. М., де Кастро, К. Л., и Брага, А. П. (2019). Обучение на несбалансированных наборах данных с помощью взвешенной кросс-энтропийной функции. Нейронный процесс. Письмо . 18, 1–13. doi: 10.1007/s11063-018-09977-1

    Полнотекстовая перекрестная ссылка | Академия Google

    Бехера, А., Хогг, Д. К., и Кон, А. Г. (2012). «Мониторинг и восстановление эгоцентрической активности», в Азиатской конференции по компьютерному зрению , под редакцией К.М. Ли, Ю. Мацусита, Дж. М. Рег и З. Ху (Берлин; Гейдельберг: Springer), 519–532. дои: 10.1007/978-3-642-37431-9_40

    Реферат PubMed | Полный текст перекрестной ссылки | Академия Google

    Би, Л., Фань, X., и Лю, Ю. (2013). Мобильные роботы, управляемые мозгом на основе ЭЭГ: опрос. IEEE Trans. Гум. Сист. машины 43, 161–176. doi: 10.1109/TSMCC.2012.2219046

    Полнотекстовая перекрестная ссылка | Академия Google

    Би Л., Фелеке А. Г. и Гуан К. (2019). Обзор прогнозирования двигательных намерений на основе ЭМГ для непрерывного движения верхней конечности человека для совместной работы человека и робота. Биомед. Сигнал. Процесс. Контроль 51, 113–127. doi: 10.1016/j.bspc.2019.02.011

    Полнотекстовая перекрестная ссылка | Академия Google

    Калли Б., Уолсман А., Сингх А., Шриниваса С., Аббил П. и Доллар А. М. (2015). Бенчмаркинг в исследованиях манипуляций: набор объектов и моделей ycb и протоколы бенчмаркинга. препринт arXiv arXiv . Доступно в Интернете по адресу: http://arxiv.org/abs/1502.03143 (по состоянию на 2 сентября 2015 г.).

    Академия Google

    Чао, З.К., Нагасака Ю. и Фуджи Н. (2010). Долгосрочное асинхронное декодирование движения руки с использованием электрокортикографических сигналов у обезьяны. Перед. Нейроинж. 3:3. doi: 10.3389/fneng.2010.00003

    Реферат PubMed | Полный текст перекрестной ссылки | Академия Google

    Де ла Торре, Ф., Ходжинс, Дж., Баргтейл, А., Мартин, X., Мейси, Дж., Колладо, А., и другие. (2009). Руководство по базе данных мультимодальной деятельности Университета Карнеги-Меллона (CMU-MMAC) . Технический отчет. КМУ-РИ-ТР-08-22.

    Академия Google

    Драган, А.Д., и Шриниваса, С.С. (2013). Формализм смешивания политик для совместного контроля. Междунар. Дж. Робот. Рез. 32, 790–805. дои: 10.1177/02783649134

    Полнотекстовая перекрестная ссылка | Академия Google

    Дриссен, Б., Эверс, Х., и Вурден, Дж. (2001). MANUS — инвалидный реабилитационный робот в материалах Института инженеров-механиков, часть H. J. Eng. Мед. 215, 285–290. дои: 10.1243/0954411011535876

    Реферат PubMed | Полный текст перекрестной ссылки | Академия Google

    Ду, Ю., Ван, В., и Ван, Л. (2015). «Иерархическая рекуррентная нейронная сеть для распознавания действий на основе скелета», в 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (Бостон, Массачусетс: IEEE), 1110–1118.

    Академия Google

    Дземиан, С., Эбботт, В.В., и Фейсал, А.А. (2016). «Телепротез на основе взгляда обеспечивает интуитивно понятный непрерывный контроль над сложным использованием руки робота: письмо и рисование», в 2016 6-й Международной конференции IEEE по биомедицинской робототехнике и биомехатронике (BioRob) (IEEE), 1277–1282.doi: 10.1109/BIOROB.2016.7523807

    Полнотекстовая перекрестная ссылка | Академия Google

    Эйденбергер, Р., и Шарингер, Дж. (2010). «Активное восприятие и моделирование сцен путем планирования с вероятностными позами 6D-объектов», в 2010 IEEE/RSJ International Conference on Intelligent Robots and Systems , 1036–1043. doi: 10.1109/IROS.2010.5651927

    Полнотекстовая перекрестная ссылка | Академия Google

    Эллис К., Масуд С. З., Таппен М. Ф., ЛаВиола Дж. Дж. и Суктанкар Р.(2013). Изучение компромисса между точностью и задержкой наблюдения при распознавании действий. Междунар. Дж. Вычисл. Вис. 101, 420–436. doi: 10.1007/s11263-012-0550-7

    Полнотекстовая перекрестная ссылка | Академия Google

    Фатхи, А., Фархади, А., и Рег, Дж. М. (2011). «Понимание эгоцентрической деятельности», в материалах Proceedings of the IEEE International Conference on Computer Vision (Барселона: IEEE), 407–414. doi: 10.1109/ICCV.2011.6126269

    Полнотекстовая перекрестная ссылка | Академия Google

    Фатхи, А., Ли, Ю., и Рег, Дж. М. (2012). «Учимся распознавать повседневные действия с помощью взгляда», Европейская конференция по компьютерному зрению , , редакторы А. Фитцгиббон, С. Лазебник, П. Перона, Ю. Сато и К. Шмид (Берли; Гейдельберг: Springer), 314– 327. дои: 10.1007/978-3-642-33718-5_23

    Полнотекстовая перекрестная ссылка | Академия Google

    Фатхи, А., и Рег, Дж. М. (2013). «Моделирование действий посредством изменения состояния», в материалах Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (Портленд, Орегон: IEEE), 2579–2586.doi: 10.1109/CVPR.2013.333

    Полнотекстовая перекрестная ссылка | Академия Google

    Фурнари, А., и Фаринелла, Г. (2019). «Что вы ожидаете? предвосхищение эгоцентрических действий с развертыванием-развертыванием LSTM и вниманием к модальности», в 2019 IEEE/CVF International Conference on Computer Vision (ICCV) (Сеул: IEEE), 6251–6260. doi: 10.1109/ICCV.2019.00635

    Полнотекстовая перекрестная ссылка | Академия Google

    Гобади, С. Э., Леприх, О. Э., Ахмадов, Ф., Хартманн, К., Лоффелд, О., и Бернсхаузен, Дж. (2008). Ручное управление роботом в режиме реального времени с использованием мультимодальных изображений. IAENG Междунар. Дж. Вычисл. науч. 35, 110–121. Доступно в Интернете по адресу: http://www.iaeng.org/IJCS/issues_v35/issue_4/IJCS_35_4_08.pd

    .

    Академия Google

    Гибсон, Дж. Дж. (1977). «Теория аффордансов», в «Восприятие, действие и знание: на пути к экологической психологии », редакторы Р. Шоу и Дж. Брансфорд (Хобокен, Нью-Джерси: John Wiley & Sons Inc.), 127–143.

    Реферат PubMed | Академия Google

    Гопинатх, Д., Джейн С. и Аргалл Б. Д. (2017). Оптимизация совместной автономии с участием человека в цикле вспомогательной робототехники. Робот IEEE. автомат. лат. 2, 247–254. doi: 10.1109/LRA.2016.2593928

    Реферат PubMed | Полный текст перекрестной ссылки | Академия Google

    Groothuis, S.S., Stramigioli, S., and Carloni, R. (2013). Протянуть руку помощи: к новым вспомогательным роботам-манипуляторам. Робот IEEE. автомат. Магаз. 20, 20–29. doi: 10.1109/MRA.2012.2225473

    Полнотекстовая перекрестная ссылка | Академия Google

    Гаджи Фаталиян, А., Ван, X., и Сантос, В. Дж. (2018). Использование трехмерного отслеживания взгляда для распознавания действий во время двуручных манипуляций для улучшения взаимодействия человека и робота. Перед. Робот. АИ 5:25. doi: 10.3389/frobt.2018.00025

    Полнотекстовая перекрестная ссылка | Академия Google

    Хасиб, Массачусетс, и Парасураман, Р. (2017). Wisture: изучение беспроводных сигналов на основе RNN для распознавания жестов в немодифицированных смартфонах. arXiv:1707.08569 . Доступно в Интернете по адресу: http://arxiv.org/abs/1707.08569 (по состоянию на 5 сентября 2019 г.).

    Академия Google

    Хейккила, Дж., и Сильвен, О. (1997). «Четырехэтапная процедура калибровки камеры с неявной коррекцией изображения», в Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition (Сан-Хуан, PR: IEEE), 1106–1112. doi: 10.1109/CVPR.1997.609468

    Полнотекстовая перекрестная ссылка | Академия Google

    Хохберг, Л. Р., Бахер, Д., Яросевич, Б., Массе, Н.Y., Simeral, J.D., Vogel, J., et al. (2012). Дотянуться и схватить людей с тетраплегией с помощью роботизированной руки с нейронным управлением. Природа 485, 372–375. doi: 10.1038/nature11076

    Реферат PubMed | Полный текст перекрестной ссылки | Академия Google

    Хоффман, Г. (2019). Оценка беглости взаимодействия человека и робота. IEEE Trans. Гум. Сист. машины 49, 209–218. doi: 10.1109/THMS.2019.2

    8

    Полнотекстовая перекрестная ссылка | Академия Google

    Япкович, Н.(2000). «Проблема дисбаланса классов: значение и стратегии», в материалах Международной конференции по искусственному интеллекту (ICAI) 2000 г., (Лас-Вегас, Невада), 111–117.

    Академия Google

    Йоханссон, Р. С., Вестлинг, Г., Бэкстрем, А., и Фланаган, Дж. Р. (2001). Координация глаз и рук при манипулировании предметами. J. Neurosci. 21, 6917–6932. doi: 10.1523/JNEUROSCI.21-17-06917.2001

    Реферат PubMed | Полный текст перекрестной ссылки | Академия Google

    Ким, Д.-J., Hazlett-Knudsen, R., Culver-Godfrey, H., Rucks, G., Cunningham, T., Portee, D., et al. (2012). Как автономия влияет на производительность и удовлетворенность: результаты исследования с участием людей с травмами спинного мозга с использованием вспомогательного робота. IEEE Trans. Сист. Человек Киберн. Часть А 42, 2–14. doi: 10.1109/TSMCA.2011.2159589

    Полнотекстовая перекрестная ссылка | Академия Google

    Ким, Дж. Х., Абдель-Малек, К., Ми, З., и Небель, К. (2004). Разработка макета с использованием формулы энергопотребления человека на основе оптимизации .Уоррендейл, Пенсильвания: SAE International. дои: 10.4271/2004-01-2175

    Полнотекстовая перекрестная ссылка | Академия Google

    Ли, С., и Чжан, X. (2017). Неявная коммуникация намерений при взаимодействии человека и робота с помощью исследований визуального поведения. IEEE Trans. Сист. человек-машина. 47, 437–448. doi: 10.1109/THMS.2017.2647882

    Полнотекстовая перекрестная ссылка | Академия Google

    Ли, С., Чжан, X., Ким, Ф. Дж., Донализио да Силва, Р., Густафсон, Д., и Молина, В. Р. (2015a).Роботизированный лапароскоп, учитывающий внимание, основанный на нечеткой интерпретации паттернов взгляда. J. Med. Дев. 9:041007. дои: 10.1115/1.4030608

    Полнотекстовая перекрестная ссылка | Академия Google

    Ли, С., Чжан, X., и Уэбб, Дж. Д. (2017). Роботизированное захватывание на основе трехмерного взгляда путем имитации зрительно-моторной функции человека для людей с двигательными нарушениями. IEEE Trans. Биомед. англ. 64, 2824–2835. doi: 10.1109/TBME.2017.2677902

    Реферат PubMed | Полный текст перекрестной ссылки | Академия Google

    Ли, Ю., Лю М. и Рег Дж. М. (2018). «В глазах смотрящего: совместное изучение взгляда и действий в видео от первого лица», в Proceedings of the European Conference on Computer Vision (ECCV) , 619–635. дои: 10.1007/978-3-030-01228-1_38

    Полнотекстовая перекрестная ссылка | Академия Google

    Ли, Ю., Йе, З., и Рег, Дж. М. (2015b). «Углубление в эгоцентрические действия», в материалах Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (Бостон, Массачусетс), 287–295.doi: 10.1109/CVPR.2015.7298625

    Реферат PubMed | Полный текст перекрестной ссылки | Академия Google

    Лин, К.-С., Хо, К.-В., Чен, В.-К., Чиу, К.-К., и Е, М.-С. (2006). Инвалидная коляска с электроприводом, управляемая системой слежения за глазами. Опц. Заявка . 36, 401–412. Доступно в Интернете по адресу: http://opticaapplicata.pwr.edu.pl/article.php?id=2006230401

    .

    Академия Google

    Лю, М., Тан, С., Ли, Ю., и Рег, Дж. (2020). Прогнозирование взаимодействия человека с объектом: совместное прогнозирование двигательного внимания и действий в видео от первого лица.arXiv:1911.10967 [cs]. Доступно по адресу: http://arxiv.org/abs/1911.10967 (по состоянию на 21 июля 2020 г.).

    Академия Google

    Льв, Ф., и Неватия, Р. (2006). «Распознавание и сегментация трехмерных действий человека с использованием HMM и мультиклассового AdaBoost», в Computer Vision — ECCV Lecture Notes in Computer Science , eds A. Leonardis, H. Bischof и A. Pinz (Берлин; Гейдельберг: Спрингер), 359–372. дои: 10.1007/11744085_28

    Полнотекстовая перекрестная ссылка | Академия Google

    млн лет, М., Фан, Х., и Китани, К.М. (2016). «Углубляясь в распознавание действий от первого лица», в Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (Лас-Вегас, Невада: IEEE), 1894–1903. doi: 10.1109/CVPR.2016.209

    Полнотекстовая перекрестная ссылка | Академия Google

    Маэ, В., Фраппье, Дж., Аршамбо, П.С., и Рутье, Ф. (2011). «Оценка роботизированной руки JACO: клинико-экономическое исследование для пользователей инвалидных колясок с ограниченными возможностями верхних конечностей», в 2011 IEEE International Conference on Rehabilitation Robotics (Цюрих: IEEE), 1–5.doi: 10.1109/ICORR.2011.5975397

    Реферат PubMed | Полный текст перекрестной ссылки | Академия Google

    Мацуо К., Ямада К., Уэно С. и Найто С. (2014). «Распознавание действий на основе внимания для эгоцентрического видео», в Трудах конференции IEEE по компьютерному зрению и семинарам по распознаванию образов. (Колумбус), 551–556. doi: 10.1109/CVPRW.2014.87

    Полнотекстовая перекрестная ссылка | Академия Google

    Мёслунд, Т. Б., Хилтон, А., и Крюгер, В.(2006). Обзор достижений в области захвата и анализа движения человека на основе зрения. Комп. Видение Образ Понимание. 104, 90–126. doi: 10.1016/j.cviu.2006.08.002

    Полнотекстовая перекрестная ссылка | Академия Google

    Огнибене, Д., и Бальдассаре, Г. (2015). Экологическое активное зрение: четыре биологически вдохновленных принципа интеграции внимания снизу вверх и адаптивного внимания сверху вниз, проверенные с помощью простого робота с камерой. IEEE Trans. Автон. Ментальное развитие. 7, 3–25. doi: 10.1109/TAMD.2014.2341351

    Полнотекстовая перекрестная ссылка | Академия Google

    Рахеджа, Дж. Л., Шьям, Р., Кумар, У., и Прасад, П. Б. (2010). «Ручное управление роботом в реальном времени с помощью жестов», в 2010 Вторая международная конференция по машинному обучению и вычислениям (Бангалор), 12–16. doi: 10.1109/ICMLC.2010.12

    Полнотекстовая перекрестная ссылка | Академия Google

    Рогалла О., Эренманн М., Золлнер Р., Бехер Р. и Диллманн Р. (2002). «Использование управления жестами и речью для управления роботом-помощником», в материалах Proceedings of the IEEE International Workshop on Robot and Human Interactive Communication (Берлин), 454–459.doi: 10.1109/ROMAN.2002.1045664

    Полнотекстовая перекрестная ссылка | Академия Google

    Рю, Массачусетс (2011). «Прогнозирование человеческой деятельности: раннее распознавание текущей деятельности из потокового видео», в 2011 International Conference on Computer Vision (Барселона), 1036–1043. doi: 10.1109/ICCV.2011.6126349

    Полнотекстовая перекрестная ссылка | Академия Google

    Салазар-Гомес А.Ф., ДельПрето Дж., Гил С., Гюнтер Ф.Х. и Рус Д. (2017). «Исправление ошибок роботов в режиме реального времени с использованием сигналов ЭЭГ», в Международная конференция IEEE по робототехнике и автоматизации (ICRA) (Сингапур), 6570–6577, 2017 г.doi: 10.1109/ICRA.2017.7989777

    Полнотекстовая перекрестная ссылка | Академия Google

    Шаал, С. (2006) «Примитивы динамического движения — основа для управления двигателем у людей и гуманоидной робототехники», в Международном симпозиуме по адаптивному движению животных и машин , редакторы Х. Кимура, К. Цутия, А. Исигуро и Х. Витте (Токио: Springer), 261–280. doi: 10.1007/4-431-31381-8_23.

    Полнотекстовая перекрестная ссылка | Академия Google

    Шафти А., Орлов П. и Фейсал А.А. (2019). «Контекстно-зависимая роботизированная система на основе взгляда для вспомогательного захвата и захвата», Международная конференция по робототехнике и автоматизации (ICRA) , 2019 г., (Монреаль, Квебек), 863–869. doi: 10.1109/ICRA.2019.8793804

    Полнотекстовая перекрестная ссылка | Академия Google

    Соран, Б., Фархади, А., и Шапиро, Л. (2015). «Распознавание действий в присутствии одной эгоцентрической и нескольких статических камер», в Computer Vision — ACCV 2014 Lecture Notes in Computer Science , eds D.Кремерс, И. Рейд, Х. Сайто и М.-Х. Ян (Чам: Springer International Publishing), 178–193. дои: 10.1007/978-3-319-16814-2_12

    Полнотекстовая перекрестная ссылка | Академия Google

    Судхакаран С., Эскалера С. и Ланц О. (2019). «LSTA: длительное краткосрочное внимание для распознавания эгоцентрических действий», в Конференция IEEE / CVF по компьютерному зрению и распознаванию образов (CVPR) (Лонг-Бич), 9946–9955, 2019 г. doi: 10.1109/CVPR.2019.01019

    Полнотекстовая перекрестная ссылка | Академия Google

    Величковский Б., Шпренгер, А., и Унема, П. (1997). «К взаимодействию, опосредованному взглядом: сбор решений проблемы прикосновения Мидаса», в Human-Computer Interaction INTERACT ’97 (Бостон, Массачусетс: Springer), 509–516. дои: 10.1007/978-0-387-35175-9_77

    Полнотекстовая перекрестная ссылка | Академия Google

    Вемулапалли Р., Аррате Ф. и Челлаппа Р. (2014). «Распознавание действий человека путем представления трехмерных скелетов в виде точек в группе лжи», в 2014 IEEE Conference on Computer Vision and Pattern Recognition (Колумбус, Огайо: IEEE), 588–595.doi: 10.1109/CVPR.2014.82

    Полнотекстовая перекрестная ссылка | Академия Google

    Ван Дж., Лю З., Ву Ю. и Юань Дж. (2012). «Ансамбль интеллектуальных действий для распознавания действий с камерами глубины», в Трудах конференции IEEE по компьютерному зрению и распознаванию образов (Провиденс, Род-Айленд), 1290–1297. doi: 10.1109/CVPR.2012.6247813

    Полнотекстовая перекрестная ссылка | Академия Google

    Ван, М.-Ю., Когкас, А.А., Дарзи, А., и Милонас, Г.П. (2018). «Вспомогательная роботизированная система с трехмерным взглядом и свободным обзором для повседневной жизни», Международная конференция IEEE/RSJ по интеллектуальным роботам и системам (IROS) (Мадрид: IEEE), 2355–2361, 2018 г.doi: 10.1109/IROS.2018.8594045

    Полнотекстовая перекрестная ссылка | Академия Google

    Wang, W., Collinger, J.L., Degenhart, A.D., Tyler-Kabara, E.C., Schwartz, A.B., Moran, D.W., et al. (2013). Электрокортикографический интерфейс мозга у человека с тетраплегией. PLoS ONE 8:e55344. doi: 10.1371/journal.pone.0055344

    Реферат PubMed | Полный текст перекрестной ссылки | Академия Google

    Уэллс, округ Колумбия (1979). «Фильтр мод: оператор нелинейной обработки изображений», в Instrumentation in Astronomy III (Тусон, Аризона: Международное общество оптики и фотоники), 418–421.дои: 10.1117/12.957111

    Полнотекстовая перекрестная ссылка | Академия Google

    Ю. К. и Баллард Д. Х. (2002). «Понимание поведения человека на основе координации глаз-голова-рука», в Международном семинаре по биологически мотивированному компьютерному зрению , редакторы HH Bülthoff, C. Wallraven, SW Lee и TA Poggio (Берлин: Springer), 611–619. дои: 10.1007/3-540-36181-2_61

    Полнотекстовая перекрестная ссылка | Академия Google

    Цзэн Х., Шэнь Ю., Ху Х., Сун А., Сюй Б., Ли Х. и др. (2020). Полуавтономная роботизированная рука с гибридным интерфейсом «взгляд-мозг». Перед. Нейроробот. 13:111. doi: 10.3389/fnbot.2019.00111

    Реферат PubMed | Полный текст перекрестной ссылки | Академия Google

    Не беспокойтесь о самолетающем самолете Боинга — автопилот уже правит небом

    Боинг только что начал игру в области автономной авиации с целью создания реактивных лайнеров, которые летают сами по себе, без пилотов. «Базовые строительные блоки технологии явно доступны», — заявил Майк Синнетт, вице-президент Boeing по разработке продуктов, перед Парижским авиасалоном.

    Перспектива беспилотного пассажирского самолета может показаться вам безумием и даже ужасом. Но разработка компьютерных систем, достаточно сложных, чтобы это осуществить, идет полным ходом. Технология автопилота уже выполняет большую часть работы, когда самолет находится в воздухе, и без проблем приземляется даже в ненастную погоду и в условиях ограниченной видимости.

    Boeing хочет сделать еще один шаг к тому, чтобы исключить людей из уравнения, разработав искусственный интеллект, способный принимать еще больше решений, принимаемых пилотами.Синнетт говорит, что Boeing планирует протестировать такую ​​систему на симуляторе этим летом, а в следующем году — на реальном самолете.

    Состояние автопилота

    Автопилот на самом базовом уровне довольно прост: он использует действия пилота для регулировки и поддержания курса, высоты и скорости самолета. Пилот не использует штурвал или педали, а предоставляет все команды, которые выполняет компьютер. Авиакомпании начали использовать эту технологию несколько десятилетий назад.

    Со временем коммерческие самолеты добавили еще один уровень автоматизации, называемый FMS, для системы управления полетом.Как только пилот вводит план полета, система управления полетом определяет наиболее эффективный способ его выполнения. Компьютеризированная система опирается на сложную сеть датчиков по всему самолету для постоянной оценки и корректировки скорости, скороподъемности и других факторов. В этот момент пилот может, по сути, расслабиться.

    «По закону нам нельзя спать», — говорит Дуглас М. Мосс, авиационный консультант AeroPacific Consulting, который летает на Boeing 757 и 767.«Но бывают долгие времена, которые некоторые люди могут посчитать скукой».

    Пилот по-прежнему требуется

    Пилоты по-прежнему необходимы для наблюдения за ветром и погодными условиями, отслеживания расхода топлива и управления во время турбулентности и других ситуаций. Автопилот может справиться с этой задачей, но люди справляются с ней лучше. «Каждый пилот может вспомнить, наверное, дюжину раз, когда вы знаете, что самолет должен снизиться, вы думаете, что самолет знает, что ему нужно снизиться, но по какой-то причине у автопилота и FMS другое представление», — говорит Мосс.

    То, что делает пилот, частично зависит от того, где вы находитесь. В США авиакомпании требуют, чтобы пилоты осуществляли ручной надзор и контроль. Азиатские авиаперевозчики требуют, чтобы пилоты максимально использовали автопилот.

  • Добавить комментарий

    Ваш адрес email не будет опубликован.