Обо мне

Введение в робототехнику

5 лет

в робототехнике

ML-инженер

Фокус на VLA-моделях
Vision–Language–Action

Яндекс

Работаю в команде гуманоидных роботов

ФКН

Эксперт лаборатории робототехники

Введение в робототехнику
Мобильный манипулятор KUKA youBot
Robotic Perception Lab

Введение
в робототехнику

Что такое робот, из чего он состоит
и какие задачи решает

Образ искусственного помощника

Введение в робототехнику
Талос

Бронзовый
страж Крита

Мифический образ

Талос в центре античной вазописи
Гибель Талоса · вазопись, Museo Jatta
Фото: PugliaViva

Механизмы, похожие на живых существ

Введение в робототехнику
Автоматы
Вокансона

Механическая утка

Имитация действия ≠
тот же внутренний процесс

Три автомата Вокансона: механическая утка в центре между двумя музыкантами
Утка — в центре гравюры
Histoire des jouets · Getty / Public Domain Image Archive

Поведение можно менять

Введение в робототехнику

Музыкальная машина со сменными валиками

Валик со штифтами внутри музыкальной машины Allard & Sandoz
Валик задаёт последовательность звучания
Сменные валики в ящике той же музыкальной машины
Другой валик — другая мелодия

Allard & Sandoz · Nagamori Collection Gallery

Откуда взялось слово «робот»

Введение в робототехнику
R.U.R.

Карел Чапек

robota —
подневольный труд

Обложка первого издания пьесы R.U.R. Карела Чапека
Первое издание · обложка Йозефа Чапека
Источник: МИД Чехии

Робот как рабочая машина

Введение в робототехнику
Unimate 500 рядом с рабочими приспособлениями
The Henry Ford
Unimate

Заданная последовательность движений

Разные машины — одно название

Введение в робототехнику
Промышленная рука
OnRobot / Thinkbot Solutions
Мобильный робот
Яндекс / iXBT
Исследовательский подводный робот
Woods Hole Oceanographic Institution

Что позволяет называть их роботами?

Что такое робот

Введение в робототехнику

“A machine capable of carrying out a complex series of actions automatically, especially one programmable by a computer.”

Рабочий перевод: «Машина, способная автоматически выполнять сложную последовательность действий, в частности, такая, которую можно программировать с помощью компьютера».

Oxford English Dictionary, цит. по Ben-Ari и Mondada,
Elements of Robotics, гл. 1

Датчики дают сведения

Введение в робототехнику
Дальномер
Pololu / Botland

Измерение

Расстояние до препятствия

Программа учитывает измерение→Машина меняет действие

Измерение → использование при действии

Что делает машина, а что — человек

Введение в робототехнику

Самостоятельность зависит от задачи

Человек

Задаёт цель

Оператор выбирает направление

Машина

Выполняет действия

Регулирует движение

Робот или не робот?

Введение в робототехнику
ПрограммируемостьВозможность менять поведение через программуПоведение можно менять программойАвтономность в задачеМеньше текущих команд человека →Качественное сравнение режимов, не измерение

Костюм Железного человека

Введение в робототехнику
Костюм Железного человека
Zade Rosenthal / Marvel Entertainment

Тони управляет действиями

Робот или нет?

Без пилота, под управлением Джарвиса

Изменился ли ваш ответ?

В обоих режимах программу можно менять

ПрограммируемостьВозможность менять поведение через программуПоведение можно менять программойАвтономность в задачеМеньше текущих команд человека →Костюм: ТониКостюм: ДжарвисКачественное сравнение режимов, не измерение

AT-AT

Введение в робототехнику
AT-AT
Lucasfilm

Движением управляют пилоты

Робот или нет?

ПрограммируемостьВозможность менять поведение через программуПоведение можно менять программойАвтономность в задачеМеньше текущих команд человека →Костюм: ТониКостюм: ДжарвисAT-AT: программируемость неизвестнаКачественное сравнение режимов, не измерение

Робот-пылесос

Введение в робототехнику
Робот-пылесос
iRobot / Roboticky-vysavac.cz

Сам убирает после запуска.
Учитывает препятствия

Какие признаки здесь есть?

Программу движения может менять инженер

ПрограммируемостьВозможность менять поведение через программуПоведение можно менять программойАвтономность в задачеМеньше текущих команд человека →Костюм: ТониКостюм: ДжарвисAT-AT: программируемость неизвестнаУборка после запускаКачественное сравнение режимов, не измерение

Доставщик Яндекса

Введение в робототехнику
Доставщик Яндекса
Яндекс / iXBT

Сам едет к месту доставки.
Возможна помощь диспетчера

Меняет ли помощь диспетчера ваш ответ «робот или нет»?

Поведение программно изменяют разработчики

ПрограммируемостьВозможность менять поведение через программуПоведение можно менять программойАвтономность в задачеМеньше текущих команд человека →Костюм: ТониКостюм: ДжарвисAT-AT: программируемость неизвестнаУборка после запускаСамостоятельная поездкаКачественное сравнение режимов, не измерение

Заводская роборука

Введение в робототехнику
Заводская роборука
OnRobot / Thinkbot Solutions

Повторяет закручивание гаек.
После запуска работает автоматически

Однообразная работа — значит непрограммируемая машина?

Инженер может изменить программу

Повторение не мешает перепрограммированию

ПрограммируемостьВозможность менять поведение через программуПоведение можно менять программойАвтономность в задачеМеньше текущих команд человека →Костюм: ТониКостюм: ДжарвисAT-AT: программируемость неизвестнаУборка после запускаСамостоятельная поездкаЗакручивание гаек после запускаКачественное сравнение режимов, не измерение

Бэймакс

Введение в робототехнику
Бэймакс
Disney

Медицинская программа →
добавлена боевая программа

Что изменилось?

В обоих режимах самостоятельно выполняет заданные программой действия

ПрограммируемостьВозможность менять поведение через программуПоведение можно менять программойАвтономность в задачеМеньше текущих команд человека →Костюм: ТониКостюм: ДжарвисAT-AT: программируемость неизвестнаУборка после запускаСамостоятельная поездкаЗакручивание гаек после запускаБэймакс: медицинская / боевая программаКачественное сравнение режимов, не измерение

Сравнили режимы работы

Введение в робототехнику

Что выполняется без текущих команд?

Можно ли изменить программу?

ПрограммируемостьВозможность менять поведение через программуПоведение можно менять программойАвтономность в задачеМеньше текущих команд человека →Костюм: ТониКостюм: ДжарвисAT-AT: программируемость неизвестнаУборка после запускаСамостоятельная поездкаЗакручивание гаек после запускаБэймакс: медицинская / боевая программаКачественное сравнение режимов, не измерение

Стационарные, мобильные и совмещённые

Введение в робототехнику
Стационарная рука
OnRobot / Thinkbot Solutions

Стационарные

Основание закреплено

Мобильный робот
Яндекс / iXBT

Мобильные

Перемещаются целиком

Мобильный манипулятор
Robotic Perception Lab

Совмещённые

Рука на мобильной платформе

Где перемещаются мобильные роботы

Введение в робототехнику

По среде передвижения

Наземные

Колёса→Гусеницы→Ноги

Водные

Подводный робот
Woods Hole Oceanographic Institution

Воздушные

Беспилотный летательный аппарат
NASA

Механика

Введение в робототехнику
Мобильный манипулятор KUKA youBot
Robotic Perception Lab

Рама / корпус
Колёса или звенья
Рабочий орган

Схема: управление передаёт команды приводам, приводы действуют на механическую систему, датчики возвращают сведения в управление

Механическая система

Рама / корпус · колёса или звенья · рабочий орган

Двигатель — пример актуатора

Введение в робототехнику
Актуатор Энергия → механическое действие
Pololu / Botland

Актуатор
Энергия → механическое действие

Сенсорная система

    Система управления

      Механическая система

      • Рама / корпус
      • Колёса или звенья
      • Рабочий орган

      Система приводов

      • Двигатель

      Самостоятельная учебная схема по Siciliano и соавт., §1.1

      Передача и драйвер двигателя

      Введение в робототехнику
      Зубчатая передача
      Pololu / Robot Gear

      Передача — передаёт движение и усилие

      Аппаратный драйвер двигателя
      Pololu / Eckstein

      Драйвер — управляет подачей энергии к двигателю

      КомандаДрайверЭнергияДвигатель

      Сенсорная система

        Система управления

          Механическая система

          • Рама / корпус
          • Колёса или звенья
          • Рабочий орган

          Система приводов

          • Двигатель
          • Передача, если есть
          • Драйвер / силовая электроника

          Самостоятельная учебная схема по Siciliano и соавт., §1.1

          Камера

          Введение в робототехнику
          Камера → изображение
          Raspberry Pi / Rapid Electronics

          Камера → изображение

          Кадр без распознавания объектов

          Пример необработанной фотографии сцены
          Яндекс / iXBT

          Сенсорная система

          • Камера

          Система управления

            Механическая система

            • Рама / корпус
            • Колёса или звенья
            • Рабочий орган

            Система приводов

            • Двигатель
            • Передача, если есть
            • Драйвер / силовая электроника

            Самостоятельная учебная схема по Siciliano и соавт., §1.1

            Дальномер

            Введение в робототехнику
            Дальномер → расстояние
            Pololu / Botland

            Дальномер → расстояние

            Направление измерения

            Сенсорная система

            • Камера
            • Дальномер

            Система управления

              Механическая система

              • Рама / корпус
              • Колёса или звенья
              • Рабочий орган

              Система приводов

              • Двигатель
              • Передача, если есть
              • Драйвер / силовая электроника

              Самостоятельная учебная схема по Siciliano и соавт., §1.1

              Энкодер

              Введение в робототехнику
              Положение или поворот части механизма
              Pololu / Tiendatec

              Положение или поворот части механизма

              Датчик наблюдает поворот вала

              Сенсорная система

              • Камера
              • Дальномер
              • Энкодер

              Система управления

                Механическая система

                • Рама / корпус
                • Колёса или звенья
                • Рабочий орган

                Система приводов

                • Двигатель
                • Передача, если есть
                • Драйвер / силовая электроника

                Самостоятельная учебная схема по Siciliano и соавт., §1.1

                Инерциальные датчики

                Введение в робототехнику
                Гироскоп — угловая скорость
                Adafruit

                Гироскоп — угловая скорость

                Акселерометр — данные для оценки ускорения с учётом гравитации

                Измерения требуют обработки

                Сенсорная система

                • Камера
                • Дальномер
                • Энкодер
                • Инерциальные датчики

                Система управления

                  Механическая система

                  • Рама / корпус
                  • Колёса или звенья
                  • Рабочий орган

                  Система приводов

                  • Двигатель
                  • Передача, если есть
                  • Драйвер / силовая электроника

                  Самостоятельная учебная схема по Siciliano и соавт., §1.1

                  Вычислитель и контроллеры

                  Введение в робототехнику
                  Бортовой компьютер Обработка данных и планирование
                  Raspberry Pi / Adafruit

                  Бортовой компьютер
                  Обработка данных и планирование

                  Плата с микроконтроллером
                  Arduino / The Engineering Projects

                  Микроконтроллер
                  Работа с датчиками или приводом

                  Сенсорная система

                  • Камера
                  • Дальномер
                  • Энкодер
                  • Инерциальные датчики

                  Система управления

                  • Бортовой компьютер
                  • Контроллеры

                  Механическая система

                  • Рама / корпус
                  • Колёса или звенья
                  • Рабочий орган

                  Система приводов

                  • Двигатель
                  • Передача, если есть
                  • Драйвер / силовая электроника

                  Сплошные стрелки: измерения, команды и физическое действие

                  Самостоятельная учебная схема по Siciliano и соавт., §1.1

                  Питание и обмен данными

                  Введение в робототехнику
                  Источник питания

                  Энергия
                  Измерения и команды

                  Сенсорная система

                  • Камера
                  • Дальномер
                  • Энкодер
                  • Инерциальные датчики

                  Система управления

                  • Бортовой компьютер
                  • Контроллеры

                  Механическая система

                  • Рама / корпус
                  • Колёса или звенья
                  • Рабочий орган

                  Система приводов

                  • Двигатель
                  • Передача, если есть
                  • Драйвер / силовая электроника

                  Сплошные стрелки: измерения, команды и физическое действие

                  Источник питанияЭнергия к датчикам, вычислителям и драйверам

                  Самостоятельная учебная схема по Siciliano и соавт., §1.1

                  Как части работают вместе

                  Введение в робототехнику

                  Сенсорная система

                  • Камера
                  • Дальномер
                  • Энкодер
                  • Инерциальные датчики

                  Система управления

                  • Бортовой компьютер
                  • Контроллеры

                  Механическая система

                  • Рама / корпус
                  • Колёса или звенья
                  • Рабочий орган

                  Система приводов

                  • Двигатель
                  • Передача, если есть
                  • Драйвер / силовая электроника

                  Сплошные стрелки: измерения, команды и физическое действие

                  Источник питанияЭнергия к датчикам, вычислителям и драйверам

                  Обратная связь: результат влияет на следующие команды

                  Пример: мобильная навигация

                  Введение в робототехнику

                  Пример задач мобильной навигации

                  01Восприятие
                  02Локализация /
                  построение карты
                  03Выбор действий /
                  планирование пути
                  04Управление движением
                  ПрепятствиеЦельРоботУсловная учебная сцена

                  Аппаратная схема

                  Сенсорная система

                  • Камера
                  • Дальномер
                  • Энкодер
                  • Инерциальные датчики

                  Система управления

                  • Бортовой компьютер
                  • Контроллеры

                  Механическая система

                  • Рама / корпус
                  • Колёса или звенья
                  • Рабочий орган

                  Система приводов

                  • Двигатель
                  • Передача, если есть
                  • Драйвер / силовая электроника

                  Сплошные стрелки: измерения, команды и физическое действие

                  Источник питанияЭнергия к датчикам, вычислителям и драйверам

                  Учебная схема по Siegwart, Nourbakhsh, Scaramuzza, гл. 1; аппаратная схема — S30

                  Восприятие

                  Введение в робототехнику

                  Измерения → сведения об окружающем

                  Perception

                  01Восприятие
                  02Локализация /
                  построение карты
                  03Выбор действий /
                  планирование пути
                  04Управление движением
                  ПрепятствиеЦельРоботВыделенная стенаНеизвестноУсловная учебная сцена

                  Аппаратная схема

                  Сенсорная система

                  • Камера
                  • Дальномер
                  • Энкодер
                  • Инерциальные датчики

                  Система управления

                  • Бортовой компьютер
                  • Контроллеры

                  Механическая система

                  • Рама / корпус
                  • Колёса или звенья
                  • Рабочий орган

                  Система приводов

                  • Двигатель
                  • Передача, если есть
                  • Драйвер / силовая электроника

                  Сплошные стрелки: измерения, команды и физическое действие

                  Источник питанияЭнергия к датчикам, вычислителям и драйверам

                  Учебная схема по Siegwart, Nourbakhsh, Scaramuzza, гл. 1; аппаратная схема — S30

                  Локализация и построение карты

                  Введение в робототехнику

                  Где робот? Что известно о среде?

                  Localization / Map Building

                  01Восприятие
                  02Локализация /
                  построение карты
                  03Выбор действий /
                  планирование пути
                  04Управление движением
                  ПрепятствиеЦельРоботВыделенная стенаНеизвестноОбласть неопределённости оценки положенияУсловная учебная сцена

                  Аппаратная схема

                  Сенсорная система

                  • Камера
                  • Дальномер
                  • Энкодер
                  • Инерциальные датчики

                  Система управления

                  • Бортовой компьютер
                  • Контроллеры

                  Механическая система

                  • Рама / корпус
                  • Колёса или звенья
                  • Рабочий орган

                  Система приводов

                  • Двигатель
                  • Передача, если есть
                  • Драйвер / силовая электроника

                  Сплошные стрелки: измерения, команды и физическое действие

                  Источник питанияЭнергия к датчикам, вычислителям и драйверам

                  Учебная схема по Siegwart, Nourbakhsh, Scaramuzza, гл. 1; аппаратная схема — S30

                  Планирование пути

                  Введение в робототехнику

                  Цель → путь

                  Cognition / Path Planning

                  01Восприятие
                  02Локализация /
                  построение карты
                  03Выбор действий /
                  планирование пути
                  04Управление движением
                  ПрепятствиеЦельРоботУсловная учебная сцена

                  Путь ещё не команды приводам

                  Аппаратная схема

                  Сенсорная система

                  • Камера
                  • Дальномер
                  • Энкодер
                  • Инерциальные датчики

                  Система управления

                  • Бортовой компьютер
                  • Контроллеры

                  Механическая система

                  • Рама / корпус
                  • Колёса или звенья
                  • Рабочий орган

                  Система приводов

                  • Двигатель
                  • Передача, если есть
                  • Драйвер / силовая электроника

                  Сплошные стрелки: измерения, команды и физическое действие

                  Источник питанияЭнергия к датчикам, вычислителям и драйверам

                  Учебная схема по Siegwart, Nourbakhsh, Scaramuzza, гл. 1; аппаратная схема — S30

                  Управление движением

                  Введение в робототехнику

                  Путь → команды → движение

                  Motion Control

                  01Восприятие
                  02Локализация /
                  построение карты
                  03Выбор действий /
                  планирование пути
                  04Управление движением
                  ПрепятствиеЦельРоботУсловная учебная сцена
                  Измерение результата→Сравнение→Коррекция команды

                  Аппаратная схема

                  Сенсорная система

                  • Камера
                  • Дальномер
                  • Энкодер
                  • Инерциальные датчики

                  Система управления

                  • Бортовой компьютер
                  • Контроллеры

                  Механическая система

                  • Рама / корпус
                  • Колёса или звенья
                  • Рабочий орган

                  Система приводов

                  • Двигатель
                  • Передача, если есть
                  • Драйвер / силовая электроника

                  Сплошные стрелки: измерения, команды и физическое действие

                  Источник питанияЭнергия к датчикам, вычислителям и драйверам

                  Учебная схема по Siegwart, Nourbakhsh, Scaramuzza, гл. 1; аппаратная схема — S30

                  Движение меняет следующие решения

                  Введение в робототехнику

                  Новые измерения меняют сведения, путь и команды

                  01Восприятие
                  02Локализация /
                  построение карты
                  03Выбор действий /
                  планирование пути
                  04Управление движением
                  Измерения→Обновление сведений→Решение→Команда

                  ↶ Действие даёт новые измерения

                  ПрепятствиеЦельРоботУсловная учебная сцена
                  ПрепятствиеЦельРоботВыделенная стенаНеизвестноУсловная учебная сцена

                  Обновление сведений и состояния → новые решения

                  Аппаратная схема

                  Сенсорная система

                  • Камера
                  • Дальномер
                  • Энкодер
                  • Инерциальные датчики

                  Система управления

                  • Бортовой компьютер
                  • Контроллеры

                  Механическая система

                  • Рама / корпус
                  • Колёса или звенья
                  • Рабочий орган

                  Система приводов

                  • Двигатель
                  • Передача, если есть
                  • Драйвер / силовая электроника

                  Сплошные стрелки: измерения, команды и физическое действие

                  Источник питанияЭнергия к датчикам, вычислителям и драйверам

                  Учебная схема по Siegwart, Nourbakhsh, Scaramuzza, гл. 1; аппаратная схема — S30

                  Какие области здесь встречаются

                  Введение в робототехнику

                  Сенсорная система

                  • Камера
                  • Дальномер
                  • Энкодер
                  • Инерциальные датчики

                  Система управления

                  • Бортовой компьютер
                  • Контроллеры

                  Механическая система

                  • Рама / корпус
                  • Колёса или звенья
                  • Рабочий орган

                  Система приводов

                  • Двигатель
                  • Передача, если есть
                  • Драйвер / силовая электроника

                  Механика — конструкция и движение

                  Электроника и электротехника — датчики, питание, приводы

                  Программирование — реализация функций

                  Обработка сигналов и компьютерное зрение — восприятие

                  Планирование — выбор пути

                  Теория управления — команды и обратная связь

                  Математические модели — общая опора

                  План курса

                  Введение в робототехнику
                  1. Моделирование роботов
                    и разработка в ROS 2
                  2. Электроника и микроконтроллерные системы
                  3. Сенсоры, исполнительные устройства
                    и интерфейсы связи
                  4. Системы автоматизированного проектирования (CAD)
                    и цифровое изготовление
                  5. Обработка данных сенсоров
                    и системы координат
                  6. Кинематика, одометрия и управление мобильным роботом
                  7. Построение карт и локализация
                  8. Планирование пути
                    и автономная навигация
                  9. Кинематика манипуляторов
                  10. Планирование и управление движением манипулятора