Автомобиль с глубоким обучением научился самостоятельному вождению: Автомобиль с глубоким обучением научился самостоятельному вождению за 20 минут

(Ключевые слова ответа в области комментариев статьи не могут быть получены!)

Десять вопросов и десять ответов

Почему эта карта навыков стоит вашей коллекции, даже распечатана и повешена в офисе или на столе? Мы приглашаем планировщиков этой карты навыков — команду проповедника Аполлона и техническую команду ответить.

Вопрос 1: Зачем планировать такую ​​карту умений?

Технология развивается слишком быстро, и в нее вовлечено много технических модулей. В области автоматического вождения требуются такие технологии и навыки, которые помогут инженерам по вождению в автоматическом режиме полностью понять, учиться и быстро развиваться, а также дать руководство для тех, кто заинтересован в переходе на автоматическое вождение.

Вопрос 2: Для кого предназначена эта карта умений? Какие цели могут помочь ученикам достичь?

Главным образом для двух групп людей, они оба хотят научиться автономному вождению, будь то студенты или партнеры в экосистеме Apollo. Одна категория — это разработчики и инженеры, которые разбираются в инструментах разработки и освоении языка, они могут дополнить машинное обучение и знания, связанные с транспортным средством, с помощью этой карты навыков, а другая категория — практиков машинного обучения, которые могут использовать эту карту навыков. Глубокое понимание различных модулей автономного вождения, поскольку различия между различными модулями Apollo велики, даже для внутренних инженеров Baidu, эта карта навыков имеет справочное значение.

Вопрос 3: Какие учебные модули включены в эту карту навыков? Каковы правила для создания и разделения модуля?

Эта карта навыков включает в себя два модуля: первый — базовый уровень, который является общим языком и методом программирования, который Apollo будет использовать для разработки, а второй — уровень Apollo, который включает в себя открытое восприятие Apollo, планирование решений, интеллектуальное управление и сквозной контроль. Основные возможности автономного вождения, такие как End, включают также знания и навыки, связанные с оборудованием, такие как GPS, радар, датчики и транспортные средства.

Вопрос 4: Как была спланирована эта карта навыков?

На этапе планирования, в соответствии с четырьмя измерениями модели, алгоритма, аппаратных средств и базовых знаний, связанных с транспортным средством, в различных формах, таких как вопросники и личные чаты, соберите профессиональную обратную связь от почти 30 технических экспертов в 7 или 8 группах в Baidu, а затем следуйте обратной связи в соответствии с В настоящее время базовый слой и слой Apollo отсортированы и классифицированы.

Вопрос 5: Для разработчиков в области автономного вождения, какую часть их способности к обучению необходимо укрепить?

Большинство разработчиков автономного вождения обладают сильной «мягкой силой» и относительно слабой способностью к обучению на аппаратном уровне, особенно способность к программированию микросхем на основе GPU или FPGA продолжает расти.

Вопрос 6: Каковы основные проблемы для разработчиков, изучающих Apollo?

Самая большая проблема — запустить Аполлона, что мне делать дальше? Поэтому Apollo откроет множество инструментов для отладки, рисования и устранения неполадок в версии 2.0;

Другая проблема — это аппаратное обеспечение. Если разработчик покупает устройство для отладки, это затруднительно без поддержки официального персонала. Поэтому Apollo отправляет адаптированное аппаратное устройство на GitHub, чтобы открытое устройство было доступно на GitHub. Готовые примеры разработчики могут использовать после внесения изменений.

Вопрос 7: Есть большой разрыв в спросе на автономные таланты вождения?

очень большой. В настоящее время автомобильная промышленность Китая достигла 3,6 миллиона человек, но технический персонал составляет менее 500 000 человек, что составляет менее 15%. Хотя трудно определить количество автономных талантов вождения, это, конечно, не так уж много, чтобы представить. А из годового оклада миллионов и десятков миллионов автономных специалистов по вождению вы можете узнать, сколько талантов мало.

Вопрос 8: Какие таланты больше всего нужны Аполлону?

В настоящее время многие партнеры будут стремиться получить доступ к открытой платформе Apollo, чтобы внедрить в свои продукты возможности самостоятельного вождения. В процессе доступа, доступ транспортных средств и датчиков оборудования является первым шагом, который разработчики должны принять, и они должны овладеть знаниями системной интеграции. После решения проблемы интеграции требования к автономному вождению сместятся в сторону восприятия, планирования решений, интеллектуального управления и других модулей.

Вопрос 9: Какие еще пути обучения существуют для разработчиков автономного вождения?

Разработчики могут начать с создания демо-среды Apollo, чтобы изучить навыки работы с модулями, связанными с Apollo. В комментариях к коду Аполлона инженеры Baidu перечислили справочные материалы, соответствующие модели, включая справочники или документы, которые также являются ярлыком для обучения. Если Apollo2.0 добавляет новый контроллер MPC, соответствующий исходный файл содержит рекомендации по соответствующим данным для модели элемента управления: https://github.com/ApolloAuto/apollo/blob/master/modules/control/controller/mpc_controller.h:

/** * @class MPCController * * @brief LQR-Based lateral controller, to compute steering target. * For more details, please refer to "Vehicle dynamics and control. " * Rajamani, Rajesh. Springer Science & Business Media, 2011. */

Вопрос 10: Студенты, которые уже получили карту навыков, на какие улучшения они надеются после версии 2.0?

• Может иметь более подробные таблицы знаний и навыков по каждой отрасли, включая рекомендации по хорошим учебным ресурсам;

• Ожидается, что последующая версия может значительно снизить стоимость беспилотных транспортных средств и добиться массового производства;

• Надеюсь предоставить продвинутую карту возможностей;

• Надеюсь уточнить точки знаний и определить информацию об интерфейсе программного, аппаратного обеспечения и алгоритмов.

Первая партия пользователей оценивает карту умений

Меня больше всего интересуют открытые модули, потому что я считаю, что мощь открытого исходного кода очень мощная. При использовании открытого исходного кода не только можно продвигать технический процесс Baidu, открытый исходный код также заставляет меня задуматься — что я могу сделать с этими проектами с открытым исходным кодом Это беспроигрышное направление развития.

Как видно из карты навыков версии 1.0, Apollo может предоставить зрелые решения существующих проблем автономного вождения и исчерпал существующий опыт и воображение.

Эта карта навыков дает мне четкое представление о технической области, связанной с автономным вождением, и мне удобно учиться, связанной с моими собственными способностями.

Я очень заинтересован в части планирования восприятия этой карты навыков. Знания и технологии взаимосвязаны и могут гибко передаваться. Эта часть имеет большое справочное значение для автономной визуальной навигации роботов, которыми я сейчас занимаюсь.

Укажите следующий QR-код, обратите внимание на публичный номер сообщества разработчиков Apollo и ответьте на «карту навыков» в поле ввода, чтобы получить электронную версию высокой четкости.

(Ключевые слова ответа в области комментариев статьи не могут быть получены!)

Сравнение глубокого и машинного обучения — Azure Machine Learning

• Статья
• 09/08/2021
• Чтение занимает 8 мин

Оцените свои впечатления

Да Нет

Хотите оставить дополнительный отзыв?

Отзывы будут отправляться в корпорацию Майкрософт. Нажав кнопку «Отправить», вы разрешаете использовать свой отзыв для улучшения продуктов и служб Майкрософт. Политика конфиденциальности.

Отправить

Спасибо!

В этой статье

В этой статье сравнивается глубокое обучение и машинное обучение, а также описывается, как эти технологии соотносятся с более широким понятием искусственного интеллекта. Узнайте о решениях для глубокого обучения, которые можно создавать с помощью Машинного обучения Azure, предназначенных для обнаружения мошенничества, распознавания речи и лиц, анализа тональности и прогнозирования временных рядов.

Рекомендации по выбору алгоритмов для конкретных решений см. на странице Памятка по алгоритмам Машинного обучения.

Глубокое обучение, машинное обучение и искусственный интеллект

Рассмотрим следующие определения для понимания глубокого обучения в сравнении с машинным обучением и искусственным интеллектом.

• Глубокое обучение — это разновидность машинного обучения на основе искусственных нейронных сетей. Процесс обучения называется глубоким, так как структура искусственных нейронных сетей состоит из нескольких входных, выходных и скрытых слоев. Каждый слой содержит единицы, преобразующие входные данные в сведения, которые следующий слой может использовать для определенной задачи прогнозирования. Благодаря этой структуре компьютер может обучаться с помощью собственной обработки данных.

• Машинное обучение — это подмножество искусственного интеллекта, при котором используются методы (например, глубокое обучение), позволяющие компьютерам использовать опыт для совершенствования в решении задач. Процесс обучения основан на следующих действиях.

  1. Передача данные в алгоритм. (На этом шаге можно передать в модель дополнительные сведения, например, путем получения дополнительных данных).
  2. Эти данные используются для обучения модели.
  3. Тестирование и развертывание модели.
  4. Использование развернутой модели для автоматизированного решения задачи на основе прогнозирования. (Иными словами, вызовите и используйте развернутую модель для получения прогнозов, возвращаемых моделью).

• Искусственный интеллект (ИИ) — это методика, которая позволяет компьютерам имитировать человеческий интеллект. Сюда же относится и машинное обучение.

С помощью приемов машинного обучения и глубокого обучения можно создавать компьютерные системы и приложения, которые выполняют задачи, обычно поручаемые людям. К этим задачам относятся распознавание изображений, распознавание речи и языковой перевод.

Методы глубокого обучения и машинного обучения

Теперь, когда получены общие сведения о машинном обучении и глубоком обучении, давайте сравним эти два метода. При машинном обучении алгоритму необходимо сообщить, как выполнять точный прогноз, используя дополнительные сведения (например, путем получения данных). В случае глубокого обучения алгоритм сможет обучиться, как создавать точный прогноз путем самостоятельной обработки данных с помощью структуры искусственных нейронных сетей.

В следующей таблице приведено более подробное сравнение этих двух методов.

	Все машинное обучение	Только глубокое обучение
Количество точек данных	Для создания прогнозов можно использовать небольшие объемы данных.	Необходимо использовать большие объемы обучающих данных для создания прогнозов.
Зависимость от оборудования	Может работать на маломощных компьютерах. Не требуются крупные вычислительные мощности.	Зависит от высокопроизводительных компьютеров. При этом компьютер, по сути, выполняет большое количество операций перемножения матрицы. Графический процессор может эффективно оптимизировать эти операции.
Процесс конструирования признаков	Требует точного определения признаков и их создания пользователями.	Распознает признаки высокого уровня на основе данных и самостоятельно создает новые признаки.
Подход к обучению	Процесс обучения разбивается на мелкие шаги. Затем результаты выполнения каждого шага объединяются в единый блок выходных данных.	Задача решается методом сквозного анализа.
Время выполнения	Обучение занимает сравнительно мало времени — от нескольких секунд до нескольких часов.	Как правило, процесс обучения занимает много времени, поскольку алгоритм глубокого обучения включает много уровней.
Выходные данные	Выходными данными обычно является числовое значение, например оценка или классификация.	Выходные данные могут иметь несколько форматов, например текст, оценка или звук.

Что собой представляет передача обучения?

Обучение моделей глубокого обучения часто требует большого количества обучающих данных, наличия ресурсов для высокопроизводительных вычислений (GPU, TPU) и временных затрат. В случаях, когда доступ к таким ресурсам отсутствует, можно попытаться упростить процесс обучения с помощью методики, известной как перенос обучения.

Перенос обучения — это метод, при котором знания, полученные в результате решения одной задачи, переносятся на другую задачу, связанную с первой.

Структура нейронных сетей такова, что первый набор слоев обычно содержит признаки более низкого уровня, а последний — признаки более высокого уровня, которые нас интересуют. Используя последние слои применительно к новой задаче или области рассмотрения, можно значительно сократить количество времени, данных и вычислительных ресурсов, необходимых для обучения новой модели. Например, у вас имеется модель, которая распознает легковые автомобили, можно переориентировать эту модель путем переноса обучения, чтобы начать распознавать грузовики, мотоциклы и другие виды транспортных средств.

Узнайте, как применить перенос обучения для классификации изображений с помощью платформы с открытым кодом в Машинном обучении Azure. Проведите обучение модели PyTorch глубокого обучения при помощью переноса обучения.

Варианты использования машинного обучения

Благодаря структуре искусственной нейронной сети глубокое обучение прекрасно справляется с поиском закономерностей в неструктурированных данных, таких как изображения, звук, видео и текст. По этой причине глубокое обучение ведет к быстрым преобразованиям в различных отраслях, включая здравоохранение, электроэнергетику, финансы и транспорт. Эти отрасли теперь реорганизуют традиционные бизнес-процессы.

Некоторые из наиболее распространенных применений глубокого обучения проводятся в следующих абзацах. При Машинном обучении Azure можно использовать модель, построенную с помощью платформы на базе открытого исходного кода, или построить модель с помощью предоставляемых средств.

Распознавание именованных сущностей

Распознавание именованных сущностей — это метод глубокого обучения, который воспринимает фрагмент текста в качестве входных данных и преобразует его в предварительно определенный класс. Эта новая информация может быть почтовым индексом, датой или кодом продукта. Затем эти сведения можно хранить в структурированной схеме для создания списка адресов или служить эталоном для подсистемы проверки кода.

Обнаружение объектов

Глубокое обучение зачастую применяется для обнаружения объектов. Обнаружение объектов состоит из двух частей: классификация изображения и его локализация. Классификация изображений распознает изображения объектов (например, автомобилей или людей). Локализация изображений дает конкретное местоположение этих объектов.

Обнаружение объектов уже используется в таких отраслях, как компьютерные игры, розничная торговля, туризм и автомобили с системой автоматического вождения.

Создание заголовка изображения

Как и при распознавании изображений, при создании заголовков изображений система должна создать заголовок, описывающий содержание конкретного изображения. Если у вас имеется технология, позволяющая обнаруживать и помечать объекты на фотографиях, следующим шагом станет преобразование этих меток в описательные предложения.

Как правило, приложения для создания описаний используют сначала сверточные нейронные сети, а затем рекуррентные нейронные сети для преобразования меток в связные предложения.

Машинный перевод

Машинный перевод воспринимает слова или предложения на одном языке и автоматически переводит их на другой язык. Машинный перевод существует уже давно, однако сейчас глубокое обучение позволяет получать впечатляющие результаты в двух конкретных областях: автоматический перевод текста (и перевод речи в текст), а также автоматическое преобразование изображений.

С помощью соответствующего преобразования данных нейронная сеть может понимать текст, звук и визуальные сигналы. Машинный перевод можно использовать для распознавания фрагментов звука в больших звуковых файлах и преобразовывать устную речь или изображения в текст.

Текстовая аналитика

Анализ текста, основанный на методах глубокого обучения, подразумевает анализ больших объемов текстовых данных (например, медицинских документов или денежных чеков), распознавание закономерностей и получение упорядоченной и систематизированной информации.

Компании используют глубокое обучение для анализа текста, чтобы обнаруживать торговлю инсайдерской информацией и обеспечивать соответствие требованиям законодательства. Еще один распространенный пример — мошенничество в области страхования: машинный анализ текста часто используется для анализа больших объемов документов, чтобы распознать случаи возможного мошенничества, выдаваемые за страховой случай.

Искусственные нейронные сети

Искусственные нейронные сети формируются с помощью слоев связанных узлов. В моделях глубокого обучения используются нейронные сети с большим количеством уровней.

В следующих разделах рассматриваются наиболее популярные типы искусственных нейронных сетей.

Нейронная сеть с передачей по очереди

Нейронная сеть с передачей по очереди — это наиболее простой тип искусственной нейронной сети. В сети с передачей по очереди информация перемещается только в одном направлении от входного уровня к выходному. Нейронные сети с передачей по очереди преобразуют входные данные, пропуская их через несколько скрытых слоев. Каждый слой состоит из набора нейронов и полностью соединен со всеми нейронами в предыдущем слое. Последний полностью соединенный слой (выходной слой) представляет собой вывод созданных прогнозов.

Рекуррентная нейронная сеть (RNN)

Рекуррентные нейронные сети — это широко используемые искусственные нейронные сети. Эти сети сохраняют выходные данные слоя и передают его обратно на входной слой, чтобы улучшить прогнозирование на выходе конкретного слоя. У рекуррентных нейронных сетей отличные возможности для обучения. Они широко используются для выполнения сложных задач, таких как прогнозирование временных рядов, обучение распознаванию рукописного ввода и распознавание естественной речи.

Сверточные нейронные сети (CNN)

Сверточная нейронная сеть — это особо эффективная искусственная нейронная сеть, имеющая уникальную архитектуру. Слои в ней организованы в трех измерениях: ширина, высота и глубина. Нейроны в одном слое соединяются не со всеми нейронами в следующем слое, а только с небольшой областью нейронов этого слоя. Окончательный результат сокращается до одного вектора оценки вероятности, упорядоченного по глубине в одном из измерений.

Сверточные нейронные сети используются в таких областях, как распознавание видео, распознавание изображений и в системах выработки рекомендаций.

Генеративно-состязательная сеть (GAN)

Генеративно-состязательные сети — это регенеративные модели, обученные для создания реалистичного содержимого, например изображений. Каждая такая сеть состоит из двух сетей, известных как генератор и дискриминатор. Обе сети обучаются одновременно. Во время обучения генератор использует случайные помехи для создания новых искусственных данных, которые похожи на реальные данные. Дискриминатор принимает выходные данные генератора в качестве входных данных и использует реальные данные, чтобы определить, является ли созданное содержимое реальным или искусственным. Каждая из сетей конкурирует друг с другом. Генератор пытается создать искусственное содержимое, которое не отличается от реального содержимого, в то время как дискриминатор пытается правильно классифицировать входные данные либо как реальные, либо как искусственные. Затем выходные данные используются для обновления веса обеих сетей, чтобы помочь им лучше достичь соответствующих целей.

Генеративно-состязательные сети используются для решения таких проблем, как преобразование изображений в изображения и прогресса возраста.

Преобразователи

Преобразователи — это архитектура модели, которая подходит для решения проблем, содержащих такие последовательности, как текст или данные временных рядов. Они состоят из слоев кодировщика и декодера. Кодировщик принимает входные данные и сопоставляет их с числовым представлением, содержащим определенные сведения, например контекст. Декодер использует информацию из кодировщика для получения выходных данных, например переведенного текста. Преобразователи отличаются от других архитектур, содержащих кодировщики и декодеры, своими вложенными слоями внимания. Внимание: метод концентрации на конкретных частях входных данных на основе важности их контекста относительно других входных данных в последовательности. Например, при суммировании новостных статей не все предложения важны для описания основной идеи. Если сосредоточиться на ключевых словах в статье, формирование сводных данных может быть сделано в одном предложении — в заголовке.

Преобразователи используются для решения проблем обработки естественного языка, таких как перевод, создание текста, ответы на вопросы и формирование сводных данных текста.

Вот некоторые известные примеры реализации преобразователей:

• Двунаправленные представления кодировщика из преобразователей (BERT)
• Генеративный предварительно обученный трансформатор 2 (GPT-2)
• Генеративный предварительно обученный трансформатор 3 (GPT-3)

Следующие шаги

В следующих статьях приведены дополнительные варианты использования моделей глубокого обучения с открытым кодом в Машинном обучении Azure.

ᐈ Уроки Вождения на Механике Для Начинающих в Киеве Декабрь 2021

Вождение автомобиля с МКПП более динамично. Разгон, обгон, ускорение и смена режимов движения происходят не в пример более насыщенно, позволяют самому водителю больше свободы за рулем транспортного средства именно в маневре, а не в управлении. Соответственно, вождение автомобиля с МКПП требует от автомобилиста лучшей подготовки, школа вождения должна быть не в пример более продолжительной и глубокой. Но все это окупается сторицей именно при самостоятельном вождении, когда при сравнении наиболее наглядно проявляются преимущества механической коробки передач. Конечно, это относится к сопоставимым маркам легковых автомобилей — по весу, мощности и так далее. Понятно, что в ином случае тип коробки передач не окажет решающего влияния. Следует отметить, что преимущества механики проявляются только при достаточно высоком водительском мастерстве, когда человек не только быстро переключает скорости, но и мгновенно оценивает ситуацию для выбора наиболее оптимального режима.

Таким образом, уроки вождения автомобиля на МКПП могут несколько различаться при различных типах коробки передач. Методика подготовки водителя на механической коробке передач более насыщенная, так как выбор передачи осуществляется водителем вручную и достаточно часто, а это подразумевает более глубокое изучение как приемов вождения, так и технической части автомобиля. Но, соответственно, и водитель обладает большим арсеналом приемов вождения и запасом знаний, а это напрямую сказывается на качестве самостоятельного вождения, на грамотности и культуре управления автомобилем. Это ярко проявляется на дорогах с динамичным движением, например улицах городов, где грамотные и четкие маневры позволяют затрачивать меньше времени на поездку, позволяют осуществлять более динамичные маневры.

В нашей автошколе мы не отдаем предпочтение никаким типам автомобиля, с удовольствием поможем в обучении и получении водительского удостоверения категории «В» всем начинающим автолюбителям. Но, если новичок стоит перед выбором, автомобиль с какой коробкой передач предпочесть для обучения, любой инструктор вождения опишет преимущества и недостатки вождения автомобиля с механической коробкой передач перед автоматом, наглядно продемонстрирует для сравнения простоту и удобство автоматической коробки передач перед мощью, динамикой МКПП. Выбор останется за обучающимся, — если водителю интересен сам процесс вождения, важны теоретические знания и практические приемы, то автомобиль на механике будет более полно этому соответствовать при обучении в нашей школе вождения.

Что такое Google TensorFlow? Примеры и учебники с открытым исходным кодом

Машинное обучение — самая горячая вещь в вычислительной технике прямо сейчас. Легко понять, почему технология используется повсеместно, от самостоятельного вождения автомобилей до правоохранительных органов, до прогнозирования на фондовом рынке.

TensorFlow — это проект Google, основанный на машинном обучении и нейронных сетях. Давайте выясним, что это такое, как его использовать и как научиться его использовать.

Что такое TensorFlow?

Невозможно полностью объяснить, что такое TensorFlow, без предварительного понимания, что такое машинное обучение. Машинное обучение и нейронные сети уже влияют на нашу жизнь

во многих отношениях, чем вы думаете.

В простейшем случае машинное обучение — это процесс обучения компьютеров тому, как анализировать данные и принимать обоснованные решения в отношении них, не будучи запрограммированным для этого напрямую. Для этого мы обучаем нейронные сети выполнять конкретные задачи.

TensorFlow — это библиотека нейронных сетей Google с открытым исходным кодом, разработанная командой Google Brain для широкого спектра применений. По сути, TensorFlow устраняет необходимость создания нейронной сети с нуля. Вместо этого вы можете обучить TensorFlow с вашим набором данных и использовать результаты по своему усмотрению.

Пока что так абстрактно. Что вы можете сделать с нейронной сетью? Оказывается, почти все!

Известные примеры TensorFlow

Классификация изображений

Многие учебники для начинающих машинного обучения

используйте классификацию изображений в качестве раннего примера проекта, чтобы помочь с пониманием. Подавая эталонные изображения в нейронную сеть, он может научиться прогнозировать, содержит ли изображение похожие объекты.

Чтобы увидеть этот процесс в действии, взгляните на 5-минутный классификатор Дарта Вейдера Сираджа Равала.

Этот вид компьютерного просеивания данных невероятно мощный не только для обнаружения диких Дарта Вейдеров. TensorFlow уже используется в анализе биомедицинских изображений.

Практически каждая область, которая опирается на анализ больших объемов данных изображения, может извлечь выгоду из этой технологии. Как показано в официальном вводном видео TensorFlow, оно используется для оптимизации усилий по сохранению почти вымершего Дугонга.

Глубокая передача стиля фотографий

Помимо классификации изображений, TensorFlow можно использовать для динамического изменения изображений. Deep Photo Style Transfer была создана группой из Корнельского университета. Проект берет входное изображение и изображение стиля перед применением этого стиля к исходному изображению — с потрясающими результатами.

В примерах используется сочетание автоматического и ручного создания слоев изображений, поэтому, если вы хотите получить на руки, это может стоить освежить свои навыки Photoshop, прежде чем углубляться в библиотеку.

Пурпурный AI Музыка

Мы не привыкли использовать компьютеры для создания красивых произведений искусства. Идея компьютеров, демонстрирующих творческий подход таким образом, который мы находим узнаваемым, долгое время была научной фантастикой. С библиотеками нейронных сетей, такими как TensorFlow, она становится ближе, чем когда-либо.

Magenta использует TensorFlow для создания инструментов для музыкантов. Используя глубокое обучение, Magenta расширяет инструменты, доступные музыкантам, чтобы открыть новые виды звукового блендинга, и даже импровизированный призыв и ответ с помощью машины.

Пурпурный также может использоваться как интеллектуальный секвенсор сам по себе. Возможность использования сторонних библиотек является одной из многих фантастических функций CodePen. Теро Парвиайнен использовал библиотеку magenta. js для создания своей красивой ручки Latent Cycles.

Установив нейронные сети, созданные импровизированными петлями, рядом друг с другом, Latent Cycles позволяет любому создавать уникальные и красивые звуки без предварительного музыкального знания.

Как научиться TensorFlow

Машинное обучение — невероятно плотный предмет. Хорошее понимание статистики, математики, программирования и общей науки о данных — все это имеет ключевое значение для понимания. Тем не менее, TensorFlow позволяет легко получить практический опыт, даже будучи новичком. Официальный учебник TensorFlow использует пошаговый подход к настройке и использованию.

Большинство проектов TensorFlow используют язык программирования Python. Если вы плохо знакомы с языком, есть множество отличных мест для изучения Python. Если вы уже более знакомы с JavaScript, у TensorFlow есть обучающие видео, посвященные библиотеке TensorFlow.js.

Эти учебные пособия наряду с бесплатным курсом машинного обучения Google

, являются бесценным ресурсом, от поставщиков библиотеки.

Другие учебники по TensorFlow

Для быстрого и информативного ознакомления с TensorFlow и классификаторами изображений Сирадж Равал предлагает информативное (и запоминающееся) 5-минутное введение.

Это одно из многих видео на канале Сираджа на YouTube, посвященное теме машинного обучения. Между суперскоростными видео, подобными этому, и длинными живыми трансляциями с пошаговым подходом, это отличное место для изучения TensorFlow и машинного обучения на Python.

Ориентируясь на JavaScript и Tensorflow.js, Coding Train предлагает еще один полномасштабный подход:

Ведущий Дэниел Шиффман рассматривает различные варианты использования TensorFlow, и его серия по машинному обучению в целом является одним из лучших свободно доступных курсов по этому предмету.

Начинающий проект: обнаружение живых объектов

Этот проект использует распознавание живых объектов для управления автоматическим сортировщиком отходов. Аппаратное обеспечение представляется альтернативой Raspberry Pi, хотя теоретически можно использовать любой микроконтроллер. Настоящая работа выполняется с использованием смеси OpenCV и TensorFlow.

К проекту из видео не прилагается учебник. В превосходной статье Dat Tran об OpenCV и TensorFlow используются одни и те же библиотеки, которые четко объясняют каждый элемент. В качестве простой мелкомасштабной идеи, использующей библиотеку TensorFlow, проект такого масштаба является идеальным способом для начала работы.

Идем дальше с машинным обучением

TensorFlow — невероятно мощный инструмент, возможно, самой важной интернет-компании. Решение сделать его открытым исходным кодом было большим делом, поскольку оно открывает его для всех нас.

Тем не менее, машинное обучение является невероятно плотным предметом. Стоит потратить некоторое время на онлайн-курсы машинного обучения

максимально эффективно использовать TensorFlow.

Глубокое обучение для самоуправляемых автомобилей | автор: Manajit Pal

Использование исследований Nvidia для создания CNN для автономного вождения в Pytorch

Большое спасибо Valohai за использование моего ржавого учебника в качестве введения в их потрясающую платформу машинного обучения 😍. Я предлагаю вам всем ознакомиться с их примером обучения сети в облаке с полным контролем версий с помощью платформы машинного обучения Valohai (www.valohai.com).

Все мы знаем, что беспилотные автомобили — одна из самых популярных областей исследований и бизнеса для технологических гигантов.То, что несколько лет назад казалось научной фантастикой, теперь больше похоже на то, что скоро станет неотъемлемой частью жизни. Причина, по которой я говорю «скоро будет», заключается в том, что, хотя такие компании, как Tesla, Nissan, Cadillac, действительно имеют программное обеспечение для помощи при самостоятельном управлении автомобилем, им по-прежнему требуется, чтобы человек следил за дорогой и возьмите под свой контроль, когда это необходимо. Однако интересно наблюдать, как далеко мы продвинулись в плане инноваций и насколько быстро развиваются технологии.Настолько, что теперь, с помощью базового глубокого обучения и магии нейронных сетей, мы можем построить собственный конвейер для автономного вождения! Взволнованный? Я уверен, что я! Тогда давайте перейдем к делу…

Предварительные требования:
1. Эта статья предполагает базовое понимание сверточных нейронных сетей и их работы.
2. Код, упомянутый здесь, написан на Python с использованием среды Pytorch, поэтому рекомендуется базовое знание языка и среды.

Если все вышесказанное кажется вам тарабарщиной, не паникуйте! Этот бесплатный курс от Udacity даст вам все, что вам нужно знать об основах глубокого обучения и Pytorch.

Моя биография
Я начал свое путешествие по глубокому обучению с одной из стипендиальных программ Udacity, спонсируемой Facebook, с помощью которой я изучил основы Pytorch из курса, упомянутого выше. Одновременно я был зачислен в программу Udacity Self-Driving Car Engineer Nanodegree, спонсируемую KPIT, где в качестве одного из моих проектов мне пришлось разработать модель сквозного глубокого обучения для беспилотного автомобиля в Керасе. Поэтому я решил переписать код в Pytorch и поделиться тем, что я узнал в этом процессе.Ладно, хватит разговоров, давайте настроим нашу машину на все, помня об одном — скажи НЕТ переобучению!

Ресурсы для проекта
1. Симулятор беспилотного автомобиля Udacity
2. Конечно, Python и Pytorch Framework
3. Если ваша машина не поддерживает GPU, я бы порекомендовал использовать Google Colab для обучения вашей сети. . Он предоставляет часы GPU и TPU бесплатно!
4. Если вы столкнулись с проблемами при сборе данных для обучения, вы можете использовать данные, предоставленные Udacity, для обучения вашей сети.
5. Полный код доступен здесь, а записная книжка Colab — здесь.
6. Исследовательский документ Nvidia, упомянутый в этой статье, можно найти здесь.

Сбор данных
Набор данных, предоставленный Udacity, работает хорошо, но этого недостаточно для того, чтобы автомобиль двигался по сложной местности (например, второй трек в симуляторе Udacity). Чтобы собрать данные из трека 2, нам сначала нужно создать папку в каталоге нашего проекта. Назовем эту папку — данные .Теперь запустим наш симулятор. Выберите в меню вторую дорожку и перейдите к опции тренировочного режима .

Как только вы войдете в режим тренировки, вы увидите опцию записи в правом верхнем углу экрана. Щелкните значок и перейдите к папке data . Нажмите «Выбрать».

Вы можете начать запись вашей поездки, если снова нажмете значок записи! Теперь, если вы такой же начинающий игрок, как я, я бы посоветовал не торопиться и постараться, чтобы ваша машина оставалась в центре дороги как можно дольше, даже во время поворотов.Это поможет получить более качественные обучающие данные, которые в конечном итоге станут хорошей моделью. Мы запишем 2 круга в одном направлении трассы, а также еще 2 круга в обратном направлении, чтобы убедиться, что повороты поменялись местами. Это позволит убедиться, что наша модель не переоснащается и лучше поворачивает влево и вправо. Давай сделаем это!

Обучающие данные теперь хранятся в папке data . Внутри одна папка и один файл: IMG, и driving_log.CSV . Наша следующая задача — прочитать из файла CSV имена изображений и связанные с ними данные управления и загрузить соответствующее изображение из папки IMG в Python.

ВРЕМЯ КОДИРОВАТЬ!

Было бы лучше работать с Colab, если вы предпочитаете не брать на себя головную боль по установке различных библиотек и фреймворков на свой локальный компьютер, а также если вы хотите воспользоваться бесплатными часами графического процессора. Кроме того, если вы предпочитаете не собирать данные, вы можете импортировать набор данных Udacity с помощью ! Wget URL и разархивировать файл с помощью ! Unzip . Перво-наперво. Импорт заголовков:

Чтение и разделение данных

Приведенный выше код считывает все из файла журнала и сохраняет его в массиве sample . Следующая строка (считыватель, Нет) удаляет первую строку, содержащую имена столбцов. Мы будем использовать этот массив, чтобы разделить наши данные на обучение и проверку. Один из хороших методов из того, что я узнал, — использовать 20–30% обучающих данных в качестве набора для проверки, чтобы сравнить потери при проверке и обучении, чтобы мы могли избежать переобучения.Давайте сделаем это:

Загрузка изображений в Dataloader
Теперь, когда мы сделали образцы, пришло время прочитать изображения и дополнить их. Это важный шаг, поскольку он поможет обобщить нашу модель. Но этот процесс требует больших вычислительных ресурсов и времени даже для графических процессоров. Уловка состоит в том, чтобы распараллелить этот процесс, собирая данные партиями, дополняя их и отправляя в модель для обучения. Керас достигает этого процесса с помощью python генераторов и функции fit_generator .В Pytorch для этого мы будем использовать класс Dataset и функцию Dataloader .
Чтобы реализовать это, нам пришлось бы перегрузить несколько функций класса, а именно функции __getitem__ , __len__ и __init__ . Нам также нужно будет определить некоторые дополнительные процессы. Я закодировал базовую функцию, которая будет брать изображение, случайным образом обрезать его и переворачивать по горизонтали вместе с отрицанием данных рулевого управления.Обрезка, в основном, помогает модели сосредоточиться только на дороге, убирая небо и другие отвлекающие элементы на изображении, а также выполняется зеркальное отображение, чтобы изображения были обобщены для левых и правых поворотов, по существу, удерживая автомобиль в центре. дороги. Другие методы могут заключаться в добавлении случайной яркости для имитации различной продолжительности дня, наложении на изображение слоя искажений и шума для имитации дождя, добавлении случайных теней на дороге и т. Д. Но пока мы просто будем придерживаться основ.

Затем мы определяем класс Dataloader и передаем эту функцию дополнения к выборкам входного пакета, объединяем данные управления и изображения и возвращаем их.

Обратите внимание, что есть также аргумент с именем преобразование . Наше преобразование нормализует значения массива изображений до диапазона 0–1 с помощью лямбда-функции . Затем мы используем функцию Dataloader , чтобы добавить все в генератор, который будет вызываться пакетно во время обучения.Мы определяем размер пакета 32 и перемешиваем их при передаче DataLoader . num_workers определяет, сколько рабочих будет создавать пакеты параллельно для обработки.

Архитектура модели
Пришло время построить нашу модель. Давайте внимательно посмотрим на исследовательский документ Nvidia. Идите вперед и откройте его в новой вкладке. Ссылка находится в разделе ресурсов выше.

Если вы прокрутите вниз до страницы 5 pdf, вы увидите архитектуру CNN, которую они построили.

Ладно, ленивец, это образ, о котором я говорю 😝. Если вы посмотрите на числа, вы увидите глубину сверточных слоев, а также входные и выходные характеристики полносвязных слоев. Теперь в каждой карте функций есть упомянутые ядра. Как упоминалось в документе, ребята из Nvidia использовали изображения YUV в качестве входных данных и использовали чередующиеся свертки в первых трех сверточных слоях с шагом 2 × 2 и ядром 5 × 5, а также несимметричную свертку с размером ядра 3 × 3 в последние два сверточных слоя.Интересно, однако, что никакого упоминания о слое maxpool не было. Я старался неукоснительно следовать вышеупомянутой архитектуре и строить CNN. Вот что я придумал:

К сожалению, с этим подходом что-то не так. Может быть, это была нехватка данных или, может быть, отсутствие слоев maxpool, сеть работала ужасно. Автомобиль всегда дрейфовал по бездорожью, даже по прямой дороге. После некоторого поиска в Google я наткнулся на это репо. Модель используется здесь как упрощенная версия архитектуры Nvidia.Я попробовал, и это сработало отлично, когда тренировалось с достаточным количеством эпох. Итак, окончательная архитектура для меня была такой:

Однако вы можете попробовать первую модель со слоями maxpool. Это потребует некоторых расчетов для заполнения, а также для высоты и ширины вывода. Давайте рассмотрим здесь несколько вещей:
a) nn.Module — Класс nn.Module используется в Pytorch для создания CNN. Нам нужно перегрузить функции __init __ () и forward () для построения сети.Я использовал nn.Sequential () , чтобы избежать дублирования кода. Все, что находится в функции nn.Sequential () , последовательно применяется ко входу. Довольно аккуратно, а?
а) активация элюента — Здесь используется функция активации элю (экспоненциальная линейная единица). В отличие от relu (выпрямленного линейного блока), elu ускоряет процесс обучения, а также решает проблему исчезающего градиента. Более подробную информацию и уравнение функции элюирования можно найти здесь.
b) Сглаживание изображения — Сглаживание вывода сверточных слоев перед переходом к полносвязным слоям выполняется с помощью строки: output.вид (output.size (0), -1) .

Оптимизатор и критерий
Двигаясь дальше, в документе также обсуждается использование потерь среднеквадратичной ошибки в качестве критерия и оптимизатора Адама. Давайте закодируем это! Я установил скорость обучения 0,0001. Вы можете отрегулировать его соответствующим образом.

Хм, мы уже кое-что достигли. Прежде чем мы закодируем заключительную часть обучения и проверки, давайте окунемся в мир графических процессоров!

Pytorch и CUDA
Pytorch обеспечивает простую интеграцию с графическими процессорами с поддержкой CUDA (извините, AMD). Это делается с помощью простой функции device () . Он может значительно ускорить процесс обучения, примерно в 10 раз быстрее, чем обычный процессор. Почему бы не воспользоваться этим? Для этого нам нужно передать наши данные и модель на графический процессор для обработки. Это действительно проще, чем кажется. Мы определяем функцию, которая будет делать это для всех входных данных, которые она получает.

Обратите внимание, что я преобразовал его в float () , чтобы модель могла вычислять входные данные.

Обучение
Пора тренировать наш шедевр! Сначала мы передаем модель в графический процессор, а затем используем генератор для передачи наших данных, а также данных в графический процессор.Затем мы устанавливаем оптимизатор, чтобы он не накапливал градиенты во время обратного распространения, используя функцию optimizer.zero_grad () . Наконец, мы вычисляем общую потерю поезда и делим ее на размер пакета, чтобы получить среднюю потерю обучения за эпоху. Довольно просто.

Проверка
То же самое для проверки, но на этот раз мы убедимся, что наша модель находится в режиме оценки, чтобы мы не обновляли градиенты по ошибке и не распространяли ошибки. Мы используем модель .eval () , чтобы изменить режим и убедиться, что модель не отслеживает, мы используем torch.set_grad_enabled (False) . Убыток рассчитывается аналогично.

Сохранение модели
Последний шаг кода здесь! После завершения обучения мы сохраняем модель, чтобы использовать ее для автономного вождения автомобиля в нашем симуляторе. Мы создаем словарь состояний и сохраняем модель в формате .h5 , используя torch.save () .

Веселье начинается
И последнее, прежде чем мы начнем тестирование нашей модели, нам нужен файл, который загрузит нашу модель, получит кадры трека из симулятора для обработки через нашу модель и отправит прогноз рулевого управления обратно в симулятор. Не бойся! Я создал файл drive.py , который в основном является версией Pytorch файла drive.py от Udacity, который я использовал в своем проекте. Вы можете просмотреть код и поэкспериментировать с ним, если вам нужен другой дроссель и т. Д. А пока давайте скопируем и вставим содержимое приведенного ниже кода.

Также нам понадобится файл model.py , который будет содержать архитектуру модели. Создайте файл и вставьте свою сетевую архитектуру. Если у вас возникнут какие-либо проблемы, не стесняйтесь взглянуть на мою модель .py в репо.

Загрузите файл model.h5 в тот же каталог, если вы использовали Google Colab для написания кода. Запустите терминал, cd в свой каталог и запустите сценарий с нашей моделью:

 python drive.py model.h5 

Если на вашем компьютере установлены две разные версии python, используйте python3 вместо python . Нажмите «Разрешить», когда увидите всплывающие окна.

Снова откройте симулятор и выберите автономный режим .Машина должна ехать сама по себе, как хозяин!

Вот и все! Ваш собственный конвейер для беспилотных автомобилей. Как это круто! 😁

Вот небольшая демонстрация того, что вы могли ожидать:

Устранение неполадок
Вы можете увидеть, как машина сильно раскачивается или, возможно, она прижата к одной стороне дороги. Это может означать, что данные не пополняются и не обобщаются должным образом. Постарайтесь собрать больше обучающих данных или добавить больше случайности.

Вы также можете увидеть, что машина вообще не движется.В этом случае проверьте терминал на наличие ошибок во время запуска. Большинство ошибок следует устранить путем установки соответствующей зависимости библиотеки.

Заключение
Спасибо, что нашли время прочитать мою статью. Я очень надеюсь, что это поможет тому, кто хочет узнать некоторые концепции использования глубокого обучения в беспилотных автомобилях. Кроме того, это моя первая статья, связанная с ИИ, и я полный новичок, поэтому я был бы очень признателен, если бы вы могли оставить какие-либо положительные или отрицательные отзывы, свои мысли или другие ресурсы, которые, по вашему мнению, являются лучшим способом создания ИИ. для беспилотных автомобилей в комментариях ниже.Ура, ребята!

Хотите обучить упрощенный беспилотный автомобиль с помощью обучения с подкреплением? | Роман Лисснер

Здесь я представляю исследование с Яном Доменом и Кристофом Фрибелем.

В последние годы наблюдается всплеск практических успехов в использовании обучения с подкреплением (RL) [1] для решения сложных игр и небольших проблем предметной области [2] [3] [4]. Эти успехи в RL были частично достигнуты благодаря активным совместным усилиям сообщества RL по работе над общими симуляторами среды с открытым исходным кодом, такими как OpenAI’s Gym [5], которые позволяют ускорить разработку и достоверные сравнения между различными, текущими проектами. -искусственные стратегии.

Однако многие существующие среды содержат игры, а не реальные проблемы. Только недавние публикации инициируют переход к прикладному RL [6] [7]. В этой статье мы стремимся объединить мотивированные RL из реального мира с легким доступом к очень актуальной проблеме: продольному управлению автономным транспортным средством. За автономным вождением будущее, но до тех пор, пока автономные транспортные средства самостоятельно не найдут свое место в стохастическом реальном мире, предстоит решить множество проблем.

Прежде чем мы более подробно рассмотрим среду Longicontrol, мы кратко опишем основы RL ниже. Если вы знакомы с RL, смело переходите к разделу Продольный контроль.

Обучение с подкреплением (RL) — это прямой подход к обучению на основе взаимодействия с окружающей средой для достижения поставленной цели. В этом контексте учащийся и лицо, принимающее решение, называется агентом, а часть, с которой он взаимодействует, называется средой. Взаимодействие осуществляется в непрерывной форме, так что агент выбирает действия на каждом временном шаге t , среда реагирует на них и представляет новые ситуации агенту в форме состояния Sₜ₊₁ . В ответ на обратную связь агента среда возвращает вознаграждение Rₜ₊₁ в виде числового скалярного значения. Агент стремится к максимальному увеличению вознаграждения с течением времени [1].

После представления идеи RL следует краткое объяснение некоторых терминов.Для более подробного ознакомления, пожалуйста, обратитесь к [1].

Политика. Политика — это то, что характеризует поведение агентов. Более формально политика — это отображение состояний на действия.

Цели и награды. В обучении с подкреплением цель агента формализована в форме специального сигнала, называемого вознаграждением, который передается из среды агенту на каждом временном шаге. По сути, цель агента — максимизировать общее количество получаемых скалярных вознаграждений, в результате чего максимизируется не немедленное вознаграждение, а совокупное вознаграждение в долгосрочной перспективе, что также называется доходностью.

Разведка и разработка. Основной проблемой в обучении с подкреплением является баланс исследования и эксплуатации. Чтобы получить высокие награды, агент должен выбирать действия, которые в прошлом оказались особенно полезными. Чтобы обнаружить такие действия в первую очередь, необходимо протестировать новые действия. Это означает, что агент должен использовать уже полученные знания, чтобы получить вознаграждение, и в то же время исследовать другие действия, чтобы иметь лучшую стратегию в будущем [1].

Q-Learning. Многие популярные алгоритмы обучения с подкреплением основаны на прямом изучении значений Q. Один из самых простых — Q-Learning. Правила обновления следующие:

Q соответствует ожидаемому будущему доходу при выборе действия a в состоянии s и следовании политике из него. Награда за взаимодействие обозначается как r. Адаптация Q-функции контролируется скоростью обучения и коэффициентом дисконтирования. Политика подразумевается в Q-Value:

Deep Deterministic Policy Gradient (DDPG). Для поиска оптимального действия требуется эффективная оценка Q-функции. Хотя это просто для дискретных и небольших пространств действий (вычисляются все действия и выбираются те, для которых выбрано наибольшее значение), проблема становится неразрешимой, если пространство действий является непрерывным. Однако во многих приложениях, таких как робототехника и управление энергопотреблением, дискретизация нежелательна, поскольку они отрицательно влияют на качество решения и в то же время требуют большого количества памяти и вычислительной мощности в случае точной дискретизации. .Lillicrap et al. [8] представили алгоритм под названием DDPG, который может решать непрерывные задачи с помощью глубокого обучения с подкреплением. В отличие от Q-Learning, здесь используется архитектура «актер-критик». Подробное описание можно найти в [8].

В области продольного управления цель состоит в том, чтобы транспортное средство завершило однополосный маршрут за заданное время с максимальной энергоэффективностью, не вызывая аварий. Таким образом, это соответствует минимизации общей энергии E , используемой в интервале от t₀ до T , в зависимости от мощности P:

В соответствии с внешними требованиями, такими как другие участники дорожного движения или ограничения скорости , одновременно должны выполняться следующие граничные условия:

Где v — скорость, a — ускорение, а a_dot — рывок, где () ₗᵢₘ, ₘᵢₙ и () ₗᵢₘ, ₘₐₓ представляют нижнюю и верхние пределы соответственно.

Здесь может возникнуть вопрос, как обычно решаются такие проблемы. Одна из возможностей — это планирование подходов. Для них предполагается, что маршрут полностью известен, что нет других участников дорожного движения и что также известно, как водитель будет использовать вспомогательных потребителей. Примерное решение показано на рисунке ниже. Динамическое программирование вычисляет наиболее эффективную траекторию скорости между двумя ограничениями скорости для известного маршрута.

Вы, вероятно, задаетесь вопросом, какой подход выбрать, если маршрут неизвестен с уверенностью, и особенно если в районе перед вами есть другие участники дорожного движения.С одной стороны, ограничения скорости в основном известны, с другой стороны, поведение других участников дорожного движения очень стохастично. Обычно этого нельзя предвидеть. Таким образом, необходим другой подход. Поскольку обучение с подкреплением способно решать стохастические задачи, это многообещающий подход к этой проблеме. А поскольку было бы слишком опасно и неэффективно обучать автономное транспортное средство непосредственно в реальном движении, симуляция предлагает решение. Там алгоритмы можно безопасно разрабатывать и тестировать.Следовательно, мы окажемся в нашей новой среде RL, которая будет представлена ​​ниже.

Как мы видели ранее, установка RL состоит из двух частей: агента и среды. Разберемся с окружающей средой поближе. Он не зависит от агента. Это означает, что вы можете тестировать любые алгоритмы для агента.

Среда состоит из двух частей. Автомобиль и среда вождения. В первую очередь следует сосредоточить внимание на транспортном средстве.

Движение автомобиля упрощено, равномерно ускорено смоделировано.Моделирование основано на дискретизации по времени t = 0,1 с. Текущая скорость vₜ и положение xₜ вычисляются следующим образом:

Ускорение транспортного средства зависит от текущего состояния транспортного средства и мощности двигателя, выбранной агентом, которая, следовательно, является действием окружающей среды. Поскольку рассматривается только продольный контроль, трасса может быть смоделирована однополосной. Следовательно, здесь достаточно одномерных скоростей vₜ и положений xₜ .

Для определения энергопотребления транспортного средства мы создали модель черного ящика из реального электромобиля. Текущая скорость и ускорение являются входными переменными, а потребление энергии — выходной переменной. После знакомства с моделью автомобиля следующая тема — ландшафт, в котором автомобиль движется.

На рис. 3 показан пример реализации дорожки в моделировании. Среда вождения моделируется таким образом, что расстояние является произвольно большим, а произвольно установленные ограничения скорости определяют произвольную допустимую скорость.Это можно считать эквивалентом стохастически смоделированного трафика. На расстояние до 150 м водитель транспортного средства получает информацию о предстоящих ограничениях скорости, так что вождение в прямом направлении возможно. В результате возникает проблема постоянного контроля. Ниже перечислены отдельные компоненты состояния.

Состояние состоит из пяти частей:

• Скорость
• Предыдущее ускорение
• Текущее ограничение скорости
• Будущее ограничение скорости
• Будущее ограничение скорости расстояние

Текущие ограничения скорости и скорости интуитивно понятны. Удержание последнего разгона в состоянии, наверное, сразу не для всех очевидно. Это нужно для расчета рывка. Размер, который описывает, насколько плавно автомобиль ускоряется.

Агент выбирает действие в диапазоне значений [-1,1]. Таким образом, агент может выбирать между максимальным и минимальным ускорением автомобиля в зависимости от состояния. Этот тип моделирования приводит к тому, что агент может выбирать только допустимые действия.

Функция вознаграждения определяет обратную связь, которую получает агент для каждого действия, и является единственным способом контролировать поведение агента.Это один из самых важных и сложных компонентов среды RL. Это особенно сложно в представленной здесь среде, потому что это не может быть просто представлено скалярным числом. Если бы только потребление энергии было вознаграждено (наказано), автомобиль просто остановился бы. Агент узнает, что с точки зрения энергопотребления эффективнее всего просто не садиться за руль. Хотя это правда, и мы все должны чаще использовать наши велосипеды, мы все же хотим, чтобы агент ездил в нашей среде. Итак, нам нужно вознаграждение, которое сделает вождение более привлекательным для агента. При сравнении различных подходов разница между текущей скоростью и текущим ограничением скорости оказалась особенно подходящей. Минимизируя разницу, агент автоматически приходит в движение. Чтобы по-прежнему учитывать потребление энергии, компонент вознаграждения поддерживается за счет потребления энергии. Третий компонент вознаграждения вызван рывком. Это связано с тем, что наш автономный автомобиль также должен уметь комфортно управлять.Чтобы окончательно наказать и за нарушение скоростного режима, добавлена ​​четвертая часть вознаграждения.

Поскольку RL предназначен для скалярного вознаграждения, необходимо взвесить эти четыре части. Подходящий вес — нетривиальная задача и представляет собой серьезную проблему. Чтобы вам было легче начать работу, мы предварительно настроили правильное взвешивание. В следующем разделе этой статьи мы покажем вам несколько примеров влияния различных весов. Тем не менее, вы можете самостоятельно изучить возможность более эффективного взвешивания.

Чтобы иметь возможность вообще оценить влияние различных весов, необходим функционирующий процесс обучения RL. Об этом следует подумать дальше.

В первом примере мы видим действия агента в начале обучения. И да, вы правильно понимаете, агент не двигается. Итак, мы позволили ему немного потренироваться:

После некоторого прогресса он начинает водить машину, но игнорирует ограничения скорости.Это нежелательно. Поэтому мы позволяем ему тренироваться еще дольше:

Позволяя агенту тренироваться еще дольше, он также начинает соблюдать ограничения скорости. Кривая еще не идеальна. Если вам так хочется, просто попробуйте, как это может выглядеть после еще более длительного процесса обучения.

Это можно подвести. Агент учится комфортно водить машину и даже соблюдает ограничения скорости. Примечательно, что в будущем он сможет правильно использовать ограничения скорости.Это не было явно запрограммировано, но он узнал это самостоятельно. Впечатляющий.

Как упоминалось ранее, эта проблема преследует несколько взаимозависимых целей. Таким образом, также могут проводиться многоцелевые исследования. Для лучшего понимания у нас есть для вас три примера.

Пример вознаграждения 1. Если применяется только вознаграждение за движение — отклонение от разрешенной скорости: агент нарушает ограничения скорости.

Пример вознаграждения 2. Во втором примере добавляется штраф за превышение скоростного режима. Это приводит к тому, что агент фактически поддерживает ограничения.

Пример вознаграждения 3. В третьем примере мы добавляем вознаграждение за энергию и рывок. Это приводит к тому, что агент ездит более энергоэффективно, а также выбирает более плавное ускорение.

Это всего лишь один пример для понимания. Таким образом, среда предоставляет отличную основу для исследования многоцелевых алгоритмов.

В конце статьи мы подытожим наиболее важные моменты.

Посредством предлагаемой среды RL, адаптированной к стандартизации OpenAI Gym, мы показываем, что легко создавать прототипы и реализовывать современные алгоритмы RL. Кроме того, среда LongiControl подходит для различных обследований. Помимо сравнения алгоритмов RL и оценки алгоритмов безопасности, также возможны исследования в области многоцелевого обучения с подкреплением.Дальнейшие возможные цели исследования — это сравнение с алгоритмами планирования для известных маршрутов, исследование влияния неопределенностей модели и рассмотрение очень долгосрочных целей, таких как прибытие в определенное время.

LongiControl разработан, чтобы дать возможность сообществу использовать новейшие стратегии обучения с подкреплением для решения реальной и серьезной проблемы в области автономного вождения.

Здесь ссылка на GitHub, документ и мой профиль в LinkedIn

Приятного использования😉

[1] R.Саттон и А. Барто, Введение в обучение с подкреплением (1988), MIT Press

[2] В. Мних и К. Кавукчуоглу, Д. Сильвер, А. Грейвс и И. Антоноглу, Д. Виерстра и М. А. Ридмиллер, Игра в Atari с глубоким обучением с подкреплением (2013), CoRR

[3] Д. Сильвер, Дж. Шриттвизер и К. Симонян К. и И. Антоноглоу, А. Хуанг, А. Гез, Т. Хуберт, Л. Бейкер и М. Лай. и А. Болтон и др., Освоение игры го без человеческого знания (2017), Nature

[4] R.Liessner, C. Schroer, A. Dietermann и B. Bäker, Deep Reinforcement Learning for Advanced Energy Management of Hybrid Electric Vehicles (2018), ICAART

[5] Г. Брокман, В. Чунг, Л. Петтерссон и Дж. Шнайдер и Дж. Шульман, Дж. Тан и В. Заремба, OpenAI Gym. CoRR, 2016.

[6] М. Андрыхович, Б. Бейкер, М. Хоцей, Р. Йозефович и др., Изучение ловких манипуляций руками. CoRR, 2018.

[7] Ф. Рихтер, Р. К. Ороско, М. К. Йип, Среды обучения с подкреплением с открытым исходным кодом для хирургической робототехники, CoRR, 2019.

[8] Т.П. Лилликрэп и др., Непрерывный контроль с глубоким обучением с подкреплением (2015), CoRR

[9] С. Убель, Эйне им Гибридфахрзейг einsetzbare Энергетическая стратегия управления эффективностью Längsführung (2018), TU

Дрезден

Среди всех стартапов, занимающихся автономным вождением, которые стремятся к автономности уровня 4 (система самоуправления, не требующая вмешательства человека в большинстве сценариев), Маунтин-Вью, Калифорния.Масштабируемый подход к глубокому обучению на основе Drive.ai и агрессивный темп делают его уникальным. По словам Самипа Тандона, соучредителя и генерального директора, Drive рассматривает глубокое обучение как единственный жизнеспособный способ в ближайшем будущем создать по-настоящему полезный автономный автомобиль. «Если вы посмотрите на долгосрочные возможности этих алгоритмов и на то, как люди собираются строить [самоуправляемые автомобили] в будущем, то наличие системы обучения имеет наибольший смысл. Вождение так сложно, так много нюансов и сложных вещей, что, если вам придется делать это неизученными способами, вы никогда не получите эти машины.”

Прошло всего год с тех пор, как Drive стала публичной, но уже сейчас у компании есть парк из четырех транспортных средств, которые (в основном) автономно перемещаются по району залива Сан-Франциско — даже в ситуациях (например, темнота, дождь или град), которые являются заведомо сложный для беспилотных автомобилей. В прошлом месяце мы поехали в Калифорнию, чтобы прокатиться на одной из машин Drive и узнать, как она использует глубокое обучение для освоения автономного вождения.