Ваш робоводитель прибыл. Как устроено беспилотное такси

либо-либо. Привет, меня зовут Самат Галимов, и это подкаст «Запуск завтра». Здесь я пытаюсь разобраться, как устроены технологии, которые меняют нашу жизнь. А помогают мне в этом профессионалы, с которыми можно поговорить простым человеческим языком. Сегодняшний эпизод об автомобилях, которые ездят без водителя. Это еще называется селф-драйвинг. Я помню, как раньше он казался научной фантастикой. Помню, как все спорили, возможен ли он вообще, и предсказывали его появление. Теперь по улицам некоторых городов ездит роботакси. Я позвал в этот эпизод человека, который занимается роботакси в Кремниевой долине, и попросил его рассказать, как устроена эта технология. Яндекс 360, виртуальный офис со всеми необходимыми рабочими инструментами. Почта к календарям, телемостам, трекерам, мессенджерам и дискам. С рабочим пространством от Яндекс.360 команда может согласованно работать онлайн, не тратя время на синхронизацию разных сервисов между собой и быстро решая организационные задачи. Ведя встречи в телемосте, например, создаются в один клик прямо из календаря. А еще в онлайн-офис встроен. на Яндекс 360, поддержка поможет вам сделать это комфортно. Оперативно ответите на вопросы и будьте всегда на связи, чтобы снизить риски перехода. Удобный тариф выбирайте по ссылке в описании.

Привет, меня зовут Кирилл, я софт-инженер в компании Waymo. Я занимаюсь разработкой симулятора для тестирования и обучения нашего автопилота.

У меня подружка живет в Сан-Франциско. Она регулярно постит в нашем университетском чатике фотки. Типа, еду без водителя, такая вся красивая. Скажи, пожалуйста, как эти машины выглядят? Вот если я увижу ее на дороге, я ее узнаю?

Ну да, у них достаточно узнаваемый образ. Сейчас мы в основном запускаем машины, которые белого цвета. Они с таким большим лидаром сверху. То есть, беспилотная. И они одной и той же модели. Это Jaguar I-Pace. То есть, это электрокар. И они достаточно узнаваемые. По Сан-Франциско их много. И туристы очень любят приезжать. И это одна из достопримечательностей, которые они хотят посмотреть и которые они хотят попользоваться.

А изнутри он как выглядит?

Изнутри он выглядит как обычная машина, просто там нет водителя и она электрифицирована и дополнительно еще снабжена Waymo, то есть ты туда садишься. Тебя сразу встречает Voice Assistant, который включает музыку, там видно маршрут. Там, когда ты едешь, показываются в режиме реального времени различные препятствия на дороге, то есть другие машины, пешеходы. И можно следить за тем, как машины видят мир своими глазами.

Там руль сам себе поворачивается?

Да, руль крутится.

А педалька нажимается, когда ускорение происходит?

Вот это не знаю. Но мне кажется, что тоже да.

Ага, то есть в каком смысле такой fly-by-wire, как у Airbus, когда типа тебе на самом деле ничего не нужно крутить, оно все работает с помощью компьютера?

Ну, в том числе, да.

Прикольно. Ты сказал, что наверху у нее есть блямба большая, и я видел еще на фотках по бокам есть сенсоры. Что они собирают? Какую информацию?

У нас есть три основных типа сенсора, я бы сказал. Есть еще дополнительные. В первую очередь у нас есть камеры. Их достаточно много. Около 14. Опять же, я не говорю точное число, потому что это зависит от модели машины, на которую мы их ставим. На самом деле, у нас есть несколько поколений машин, которые мы запускаем и которыми мы пользуемся уже сейчас. И сейчас это, как я говорил, Сан-Франциско, Jaguar I-Pace, но у нас есть также специально задизайненные нашей компанией Zeekr. Есть некоторая разница между количеством сенсоров и их расположением на этих машинах, но сами сенсоры, типа сенсоров одинаковые. То есть это, как я уже сказал, камеры, которые снимают видео со всех режимов в разных форматах, то есть есть какие-то широко форматные камеры, есть Fisheye и есть LiDAR. LiDAR это вот эти штуки, которые все замечают, в первую очередь, сверху. LiDAR, ну, проще всего объяснить это как такой сенсор, который крутится, то есть каждую секунду он совершает обороты вокруг себя и запускает лазеры и получает обратное отражение этих лазеров. И таким образом LiDAR считывает расстояние до всех объектов вокруг машины. Это важно, в первую очередь, чтобы измерить расстояние. То есть, если камера, она показывает и семантическую информацию, то есть, что перед нами, пешеход. Пешеход— это какой? Может быть, это ребёнок или взрослый, или это работник, который чинит дорогу, или это полицейский. То лидар позволяет нам считывать расстояние. А также у нас есть радары. Радары позволяют считывать различные скорости. И таким образом мы используем все эти три сенсора, чтобы собрать информацию об окружающем мире в разной обстановке. Также у нас есть еще звукозаписывающие сенсоры, которые помогают нам определить, что, например, рядом едет скорая помощь или полиция, что тоже очевидно очень важно.

Как много всего! Я не знал про радары, я слышал про лидары, но ведь я ищу прямо отдельный сенсор, который определяет, с какой скоростью объект к тебе движется, да?

Да, относительная скорость между машиной и объектами.

Обалдеть, у нее есть не только глаза и уши, но еще какие-то дополнительные средства, знаешь, общения с миром, которых у людей вообще-то нет. Так, чем это все обрабатывается?

Обрабатывается это специальным компьютером, который находится на борту машины. То есть мы используем очень мощный и быстрый компьютер, который включает в себя как обычную CPU, так и мощный графический процессор GPU, который находится прямо на борту машины, потому что мы используем много моделей машинного обучения. И, конечно же, чтобы обрабатывать информацию быстро, нам необходима GPU.

Угу. Ты сказал, что это мощный компьютер. Расскажи про программы, которые там запущены. Что это за софт?

Это софт, который пишет наша компания, то есть это Автопилот, или мы называем его драйвер-водитель, и он обрабатывает все сигналы, которые поступают из этих сенсоров. Так же, как и у человека, мы не можем доверять какому-то одному чувству. Мы стараемся на все вместе. Иногда они противоречат друг другу, и нужно как-то разрешать это противоречие. Вот именно этим занимается эта программа. Она строит маршрут, предсказывает маршруты других агентов на текущей сцене, то есть то, что происходит вокруг машины, и, собственно, решает, какое действие должна предпринять машина. То есть в целом, self-driving— это достаточно простая проблема в мире робототехники, если мы будем смотреть на количество степеней свободы. То есть у машины, по сути, две степени свободы— это ускориться, замедлиться и повернуть налево и направо. Но приятие решений о том, какие сигналы подать на эти две степени свободы, оно, конечно же, сильно сложнее, чем во многих других доминах.

Потому что вокруг много непонятных людей, которые ведут себя непонятным образом.

Да, всё верно. И потому что это реальный мир, с которым приходится сталкиваться напрямую. То есть домены, они достаточно ограничены. То есть ты делаешь робота, например, на какой-нибудь фабрику, или ты его делаешь под какой-то конкретный случай. И количество вещей, которые ты можешь увидеть или испытать В этом ограниченном естестве оно не очень большое, в то время как машины, конечно же, они испытывают весь спектр сложностей и странностей нашего мира.

У меня недавно был эпизод подкаста про робототехнику, и там гость говорил, что такой сильный шаг, который произошел последние несколько лет, это активное использование нейросетей. Насколько нейросети используются в этой программе, которая принимает решение, как ездить.

Очень много и очень активно мы используем нейросети, вот в том числе для них и нужны графические процессоры GPU, и это стало, как ты сказал, большим скачком качественным для автопилота и для селф-драйвинга. И я бы сказал, что на самом деле есть еще один большой скачок качественный, который испытал селф-драйвинг, это вот нитальное восхождение Калимппо, архитектура мира сетей и трансформеров. То есть, когда появились чат-боты, ChatGPT, Gemini, Claude, все остальные чат-боты и архитектуры, то главный архитектурный трюк и главный архитектурный блок, который используется в больших моделях, это трансформер. И мы тоже можем использовать эту архитектуру в своих моделях, и это позволяет нам делать более качественные предсказания. Ага.

Сейчас я, наверное, глупый вопрос задам, но я всё-таки его спрошу. Это такая же нейросеть, как и chat.gpt?

В каком-то смысле она очень похожа. Сам chat.gpt, он имеет интерфейс текстовый, но на самом деле многие проблемы можно свести к текстовому формату. То есть, например, Ну, самый простой и такой абсурдный случай— это мы можем просто, например, присылать картинку чату GPT или Gemini, или, например, несколько картинок и какие-то данные сенсоров, и просто спрашивать, куда нам повернуть, налево или направо, ускориться нам или замедлиться. И, по сути, таким образом можно сказать, что... сети и Gemini, они могут быть использованы в солдрайвинге. Конечно, сами эти модели очень большие, и, конечно же, мы не можем, например, запустить их прямо на основной машине и получать очень быстрые ответы, но внутренний механизм очень похож. И в каких-то задачах мы можем использовать похожие или производные от этих моделей более маленькие, более быстрые и более специализированные.

Очень прикольно. То есть, получается, интерфейс у нее может быть и другой, но под капотом она устроена ровно так же. Мозги у нее примерно те же самые, которые двигают чат GPT, с которым ты переписываешься в телефоне или в компьютере.

Да, они очень похожи. То есть, на самом деле, сейчас, в последний год, наверное, многие из моделей были франкгрейшены до мультимодальных моделей. То есть, если раньше мы использовали чат-боты только с интерфейсом чата, то сейчас мы можем присылать картинки, аудио, видео. И точно также мы можем использовать похожие архитектурные решения, похожие трюки для того, чтобы скармливать модели данные со всех сенсоров, про которые я уже говорил.

Все-таки это нейросеть, она на основе какой-то известной, например, Gemini, которая гугловская Gemini, или это что-то совсем другое, совсем отдельное?

Нет, мы тренируем ее отдельно, потому что все-таки у нас специализированный случай, поэтому все данные, на которых мы тренируем, и весь процесс— он отдельный. Но на разных этапах мы можем использовать Gemini для того, чтобы, например, размечать какие-то данные. И в целом нам очень помогает, что Waymo— это компания, которая не является частью Google, но является частью Holding Alphabet, и поэтому мы часто общаемся с нашими коллегами из Google, с Google DeepMind, которые разрабатывают вот эти модели.

Ты сказал, что формат данных совсем другой, который нужно обрабатывать нейросети. На чем ее обучают? Потому что вот про LLM-ки все знают, их обучают типа на тексте, который есть в интернете. А эти?

Мы собираем очень большое количество данных со всех сенсоров, то есть, например, к середине этого года мы проехали более 90 миллионов миль только в беспилотном режиме. То есть у нас есть тестовый режим, когда человек садится за руль, и он не очень часто включается в процесс, то есть совершает какой-то перехват руля. Но, тем не менее, такие случаи бывают. То есть, когда мы приезжаем в новый город, мы часто запускаем машины в тестовом режиме и собираем какие-то данные с наших датчиков, чтобы понять, насколько хорошо машина ведет себя в не очень известной среде. Но, конечно же, мы хотим ездить полностью в беспилотном режиме, и в таком режиме мы собираем просто невероятное количество данных со всех наших сенсоров, и на этих данных мы обучаем наш автопилот в том числе. Проблема этих данных в том, что 99% из них достаточно скучны. То есть, когда ты едешь на машине, то ты часто, например, представим, что ты едешь по шоссе из Сан-Хосе в Сан-Франциско. 99% времени на дороге на самом деле ничего не происходит. Ты просто держишь свою линию и ждёшь, пока доедешь до какого-то перекрёстка или какого-то более интересного этапа своей дороги. Поэтому мы, конечно же, отфильтровываем все данные и отбираем из них то, что интересно для обучения автопилоту.

Там, где нужно принимать всякие решения.

Да, там, где происходит что-то неожиданное, например. То есть как человек ты можешь никогда в жизни эту ситуацию не встретить. Иногда машины, например, едут по шоссе, и спереди грузового автомобиля отваливается колесо, это колесо на высокой скорости летит. в машину, если она должна за доли секунды отсканировать все свое окружение, понять, может ли она поменять как-то свою полосу, увернуться от этого колеса, не знаю, что-нибудь горит на этой дороге. Вот, происходит совершенно безумие. И здесь большую роль играет еще и симулятор, над которым, например, я работаю, потому что самая интересная проблема в саунд-драйвинге— это вот этот один процент последний. То есть, как говорят в саунд-драйвинге, что вот есть проблема длинного хвоста. которые редко встречаются на дороге и которые очень сложные. То есть есть распределение каких-то событий, и вот 99% распределения нам неинтересны, нам интересен вот этот 1% распределения. Но вот этот один процент, он очень большой, очень разнообразный. Поэтому мы построили симулятор, который позволяет нам моделировать случаи, которые нам очень интересны. Мы делаем это и в жизни тоже. У нас есть специальная база, называется Castle, на которой есть обученные люди, каскадеры, которые совершают какие-то трюки, не знаю, запускают самокаты, которые появляются из ниоткуда, выбегают какие-то манекены, и таким образом они в реальной жизни моделируют эти ситуации. Но, конечно же, это невозможно масштабировать. Поэтому, чтобы масштабировать, мы построили симулятор.

О, обалдеть! Слушай, у вас прямо есть симуляция в реальном мире и есть симуляция онлайн.

Да, мне кажется, что сейчас большие компании, которые занимаются селл-драйвингом, они все инвестируют в симуляцию, потому что понимают, что самая сложная, самая важная проблема— их очень сложно смоделировать в жизни, их очень сложно встретить в жизни. Ну а также очевидно, что тебе просто очень дорого иногда собирать какие-то данные. Ну, например, ты ездишь по какому-то городу, и ты хочешь понять, как хорошо ты ездишь по этому городу за ночью, или в снег, или еще в какое-то время. Понятно, что дождь идет не очень часто, например, если ты ездишь по долине. Да, здесь у нас не так часто плохая погода, и поэтому, чтобы собрать данные какого-то определенного типа с каким-то параметром, тебе приходится очень много машин запускать или очень долго ждать, когда это событие произойдет. Какие-то события ты можешь предсказать, какие-то события ты можешь записать, какие-то нет, их тебе нужно только встречать в реальной жизни, и ты не можешь их предугадать. А в симуляторе мы в том числе используем системы машинного обучения и AI, который нам доступен для того, чтобы поменять моделируемые условия. То есть, например, мы можем использовать, мы называем это логи, то есть это данные, которые записаны с реальных датчиков, реальными машинами и потом сохранены кроме сервера. И мы можем просимулировать, например, те же самые логи, но Сказать, хорошо, а теперь давайте представим, что это ночь. Или давайте представим, что идет дождь. Или давайте представим, что какие-то из датчиков отказали. Сможет ли машина правильно совершить маневр? Что произойдет в таком случае? На все эти вопросы нам помогает отвечать симулятор.

Мы успеем про него поговорить прямо отдельно, но сначала я хочу задать такие простые, очень базовые вопросы, бытовые. Насколько я знаю, все эти компании, которые дают сервис роботакси, они все работают в очень ограниченном, очень узком географической зоне, то есть в городе или в каких-то районах города. Умеет ли машина с автопилотом ездить по незнакомым дорогам?

В каком-то смысле она делает это каждый день, потому что даже в этих ограниченных областях, о которых ты говоришь, все равно каждый день происходят какие-то изменения в дорожных условиях. Где-то начинается ремонт, где-то дорога прикрывается, где-то происходят какие-то непредвиденные ситуации, и эти районы приходится объезжать. Поэтому даже в областях, которые предупредили заранее, машина все равно всегда встречает новые условия. Конечно, наша цель и цель любой компании, которая занимается селдрайвингом, это создать машину, которая способна ездить во всех условиях, во всех областях, даже в тех условиях, в которых она никогда не была. Но на данный момент это ни одна компания в мире не сделала, и, наверное, до этого еще достаточно далеко. То есть, если мы посмотрим на уровни автономии, которые определены достаточно давно, и можно много спорить о том, релевантны они сейчас или нет, но вот Level 5, на который все стремятся, это самый верхний уровень автономии, на нем как раз определяется, что машина может ездить в любых условиях и в любой географической локации. Но вот Level 4, к которому мы, наверное, уже вплотную приблизились и в зависимости от формулировки уже достигли, она говорит о том, что машина может ездить беспилотно, то есть с минимальной помощью человека в определенных условиях и в определенных географических локациях.

Что делать нейросеть, если другие водители нарушают правила?

пытается адаптироваться и увернуться от опасных манёвров других водителей. Конечно, мы стараемся предсказать такие случаи, и, например, в моей работе я часто встречаю такие ситуации, когда водитель подрезает машину или появляется какая-то неожиданная ситуация, и в такой обстановке снабжена, она может принять решение за долю секунды. И, как правило, это происходит очень быстро и гораздо быстрее, чем человек может среагировать, и поэтому в таких ситуациях часто автопилот сильно безопаснее, чем люди.

Да, я на ютубе много роликов видел, где типа «меня спасла моя машина». Ча-GPT регулярно галлюцинирует. Мне кажется, все уже слышали про этот термин. Как выглядит галлюцинацию модели self-driving?

У нас все-таки другие модальности и другой есть кейс. Галлюцинации, они достаточно специфичны для текстовых моделей. И мне сложно сказать, как это выглядит для нас. Но в каких-то ситуациях автопилот может определить, что он не понимает, что дальше делать. И он может запросить какую-то помощь от оператора небольшую. оператор не вмешивается в процесс управления, но он может отвечать на простые вопросы, не знаю, перекрыта ли дорога. Например, машина может подъехать к какому-то месту, где много полиции, и она не очень понимает, может ли она ехать дальше или перекрыта дорога. И вот в случае, когда автопилот не может определить окончательно и принять решение, то он обращается к оператору, который там в течение какого-то небольшого промежутка времени даёт ответ на простой вопрос. И в случае, если, например, нет однозначного ответа от оператора или есть ещё какие-то дополнительные факторы, которые мешают принять решение, то машина припарковывается. То есть, конечно же, она не останавливается прямо посреди дороги на оживлённом шоссе. То есть, она находит ближайшее безопасное место и припарковывается на этом месте, ожидая каких-то дальнейших инструкций.

Это, кстати, мой следующий вопрос, такой близкий к этому. ЧА-GPT регулярно зависает и просто ничего не отвечает. Какая скорость ответа должна быть у нейросети, чтобы на дороге не зависнуть?

Это одна из причин, по которым мы не можем использовать слишком громоздкие модели. Даже если бы мы совершили такой мыслительный эксперимент и представили, что сейчас модели вроде ChatGPT или Gemini, они могут использоваться как безупречные оракулы, то есть на любой вопрос в домене селл-драйвинга они могли бы ответить, и получив все данные сенсоров, они бы могли принять идеальное решение, то у нас мы не можем использовать их в таком же анплуа, в котором их используют пользователи в интернете, то есть через веб-интерфейс, через интернет, где они расположены в облаке. Нам необходимо, чтобы все вычисления происходили внутри машины, чтобы даже если не было интернет-соединения, мы все равно могли ехать. и чтобы они происходили очень быстро. То есть у нас есть определенные ограничения на то, как долго автопилот может принимать решение. И в таких случаях, например, одно из популярных решений, которое делают люди, это строить несколько уровней автопилота. Если, например, один уровень отказывает или слишком долго вычисляет ответ, то ты спускаешься на уровень ниже, где более простая версия, более простая модель, возможно, или набор эвристик, и ты берешь ответ от них.

Очень прикольно. То есть у тебя, типа, параллельно всегда думают несколько мозгов. Если умные успевают додумать, то хорошо. Если нет, то сорян, как бы. Решит человек попроще. Ты про это начал уже говорить. Если модель не может справиться сама, могут ли ее подрулить удаленно через интернет?

Зависит от автопилота. Какие-то компании позволяют прямое вмешательство оператора. В Waymo для того, чтобы они подруливали.

Вот только давали ответы на вопросы, да?

Да, да. То есть есть, например, оператор, который находится внутри машины, и этот оператор действительно может подруливать в какие-то определенные моменты, но в основном мы используем таких операторов только для тестирования.

А вот если я сяду на водительское сидение и начну рулить, что произойдет? Я вообще могу уехать на этой машине куда захочу?

Мне кажется, что нет. Но, во-первых, первое, что произойдет, оператор или Россиец попросит себя так не делать, потому что внутри машины тоже есть камеры, и мы, конечно же, следим за тем, чтобы внутри не происходило каких-то неожиданных событий. И пассажиры могут садиться на все кресла, кроме водительского. Поэтому мы просим людей не делать это.

Друзья, студия либо-либо, которая выпускает этот подкаст, делает свои курсы по подкастингу. с 24 ноября по 1 декабря записаться на них можно со скидкой 30%. Все потоки стартуют в 2026 году. Например, курс по разговорным подкастам. В 17 лекциях вы узнаете от сотрудников студии всё о том, как сделать собственный подкаст. От выбора темы и формата до монтажа, продвижения и монетизации. Я сам проведу на этом курсе бонусную лекцию. А еще у Либо-Либо есть курс по речи с Ликой Кремер, по нарративным подкастам и по аудиожурналистике с Настей Красильниковой. Выбирайте, что вам ближе. Промокод запуск30 дает максимальную скидку. Записывайтесь и поддержите любимую студию. Как вы решаете проблему вагонетки? Например, если выбор между убийством пассажиров или пешеходов? Кто в приоритете?

Я не знаю ответ на этот вопрос.

Я как водитель тоже никогда с таким, надеюсь, не столкнусь, дай бог. При этом, тебе как программисту нужно принять это решение или как? Потому что я себе вижу два фреймворка, как это можно делать. Один— это ты говоришь ауткамы, которые ты хочешь, и говоришь машине, типа, аппроксимируемые, типа, пытайся к этим ауткамам приближаться. Например, там, типа, минимальный loss of life или еще что-нибудь такое. А другой— ты говоришь ему процедурно, типа, там, В такой-то ситуации действуй вот так, думать не надо, просто действуй. И какой подход применяется? Я так понимаю, это не только на самом деле про этически сложные ситуации, но и в целом про программирование этой системы.

Сложный вопрос. Я, наверное, не могу ответить на него в полной мере, потому что который разрабатывает механизм, но я могу сказать, что это непростая задача, потому что мы вынуждены балансировать между приятием решений, которое такое, ну вот как человек, он принимает какое-то решение или у него есть какая-то цель, он пытается её достичь, например, повернуться налево или там, не знаю, добраться до какого-то пункта. И есть какие-то определенные ограничения, которые накладывают, например, правила дорожного движения. Ну и Здравый смысл. Вот. И один из этих процессов, он как бы такой unconstrained, то есть нет каких-то явных ограничений, явных эвристик, на которых придерживается человек. А второй процесс, он очень задокументирован и очень такой жесткий процесс принятия решений, что, не знаю, есть правило, какая машина должна проехать первая, к знаку «стоп». Есть правила приоритета движения, есть правила взаимодействия пешеходов и машины. И, по сути, это какой-то набор эвристик, который должна соблюдать машина. В моем представлении автопилот, он как раз тоже призван сочетать вот эти две сложные сущности. То есть, есть какой-то процесс принятия решений, который, ну или процесс генерации решений, который не подчиняется каким-то строгим правилам.

Просто основан на данных.

Да. И есть какой-то механизм, который должен убеждаться в том, что вот этот механизм принятия решений, он действительно соответствует правилам. То есть мы не хотим нарушать правила. При этом, с другой стороны, невозможно совершенно не нарушать правила. То есть любой автолюбитель знает, что в каких-то ситуациях тебе нужно, например, Не знаю, объехать другую машину и нужно пересечь какую-нибудь сплошную полосу или совершить какое-то действие, которое, строго говоря, по правилам не предусматривается. Но для того, чтобы избежать опасной ситуации или для того, чтобы продвинуться дальше, это действие необходимо совершать. Это очень сложный вопрос о том, как принять решение финальное и как совместить эти правила, которые хочется соблюдать и необходимо соблюдать, и реальную жизнь, в которой иногда их нужно нарушить, делать это безопасно. Это непросто.

Окей, какие у вас есть конкуренты? Какие еще компании делают селф-драйвинг?

В Штатах Tesla делает селф-драйвинг также, но у них другой подход к автономным машинам. Они считают, что получится достигнуть пятого уровня автономии исключительно с помощью камер. То есть они говорят, что человек же использует только зрение для того, чтобы принимать свои решения, и этого достаточно для того, чтобы создать хороший автопилот. Это, наверное, самая большая компания, которая сейчас делает автопилоты в Штатах, но есть и большое количество маленьких, которые тоже прогрессируют очень быстро. Есть большие компании в Китае, которые тоже делают очень хорошие автопилоты, но с ними нам сложнее понимать, что происходит в Китае из-за просто географической удаленности и различия в экосистеме.

Скажи, у каждой компании своя нейросеть или это какая-то общая штука?

Да, конечно. Каждая компания делает свои модели. Ну, банально, наши модели должны принимать модальности, которые мы считываем с сенсоров. И, соответственно, в компаниях вроде Tesla они используют только зрение. В других компаниях тоже используют различные датчики, и данные у всех тоже свои.

А, то есть даже если бы мы хотели общую нейросеть, было бы не так легко это сделать, потому что датчики разные.

Да.

У Waymo там 17 разных сенсоров, и лидары, и радары. А вот Илон Маск, как ты упомянул, говорит, что достаточно обычных видеокамер. Можешь немножко подробнее рассказать, в чём плюсы и минусы вот этих разных подходов?

У каждого выбора есть какие-то трейд-оффы. То есть, если ты делаешь большое количество сенсоров, лидары, камеры, радары, то ты получаешь большое количество данных на вход. Чем больше у тебя данных, тем лучше решение ты можешь принять. И, конечно же, с точки зрения инженера больше данных это почти всегда лучше, если они качественные. Но эти датчики, они, конечно же, стоят денег. И, например, когда Вейма только начинали свой путь и только запускали прототипы и делали лидары, многие не верили в то, что этот подход будет хорош только потому, что он, возможно, не масштабируется из-за того, что лидары очень дорогие. Поэтому Вейма, как компания, большое количество времени, инженерного времени и усилий инвестировала в разработку лидаров, что позволило нам в какой-то степени снизить стоимость этих лидаров. Но, тем не менее, все еще датчики дополнительные— это дополнительные деньги. То есть, как стартап, то у тебя должна сходиться юнит экономика. Вот чтобы она сходилась, тебе, конечно же, нужно уменьшать стоимость датчиков, которые ты производишь, и стоимость вообще установки вот этого автопилота. Часть ты можешь снизить за счет масштабируемости, но часть тебе нужно качественно делать хорошие сенсоры, но сильно дешевле. И поэтому Tesla, например, верит в то, что можно сделать хороший автопилот, просто оснастив машину камерами. И, возможно, это действительно так. но только время покажет. То есть это достаточно смелая ставка, и если это действительно возможно, то, конечно же, это очень хороший выбор. Но многие эксперты считают, что с помощью камер можно выйти только на уровень человека, но превзойти уровень человека, конечно же, проще и лучше с большим количеством датчиков.

Это все такси. Можно ли сейчас купить автомобиль, который будет ездить без человека за рулем?

Сейчас нельзя купить полностью автономный автомобиль. Tesla предлагает автопилот, который они предлагают как услугу в своих машинах, но этот автопилот, конечно, не является автопилотом в полном смысле этого слова. Человек все равно должен следить за тем, как машины едут, все равно должен держать руки близкого руля. Это вспомогательная система. Сейчас нет коммерческих автомобилей, которые были бы полностью беспилотными.

Почему?

Наверное, это другой рынок. У беспилотных автомобилей есть несколько доменов, в которых они могут использоваться. Один из доменов – это роботакси, а он, наверное, очень понятный. Есть даже Uber, Lyft, которые показали себя как стартап-модели, экономические модели. И все знают, что они работают в определенной степени.

Окей, купить такую пока нельзя. Можно ли построить такую машину самому?

До какого-то определенного предела, наверное, можно. Кажется, даже были такие эксперименты у известных программистов вроде Гео Ходса. Но, конечно, сделать самому автопилот— это очень сложная задача. И в компаниях вроде Wayma и Tesla работают тысячи инженеров над этой проблемой. И пока что, наверное, в одиночку это сделать очень сложно. Угу.

Я просто слышал про open-source решения. Есть прямо типа железка, за тысячу баксов можно себе ее купить, поставить, и дальше там какой-то open-source софт прямо с GitHub скачиваешь, и он что-то там делает. Следишь ли ты за такими решениями, и что про них можешь сказать?

Ну, я не знаком с тем решением, о котором ты говоришь, но я знаю, что есть open-source решения, которые позволяют аугментировать систему, которая на твоей машине запущена, и помогать, ну, как такой ассистент, автопилот-ассистент. То есть, как я уже говорил, есть разные уровни автопилота, и в целом, когда мы говорим об автопилоте, важно понимать, что мы имеем в виду. То есть мы можем считать, что есть какая-то вершина, которую все хотят покорить, и, возможно, она там полностью недостижима. Это вот когда машина во всех ситуациях ведет себя идеально, во всех условиях, во всех географических точках, и, конечно же, все стремятся туда. Но есть какие-то более достижимые и близкие этапы, которые, возможно, уже достигнуты.

Какие есть требования к тачке, чтобы на нее можно было накрутить автопилот? Потому что вот я понимаю, что сенсоры вы там ставите внешние, но рулем, типа, педальками, я не знаю, вот это все.

Waymo для ограниченного количества автомобилей, то есть мы партнеримся с, заключаем партнерские соглашения с большими компаниями-производителями машин. То есть, например, сейчас мы заключили большое соглашение с Hyundai, с Toyota, и мы работаем вместе над тем, чтобы оснастить машину автопилотом. Но мы не можем сделать это с любой машиной, как минимум, потому что даже если все сенсоры мы поставим такие же, как на машинах, на которых мы уже а ездим, то геометрия будет другая. То есть машина, банально, ниже, шире, у нее другая длина, ширина, и это влияет, конечно же, на то, какие решения мы принимаем. То есть мы должны все-таки немного менять наш софт в зависимости от того, какую машину мы используем.

Все эти роботакси, они, насколько я знаю, электрические. В ДВС можно это подключить? Это дополнительная сложность какая-то или нет?

Я думаю, что это просто инвестиция в будущее, потому что в Европе, в Америке переходят постепенно на электромобили, и я думаю, что это просто хорошее решение, чтобы использовать электромобили.

Я слышал, когда вот говорят про беспилотники, часто упоминают, что такси это как бы хорошо, но вообще грузоперевозки, вот типа главный рынок в США, потому что в США львиная доля вообще грузоперевозок делается автомобилями, и что это гораздо более важная задача для автоматизации, чем такси. Почему все-таки начали с такси?

Хороший вопрос. Ответ на него, на самом деле, не до конца очевидный. Мы начали не только с роботакси. На самом деле, у нас было два направления. У нас было и роботакси, и грузоперевозки. И грузоперевозки были большой частью нашей компании. Наверное, около половины сотрудников работали над вот этой задачей. И я тоже считаю, что она очень интересная, очень прибыльная и очень важная. Потому что, как ты отметил, в Соединенных Штатах очень большое количество грузоперевозок происходит с помощью грузовиков, то есть это называется Semi-Trucks. И на самом деле это действительно очень интересная задача еще с той точки зрения, что если мы имеем возможность перевести грузоперевозки на автономный режим, то можно перестроить очень большое количество логистических цепочек в США, потому что Дальнобойщик, на самом деле, очень сложная профессия. Не так много молодых людей хочет становиться дальнобойщиками, поэтому она еще и очень востребована. Сотрудников становится все меньше. Идти туда тоже хотят немногие, потому что очень большое количество времени человек проводит в дороге, то есть несколько недель в году всего человек видит свою семью, что, конечно, сложно и физически, и эмоционально. И также, когда дальнобойщик ведет свою грузовую машину, то существуют определенные регуляции, как долго он может это делать, а потому что человек устает, ему нужно находить какие-то привалы, останавливаться, что замедляет грузоперевозку и в том числе делает ее в каком-то смысле более опасной, если человек очень долго ведет. Вот, если мы исключаем фактор вот этой усталости и необходимости через какое-то время меняться и используем автономную грузоперевозку, то мы, конечно же, можем очень сильно ускорить все грузовые потоки, ну и мы можем сократить какие-то пути. То есть часть городов США и каких-то пунктов появилась из-за необходимости дальнобойщикам останавливаться где-то. Если мы можем исключить человека из этого процесса, то мы можем строить гораздо более эффективные транспортные сети, гораздо более эффективно, например, просто разгружать. То есть основная часть товаров приходит на побережье, на Лос-Анджелес, на западное побережье, В восточном побережье тоже есть большое количество портовых городов, и bottleneck / узких мест является скорость разгрузки и скорость получения этих товаров из больших портов. Это тоже можно сильно ускорить. А также грузоперевозка интересна еще одним фактором, что на самом деле грузоперевозку можно осуществлять... То есть не так важно, чтобы она на 100% была автономной. 99% селлдрайвинга достаточно скучно, но 99% Грузотревозки тоже достаточно скучные.

Даже более скучные, потому что по шоссе все это происходит.

Да, ты просто едешь по шоссе по прямой с одной и той же скоростью, и ты едешь там, не знаю, 500 километров от одного пункта до другого.

У тебя могут быть центры, где сидят уже живые водители, которые последнюю милю довозят руками.

Да, все так. Это называется Last Mile Problem. В Waymo, мы как раз часто довозили машину до какого-то пункта, и там же человек может ее довезти до нужного города или, ну, вот последняя миля, которая сложнее всего остального. А 99% ты можешь просто проехать вот просто по прямой, совершенно скучно, никакого, ну, конечно же, там нужно принять те решения, но это совершенно другой уровень, не такой же, как в роботакси.

Слушай, всё-таки интересно, Waymo и грузоперевозками, и такси, просто такси более на слуху, потому что это вещь, которую мы видим. Или вы решили сначала сделать такси, а потом вернуться к грузоперевозкам?

Мы решили сконцентрироваться на роботакси сейчас, и сейчас в данный момент мы не развиваем направление грузоперевозок.

Не знаю, сколько это шутка, или лобби таксистов слабее, чем лобби дальнобойщиков, и в этом там проблема.

Ну, я не знаю, почему именно руководство компании приняло такое решение, но на самом деле, да, есть, конечно же, такая особенность, что в США очень сильное лобби дальнобойчиков, и оно имеет большое политическое влияние тоже.

Дико интересно. А кто-то еще занимается грузоперевозками отдельно? Потому что у меня знаком был сетевый поддон в стартапе, но они закрылись.

Да, я знаю, что есть компании, которые занимаются грузоперевозками, но я не знаю больших компаний, которые бы это делали. Известных мне решений, по крайней мере, нет. Хороший вопрос. Я не знаю, почему. Потому что, как я тебе уже сказал, мне кажется, что с какой-то точки зрения грузоперевозка— это более простая проблема, чем роботакси. Но вот компании выбирают роботакси как свою полярную звезду и пытаются этот случай проработать сначала.

Давай я тебя расспрошу подробнее про симулятор. Как это вообще выглядит? Это чисто нейросети или наоборот чисто физическая модель мира, в которую ты вставляешь параметры и она как бы отрабатывает детерминированно?

Это комбинация. Комбинация физического симулятора. То есть, конечно же, симулятор должен, самое простое, он должен симулировать саму машину. Сама машина— это сложная структура, у которой есть внутренние модули. Каждый модуль тоже симулируется отдельно. И есть совершенно понятные физические правила, по которым какие-то из этих модулей взаимодействуют. Сам мир, он тоже, понятно, отвечает законам физики. То есть у тебя есть скорость, ускорение, отторможение и все остальное.

Типа ты не можешь затормозить на дороге быстрее, чем с таким ускорением.

Да, это не GTA. То есть тут приходится подчиняться закону физики. Но при этом мы, конечно же, аугментируем этот симулятор нейросетями с помощью модели машинного обучения. Мы, например, генерируем данные. То есть, например, в чем заключается моя работа? Так это в том, чтобы генерировать реалистичные данные в зависимости от того, как у тебя меняется среда. Предположим, что в реальном мире с датчиков, с которых мы записали данные, машина ехала, например, по левой полосе какой-то улицы, ехала на одну милю прямо. Но в нашей версии, которую мы хотим протестировать, машина, например, перестроилась в другую полосу. Это значит, что все данные со всех датчиков инвалидировались.

Надо их симулировать, чтобы они видели так, как будто она едет по правой полосе.

Все верно. Все камеры, они должны уже смотреть на... даже если мы видим одни и те же предметы, одни и те же объекты, и даже если мы находимся на одном уровне с машиной, которая ехала в реальном

мире... Все равно немножко сбоку.

Да, все равно немного сбоку. И нам нужно сгенерировать данные, соответственно, с помощью моделей машинного обучения. заново, и чтобы это было реалистично, и чтобы это отвечало всем законам физики, о которых мы уже говорили. И это достаточно сложная задача, потому что это нужно делать масштабно, потому что у нас очень большое количество данных. Это нужно делать качественно, и это нужно делать хорошо.

Слушай, я не хочу никаких секретных информаций, но какой примерно объем данных? Вот знаешь, когда кино смотришь, типа, не знаю, 4 гигабайта на 2 часа, да? Или там 80 гигабайт на 2 часа Blu-ray, да? А сколько данных генерирует автомобиль такой со всеми этими сенсорами? Порядок.

Сам, честно говоря, не знаю, сколько, но это какие-то сумасшедшие цифры, потому что ты можешь представить себе, что эти данные, они еще и достаточно объемные. Даже сам один кадр, один таймстэмп в жизни— это все датчики. Если у вас, например, 14 камер, как я говорил, то это 14 изображений в достаточно высоком разрешении. Лидары, они тоже генерируют большое количество данных, потому что данные, которые генерируют лидары, это точки в облаке, которая тоже сохраняется. Ну и, соответственно, радары, аудиозаписи, то есть всё это большое количество данных. Конечно же, мы не хотим хранить все данные, потому что не все они интересны, но даже те, которые нам очень интересны, мы обрабатываем огромное объёмы данных.

Значит, у тебя есть физический симулятор, в который можно поместить программу, которая принимает решение, как ехать, и она будет ездить в этом виртуальном мире. И еще у тебя есть отдельная софт, которая умеет генерировать данные, то есть ты ставишь ее условно на любую дорогу, в любое место, и отдельная программа генерирует поток информации так, чтобы все системы как будто переместились в это виртуальное пространство, как будто они надевают очки виртуальной реальности. На LiDAR надел такие очки, на радар и на все остальное. Охренеть вообще.

Ну да, то есть то, что ты описал, это действительно соответствует реальности, и также мы можем дополнительные параметры задавать этой системе. То есть, как я сказал, мы можем сказать, окей, вот у нас есть какие-то данные, которые мы записали с реальной поездки, а что если в этой поездке, например, мы переместимся в ночное время, или дневное время, или дождь, или снег? Потому что в том числе, например, города, в которых сейчас запущен Вейма, это Сан-Франциско, Лос-Анджелес, Остин и Феникс. если ты представишь географически, это все южные штаты. Сейчас, например, у нас очень специфичная погода, которая во всех этих городах присутствует. Но мы, конечно же, хотим запускаться и в городах, которые более северные. У нас большое количество городов финансировано в новом году. В Нью-Йорке, например, мы сейчас проводим тесты в Нэшвилле, Денвере, Сиэтле. В Сиэтле бывает и огледенение, и снег. И мы собираемся запускаться и в других географиях, то есть, например, в Токио, в Лондоне. В следующем году мы тоже собираемся запуститься в некоторых из этих географий. В Токио, например, вообще движение по другой стороне улицы. Собственно, страна тоже совсем другая. Но даже внутри штатов, в каждом штате есть свои правила дорожного движения специфичные, есть своя специфика, то, как выглядят знаки, то, как устроены дороги. Да даже внутри этого штата. То есть если приехать из Сан-Франциско в Лос-Анджелес, то будет много заметных отличий. Хотя, казалось бы, это один штат, это один часовой пояс и очень похожая погода. Но когда ты находишься в такой большой стране с разными географиями, разными законами, разными штатами, то возможность менять условия в симуляторе, она очень полезна.

Скажи, пожалуйста, насколько этот симулятор тяжелый? В смысле, сколько одновременно тачку, словно ты можешь симулировать? Это нужно как бы много серверов или это один сервер? Короче, очень интересно, вот, вычислительные мощности, необходимые для симуляции.

Мы используем очень большое количество серверов для симуляции, то есть мы можем запустить столько симуляций, сколько нам позволяет вычислительная мощность, и всё это запускается на сервере. То есть симулятор имеет совершенно другую архитектуру, отличную от машины. Если машина должна запускаться на одном устройстве, Это устройство имеет какую-то определенную архитектуру вычислительную, определенные параметры. То симуляция производится в облаке с помощью облаков, в которых мы запускаем различные модули. Какие-то модули могут использовать нейросети, соответственно, мы можем использовать графические ускорители. и специализированный запускать нейросети. Например, TPU. Какой-то софт мы хотим запускать на видеокартах NVIDIA, что-то мы запускаем на CPU, просто потому что CPU сильно дешевле, и их можно достать гораздо больше, чем остальных типов вычислителей. И все это оркестрируется и в одну симуляцию.

То есть это очень большой аппаратно-программный комплекс, как раньше говорили.

Да, всё верно.

Это не программа, которая может запустить себя на компьютере.

Да, это точно не программа, которую ты можешь запустить на даже очень-очень мощном компьютере. Это такой очень сложный софт, состоящий из большого количества модулей, большого количества компонентов, которые взаимодействуют друг с другом. Все вычисления производятся распределённо. То есть это дополнительно сложность, с которой мы сталкиваемся.

Какая скорость симуляции? Она быстрее, чем реальный мир? На какой скорости ты проигрываешь симуляцию?

Это очень сильно зависит от параметров симуляции. То есть, если ты хочешь запускать симуляцию, которая просто проигрывает данные из реальной жизни с минимальной модификацией, то ты можешь, конечно, запускать симуляцию на скорости, которая сопоставима с скоростью реального времени. Но в зависимости от того, насколько ты сильно меняешь параметры симуляции, конечно же, это увеличит количество вычислений для симуляции. то есть если ты генерируешь все данные, ну вот как, не знаю, как chat.gtt или jelenai, если ты их используешь, что ты просишь генерировать там картинку, то даже генерирование картинки занимает какое-то время. Точно так же и в симуляциях.—

Тебе надо видео генерировать.

Да, там тебе нужно генерировать видео или какой-то набор картинок, поэтому это тоже может замедляться. То есть, конечно же, наша цель – это симулировать много, симулировать быстро и симулировать хорошо. И все эти цели важны, и баланс между ними достаточно сложный, и отдельная такая задача, отдельная наука.

Так ли уж дешевле делать симуляцию, чем машинку на улице выпускать? Типа построить вокруг город и по ней ее гонять.

Ну, все равно, конечно же, гораздо-гораздо дешевле. Если ты все-таки делаешь это в масштабе, то это на много порядков дешевле, чем делать в этом режиме в реальное время. Ну и даже то, что я тоже упоминал.

Есть ситуации, в которых ты не можешь симулировать.

Да, ты не можешь их симулировать, или ты не можешь их симулировать в достаточном масштабе. То есть, если ты делаешь какую-то симуляцию в режиме реальной жизни, и, например, какой-то каскадер исполняет трюк, то ты не можешь сказать каскадеру, ой, а вот здесь, пожалуйста, на полсекунды позже сойди на дорогу.

Мы не уверены, как там нейросеть отреагирует.

Да, то есть если ты хочешь контролировать какие-то небольшие параметры, то в симуляции ты это можешь делать и ты это можешь масштабировать. В жизни, конечно, это и опасно часто бывает, или невозможно, или очень сложно. И всё это, комбинация всех этих факторов, она делает симуляцию более предпочтительным вариантом.

Насколько это инженерная работа, в смысле там, типа, сейчас мы переберем все параметры, а насколько там есть прямо условно люди, которые, не знаю, разбираются в том, как там происходит авария, и они такие сидят и говорят, а теперь попробуйте вот такую ситуацию, типа. К чему это ближе?

И то, и другое. То есть у нас есть люди, как я, которые участвуют в сфере инженера. не водил машину до того, как я приехал в Америку. Поэтому понятно, что большую часть какой-то доменной экспертизы у меня нет. Но для этого у нас есть специальные люди, которые являются экспертами, например, безопасности автомобильного движения. Они, например, определяют какие-то сценарии, параметры, определяют, каким образом будем измерять безопасность, какие ситуации, какие сценарии мы должны проработать. И это отдельная профессия, отдельная работа, которую в нашей компании выполняет большое количество людей.

Кирилл, спасибо тебе огромное. Дико интересный разговор. Мне очень понравилось.

Не за что.

Это подкаст «Студия Либо-Либо». Над эпизодом работали Маша Агличева, продюсеры Данил Остапов и Аня Коваленко, звукорежиссер Юрий Шустицкий. Зажимно спасибо Алексею Зеленскому. До встречи в следующий четверг.

Редактор субтитров А.Синецкая Корректор А.Егорова