ИИ не смог управлять даже Corolla: 8 из 11 тестов завершились авариями
Исследователи проверили, как современные модели ИИ справляются с управлением автомобилем. В тесте DrivingBench агенты Claude, GPT и Grok провалили 8 из 11 заездов, а полностью пройти маршрут смог только GPT-6 Astra.
Об этом пишет издание TTAC.
В рамках эксперимента команда исследователей разработала DrivingBench — тест для оценки способности готовых ИИ-агентов управлять автомобилем. В тесте использовалась Toyota Corolla с системой Comma и оборудованием OpenPilot, которое применяется в исследованиях в области автономного вождения.
Маршрут специально сделали простым: автомобиль должен был проехать небольшое расстояние по парковке, где было всего несколько поворотов и небольшие конусы, обозначавшие границы трассы.
Каждая модель получала одинаковую команду и инструкции и могла самостоятельно управлять газом, тормозами и рулем. Общение происходило в одном непрерывном чате, а команды поступали в автомобиль через беспроводную точку доступа. Из-за этого машина иногда останавливалась, ожидая новой команды. Каждому агенту дали по три попытки.
Результаты оказались неутешительными. В 8 из 11 заездов модели не преодолели даже 11 % маршрута и завершали попытку уже на первом повороте.
Некоторые ошибки были связаны с неправильным пониманием окружающей среды. Grok, например, воспринял промежуток между конусами на внешней стороне трассы как ворота и выехал прямо за пределы маршрута. Один из вариантов GPT ошибочно решил, что конусы с одной стороны имеют одинаковый цвет, хотя в инструкции прямо предупреждалось не делать такого предположения.
Другие модели не смогли правильно определить, насколько сильно нужно поворачивать руль на поворотах, из-за чего автомобиль не вписывался в траекторию.
Единственным автомобилем, полностью преодолевшим трассу, стал GPT-6 Astra. Это удалось сделать со второй попытки. Заезд не был идеальным: автомобиль широко проходил правый поворот и чуть не выехал за пределы трассы перед финишем, однако всё же преодолел дистанцию.
Успешный заезд обошёлся в 7,74 доллара. Это примерно в четыре раза больше, чем при предыдущей попытке, когда автомобиль смог преодолеть лишь половину маршрута. Исследователи связывают более высокую стоимость с более интенсивным использованием токенов — единиц обработки текста, за которые ИИ-системы могут взимать плату.
Ранее мы писали, что новая Toyota RAV4 получила массивный бампер.
Кроме того, Toyota в очередной раз перенесла премьеру электромобиля Highlander.