Как универсальный ИИ-агент учится жить в открытом мире

ИИ-агенты уже давно обыгрывают людей в сложные игры вроде шахмат и Dota 2. Однако, стоит поместить их в менее структурированные неигровые или даже игровые цифровые миры, как их работоспособность резко снижается. Например, одна и та же модель, которая эффективно работает на фиксированных целях, может казаться совершенно беспомощной, если цели меняются и агенты должны сами понимать, как их достичь.

Недавние исследования показывают, что агенты все еще далеки от идеального поведения в открытых средах, при этом размер модели и архитектурные ухищрения играют меньшую роль, чем считалось ранее. Все большее значение приобретает способность агентов использовать мышление. В этой статье мы рассмотрим Lumine —  агента, который способен выживать в большом мире, продуманно выбирая действия и обучаясь на своем опыте.

В обзоре расскажу, почему для агентного ИИ важно не только копировать действия игроков, но и осваивать  особое гибридное планирование и обучение, а также размышлять только тогда, когда это необходимо.