Apresentamos o Voyager, um inovador agente de aprendizado contínuo incorporado (LLM) no universo virtual de Minecraft. Ele é o primeiro de sua categoria, capaz de explorar o mundo continuamente, adquirir uma ampla gama de habilidades e fazer descobertas inéditas, tudo isso sem qualquer intervenção humana. Este post mostrará as características únicas do Voyager, sua estrutura, funcionalidades e sua capacidade de aprendizado, além de destacar seu desempenho superior em relação a outros projeto.

Em maneira empirica, o Voyager demonstra forte capacidade de aprendizado contínuo no contexto e exibe excepcional proficiência em jogar Minecraft. Voyager é capaz de utilizar a biblioteca de habilidades aprendida em um novo mundo do Minecraft para resolver tarefas inéditas do zero, enquanto outras técnicas lutam para generalizar.

O Voyager é formado por três componentes principais, essenciais para a sua operação e performance.

• O Voyager emprega um currículo automático cuja principal função é maximizar a exploração. Este currículo determina as diretrizes básicas para as atividades de aprendizado do agente, buscando garantir que ele explore o ambiente de maneira eficiente e eficaz. Ele é projetado para incentivar o agente a buscar ativamente novas experiências, ampliando assim a variedade de habilidades que pode adquirir.
• Proporciona uma biblioteca de habilidades em constante expansão, que armazena códigos executáveis capazes de representar e recuperar comportamentos complexos. Este recurso é vital para a habilidade do Voyager de adquirir, manter e aplicar uma ampla gama de habilidades. As habilidades que o Voyager aprende não são apenas armazenadas para uso futuro, mas são também organizadas de tal maneira que podem ser recuperadas e aplicadas de forma eficiente conforme a necessidade.
• Finalmente, o Voyager emprega um novo mecanismo de prompt iterativo que incorpora feedback do ambiente, erros de execução e auto-verificação para aprimorar o desempenho do programa. Esse mecanismo é essencial para ajudar o Voyager a aprender com suas ações, avaliar o sucesso de suas tarefas e corrigir erros, contribuindo para o seu crescimento e desenvolvimento contínuos.

Interação com GPT-4

Um aspecto interessante do Voyager é a forma como ele interage com o GPT-4, uma arquitetura de modelo de linguagem poderosa da OpenAI. O Voyager consulta o GPT-4 usando consultas de caixa preta, uma abordagem que evita a necessidade de ajuste fino dos parâmetros do modelo. Isso facilita a interação entre o Voyager e o GPT-4, permitindo que o agente aprenda e opere de forma mais eficiente.

As Habilidades do Voyager

As habilidades que o Voyager adquire e desenvolve são extensas, interpretáveis e composicionais. Elas são extensas no sentido de que o agente é capaz de aplicá-las em uma série de contextos ao longo do tempo. Elas são interpretáveis, o que significa que podem ser entendidas e analisadas tanto pelo Voyager quanto por observadores humanos. E são composicionais, de forma que o agente pode combinar diferentes habilidades para formar comportamentos mais complexos. Esta combinação de características permite ao Voyager aumentar rapidamente suas habilidades e mitigar o problema do esquecimento catastrófico, um desafio comum em sistemas de aprendizado de máquina.

Mais detalhes sobre o projeto aqui: https://github.com/MineDojo/Voyager