A importância da modelagem de ativos 3D é inegável na era do metaverso. Os métodos tradicionais de modelagem 3D de cenas sintéticas realistas envolvem tarefas minuciosas de design complexo, refinamento e comunicação com o cliente.

Em minha jornada diária e persistente de vasculhar meticulosamente os artigos científicos publicados, buscando identificar aqueles que, inquestionavelmente, moldarão o panorama do futuro, quero destacar de forma especial o 3D-GPT.

Esse artigo, que foi divulgado na última quinta-feira, dia 19 de outubro de 2023, não é apenas mais um entre tantos. Ele apresenta e discorre sobre a iminente e fascinante convergência entre o metaverso e a inteligência artificial. Essa fusão, conforme evidenciado no documento, promete redefinir os paradigmas de como percebemos e interagimos com realidades virtuais, destacando-se como um marco no avanço tecnológico e conceitual. A relevância deste paper é tamanha que ele pode muito bem ser um dos pilares que sustentará as inovações nas próximas décadas.

Resumindo, o paper 3D-GPT, utiliza Large Language Mode (LLMs) para modelagem 3D orientada por instruções. Neste contexto, o 3D-GPT capacita os LLMs para proporcionar tarefas de modelagem 3D em segmentos gerenciáveis e determinando o agente apropriado para cada um.

O 3D-GPT é estruturado com a presença de três agentes fundamentais que desempenham papéis específicos: o agente de despacho de tarefa, responsável por organizar e delegar funções; o agente de conceituação, que interpreta e conceitua as diretrizes; e o agente de modelagem, encarregado do processo de construção e modelagem 3D em si. Trabalhando de forma integrada, estes agentes coletivamente perseguem dois propósitos de grande importância. O primeiro deles envolve um aprimoramento sistemático e consistente das descrições iniciais da cena, que são breves e sucinta. Estas descrições são progressivamente transformadas e evoluídas para representações mais detalhadas e complexas, ao mesmo tempo que o 3D-GPT ajusta e modifica dinamicamente o texto, levando em consideração as instruções adicionais que são fornecidas ao longo do processo. Como segundo objetivo, o 3D-GPT se empenha em incorporar de maneira fluida e contínua técnicas de geração procedural. Isto é realizado através da extração de valores específicos de parâmetros presentes no texto enriquecido, facilitando assim a interface e integração com programas especializados em 3D, otimizando a criação de ativos digitais.

No video acima, podemos notar que o 3D-GPT fornece resultados confiáveis e colabora efetivamente com designers humanos. Além disso, ele se integra perfeitamente ao Blender, desbloqueando mais possibilidades de manipulação. O trabalho destaca o imenso potencial dos LLMs na modelagem 3D, estabelecendo as bases para futuros avanços na geração de cenas e animação.

Link do Paper: https://arxiv.org/pdf/2310.12945.pdf