Ultimamente um assunto muito presente e popular no mundo da tecnologia é os modelo generativos denominado Diffusion Models. Entendemos que os modelo de difusão tem capacidade de superar GANS (Rede Adversárias Generativas), tudo isto devidos algumas publicações entre 2020 e 2021.

O que é o Modelo de Difusão:

Aprendi este termo nos livros de Física 2 nos capítulos de termodinâmica. Um sistema desequilibrado possui uma grande concentração de um determinado material (exemplo vazamento de gás que resulta no cheiro forte localmente). A difusão coloca o sistema em equilíbrio, como por exemplo a moléculas de perfume se difunde a partir de uma região para todo sistema assim causando o equilíbrio. Ou seja, tudo torna-se homogêneo.

Esta é toda origem motivacional dos modelos de difusão, que utilizam uma série de variáveis onde o valor de cada uma depende do estado do evento anterior. A difusão usa rede neural durante o processo, tentando prever o ruído a cada fase assim simplificando a tarefa.

Tomando este conceito como base científica, diversos projetos surgiram que alcançam o desempenho humano em tarefas de criação de imagens. A função desta IA é gerar imagens a partir de descrições de texto e também utiliza aprendizado multimodal para conectar a semântica entre texto e imagens. Além de revolucionário iram mudar a área de design de produtos e conteúdo visual para diversas finalidades. Existem alguns projetos famoso como Dall E, Midjourney e Stable Diffusion.

Stablle difusion é opensource, inclusive tenho instalado na minha máquina. E justamente por ser opensource, já avançou para uma segunda geração. A criação de modelos e artes 3D, o paper podemos encontrar neste link https://arxiv.org/abs/2209.14988

Em … o projeto foi implementado em pytorch de toda teoria. O projeto foi batizado como Stable-Dreamfusion similar ao modelos de difusão para criar imagens e artes mas agora em 3D. Com isto este modelos poderão ser utilizados no metaverso e também jogos. Abaixo um exemplo gerado com este projeto https://github.com/ashawkey/stable-dreamfusion, digitando o texto “Um fantasmas comendo um harmburger” ! Vale a pena ressaltar que o projeto pioneiro foi o GET3D da Nvidia https://github.com/nv-tlabs/GET3D.