Aprendizaje automático fuera del equilibrio

Abstract

Los modelos de difusión han vivido en los últimos años una serie de transformaciones y desarrollos que los han convertido en herramientas de gran utilidad y muy competitivas en el ámbito de la computación generativa. Por lo tanto a través de este trabajo trataremos de estudiar los últimos desarrollos bajo un mismo marco y buscaremos aplicar de forma experimental las conclusiones teóricas alcanzadas, así como introducir una posible conexión con el estudio de las transiciones de fase. El estudio se iniciará desde las bases de la termodinámica del no equilibrio, donde se entiende la difusión como el mecanismo de conducción consecuencia del cambio o gradiente en alguna de las propiedades de un sistema frente a una fuerza termodinámica. Al igual que hablamos de difusión de partículas o difusión del calor podemos hablar de difusión de la información en los sistemas. En este sentido buscaremos entonces estudiar cómo evoluciona la probabilidad frente a un proceso difusivo. Para lograrlo se tomará una cadena de difusión de Markov que transformará una muestra original de datos ordenada en t = 0 hacia una distribución gaussiana termalizada en t = T. De esta forma, estudiando la probabilidad del proceso buscaremos revertir su funcionamiento a través de un segundo proceso de difusión en este caso inverso. Dicho proceso inverso es el que modelizaremos empleando una arquitectura lo más sencilla posible, que permita mantener una trazabilidad del aprendizaje pero lo suficientemente práctica como para obtener buenos resultados. Se emplearán autoencoders de una sola capa oculta. Se comprobará entonces cómo el proceso inverso podrá llevar distribuciones gaussianas a la distribución original de nuestros datos y podremos generar así muestras en ese espacio totalmente nuevas.

In recent years, Diffusion Models have undergone a series of transformations and developments that have turned them into very useful and competitive tools in the field of generative computing. Consequently, this work studies the last developments of diffusion models under an unified frame, and constructs a practical application from the conclusions drawn. Additionally, a link to phase transitions is introduced. The study will begin from the basis of non-equilibrium thermodynamics, where diffusion is understood as the conduction mechanism due to a change or gradient in a systems property under a thermodynamical force. As well as particle or heat diffusion, we can study diffusion occurring in the information of a system. Therefore, it would be convenient to study the evolution of probability through a diffusive process. To achieve this goal, a Markov Diffusion Chain will be used to transform an original data distribution t = 0 into a thermalized Gaussian distribution t = T. Hence, from this probability, a second and reversed diffusion process can be constructed. This second reverse diffusion process will be the goal to modelize through the simplest yet practical machine learning architecture, single hidden layer autoencoders. That would allow a traceable study of the model together with good results. From this study it will be proved how the reverse process can transform samples from Gaussian distributions back into new samples living in our original data distribution.