Diagnosis and prognosis in clinical databases through unsupervised statistical techniques

Abstract

When working in clinical settings, epidemiological research can, and frequently has, a direct impact on patients. Observational studies based on hospital data can be extremely valuable tools, especially in situations in which time is a key element. They have the ability tostudy a broad range of patients, and test very complex associations, both regarding the search and study of pathologies, prevalence, characteristics, associated risk factors or conditions, or associations between treatments or interventions and clinical outcomes. In recent years there has been a substantial growth in high quality observational studies in epidemiology, which is hypothesised to be due to two main factors. First, a proper, strong design that accounts for several potential error sources that account for the lack of randomization of observational studies. Second, because the proliferation and improvement of electronic health records (EHRs), researchers have been able to use techniques from other fields of study for epidemiological settings. In this thesis we aimed to contribute to the study and implementationof machine learning techniques that allow to take advantage of EHRs and clinical databases in observational epidemiological studies. To that aim, we incorporated unsupervised machine learning techniques for pattern identification studies to explore comorbidity patterns in hospitalized patients. In study 1, we compared the performance of three dimensionality reduction techniques, (i.e., Principal Component Analysis (PCA), t-Stochastic NeighborEmbedding (t-SNE) and Uniform Manifold Approximation and Projection (UMAP)) when applied in combination with cluster analysis to find hidden diagnostic patterns, finding a superior performance of UMAP...

La investigación epidemiológica puede tener un gran impacto sobre los pacientes, especialmente en entornos clínicos. Los estudios observacionales basados en datos recogidos en los hospitales son herramientas muy valiosas, especialmente en situaciones en las que el tiempo es un elemento clave, ya que tienen la capacidad de estudiar una amplia gama de pacientes, y probar asociaciones muy complejas, tanto en lo que respecta a la búsqueda y estudio de patologías, su prevalencia, características, factores de riesgo o condiciones asociadas, como asociaciones entre tratamientos o intervenciones y resultados clínicos. En los últimos años la calidad de los estudios observacionales en epidemiología se ha visto sustancialmente incrementada. Se hipotetiza que este crecimiento se debe principalmente a dos motivos. Primero, a un adecuado diseño de investigación que tiene en cuenta todas las fuentes de error inherentes a la falta de aleatorización en los estudios observacionales. Segundo, debido a la proliferación y mejora de las historias clínicas electrónicas (EHR), los investigadores han podido acercar a la epidemiología varias técnicas utilizadas en otros campos del conocimiento. En la presente tesis pretendemos contribuir al estudio y la implementación de técnicas de aprendizaje automático que permitan aprovechar las EHR y bases de datos clínicas en los estudios epidemiológicos observacionales. Para ello, incorporamos técnicas de aprendizaje automático no supervisado del campo de la identificación de patrones para explorar patrones de comorbilidad en pacientes hospitalizados. En el estudio 1, comparamos el rendimiento de tres técnicas de reducción de la dimensionalidad (Análisis de Componentes Principales (PCA),t-Stochastic Neighbor Embedding (t-SNE) y Uniform Manifold Approximation and Projection (UMAP)) cuando se aplican con un análisis de conglomerados, encontrando un rendimiento superior de UMAP...