Procesamiento de imágenes médicas para generación automática de reportes
Date
2019Author
Garay, Lucas Gonzalo
Advisor
Alonso i Alemany, Laura, dir.
Metadata
Show full item recordAbstract
En el presente trabajo se plantea el problema de la generación automática de reportes médicos a partir de imágenes. La redacción de informes que interpretan las imágenes médicas consume gran parte del tiempo de los especialistas. Además, en muchos casos se trata de una tarea muy repetitiva. En este contexto, un texto generado automáticamente puede reducir el trabajo del médico, que en lugar de redactar el texto completo se enfocará en revisar y modificar un texto generado automáticamente.
El objetivo de esta tesis es consolidar una implementación basada en redes neuronales para descripción textual de imágenes. Para ello, se utilizará una arquitectura provista para la descripción de imágenes genéricas y se aplicará en este dominio médico.
Finalmente se hará una comparación con otras implementaciones específicas de dominio y se compararán los resultados de forma cuantitativa y cualitativa.
La principal dificultad que se presenta es la escasez de datos disponibles, porque a pesar de que se generan grandes volúmenes de datos, no siempre se encuentran disponibles para su uso.
Para resolver este problema se aplicarán técnicas tales como subsampling y suprasampling.
Otro problema detectado refiere a la métrica estándar de evaluación, BLEU, la cual no mide la semejanza entre dos textos de la forma que esperaríamos. Para solucionar esto, se plantea el uso de la similitud coseno. Finalmente, se reportará el impacto de los word embeddings y el mecanismo de atención.
In the present work we expose a system which aim is to automatically generate medical reports from medical images. The specialists spend a lot of time writing reports from images. Moreover, most of the cases this is a very repetitive task. In this context, an automatic generated draft could reduce the doctor’s workload, which will not write the whole report by himself, instead can review and modify the automatic generated draft.
This thesis objective is to consolidate a neural network based implementation for image captioning. For this task, we will use a provided architecture for generic image captioning but will use it for medical domain. At the end, we will do a quantitative and qualitative comparison between our generic approach and some specific domain approaches.
The main difficulty is the lack of available data, because despite of the huge amount of that is generated, not all of this data is available and with free use. To solve this problem we will apply some techniques such as subsampling and suprasampling.
Another detected problem refers to the standard metric, BLEU, which doesn’t capture the similarity of two texts the way that we expected. To address this problem, we propose the cosine similarity. Finally, we report the impact the of specific domain word embeddings and the attention mechanism.