Usar la historia del diálogo para mejorar modelos de Visual Question Answering

Abstract

En este trabajo presentamos algunas técnicas para poder crear modelos que utilicen el historial de una conversación para responder preguntas sobre una imagen. En particular desarrollamos sobre un modelo llamado Oráculo que debe responder preguntas sobre un objeto particular en una imagen en un contexto de un diálogo con otro jugador, el Preguntador. Dicho juego se llama GuessWhat!?. Es una tarea muy interesante ya que mezcla la visión y el lenguaje.

In this work we present some techniques to create models that use the history of a conversation to answer questions about an image. In particular we do all the research on a model called Oracle that must answer questions about a particular object in an image in the context of a dialogue with another player, the Questioner. This game is called GuessWhat!?. It is a very interesting task since it mixes vision and language.