Minería de argumentos con aprendizaje profundo y atención

Abstract

En este trabajo agregamos un mecanismo de atención a una red neuronal del estado del arte, que consiste de una red BiLSTM con embeddings de caracteres y una capa de CRF. Este modelo no sólo ha sido previamente aplicado en minería de argumentos, sino en muchas otras tareas de etiquetado de secuencias, como el Reconocimiento de Entidades Nombradas, PoS tagging, chunking, y el reconocimiento de eventos. Se simplificó la red para poder lograr una mejor comparación de resultados, y agregamos dos enfoques distintos del mecanismo de atención, variando las funciones de activación disponibles. Luego se realizaron experimentos y se analizaron los resultados obtenidos para determinar el impacto de la atención en el rendimiento de la red. Los modelos con atención fueron evaluados con un conocido corpus de ensayos persuasivos. El mismo consta de 402 ensayos de estudiantes en inglés, anotados manualmente con componentes argumentativos y sus relaciones. Se observó que el rendimiento de uno de los enfoques del mecanismo de atención superó al modelo sin atención, mientras que el enfoque restante no obtuvo mejoras en el desempeño. De la misma manera se comprobó que las distintas funciones de activación del mecanismo de atención son determinantes para el mismo.

In this paper, we add an attention mechanism to a state-of-the-art neural network, which consists of a BiLSTM with characters embeddings and a CRF layer. This model has not only been previously applied in argument mining, but in many other sequence tagging tasks, such as Named Entity Recognition, PoS tagging, chunking, and event recognition. The network was simplified in order to achieve a better comparison of results, and then two different attention mechanism approaches were added, varying between the availables activation functions. Experiments were then conducted, and the results obtained were analyzed to determine the impact of attention on the network performance. Attention models were evaluated with a well-known persuasive essays corpus. It consists of 402 students essays, manually annotated with argumentative components and their relations. It was observed that the performance of one of the attention mechanism approaches outperformed the no-attention model, while the remaining approach did not result in improvements of performance. Also, we proved that the different activation functions of the attention mechanism are decisive in the network performance.