Mejorando reconocimiento de entidades nombradas del español mediante la especialización BETO

Abstract

En este trabajo se realizarán tareas de especialización sobre BETO, que es un modelo de lenguaje no supervisado, equivalente al modelo del lenguaje BERT, pero entrenado sobre un corpus de gran volumen del español. Intentaremos mejorar los resultados de la tarea de reconocimiento de entidades nombradas en español. El trabajo contará de varias etapas, en la primera etapa se buscará reproducir los resultados de BETO para tener un resultado sobre el cuál desarrollar. En una siguiente etapa se buscará mejorar el desempeño de BETO utilizando grandes corpus anotados del español, que requerirán un pre-proceso para alinearlo a las entidades presentes en el corpus de evaluación. Finalmente, se pasará a un esquema semi-supervisado, donde se utilizarán los mejores modelos encontrados para anotar un conjunto de datos no etiquetado, que se utilizará para afinar BETO en un esquema de bootstrapping.

In this work, specialization tasks will be carried out on BETO, which is an unsupervised language model, equivalent to the BERT language model, but trained on a large volume corpus of Spanish. We will try to improve the results of the Recognition of Named Entities in Spanish task. The work will have several stages, in the first stage it will seek to reproduce the results of BETO to have a result on which to develop. In a next stage, the performance of BETO will be improved using large annotated corpus of Spanish, which will require a pre-process to align it with the entities present in the evaluation corpus. Finally, we will move to a semi-supervised scheme, where the best models found will be used to annotate an unlabeled data set, which will be used to tune BETO in a bootstrapping scheme.