Fine-tuning a Long Language Model for Curriculum Vitae Classification

Abstract

Este trabajo tuvo por principal objetivo clasificar curriculums vitae respecto al área de profesión, tarea importante en la gestión de recursos humanos y captación de personal. Esta investigación busca explorar las capacidades de clasificación de los Modelos de Lenguaje Largo (MLL) realizando un análisis comparativo versus métodos tradicionales de Machine Learning. Para lograr tal objetivo se empleó la técnica de fine-tuning al Modelo de Lenguaje Largo pre-entrenado por Google en el idioma inglés llamado BERT BASE UNCASED empleando un dataset de más de 3 mil currículums vitae de 25 áreas de profesión y 3 épocas de entrenamiento contra los modelos tradicionales Random Forest, SVM, Logistic Regression y Naive Bayes Multinomial. La metodología está compuesta por 7 etapas esenciales para adaptar un modelo pre-entrenado en una tarea específica asegurando su óptimo performance. La investigación proporciona un análisis comparativo enfocándose en las métricas Exactitud, F1-score, Precisión y Recall. Los resultados más importantes obtenidos fueron 83,0% de Exactitud y 82,3% de Precisión para el modelo base de Google y 82,8% de F1-score y 86,2% de Recall para Naive Bayes Multinomial revelando que el modelo base de Google tiene un buen desempeño prediciendo la clasificación de currículum vitae mientras que Naive Bayes Multinomial es mejor para detectar la mayoría de casos positivos. Esta investigación no solo contribuye mostrando el desempeño de los MLL para la tarea de clasificación en contraste con sus pares de Machine Learning tradicional, sino que adicionalmente ofrece un enfoque innovador para las prácticas de gestión de recursos humanos y captación de personal.