Analysis of Open-Ended Questions in Teacher Performance Evaluation Using Text Mining in R and Chat GPT
DOI:
https://doi.org/10.17268/scien.inge.2025.03.03Keywords:
Text Mining, Chat GPT, Teacher Performance, Open-Ended Questions, Automated Text AnalysisAbstract
This study presents a comparative analysis of Text Mining applications in R and the ChatGPT language model for processing open-ended responses in teaching performance evaluations at the National University (UNA) of Costa Rica. Simulated data based on historical student evaluations were used to ensure confidentiality. The analysis in R included techniques such as tokenization, term frequency analysis, word association, and sentiment analysis, while ChatGPT was employed for semantic interpretation, summary generation, and automatic categorization of strengths and areas for improvement. The results show that R provides statistical precision and the ability to explore textual patterns, whereas ChatGPT excels in interpretative flexibility and its potential to automate analytical report generation. The high correlation between both approaches in the detection of emotions and key topics demonstrates the complementarity of their outcomes. It is concluded that integrating text mining tools and language models can optimize qualitative analysis in educational contexts, promoting more objective, efficient, and evidence-based evaluation processes. This combined approach offers a replicable framework to strengthen academic management and foster continuous improvement in university teaching quality.
References
A Fuller, K., Morbitzer, K. A., Zeeman, J. M., M Persky, A., C Savage, A., & McLaughlin, J. E. (2024). Explor-ing the use of ChatGPT to analyze student course evaluation comments. BMC Medical Education, 24(1), 423. https://doi.org/10.1186/s12909-024-05316-2
Buenano-Fernandez, D., Gonzalez, M., Gil, D., & Lujan-Mora, S. (2020). Text mining of open-ended ques-tions in self-assessment of university teachers: An LDA topic modeling approach. IEEE Access: Practical Innovations, Open Solutions, 8, 35318–35330. https://doi.org/10.1109/access.2020.2974983
Caballero, J. & Enciso, J. E. (2022). Minería de texto aplicado en preguntas abiertas sobre evaluación docen-te: Enfoque de modelado de tópicos con LDA. Recuperado de: http://hdl.handle.net/10554/63615
Dang, S., & Ahmad, P. H. (2014). Text mining: Techniques and its application. International Journal of En-gineering & Technology Innovation, 1(4), 22–25.
Gómez, L. F., & Valdés, M. G. (2019). La evaluación del desempeño docente en la educación superior. Propósitos y Representaciones, 7(2), 479–515.
Hotho, A., Nürnberger, A., & Paaß, G. (2005). A brief survey of text mining. Journal of Language Technolo-gy and Computational Linguistics, 20(1), 19–62.
Liu, B. (2010). Sentiment analysis: A multi-faceted problem. IEEE Intelligent Systems, 25(3), 76–80.
Liu, B. (2022). Sentiment analysis and opinion mining. Springer Nature.
Li, L., Ma, Z., Fan, L., Lee, S., Yu, H., & Hemphill, L. (2024). ChatGPT in education: a discourse analysis of worries and concerns on social media. Education and Information Technologies, 29(9), 10729–10762. https://doi.org/10.1007/s10639-023-12256-9
Mamo, Y., Crompton, H., Burke, D., & Nickel, C. (2024). Higher education faculty perceptions of ChatGPT and the influencing factors: A sentiment analysis of X. TechTrends : For Leaders in Education & Train-ing, 68(3), 520–534. https://doi.org/10.1007/s11528-024-00954-1
Martínez, S., & García, J. (2017). Aproximación al concepto de desempeño docente, una revisión conceptu-al sobre su delimitación. Congreso Nacional de Investigación Educativa. http://www.comie.org.mx/congreso/memoriaelectronica/v14/doc/2657.pdf
Meléndez, N., Briceño, M., Giberton, J., & Lucente, R. (2023). MINERÍA DE TEXTO APLICADO AL ANÁLISIS DE SENTIMIENTOS PARA LA BÚSQUEDA DE PATRONES DE MOTIVACIÓN EN PRO-GRAMA DE ACTUALIZACIÓN DOCENTE. Revista Académica Creatividad e Innovación En Edu-cación, 2(1), 32–40. https://doi.org/10.47300/2953-3015-v2i1-03
Montenegro-Rueda, M., Fernández-Cerero, J., Fernández-Batanero, J. M., & López-Meneses, E. (2023). Im-pact of the implementation of ChatGPT in education: A systematic review. Computers, 12(8), 153.
Montoya, J., Arbesú, I., Contreras, G., & Conzuelo, S. (2014). Evaluación de la docencia universitaria en México, Chile y Colombia: Análisis de experiencias. Revista Iberoamericana de Evaluación Educativa, 7(2e), 15–42. https://revistas.uam.es/riee/article/view/3111
Ngai, E. W., & Lee, P. T. Y. (2016). A review of the literature on applications of text mining in policy making.
Pacheco, M. L. C., Ibarra, I., Iñiguez, M. E., Lee, H., & Sánchez, C. V. (2018). La evaluación del desempeño docente en la educación superior. Revista Digital Universitaria (RDU), 19(6), 1–11. https://doi.org/10.22201/codeic.16076079e.2018.v19n6.a2
Peña-Torres, J. A. (2024). Towards an improved of teaching practice using Sentiment Analysis in Student Evaluation. Ingeniería y Competitividad, 26(2). https://doi.org/10.25100/iyc.v26i2.13759
Radford, A., Narasimhan, K., Salimans, T., & Sutskever, I. (2018). Improving language understanding by generative pre-training. https://www.mikecaptain.com/resources/pdf/GPT-1.pdf
Rodriguez Siu, J. L., Rodríguez Salazar, R. E., & Fuerte Montaño, L. (2021). Habilidades blandas y el des-empeño docente en el nivel superior de la educación. Propósitos y Representaciones, 9(1).
Wang, Z., Xie, Q., Feng, Y., Ding, Z., Yang, Z., & Xia, R. (2023). Is ChatGPT a good sentiment analyzer? A preliminary study. arXiv. https://arxiv.org/abs/2304.04339
Wellein, M. G., Ragucci, K. R., & Lapointe, M. (2009). A peer review process for classroom teaching. Ameri-can Journal of Pharmaceutical Education, 73(5), 1–7. https://doi.org/10.5688/aj730579
Zhang, Y., Chen, M., & Liu, L. (2015). A review on text mining. In 2015 6th IEEE International Conference on Software Engineering and Service Science (ICSESS) (pp. 681–685).
Zhang, W., Li, X., Deng, Y., Bing, L., & Lam, W. (2022). A survey on aspect-based sentiment analysis: Tasks, methods, and challenges. IEEE Transactions on Knowledge and Data Engineering, 35(11), 11019–11038.
Downloads
Published
How to Cite
Issue
Section
License
This work is licensed under a Creative Commons Attribution 4.0 International License.
Los autores/as que publiquen en esta revista aceptan las siguientes condiciones:
- Los autores/as conservan los derechos de autor y ceden a la revista el derecho de la primera publicación, con el trabajo registrado con la licencia de atribución de Creative Commons, que permite a terceros utilizar lo publicado siempre que mencionen la autoría del trabajo y a la primera publicación en esta revista.
- Los autores/as pueden realizar otros acuerdos contractuales independientes y adicionales para la distribución no exclusiva de la versión del artículo publicado en esta revista (p. ej., incluirlo en un repositorio institucional o publicarlo en un libro) siempre que indiquen claramente que el trabajo se publicó por primera vez en esta revista.
- Se permite y recomienda a los autores/as a publicar su trabajo en Internet (por ejemplo en páginas institucionales o personales) antes y durante el proceso de revisión y publicación, ya que puede conducir a intercambios productivos y a una mayor y más rápida difusión del trabajo publicado
