Revista CIENCIA Y TECNOLOGÍA

ISSN 1810-6781 Rev. Cienc. Tecnol. 20(1): 11 -22, (2024)

Grado de usabilidad de plataformas e-learning a través del método de evaluación heurística en estudiantes de universidad pública de Trujillo 2021-2022

Degree of usability of e-learning platforms through heuristic evaluation method in students of public university of Trujillo 2021-2022

Wilmer Aufredy Apaza Chávez * orcid; David Everson Agreda Gamboa orcid2

Escuela de Posgrado Doctorado en Ciencias e Ingeniería, Universidad Nacional de Trujillo, Av. Juan Pablo II s/n – Ciudad Universitaria, Trujillo, Perú.

* Autor correspondiente: wapazac@unitru.edu.pe (W. Apaza)               DOI: 10.17268/rev.cyt.2024.01.01
Esta obra está publicada bajo la licencia
CC BY 4.0
Fecha de envío: 08-08-2023       Fecha de aceptación: 27-01-2024       Fecha de publicación: 08-03-2024

RESUMEN

La Universidad Nacional de Trujillo ofrece servicios educativos de alta calidad en sus diversos programas; debido a la crisis sanitaria, la institución experimentó un giro trascendental en la modalidad prestacional de las clases, las que se tornaron de presenciales a virtuales. Este cambio forzó a la población universitaria a hacer uso de herramientas tecnológicas como las plataformas virtuales, no obstante, el proceso de adecuación resultó muy difícil para todos. Barreras como la falta de cultura previa y la compleja manipulación de estos sistemas impidieron a muchos estudiantes continuar con sus estudios. Con el objetivo de abordar esta problemática se llevó a cabo un estudio para determinar los grados de usabilidad de plataformas virtuales a través de un método de evaluación heurística con la finalidad de identificar atributos a mejorar con el apoyo de expertos. Para lograrlo se determinaron los componentes que hacen posible el correcto y sencillo uso de estas plataformas donde el estudiante tenga la posibilidad de desarrollar sus materias y poder comprender el uso de la plataforma, que posee características intuitivas. Esta investigación concluyó con la evaluación de los grados por cada componente dando como resultado un nivel muy significativo en el uso del aula virtual E-learning.

Palabras clave: Usabilidad, Plataforma Virtual, E-learning, Evaluación Heurística.

ABSTRACT

The National University of Trujillo offers high quality educational services in its various programmes; due to the health crisis, the institution underwent a major change in the mode of delivery of classes, which became from face-to-face to virtual. This change forced the university population to make use of technological tools such as virtual platforms, but the process of adaptation was very difficult for everyone. Barriers such as the lack of previous culture and the complex manipulation of these systems prevented many students from continuing their studies. In order to address this problem, a study was carried out to determine the degrees of usability of virtual platforms through a heuristic evaluation method with the aim of identifying attributes that could be improved with the support of experts. In order to achieve this, the components that make the correct and simple use of these platforms possible were determined, where the student has the possibility of developing their subjects and being able to understand the use of the platform, which has intuitive characteristics. This research concluded with the evaluation of the grades for each component giving as a result a very significant level in the use of the virtual classroom E-learning.

Keywords: Usability, Virtual Platform, E-learning, Heuristic Evaluation.

1. INTRODUCCIÓN

En esta investigación se busca conocer el cambio en la prestación del servicio de educación universitaria ante la creciente inclusión de las TIC´s, a causa de la pandemia en los últimos años. Principalmente en las plataformas E-learning que son en la actualidad ampliamente utilizadas tanto en las universidades como instituciones educativas dando realce como medio para el uso de los cursos virtuales. (Huaranca-Arohuanca, et al., 2009). Por este motivo, la usabilidad es una de los factores más primordiales en cuanto a la calidad y competencia de una plataforma E-Learning, debe ser aprendido, entendido, usado y atractivo, por diversos estudiantes en situaciones de uso específicas. (Ausubel,1983) Sin embargo, en la ciudad de Trujillo, se ha constatado que el uso de las plataformas E-Learning que los estudiantes universitarios han adoptado debido a la nueva modalidad de educación virtual aprobada por el congreso del Perú el 10 de marzo del 2020, por decreto legislativo que permitió sustituir un artículo de la ley universitaria donde es posible las clases virtuales, si y solo si, no se incumplan las condiciones básicas de calidad como lo establece la SUNEDU. (Figallo, et. al., 2020). Esta misma realidad se encuentra a nivel nacional en las universidades donde el inicio de enseñanza virtual otorga una incidencia en las públicas es de 14,1 % y las particulares de 55,9 % , por otro lado las que no iniciaron la modalidad virtual corresponde a un 72,2 % en las públicas y un 27,3 % en las privadas, culminado con las universidades que no declararon su fecha de inicio, que corresponde a un 52,4 % en las públicas y un 47,6% en las privadas, todas estas pertenecientes a universidades licenciadas, de las cuales, algunas han tenido que crear y otras robustecer plataformas virtuales para los cursos online ya que debido a la pandemia no se pueden brindar los cursos presencialmente; inclusive, a nivel mundial, expertos en la virtualidad anticipaban el boom de los canales online, avisando que surgirían más pronto que tarde. Las plataformas virtuales poseen un gran protagonismo, aseguran que la progresión de la educación remota en necesaria. Además, se identifican a los equipos de desarrollo, administradores y expertos como agentes de apoyo que gestionan los sistemas de los cursos E-learning los cuales realizan esfuerzos para ofrecer sistemas de calidad, que ejecutan patrones específicos y cualidades que certifican la conformidad del estudiante y una comprobación de uso satisfactorio mediante la manipulación de la plataforma. (Diaz, 2009) Esto representa una característica primordial ya que, si un sistema es difícil de usar, no es entendible o falla al momento de mostrar resultados, esto genera un rechazo o desinterés por parte del estudiante hacia la plataforma virtual, lo que a su vez provoca un rechazo en la interacción y que el proyecto en progreso de sistema sea catalogado un fracaso tecnológico que se interpreta en abandono del curso virtual. En congruencia con FIPES que es la Federación de Instituciones Privadas de Educación Superior, existe un aproximado de 650 mil estudiantes en todo el Perú que abandonarán sus estudios, 350 mil estudiantes de universidades del sector privado y 300 mil estudiantes de institutos, debido a causas económicas y tecnológicas; en este último coexisten variados grados de progreso de los recursos virtuales, estos dependen del tipo de universidad ya que la mayoría de universidades no han implementado el desarrollo de cursos virtuales, al menos un 70% de las universidades no lo han puesto en práctica, además de encontrar otras dificultades como cursos que no se puedan ofrecer en línea como el caso de laboratorios o talleres. De este modo, otro punto de vista fundamental es cómo valorar la virtualidad. Es un tema que va más allá desde el punto de vista nacional y está tomando importancia por la enseñanza para determinar si el sistema virtual está funcionando, además, de parte del estudiante, contar con los recursos tecnológicos para poder conectarse. Por ahora, en nuestro país y - seguramente - en los demás, surgirá la incógnita de como evaluar este periodo de la educación virtual. Por consiguiente, la virtualidad ha traído consigo diversos temas como, por ejemplo, los modelos enseñanza - aprendizaje, la valoración de la usabilidad de las plataformas virtuales, el bienestar emocional de los profesores y estudiantes, el afrontamiento de la deserción estudiantil. Por lo tanto, la importancia de una evaluación de usabilidad en los sistemas, así como brindar aplicativos con una categoría superior de importancia debido a las nuevas necesidades hacia los estudiantes, ha generado la creación de diversas herramientas y técnicas que se encargan en cuantificar el grado de sencillez de uso; este procedimiento es conocido en el ámbito HCI (Interacción humano-computador) como procedimiento de evaluación de usabilidad y autoriza a los expertos a establecer de manera sistemática si las cualidades del diseño de la interfaz de una plataforma E-learning colabora con obtener una categoría adecuada de usabilidad. Entre los procedimientos de inspección uno de los recursos más usados en el entorno normativo es la evaluación heurística planteada por el investigador Jakob Nielsen, experto en el área, la cual radica en la colaboración de un número de tres expertos en usabilidad para establecer la proporción superior de conflictos de usabilidad que están vigentes en un boceto de interfaz, para más adelante brindar resultados. A pesar de que la valoración heurística es uno de los métodos más característico, no existe un acuerdo entre los expertos sobre como el desarrollo de evaluación de usabilidad debe ejecutarse. El experto original contribuye con sugerencias generales sobre el procesamiento a seguir, empero, no existe un reglamento puntual con funciones bien definidas que faculte a encaminar, paso a paso, el desarrollo de evaluación de usabilidad. Por ello se propone un método de evaluación para gestionar de manera conveniente y competente el desarrollo de los sistemas E-Learning, que conllevan a cumplir con la calidad de sistema para el manejo del estudiante. (Marino, 2015)

La investigación se justifica por que busca conocer un nuevo método de evaluación heurístico para determinar el grado de usabilidad de plataformas E-Learning para estudiantes universitarios. Metodológicamente se justifica porque se desarrollará un método de evaluación heurística donde se propone la interacción de expertos y estudiantes universitarios con la finalidad de analizar los requerimientos plasmados en los estudiantes de cómo lograr que la plataforma E-Learning sea intuitiva al momento de manipularla. Prácticamente se justifica el uso intuitivo de las plataformas E-Learning por parte de las estudiantes y eso se logrará considerando a estos como parte del equipo de desarrollo durante las evaluaciones (Baeza, 2021). Socialmente se justifica por el involucramiento de los estudiantes universitarios para recoger sus requerimientos y, con el procedimiento de valoración heurística, obtener las características que requieren en la plataforma E-Learning (Guevara, et al.,2020)

Uno de los procedimientos clásicos de la valoración de la usabilidad para plataformas virtuales web es observado al no tomar en consideración al usuario, en conexión con la veteranía obtenida con el sistema (Toribio, et al., 2019). Además, un sistema con una sucesión sistemática de recopilación de información, con el objetivo que el usuario use el aula virtual para hacer sus asignaciones en el sistema computacional (Preece, et al., 2005). Entonces se tiene por requerimiento construir un arquetipo de sistema, que incorpore la usabilidad como parte primordial del sistema, ya que es la cualidad de calidad la que decide si la manipulación del sistema es sencillamente aprendida.(Jiménez, et al., 2012) El método consta de un reducido grupo de expertos que examinan los diseños de las ventanas gráficas del sistema para comprobar la culminación de establecimiento de principios de usabilidad heurística, si el experto dictamina que el prototipo incumple con los principios, debe ser corregido por el diseñador como parte del proceso de desarrollo de la plataforma. Además, actualmente la evaluación heurística es la más utilizada por los expertos, esto gracias a la ventaja que ofrece al permitir la recolección del 75 % de conflictos de la usabilidad que están representan en una interfaz, demandando el uso de cinco expertos (Nielsen, 2021). Finalmente las aplicaciones E-Learning han tenido un crecimiento en la industria del software y la usabilidad debe analizarse correctamente para tener productos exitosos donde se demuestre como resultados aplicaciones E-Learning educativas, (Cocunubo-Suárez, et al., 2018) agradables e intuitivas para el alumno y, al concluir su investigación, afirman que las aplicaciones E-Learning se benefician a partir del conjunto de heurísticas, porque proporcionan retroalimentación sobre cuestiones de E-Learning infantil a los diseñadores (Asmaa, et al., 2009).

2. MATERIALES Y METODOS

a) Objeto de estudio:
Estudiante universitario de la facultad de ingeniería.
b) Población:
Registro de 2773 estudiantes de la facultad de ingeniería de universidad pública de Trujillo matriculados en el 2021.
Tabla 1. Estudiantes de la Facultad de Ingeniería
c) Muestra:
Son considerados los 2773 estudiantes universitarios de la facultad de ingeniería de universidad pública con sus nueve escuelas conformadas por Arquitectura y Urbanismo, Ing. Civil, Ing. Materiales, Ing. de Minas, Ing. de Sistemas, Ing. Industrial, Ing. Mecánica, Ing. Mecatrónica e Ing. Metalúrgica que residan en la sede de Trujillo.
Tabla 2. Número de estudiantes de la facultad de Ingeniería a evaluar
d) Muestreo:
Los estudiantes de la facultad de Ingeniería de universidad pública de Trujillo suman un total de 2773 estu-diantes, dando una muestra de 90 estudiantes de la facultad de ingeniería a ser parte de la evaluación heu-rísticas de usabilidad, con un margen de error del 10% y nivel de confianza del 95% y proporción de éxito de 50%.
e) Instrumentación:
Para esta investigación se utilizará como instrumentos: cuestionario de entrevista para los expertos y escalas de tipo Likert junto a cuestionarios para los estudiantes universitarios.
f) Procedimientos para la recolectar información
En esta investigación se seguirá la siguiente secuencia:
Figura 1. Secuencia de recolección de datos

3. RESULTADOS Y DISCUSIÓN

a) Método de usabilidad propuesto:
A continuación, se representa mediante diagrama de bloques los componentes que se tendrán en cuenta para evaluar la usabilidad.
Figura 2. Diagrama de bloques de componentes
b) Técnica de minería de datos:
A continuación, destacaremos la técnica que se utilizará en esta investigación la cual es el árbol de decisión el cual consiste en un esquema muy similar a un diagrama de flujo y cuyos nodos internos es una represen-tación de muestra en una cualidad, cada rama simboliza un resultado y cada hoja un rótulo de clase, que es el resultado de la decisión adoptada después de analizar las cualidades. Un camino de la raíz a la hoja cons-tituya una regla de clasificación. Para esta investigación la etiqueta representa la evaluación de usabilidad dado por el experto, los nodos internos representan los diferentes características y componentes evaluados, se utilizará el ID3 como algoritmo clásico para generar el árbol de decisión.
c) Enfoque del método de usabilidad propuesto:
Para ese enfoque propuesto se toma en cuenta los reportes evaluados por los expertos en los diversos com-ponentes que serán procesados mediante un árbol de decisión y luego dictaminar el grado de usabilidad.
Figura 3. Propuesta del método de usabilidad
Tomando en cuenta el enfoque propuesto de evaluación heurística, se basará en los cinco componentes de usabilidad de las cuales se asocian seis preguntas a cada componente, concluyendo en un cuestionario de evaluación cohesionado y coherente de 30 preguntas. Esta investigación no solo considera las interfaces de sistema, sino también la funcionalidad de las mismas, ya que se orienta en encontrar los problemas de usabilidad. Es por ello que se propone el uso de la minería de datos aplicando los árboles de decisión. Esta propuesta que de aplica con la finalidad de obtener los pa-trones entre componentes y heurísticas, modelos entre heurísticas (preguntas del cuestionario) y modelos entre componentes. Con la referencia de estos modelos los sistemas E-learning podrán preferir sus servicios, resaltando que, al perfeccionar la usabilidad en los algunos componentes se reestablecen consecuentemente otros, para luego establecer alternativas que permitirán a los encargados del sistema tomar las medidas co-rrectivas. (Chávez, et al., 2022)

El procedimiento descrito para este método es, en primera instancia, aplicar los reportes que se posee de la usabilidad del sistema E-learning los cuales son proporcionados por los expertos, el segundo paso es norma-lizar los informes para cumplir con las reglas del modelo de minería de datos (árbol de decisión), como tercer paso, la extracción de datos para su respectivo procesamiento, aplicando la minería de datos, finalmente los resultados en información de los patrones donde se visualizan, filtran e interpretan y ordenan , este nuevo conocimiento se muestra al equipo de sistemas para las correcciones pertinentes.

Evaluación experimental: En esta parte se utilizan los datos como respuestas proporcionadas por los expertos de usabilidad. Se aplicará a los estudiantes de la facultad de ingeniería de la Universidad Nacional de Trujillo de la provincia de Trujillo, Perú. Todos los estudiantes tendrán conocimiento de la evaluación heurís-tica al sistema E-learning, a cada estudio se le aplicará técnicas de minería de datos; con base a las pregun-tas se determinó el mejor algoritmo de predicción para conformar los criterios de evaluación y su relación entre la pregunta y su componente.
d) Descripción del conjunto de datos
Tabla 3. Listas de heurísticas de usabilidad
El conglomerado de información está constituido por los informes con las heurísticas de la tabla 3, las heurísticas están propuestas en forma de preguntas según la siguiente escala SI (cumple), P (cumple parcialmen-te) y NO (no cumple). Los cinco componentes de usabilidad fueron evaluados por seis heurísticas (Tabla 7). Los resultados de los componentes evaluados se tomarán en cuenta para evaluar la usabilidad de la plata-forma E-learning. Algunas cualidades de los componentes de aprendizaje son: retroalimentación del usuario, consistencia con los estándares y visibilidad del estado del sistema y otras características para la satisfacción como diseño agradable, facilidad de navegación, etc.
Tabla 4. Heurística por componente
Fases realizadas: Para examinar la información de la data consignada de las evaluaciones se organizan y ejecutan cinco estudios que se muestran a continuación:

Fase 1: Análisis de las heurísticas más influyentes de usabilidad final de la plataforma e-learning

Fase 2: Análisis de las heurísticas más influyentes en la usabilidad de un componente

Fase 3: Análisis de los componentes más influyentes en la usabilidad de la plataforma e-learning

Fase 4: Análisis en base a relaciones entre cada una de las heurísticas

Fase 5: Análisis en base a relaciones entre cada uno de los componentes

En cada estudio se aplicará la minería de datos (arboles de decisión)
a) Evaluación de componentes por expertos
Luego de estipular los componentes a analizar, para medir el grado de usabilidad en las plataformas E-learning usando el método heurístico, cabe señalar que el objetivo de esta tesis es medir el grado de usabili-dad usando un método heurístico propuesto, el cual lo conforman cinco expertos y, luego de entrevistar a cada uno de ellos, se estableció considerar los cinco componentes descritos a continuación:

Aprendizaje, Eficiencia, Errores, Memorización y Satisfacción, en la siguiente tabla vemos como se estable-ció para la medición.
Tabla 5. Componentes con respecto al Grado de Usabilidad
Luego de definir los componentes para establecer el grado de usabilidad del método heurístico, podemos notar que contemplan los cinco componentes que ayudaran a verificar si un sistema de aprendizaje electró-nico es de fácil uso.

La opción de elegir los componentes mediante la evaluación de los expertos en el entorno virtual fue me-diante el método V de Aiken.

El conlleva decir en qué medida los componentes de la prueba son una muestra representativa para el constructo.

La magnitud para cuantificar en concordancia con los cinco jueces (expertos) contemplados para determi-nar el grado con el método de evaluación heurística.
Figura 4. Limites de intervalos del método V Aiken
Aplicación de V de Aiken para los componentes para el grado de usabilidad

Prueba de 5 ítems (componentes) en 6 dimensiones

Respuesta de los jueces o expertos, cinco niveles TD (total desacuerdo), D(desacuerdo), N (neutral), A (acuerdo), TA (totalmente acuerdo)

Representatividad en el grado de usabilidad de plataformas e-learning

Representatividad en la elección de componentes (Ver anexo)
b) Resultado al aplicar el V de Aiken a los componentes
En la siguiente tabla, se muestra los resultados al aplicar el método V de Aiken para elegir los componentes y determinar sus grados según los expertos.
Tabla 6. Resultado final al aplicar el método V de Aiken a los componentes
Como se puede observar en el cuadro el coeficiente de Aiken (AK) para las dos representaciones y consi-guiente para el análisis y valoración de los expertos, los puntos de cortes muestran la aceptación del método de Aiken, del cual finiquita que está en la métrica aprobada por consecuente da validez a nuestros compo-nentes para implantarse y afianzar el nivel de grado de usabilidad en las plataformas e-Learning con el mé-todo heurístico propuesto.

0,6<=AK<=1,0, el intervalo de resultado obtenido: Ak=0,96 y Ak=0,98

4. CONCLUSIONES

Se obtuvo las siguientes conclusiones:

Se logró determinar el grado de aprendizaje del método heurístico en la usabilidad de usuario, cumpliendo requisitos fundamentales como buena terminología y convenciones en las páginas sobre cómo diferenciar paginas primarias de secundarias, siendo el sitio fácil de navegar, además de permitir realizar acciones como deshacer, cancelar y rehacer en las páginas donde se requiere. Se logró determinar el grado de eficiencia del método heurístico en la usabilidad de usuario cumpliendo re-quisitos fundamentales, como que el sitio provee retroalimentación inmediata al estudiante; además de car-gar los contenidos rápidamente, también de dar buen tamaño y distribución a los contenidos y que la mayo-ría de páginas usan poco scrolling y clics.

Se logró determinar el grado de prevención de errores del método heurístico en la usabilidad de usuario, cumpliendo requisitos fundamentales como información actualizada y fidedigna, además de distinguir los campos requeridos y opcionales. También de estar libre de errores ortográficos y tipográficos y prevenir al estudiante de cometer errores en el sistema. Estos son algunas de las características principales para que se cumpla un grado de usabilidad muy buena.

Se logró determinar el grado de memorización de interfaces del método heurístico en la usabilidad de usua-rio cumpliendo requisitos fundamentales, como distribuir correctamente las opciones de las instrucciones del menú, los formatos de navegación y los mensajes entre las diferentes páginas, además, las etiquetas signifi-cativas se diferencian con colores, fondos y bordes apropiados que permiten al estudiante identificar un con-junto de ítems, también las palabras y frases son sencillas de leer y de forma convencional , los títulos y subtítulos son cortos, fáciles y descriptivos.

Se logró determinar el grado de satisfacción del método heurístico en la usabilidad de usuario cumpliendo requisitos fundamentales como que los formatos de los datos estén bien indicados – tanto los de entrada como salida – además, los iconos son visuales y tienen un tamaño ideal para mantener una armonía con la página del sistema, también tiene una vista agradable para la interacción con el estudiante. Los tamaños de los cuadros de las ventanas del sistema tienen un tamaño ajustable al dispositivo, impidiendo que la infor-mación no se visualice; por lo tanto, el diseño de la página de inicio hace que los estudiantes quieran explorar más el sitio.

REFERENCIAS BIBLIOGRÁFICAS

Asmaa, A., & Asma, A.-O. (2009). Usability heuristics evaluation for child e-learning. Computer uses in education, 429 -https://doi.org/10.1145/1806338.1806417
Ausubel, D. (1983). Teoría del aprendizaje significativo. Innovaciones educativas, 117 https://doi.org/10.22458/ie.v22iespecial.3218
Baeza, Y. R. (2021,Febrero 10). Ubicuidad y usabilidad en la web. obtenido de ubicuidad y usabilidad en la web: http://www.dcc.uchile.cl/%7Erbaeza/inf/usabilidad.html
Chávez, B., Schiaffino, S., Teyseyre, A., Portilla, E., & Erazo, O. (2022). Un nuevo enfoque para el descubrimiento de conocimiento en el contexto de la usabilidad web r. Revista de investigación operacional, 263-266. https://rev-inv-ope.pantheonsorbonne.fr/sites/default/files/inline-files/43222-09.pdf
Cocunubo-Suárez, J. I., Parra-Valencia, J. A., & Otálora-Luna, J. E. (2018). Propuesta para la evaluación de entornos virtuales de enseñanza aprendizaje con base en estándares de usabilidad. Tecnológicas, 138 https://dialnet.unirioja.es/servlet/articulo?codigo=6289039
Díaz, B. S. (2009). Introducción a las plataformas virtuales en la enseñanaza. Revista digital para profesionales de la enseñanza, 3. https://www.feandalucia.ccoo.es/docu/p5sd4920.pdf
Figallo, F., Gonzales, M. T., & Diestra, V. (2020). Perú:educación superior en el contexto de la pandemia por covid-19. Revista de educación superior en américa latina, 22-23. https://rcientificas.uninorte.edu.co/index.php/esal/article/view/13404/214421444832
Guevara, M., Vértiz, R., Huayama, M., Rivera, R., Juan, V., & Juan, D. (2020). La educación universitaria en la era del hombre tecnológico: ¿quo vadis? Revista pakamuros, 4 https://doi.org/10.37787/pakamuros-unj.v8i1.124
Huanca-Arohuanca, J. W., Supo-Condori, F., Sucari Leon, R., & Supo Quispe, L. A. (2020). El problema social de la educación virtual universitaria en tiempos de pandemia, Perú. Innovaciones educativas, 119 https://doi.org/10.22458/ie.v22iespecial.3218
Jiménez, C., Rusu, C., Roncagliolo, S., Inostroza, R., & Rusu, V. (2012). Evaluating a methodology to establish usability heuristics. Chilean computer science society, 58 -http://dx.doi.org/10.1109/SCCC.2012.14
Marino, J. M. (2015). E-learning y comunicación oral y escrita,una perspectiva sobre el diseño,la implementanción y el impacto académico en el contexto universitario. Enseñanza & teaching, 132 http://dx.doi.org/10.14201/et2015332123150
Nielsen, J. (8 de 02 de 2021). How to conduct a heuristic evaluation. Obtenido de how to conduct a heuristic evaluation: www.nngroup.com/articles/How-to-conduct-a-Heuristic-Evaluation
Preece, J., Rogers, Y., & Sharp, H. (2005). Design de interação: Além da interação homem-computador. https://buscaintegrada.ufrj.br/Record/aleph-UFR01-000695482
Toribio, G. G., Saldaña, Y. P., Mora, J. J., Hernández, M. J., Bautista, H. N., Ordoñez, C. A., & Alegría, J. A. (2019). Medición de la usabilidad del diseño de interfaz de usuario con el método de evaluación heurística: dos casos de estudio. Revista colombiana de computación, 24 http://dx.doi.org/10.29375/25392115.3605
Universidad Nacional de Trujillo. (02 de 02 de 2022). Universidad nacional de trujillo . Obtenido de plan estrategico anual : https://www.unitru.edu.pe/planestrategico.aspx
Vértiz, O. j., Cucho, F. R., Vértiz-Osores, R. V., & Angulo, R. A. (2020). Virtual university education in the context of the health emergency due to covid-19: Challenges in the evaluation processes. International journal of early childhood special education (INT-JECSE), 466-467 doi.10.9756/int-jecse/v12i1.201027