Actitud de alumnos de Medicina
hacia la evaluación formativa

Hilda Juanita Aguilar Navarro

Currículo: maestra en Ciencias Médicas y en Educación. Coordinadora de médicos internos de pregrado en Pediatría y vocal de Comité de Ética e Investigación en el IMSS, Monterrey, Nuevo León. Sus líneas de investigación son competencias profesionales en el alumno de Medicina y el estudio clínico de la obesidad infantil.

María Patricia Contreras Montes de Oca

Currículo: maestra en Ciencias, con especialidad en Sanidad Vegetal, y en Educación. Docente en Universidad TecVirtual, ITESM. Sus líneas de investigación son competencias profesionales, enseñanza y aprendizaje en educación superior.

Héctor Méndez Berrueta

Currículo: doctor en Psicología Educacional. Docente en Universidad TecVirtual, ITESM. Sus líneas de investigación son aprendizaje de las matemáticas y de las ciencias, así como el desarrollo de la competencia lectora.

Recibido: 12 de marzo de 2014. Aceptado para su publicación: 17 de octubre de 2014.

Recuperado de https://sinectica.iteso.mx/index.php/SINECTICA/article/view/163

Resumen

Con el instrumento blinded patient encounters se implementó una nueva modalidad de evaluación de la competencia clínica en estudiantes de Medicina. Evaluación formativa con indicación que el alumno desconozca dato alguno del paciente. El objetivo fue conocer las actitudes desarrolladas. La investigación fue cualitativa desde el enfoque fenomenológico. Los instrumentos fueron entrevistas semiestructuradas, documentos y la bitácora de campo. Se realizó triangulación de los datos obtenidos de instrumentos y de la evidencia empírica, junto con la validación a través del member checking y auditoría. La actitud puede suponerse positiva, ya que consideran al instrumento (BPE) como una evaluación completa e íntegra por ser efectuada con un paciente real, que sirve como guía de las debilidades de su competencia clínica. Generó nerviosismo al inicio. Se impulsó la intención de búsqueda de información, sin concretarse; sólo se observó mejoría en aspectos puntuales de la competencia que previamente habían fallado.

Palabras clave: actitud del estudiante, formación médica, competencia, evaluación formativa, investigación cualitativa.

Abstract

With the tool blinded patient encounters, a new form of assessment of clinical competence was implemented in medical students. Formative assessment t has the characteristics of the use of feedback, also has the indication that the students not know any patient data. The aim was to know the attitudes developed. Qualitative phenomenological research was used. The instruments were semi-structured interviews, documents and field logbook. Triangulation of data from instruments and empirical evidence was performed. Validation was conducted together by the member checking and consultant’s audit. The attitude can be considered positive, because they regard the tool (BPE) as a total and complete assessment to be performed with a real patient, which serves as guide to the weaknesses of your clinical competence. It generated nervousness at the beginning. Search intent information was promoted, without evidence, because only one behavior improvement was observed in specific aspects of clinical competence that had previously failed.

Key words: student attitudes, medical education, competence, formative assessment, qualitative research.

Introducción

Los médicos durante su formación universitaria, con base en diferentes paradigmas de enseñanza en las aulas, adquieren y desempeñan la competencia clínica durante las rotaciones de práctica y el internado de pregrado. La competencia clínica es multidimensional, ya que abarca desde el conocimiento teórico, las habilidades prácticas, la utilización del juicio clínico y la demostración de estas habilidades para solucionar y detectar problemas al realizar una consulta de un paciente; esto, a través de una comunicación e interacción social con un completo profesionalismo (Curran et al., 2007; Kogan et al., 2011; Miller, 1990; Rodríguez, 2008; Tapia et al., 2007).

Brailovsky (2000) comenta que la evaluación de las competencias clínicas debe ser un compromiso y un consenso entre los docentes a cargo, ya que no hay un instrumento único e ideal. La utilidad de un instrumento de evaluación es el resultado de su confiabilidad, validez e impacto educativo. La proporción de cada elemento descrito debe estar ajustada a la finalidad de la evaluación: si es para seleccionar alumnos o evaluarlos, ya sea a través de una calificación final, o con evaluación continua durante la formación médica hospitalaria. Guadalajara et al. (2006) y Prado (2000) mencionan que durante el proceso de elección del método de evaluación se tiene que considerar las dimensiones de la competencia clínica, además de tener presente el tipo de estudiante a evaluar, si el alumno es de pregrado o posgrado.

En España no se ha publicado norma ministerial para la evaluación de las competencias del estudiante de Medicina (Carreras et al., 2009). Tampoco en México existe una norma gubernamental o una guía recomendada de evaluación para la competencia clínica. La Asociación Mexicana de Facultades y Escuelas de Medicina publicó el perfil del egresado de Medicina con siete competencias generales; hace hincapié en el impulso del desarrollo de las competencias en las instituciones educativas, así como de instrumentos de evaluación sin proponer cuáles son los más pertinentes (Abreu et al., 2008; Elizondo et al., 2007).

Investigadores y organizaciones en el área educativa recomiendan la evaluación formativa como la que se debe realizar para evaluar la competencia de las habilidades y el juicio clínico en el área de trabajo (Norcini & Burch, 2007). Esto, porque la consideran una evaluación que al mismo tiempo que evalúa, desarrolla y motiva el aprendizaje por medio de la retroalimentación al unísono.

Veloski et al. (2006) consideran la retroalimentación como una técnica que genera un impacto positivo en la competencia clínica. Para Gigante, Dell y Sharkey (2011), la retroalimentación es una evaluación apreciativa del desempeño y su objetivo primordial es intentar mejorar las habilidades clínicas para lograr que su efectividad sea específica de la conducta observada y comentada después de la acción. Existen diversos instrumentos de evaluación que usan la retroalimentación, como el mini-CEX (Kogan et al., 2011), el BPE o la discusión de caso (Abreu et al., 2008; Pelgrim et al., 2011).

Es vital que al implementar nuevos métodos de enseñanza o de evaluación, no sólo se evalúe lo pedagógico y epistemológico, sino también determinar el área sociocultural, en la que se pueden conocer las actitudes del alumno y, así, evaluar holísticamente toda la intervención. Las actitudes son una parte fundamental dentro de la investigación educativa, ya que intervienen en el proceso de aprendizaje, por lo que se deben medir o controlar (Mutz & Hans-Dieter, 2011; Walton, 1967).

Las actitudes son formas ideológicas relativamente estables de tres facetas: las creencias que evalúan, los sentimientos y las tendencias de conducta hacia algo o alguien (el objeto de la actitud). Las actitudes se forman en procesos neuronales a través de la experiencia individual en respuesta a su entorno social, es decir, es el resultado de la memoria y la evaluación automática hacia el objeto (Campos, 2006; Hogg y Vaughan, 2010; Morris y Maisto, 2005; Musch & Klauer, 2003).

Los alumnos pueden desarrollar actitudes hacia los pacientes, las competencias de los maestros y las materias del currículo (Sathishkumar et al., 2007; Walton, 1967), como, por ejemplo, la investigación (Mutz & Hans-Dieter, 2011). Los mismos autores opinan que la actitud del estudiante hacia la materia impartida se ha relacionado con su inscripción al curso, la permanencia del alumno en él, el clima resultante dentro del aula y el logro académico.

Las investigaciones de actitudes desarrolladas hacia modalidades de evaluación en alumnos de enseñanza superior en ciencias médicas son pocas. Se han descrito actitudes hacia la modalidad de evaluación “examen clínico objetivo estructurado” (ECOE) desde la perspectiva cualitativa en estudiantes de enfermería (Cazzell y Rodríguez, 2011), así como la cuantitativa en estudiantes de Medicina en la asignatura de laboratorio (Malik et al., 1988).

En el IMSS se reciben alumnos de diversas universidades para cursar el internado en un sistema de enseñanza por competencias (IMSS, 2010). En el Hospital General de Zona núm. 2 de Monterrey se valora la competencia clínica con una evaluación sumativa a través de listas de cotejo. En Pediatría se implementa evaluación continua de la competencia clínica. La investigación que aquí se presenta tiene el objetivo de conocer las actitudes reportadas por los alumnos de Medicina en su internado de pregrado frente a la evaluación formativa con el instrumento BPE.

Métodos

La investigación realizada fue cualitativa, ya que este enfoque es particularmente útil cuando el tema no ha sido estudiado (Hernández, Fernández y Baptista, 2006); se realizó con base en la visión fenomenológica para investigar la esencia y estructura de la experiencia de un fenómeno desde la perspectiva construida por el grupo de personas (Hernández et al., 2006; Moustakas, 1994; San Fabián et al., 1993). Los participantes fueron el tutor y siete alumnos. El número de participantes es considerado como número suficiente para obtener el sentido de comprensión profunda del contexto y el problema (Hernández, Fernández y Baptista, 2006; Sandín, 2005).

La nueva modalidad de evaluación formativa fue realizada con el instrumento BPE (Burch, Seggie & Gary, 2006). El instrumento se tradujo al español por medio de dos vías (Argimón y Jiménez, 2004): para completar las tres esferas de la competencia clínica (Monroy, 2012), aparte de las dos esferas presentes en el instrumento: el conocimiento teórico y el conocimiento práctico. También se agregó al instrumento el componente actitudinal, con los puntos profesionalismo, organización o eficiencia. Para aumentar validez al instrumento, en cada uno de sus apartados se realizó una rúbrica de cada nivel, sólo para clarificar el cambio de nivel.

Los instrumentos de recolección de datos fueron la entrevista semiestructurada y documentos. La entrevista a los alumnos constó de catorce preguntas, las cuales fueron una guía para conocer las tres facetas de la actitud hacia la mueva modalidad de evaluación: la faceta cognoscitiva, la afectiva y la conductual. La redacción de las preguntas fueron diseñadas desde un acercamiento fenomenológico (Moustakas, 1994), y con una orientación hacia la actitud generada por los alumnos (Cazzell y Rodríguez, 2011).

La entrevista al tutor principal constó de seis preguntas, que fueron diseñadas para obtener su percepción sobre las actitudes desarrolladas en los alumnos, principalmente la conducta manifiesta del alumno o el efecto educacional. Los otros instrumentos de recolección fueron los documentos. El documento solicitado a los alumnos consistió en un texto elaborado con la técnica de redacción libre acerca de la nueva modalidad de evaluación (Hernández, Fernández y Baptista, 2006; San Fabián et al., 1993), además de la bitácora de campo realizada por el investigador (Hernández, Fernández y Baptista, 2006).

El análisis de los datos se llevó a cabo con base en la visión fenomenológica (Giorgi & Giorgi, 2003; Hycner, 1985; Latorre, Del Rincón y Arnal, 2004; Sandín, 2005), con la guía de la entrevista diseñada para obtener tres categorías finales de la dimensión tripartita de la actitud (Marí, Bo y Climent, 2010); además, se realizó con doble validación: al concordar con el asesor investigador asociado y con la codificación de unidades de significado y categorización. Un segundo proceso de validación se efectuó a partir del proceso del member checking (Hycner, 1985). La triangulación de datos se obtuvo al utilizar diferentes instrumentos, como las entrevistas y documentos de los alumnos y la entrevista al docente (tutor), además de la observación formulada por el investigador (Hernández, Fernández y Baptista, 2006).

Resultados

Los participantes fueron siete médicos internos de pregrado de Medicina que rotaron por el área de Pediatría del Hospital General de Zona núm. 2 del IMSS de Monterrey de mayo a diciembre de 2012. Sólo una participante fue mujer. La media de la edad de los alumnos fue de 24.2 (±0.9) años. Los alumnos pertenecían a dos diferentes universidades; los primeros tres alumnos cursaban su última rotación del año del internado. El tutor principal fue una pediatra. Se aplicó el instrumento de evaluación en una ocasión en forma mínima (en un solo alumno) y máximo hasta cuatro ocasiones. En la tabla 1 se mencionan las características de los participantes.

1: Universidad de Monterrey. 2: Universidad de Montemorelos

La actitud es tripartita y se diseñó para obtener las tres dimensiones o categorías de la actitud: cognoscitiva, afectiva y conductual. Cada categoría se analizó con la obtención de temas y subtemas, los cuales se presentan en la tabla 2.

La categoría cognoscitiva de la actitud desarrollada por los alumnos fue integrada por dos subtemas: los beneficios percibidos y un juicio formado hacia el instrumento de evaluación. En la tabla 3 se describe la categoría con cada subtema y las frases con significado relevante.

Los juicios y las creencias hacia la nueva modalidad de evaluación implementada, que se englobaron como beneficios, son representaciones de modos de aprendizaje suscitados por la retroalimentación. Esta última es el componente principal de la evaluación formativa, que puede promover el aprendizaje de tres maneras: informando el progreso o la falta de éste; avisando al alumno las necesidades de aprendizaje observadas más los recursos necesarios para mejorar, además de motivar actividades de aprendizaje apropiadas (Norcini & Burch, 2007). Los alumnos le dieron mayor importancia a información referente a la falta de progreso del aprendizaje y las necesidades de aprendizaje.

Aunque la metodología de investigación y la muestra de participantes difieren en los estudios, se compara el trabajo de investigación aquí presentado con el realizado durante el diseño original del instrumento de evaluación BPE. De los alumnos de la universidad sudafricana a quienes se les aplicó el diseño original, sólo setenta por ciento de ellos reconocieron el valor de la retroalimentación (Burch, Seggie & Gary, 2006), mientras que en esta investigación los juicios emitidos por los alumnos se pueden considerar positivos y “con valor” en la competencia clínica.

Asimismo, el estudio se compara con el de Cazzell y Rodríguez (2011), para quienes se fomenta el desarrollo de opiniones en la evaluación (ECOE). El principal tema que surgió fue la necesidad de retroalimentación inmediata. Vale la pena resaltar que la evaluación de Cazzell y Rodríguez fue realizada con maniquíes y sin retroalimentación. En la investigación que aquí se presenta, los alumnos le dieron un valor significativo al hecho de que la evaluación se basará en un caso clínico real, con el matiz de azar que conlleva el desconocer datos del paciente previamente y de la retroalimentación posterior a la evaluación, así como la importancia de consultar a una persona real, y no imaginada en el caso de un examen o irreal cuando se trata de un maniquí.

La siguiente categoría es la afectiva, que se reporta en la tabla 4. En ésta se advierte que, en forma global, la evaluación generó sentimientos positivos; el nerviosismo que surgió en un principio desapareció mientras avanzaba la evaluación y el número de aplicaciones. La presencia de sentimientos negativos se reportó en el grupo de enfermeras, que fueron evaluadas con el método ECOE; ellas comentaron sentir ansiedad por saber que estaban siendo videograbadas durante la evaluación, así como la sensación de pérdida de control por las inconsistencias de las instrucciones ofrecidas, la poca estimulación del personal y la organización de los materiales (Cazzell y Rodríguez, 2011).

La categoría conductual se muestra en la tabla 5. Los alumnos, después de la primera evaluación, modificaron los errores que presentaron en las evaluaciones previas, así como el desempeño de la competencia, al realizar un mejor interrogatorio o exploración física, y con una mayor seguridad.

En el artículo del instrumento original publicado se comentó que los alumnos se preparaban para las sesiones clínicas leyendo previamente. Sin embargo, estos alumnos eran de cuarto año, y los alumnos de la investigación aquí presentada, de sexto año de su carrera profesional, en la que se espera que el nivel de conocimientos sea mayor. La evaluación BPE, de acuerdo con sus autores (Burch, Seggie & Gary, 2006), acrecienta las habilidades de razonamiento clínico, del mismo modo que el conocer su propia competencia incrementa el aprendizaje; además, los alumnos reportan un aumento en la preparación de lectura para las sesiones clínicas.

En los alumnos del trabajo que aquí se expone se hizo evidente un mejor desempeño de la competencia clínica, con mayor puntuación aislada en las habilidades clínicas básicas o en las de razonamiento diagnóstico, así como mayor seguridad en la ejecución de la atención del paciente. No se reflejó un aumento del tiempo invertido para estudiar o cambios en la metodología de aprendizaje.

Aunque el diseño del estudio no estaba orientado a determinar que la evaluación BPE pueda transferir el aprendizaje recibido a nuevas situaciones o que el instrumento influya en el mejoramiento del cuidado del paciente (Pelgrim et al., 2011), este trabajo revela que los alumnos mejoraron en el desempeño de diversos puntos de su competencia clínica aun cuando la patología del paciente difirió en las siguientes evaluaciones aplicadas. Sin embargo, se debe realizar una investigación específica para demostrarlo.

La actitud que predominó en el grupo de alumnos de Medicina, desarrollada hacia el instrumento BPE, se puede considerar positiva, porque consideraron este instrumento una evaluación completa e íntegra en todos los aspectos de la consulta del paciente por ser realizada con un caso clínico real, es decir, con un paciente real, que sirve como guía de las debilidades de su competencia clínica a través de la retroalimentación. Al inicio, la evaluación generó nerviosismo en los alumnos, pero luego fue desapareciendo hasta que adquirieron confianza en las siguientes evaluaciones aplicadas, lo que impulsó la búsqueda de información, sin ser ésta una conducta manifiesta como tal, ya que sólo se observó en los alumnos una conducta de mejoría en aspectos puntuales de la competencia clínica que antes habían fallado.

La opinión general (cuatro de siete alumnos) fue que la evaluación formativa BPE no modificó la manera de estudiar, aunque sí hubo un aprendizaje desde sus debilidades y fortalezas, así como de la importancia de la conducta durante la atención médico-paciente. Cinco alumnos del grupo total comentaron que la evaluación BPE se caracteriza por ser completa e íntegra, porque evalúa las habilidades y destrezas de los alumnos, además de que, al aplicarse en varias ocasiones, los alumnos perciben su desarrollo dentro del internado. Estos agregaron que la percepción de la evaluación BPE es objetiva, ya que la evaluación actual (lista de cotejo) está “a merced de la percepción del evaluador”.

Discusión

El estudio aquí presentado es uno de los primeros en conocer, a partir de la visión de la fenomenología, las actitudes en sus tres dimensiones, desarrolladas hacia una modalidad de evaluación formativa en alumnos de Medicina, a fin de evaluar la competencia clínica durante el internado de pregrado.

Los alumnos mostraron una actitud positiva hacia el pilar de la evaluación formativa: la retroalimentación. Los participantes hicieron hincapié en los modos de aprendizaje adquiridos por la retroalimentación, así como de su nerviosismo al inicio de la evaluación. Las aproximaciones hechas en diversos estudios a las percepciones de alumnos de Medicina sobre evaluaciones con retroalimentación reportan resultados que se pueden clasificar en las dimensiones cognitiva y afectiva de actitudes desarrolladas; estos resultados varían en una gama desde lo positivo (Bates et al., 2013; Mazotti et al., 2011) hasta una aceptación disminuida o el rechazo (Barclay, Skarlicki & Pugh, 2005; Watling et al., 2008).

Para Archer (2010), en alumnos de alto rendimiento, como los de Medicina, la retroalimentación facilitadora y tardía es el principio fundamental de la retroalimentación; al ser no concluyente la literatura, el autor propone que se facilite la introspección y reflexión para que se presente una retroalimentación efectiva. En la intervención con la evaluación BPE, la retroalimentación recibida fomentó en los alumnos una introspección de sus necesidades de aprendizaje y debilidades de la competencia clínica.

Chang et al. (2011), en una intervención en alumnos de tercer año de Medicina, realizada con una evaluación con retroalimentación individual y criterios de desempeño, se encontró, en alumnos con bajo desempeño, la presencia de una menor autodetección de objetos de aprendizaje de habilidades clínicas que pudieran corregir. Estos autores reportan que no evaluaron si la detección de los objetivos de mejora pudiera mejorar el desempeño. Los alumnos participantes con la evaluación BPE identificaron sus debilidades conceptuales, procedimentales y actitudinales; en las evaluaciones subsecuentes se evidenció mejoría en el desempeño de la competencia (en el rubro de las habilidades y los procedimientos), sin reporte que hubiese influencia en el modo de aprendizaje o que los alumnos hayan realizado búsqueda documental de las debilidades conceptuales.

Limitaciones

La primera limitación fue el tiempo de aplicación del instrumento, ya que el promedio de aplicación fue de 54.4± 15.8 minutos. La función principal de los tutores que laboran en el IMSS es la clínica (la atención al paciente), y no cuentan con un horario específico para desempeñar las funciones pedagógicas. Por lo tanto, la aplicación de la evaluación interfirió con el horario laboral y, por ende, disminuyó las posibilidades de que la evaluación se aplicara como lo sugieren sus autores: una vez por semana.

La comparación con literatura previa puede considerarse “pobre” debido a que en Medicina los estudios cualitativos son de hecho nulos y la fenomenología es un acercamiento relativamente nuevo y poco usado. Además, se utilizó una modalidad de evaluación formativa nueva que cumplía las características que estimaban todos los aspectos de la atención del paciente, sin conocer algún dato de éste.

Por lo anterior, la fenomenología parte de que el investigador suspenda toda presunción para “adentrarse” al fenómeno. De ahí que la literatura previa no es necesaria para interpretar el fenómeno (Hycner, 1985).

Referencias bibliográficas

Abreu, L. et al. (2008). Perfil por competencias del médico general mexicano. México: Elsevier.

Archer, J. (2010). State of the science in health professional education: effective feedback. Med. Educ., 44(1), 101–8.

Argimón, J. y Jiménez, J. (2004). Métodos de investigación clínica y epidemiológica. Madrid, España: Elsevier.

Barclay, L., Skarlicki, D. & Pugh, S. (2005). Exploring the role of emotions in injustice perceptions and retaliation. J. Appl. Psychol., 90, 629–643.

Bates, J. et al. (2013). Student perceptions of assessment and feedback in longitudinal integrated clerkships. Med. Educ., 47, 362-374.

Brailovsky, C. (2000, diciembre). Educación médica, evaluación de las competencias. Trabajo presentado en la Jornada de reflexión sobre cambio curricular, Buenos Aires, Argentina.

Burch, V., Seggie, J. & Gary, N. (2006). Formative assesment promotes learning in undergraduate clinical clerkships. S. Afr. Med., 96(5), 430-433.

Campos, A. (2006). Introducción a la psicología social. San José, Costa Rica: Editorial de la Universidad Estatal a Distancia, EUNED.

Carreras, J. et al. (2009). Guía para la evaluación de competencias en medicina. Barcelona, España: Agència per a la Qualitat del Sistema Universitari de Catalunya.

Cazzell, M. & Rodríguez, A. (2011). Qualitative Analysis of Student Beliefs and Attitudes After an Objective Structured Clinical Evaluation: Implications for Affective Domain Learning in Undergraduate Nursing Education. Journal of Nursing Education, 50(12), 2011. doi: 10.3928/01484834-20111017-04

Curran, V. et al. (2007). Evaluation of the usefulness of simulated clinical examination in family-medicine residency program. Medical Teacher, 29(4), 406-407. doi: 10.1080/01421590701477464

Chang, A. et al. (2011). Clinical skills-related learning goals of senior medical students after performance feedback. Med. Educ., 45, 878-885.

Elizondo, L. et al. (2007). Outcome-based national profile of Mexico´s medical graduates. Med. Teach., 29(7), 691-698. doi:10.1080/01421590701691411

Gigante, J., Dell, M. y Sharkey, A. (2011). Getting beyond “good job”. How to give effective feedback. Pediatrics, 127(2), 204-207. doi: 10.1542/peds.2010-3351

Giorgi,A. & Giorgi, B. (2003). The descriptive phenomenological psychological method. En Camic, P., Rhodes, J. & Yardley, L. (Eds.). Qualitative research in psycholgy, (pp. 243-273). Washington, DC: American Psychological Association.

Guadalajara, J. et al. (2006, septiembre). Evaluación y supervisión en educación mé- dica. Trabajo presentado en el seminario “El ejercicio actual de la medicina de la Facultad de Medicina, UNAM”, Ciudad de México, DF.

Hernández, R., Fernández, C. y Baptista, P. (2006). Metodología de la investigación. México, DF: McGraw-Hill Interamericana Editores.

Hogg, M. y Vaughan, G. (2010). Psicología social. Madrid, España: Editorial Médica Panamericana.

Hycner, R. (1985). Some guidelines for the phenomenological analysis of interview data. Human Studies, 8, 279-303.

IMSS (2010). Procedimiento para la planeación, desarrollo, control y evaluación de los procesos educativos en pregrado. Recuperado de http://edumed.imss.gob. mx/Normatividad/MarcoJuridico/ProgramasEducativos/Posgrado/procedimientos/2510-003-005.pdf

Kogan, J. et al. (2011). Opening the black box of clinical skills assesment via observation: a conceptual model. Medical Education, 45, 1048-1060. doi: 10.1111/j.1365- 2923.2011.04025.x.

Latorre, A., Del Rincón, D. y Arnal, J. (2004). Bases metodológicas de la investigación educativa. Madrid, España: Ediciones Experiencia.

Malik, S. et al. (1988). The attitudes of medical students to the objective structured practical examination. Med. Educ., 22(1), 40-46.

Marí, R., Bo, R. y Climent, C. (2010). Propuesta de análisis fenomenológico de los datos obtenidos en la entrevista. UT. Revista de Ciències de l´Educació,113-133. Recuperado de http://pedagogia.fcep.urv.cat/revistaut/revistes/juny10/article07.pdf

Mazotti, L. et al. (2011). Perceptions of evaluation in longitudinal versus traditional clerkships. Med. Educ., 45, 464-70.

Miller, G. (1990). The assessment of clinical skills/competence/performance. Acad. Med., 65 (Suppl.), S63-S67.

Monroy, L. (2012). Enfoques de la planeación educativa. Presentación en SCORM, IMSS en asociación UNAM. Recuperado de http://innovaedu.imss.gob.mx/file. php/618/moddata/scorm/6894/sco/sco.html

Morris, Ch. y Maisto, A. (2005). Introducción a la psicología. México: Pearson Educación.

Moustakas, C. (1994). Phenomenological research methods. California, USA: Sage.

Musch, J. & Klauer, K. (2003). The Psychology of Evaluation: Affective Processes in Cognition and Emotion. New Jersey: Lawrence Earlbaum Associates.

Mutz, R. y Hans-Dieter, D. (2011). University and student segmentation: Multilevel latent-class analysis of students’ attitudes towards research methods and statistics. British Journal of Educational Psychology, 1-25. doi:10.1111/j.2044- 8279.2011.02062.x

Norcini, J. & Burch, V. (2007). Workplace-based assessment as an educational tool: AMEE Guide No.31. Med. Teach., 29, 855-871. doi: 10.1080/01421590701775453

Pelgrim, E. et al. (2011). In-trainig assesment using direct observation of single patient encounters: a literatura review. Adv. in Health Sci. Educ., 16, 131-142. doi: 10.1007/s10459-010-9235-6

Prado, R. (2000). Generalidades sobre la evaluación de competencias clínicas. Revista Mexicana de Pediatría, 67(6), 278-283.

Rodríguez, R. (2008). La evaluación del conocimiento en medicina. Revista de la Educación Superior, 37(3), 31-42.

Sandín, M. (2005). Investigación cualitativa en educación: fundamentos y tradiciones. Madrid, España: McGraw-Hill.

San Fabián, J. et al. (1993). Percepción del alumnado al final de la E. G. B. Un estudio fenomenológico. Madrid, España: Centro de Publicaciones del Ministerio de Educación y Ciencia. CIDE.

Sathishkumar, S. et al. (2007). Attitude of medical students towards Early Clinical Exposure in learning endocrine physiology. BMC Med. Educ., 5(7), 30-37. doi:10.1186/1472-6920-7-30

Tapia, R. et al. (2007). El internado médico de pregrado y las competencias clínicas. México en el contexto latinoamericano. Educ. Med. Super., 21(4), 1-10. Recuperado de http://bvs.sld.cu/revistas/ems/vol21_4_07/emssu407.html

Veloski, J. et al. (2006). Systematic review of the literature on assessment, feedback and physicians’ clinical performance: BEME Guide No. 7. Med. Teach., 28(2), 117- 128. doi:10.1080/01421590600622665

Walton, H. (1967). The measurement of medical students´ attitudes. Brit. J. Med. Educ., 1, 330-340.

Watling, C. et al. (2008). Rules of engagement: residents’ perceptions of the in-training evaluation process. Acad. Med., 83 (Suppl), 97-100.