Exámenes y evaluación

[diálogo en una lista de FIDO, sobre los "exámenes" la valoración del personal sanitario y el caso de la universidad Mc Master]

Fech: 18 Sep 95 11:15
De: Antonio
A: Carlos
Tema: Evaluacion en medicina
-----------------------------------------------------------------
"...¡Una noticia muy triste! (pareciera que este fin de siglo
nos derrumba todas las ilusiones y nos vuelve, de una patada, al
principio). ¿Me gustaría saber que es lo que anduvo mal?"

Creo que el problema consistió en un alejamiento progresivo de la
realidad, es decir en realizar cada vez metodos educativos mas
avanzados sin contrastar suficientemente su idoneidad. De todas
formas me da la impresión de que lo de fracaso es mas que
relativo, puesto que el fracaso se establece en relación a una
prueba tan discutible como nuestro MIR, que poco tiene que ver en
la habilidad real de un médico o en sus conocimientos aurténticos
sobre la enfermedad.

Por supuesto no es esa exactamente la conclusión que saca el
expositor, pero creo que es la que se desprende del contexto de
lo que dice, teniendo en cuenta que no se mucho de educación
igual meto la pata. Te lo scaneo y para la próxima semana te la
mando por Net, es larguísimo te aviso.


"Dudo que el "exámen" en si mismo sea "la mejor técnica"
para valorar rendimiento y competencia humana. Por varias razones que, en honor a la brevedad, por ahora me callo."

Yo no dudo, estoy seguro de que es una mala técnica

"Así escrito el párrafo resulta algo hermético. No entiendo
muy bien que quiere decir eso de que "se fue radicalizando", y en
cualquier caso mi natural tendencia es a coincidir contigo Antonio. Ahora, ya casi al fin de la vida, no existe espiritu más conciliador que el mio 8-) Pero estoy seguro que un net con la "copia del artículo", si no te causa muchos trastornos sería muy estimulante para mi."

No, mira es lo que te indico al principio, fue un alejamiento
progresivo de la realidad y esta realidad era que para poder
ejercer la medicina había que pasar un determinado examen y ellos
fueron aplicando metodos cada vez mas avanzados pero mas alejados
de esa triste realidad y por ello han tenido que reintroducir el examen, aunque ya apreciarás que no deja de ser un examen
original, dado que la nota por así decirlo es desconocida por el alumno y solo sirve para orientar la enseñanza

"Quizá el sistema fué pensado solo-por-médicos. A veces
ayuda el trabajo interdisciplinario..."

No el problema me parece que fué un poco al revés fue pensado
para dar la mejor educación posible, pero no tuvo en cuenta el
status que se exigía en la clase médica para la práctica de la
medicina
--
De: Antonio
A: Carlos
Tema: Universidad de Mc Master
-----------------------------------------------------------------

He tardado mas en enviarte esta comunicación mas de lo que
hubiese querido, porque la letra minúscula de Lancet hace
bastante dificil el scaneado. Mientras tanto me he enterado de
algunas cosas, que no se dicen en ningún momento en el comunicado
(mas que estudio, dada la inmensa escasez de datos objetivos,
es casi todo palabra y a veces palabrería (como tu sabes
pefectamente en ciencia los comentarios sin datos son solo
comentarios).

La Universidad de Mc Master uso técnicas en aquellos tiempos
bastante revolucionaris, pero bastante acordes con los años que
se vivían. Sus primeras promociones fueron de estudiantes muy
motivados con el sistema y los resultados fueron óptimos, aunque
no tan satisfactorios como parece desprenderse de los datos (El
dicho examen es un mero trámite que solo no superan un uno o dos
por ciento de los examinandos (habitualmente por crisis
nerviosas, enfermedad o mera incomparecencia y que simplemente
sirve para confirmar un nivel mínimo exigible), aun partiendo de
la premisa de la idoneidad o no del examen como medio de valorar
los conocimientos e idoneidad de estos el que una
promoción entera pase este examen no es nada extraño.

El aceptar un 10 % de suspensos parece en principio y dado el
tipo de prueba a la que se presenta parece una aberración.

Con estas premisas Mc Master tuvo pronto dos tipos de
estudiantes, los entusiastas que probablemente se formaron mejor
que los que usaron medios de enseñanza convencionales y que por
lo tanto presentaron mejor perfil que otros de facultades con
metodos tradicionales y la de aquellos que habían oido decir que
era facil aprobar en Mc Master, cosa por otro lado bastante
cierta, esa desviación hacia estudiantes de mayor edad se debe en
parte a la desviación del fracaso de otras universidades hacia
esta. Estudiantes ricos (Mc Master es una cara universidad
privada) con expectativas de pura supervivencia
universitaria, pagarían así los estudios de los que quisieran
utilizar los nuevos recursos educativos para mejorar sus
conocimientos y habilidades.

Este problema fue creciendo con el tiempo hasta arrojar
indicadores de autentico desastre: Un 19% de suspensos en un
examen en que no se espera en principio que suspenda nadie
resulta bastante asombroso.

Es normal que al introducir medidas de evaluación se corrigiese
el problema al detectar estos alumnos. Tambien se estimuló un
admisión de alumnos con mejores expedientes académicos.

Como verás todo esto no aparece por ningún lado en el estudio y a
lo mejor es cierto o no, pero debido a la persona que me ha
proporcionado la información, que es un colega que hizo medicina
justamente en Canadá e igualmente realizó sus estudios de
especialista en este pais, por tener problemas con la
nota mínima aquí y un gran dominio del inglés unido a bastante
dinero cosa que desconocía en absoluto hasta que al comentarle lo
del artículo me explico todos estos detalles.

Tal parece que se oculten muchos datos al lector de lo que paso
en esta facultad que producen un enorme sesgo al lector, sin mas
paso a enviartelo, perdona por los errores de scaneo, pero no los
he podido corregir todos, eran demasiados

Informe de la Universidad de McMaster: evaluacion del estudiante
en una facultad de medicina basada en la resolucion de problemas

...............................................................
J.M. Blake, G.R. Norman, E. Kinsey y M. Smith

(The Lancet 1995, 345: 899-902)

La Facultad de Medicina de la Universidad de McMaster se fundó en
1965 con el compromiso de desarrollar un sistema de educación
nuevo, y en aquel entonces radical, basado en el aprendizaje
activo alrededor de problemas clinicos en pequenos grupos en un
programa de 3 afios. La intencion era formar medicos graduados
que fueran capaces de solucionar problemas y continuar
aprendiendo toda su vida, capaces de trabajar productivamente en
equipos multidisciplinarios y comunicarse bien con los pacientes.
Se esperaba que, aprendiendo las ciencias basicas en el contexto
de problemas clinicos, los graduados continuarian considerando
los mecanismos responsables de la enfermedad al enfrentarse con
los dilemas de la practica clinica. Desde la fundación de la
facultad, la medida en que se han cumplido estas esperanzas
ha sido objeto de una exhaustiva evaluación'.

Ideas fundacionales (1969)

Ningun elemento de la escuela fue mas controvertido que el
sistema de valoración. Los examenes repetidos que se efectuaban
en la mayoria de facultades de medicina de Canada eran
considerados en la Universidad de McMaster como un obstaculo
importante a la educación activa centrada en el estudiante. Los
estudiantes entraban en las facultades de medicina con
el objetivo primordial de graduarse, y naturalmente se enfocaban
en los examenes que se convertian en obstaculos en su camino
hacia la graduación. Para evitar el efecto de enfocarse en los
examenes, los fundadores de la Facultad de Medicina de la
McMaster decidieron evitar los examenes tradicionales.
Esta decisión provocó una impresionante contrarreacción del
consejo de universidades, y sobrevivió en gran medida gracias a
los esfuerzos del decano fundador y a la voluntad del presidente
de la universidad, un fisico visionario, para mantener el
argumento. La posibilidad de que esta idea hubiese pasado
cualquier consejo de universidades en cualquier otro momento
fuera de la mitad de la decada de los sesenta esta abierta a
conjeturas.

En lugar de los examenes, los fundadores propusieron un sistema
que seria mas próximo a cómo los medicos son evaluados en la
practica. Aunque el tutor escribiria la evaluación
narrativa final, el enfasis debia situarse en la autoevaluación
del estudiante y en la evaluación por sus companeros. La
evaluación era un proceso continuo. El sistema tenia obvias
limitaciones, pero estas se consideraron como un precio aceptable
para el espiritu de una ensenanza abierta y cooperativa.
Para desalentar la competencia, la evaluación final era binaria
-asatisfactorio/no satisfactorio" (posteriormente se anadió una
categoria de "satisfactorio provisional")- y no habia becas o
premios por los resultados academicos. La facultad se comprometió
firmemente con el principio de que cualquier sistema
de evaluación debe considerar no sólo la base de conocimiento de
los estudiantes sino tambien sus habilidades (estudio,
razonamiento critico y aptitudes clinicas) y actitudes.

Admisiones

El sistema de admisiones encajaba con la filosofia de la
evaluación, siendo los estudiantes seleccionados a partir de un
amplio abanico de consideraciones, de las cuales las
calificaciones academicas eran sólo una. Miembros de la comunidad
y del cuerpo estudiantil intervenian a lo largo del proceso
de selección, lo que producia un grupo de admitidos con
antecedentes mas diversos y, en promedio, 2 anos mayores que en
otras facultades canadienses. Todos habian recibido como minimo 3
anos de educación universitaria.

Primeras dificultades

En una fase inicial de la vida de la facultad nos dimos cuenta de
que la evaluación de tipo tutorial no funcionaba adecuadamente.
Los tutores no estaban satisfechos con su doble papel -como
facilitadores no amenazantes del proceso del grupo durante 12
semanas, y despues juez y jurado. Los estudiantes mostraban la
misma preocupación: ellos podrian evitar sus debilidades
mas efectivamente con el tutor entre ellos, pero tenian
dificultades en catalogar a sus companeros como insatisfactorios.
La autoevaluación, aunque teóricamente deseable, sigue siendo
elusiva; y como un miembro experimentado de la facultad observo,
Incluso la iglesia nunca pide a los feligreses que hagan su
confesión en publico.

La evaluación en un grupo tutorial se centraba en lo que podria
ser evaluado, primando mas el proceso que el contenido. Las
esperanzas iniciales de que la solución de problemas seria una
habilidad transmisible y generalizable, contribuyó a este
enfasis. Cuando se recogió evidencia que contradecia esta
opinión, las premisas del sistema de evaluación se
vieron sometidas a una creciente presión. La facultad fue capaz
de resistir la introducción de un sistema de examenes tradicional
ya que ni el profesorado ni los estudiantes deseaban alterar la
atmósfera de aprendizaje de la facultad.

Resultados en el examen nacional

Para obtener la licencia medica en Canada los estudiantes deben
superar un examen nacional establecido por el Medical Council of
Canada (MCC). La promoción inicial pasó la prueba del MCC en su
totalidad. Las promociones subsiguientes no obtuvieron tan buenos
resultados, pero la mayoría de estudiantes pasaron en posteriores
intentos; y, dado que la validez del examen como medida del grado
de preparación para la practica fue cuestionada, se toleró una
tasa de suspensos del 10%. Desafortunadamente, la evaluación
basada en la opinón del tutor no era buena para predecir los que
tenian un alto riesgo de fracaso; pero, una vez mas, dado que el
MCC no se consideraba como el estandar óptimo", esto no se
consideró un gran inconveniente.

Evaluar una serie de competencias (1975) A medida que la facultad
evolucionaba, intentamos diseñar sistemas de evaluación que
reflejaran las competencias que se intentaba que adquirieran
nuestros estudiantes -especialmente el analisis de problemas, el
aprendizaje independiente, la aplicación de conocimientos
basicos a la resolución de problemas y la solucion de problemas-.
Se introdujo el triple salto" en el programa como un ejercicio en
tres etapas: la primera consistia en una evaluación oral de la
exploración del problema realizada por el estudiante individual
con el tutor; la segunda era un periodo programado
de autoestudio, y la tercera una presentación al tutor de la
sintesis del problema y del conocimiento adquirido. Este enfoque
demostró ser valido y rapidamente se incorporó.

La fiabilidad del triple salto" fue sólo marginaló. Aunque con
frecuencia se mostró util, hubo siempre la persistente
preocupación de que se basaba demasiado en cómo un estudiante se
enfrentaba con un unico caso.

Renovación del curriculum (1983)

Al inicio de los años ochenta, el curriculum experimentó una
revisión importante con la perspectiva de aumentar su relevancia
para las necesidades de la población. Se introdujeron medidas de
evaluación adicionales y los estudiantes las juzgaron utiles,
pero no fueron suficientemente rigurosas ni suficientemente
integrales como para formar la base de una evaluación global, que
seguia anclada en el sistema de base tutorial (tutor, compañeros
y autoevaluación").

Las visitas de acreditación y las encuestas internas
identificaron las fuerzas consistentes del programa
-especialmente el aprendizaje basado en problemas, la actitud
autodirigida activa de los estudiantes y el estudio
colegiado-. Nuestros graduados fueron muy solicitados en la
competición para posiciones de residencia. Los que se enfocaron
en la medicina de familia tenían mas posibilidades de conseguir
la certificación formal que el internado de un año, y mas del 40%
de graduados fueron a la practica academica. Se
continuó manifestando una persistente ansiedad acerca del proceso
de evaluación por parte de los evaluadores, de la cual se
hicieron eco las encuestas de graduados y alumnos, pero ya que
nuestros graduados parecian conseguir buenos resultados nadie
quiso correr el riesgo de socavar las ventajas diferenciales
del programa.

Habilidades y comportamiento (1984)

El desarrollo continuó con la evaluación en otros dominios. Se
adoptó el OSCE (Objetive Structured Clinical Examination)9, pero
estrictamente como un instrumento formativo. Consiste en una
serie de evaluaciones clinicas programadas a traves de las que
rotan los estudiantes; un OSCE con suficientes estaciones para
ser fiable es extraordinariamente caro en tiempo y recursos.

La conducta profesional se estudió con detalle. Cuando se
preguntó al profesorado que enumerara los comportamientos
profesionales que esperaba encontrar en los graduados, emergieron
4 grupos -respeto, responsabilidad, comunicación y
autoconocimiento. Un hallazgo fundamental fue que
la profesionalidad en un entorno clinico no era esencialmente
diferente de la profesionalidad mostrada en una tutoria, y se
desarrolló un grupo de criterios operacionales para la valoración
de la conducta profesional en ambos entornos. Los estudiantes
habian sido retenidos u, ocasionalmente separados del
programa, cuando no pudieron satisfacer estos criterios. La
conducta profesional deseada se detalla en manuales del programa
y este esquema ha aumentado la participación de los estudiantes
en la evaluación de compañeros.

Una era litigiosa

Nosotros no fuimos indemnes a una nueva clase de cultura
estudiantil donde cualquier cosa inferior a un desarrollo
perfecto podia desencadenar extensas apelaciones o incluso una
acción legal. La evaluación global continuaba apoyandose
enteramente en la comunicación del informe redactado por el
tutor, y el profesorado se dio cuenta de que dar un
insatisfactorio" podia producir una serie de largas apelaciones;
de hecho, con algunos estudiantes esta perspectiva se convirtió
en un serio factor disuasorio para calificar la aptitud
como insatisfactoria.

Reconsideracion de los resultados en el examen nacional

A mediados de 1980, un incremento de la tasa de fracasos en el
examen de licenciatura, del 10 al 19%, precipitó la introspección
sobre los resultados de nuestros graduados. Aunque continuamos
sin ver el examen MCC como el estandar óptimo" de la evaluación
era, sin embargo, un paso esencial para la licenciatura. El
analisis de los candidatos que suspendieron reveló
una información preocupante. Un pequeno numero de estudiantes
habia experimentado serios problemas mientras estaba en el
programa, pero nadie habia observado que tenian un riesgo.
Claramente, se necesitaba un instrumento para detectar
los deficit (y ofrecer ayuda), sin distorsionar el aprendizaje
autodirigido basado en la solución de problemas.

Evaluacion del progreso (1990) (fig. 1)

La evaluación del progreso, desarrollada simultaneamente en las
Universidades de Limburg y Missouri, requiere estudiantes a todos
los niveles del programa para pasar un examen episódico del
amplio abanico de conocimientos medicos. Puesto que el material
tematico es extenso, los estudiantes encuentran inutil estudiar
para la prueba, por lo que tiene poco impacto sobre el
curriculum. El resultado de los estudiantes muestra un
crecimiento incremental con el tiempo. No todo el profesorado
apoyaba este enfoque y algunos de sus miembros mas experimentados
y respetados defendian apasionadamente su oposicion. La respuesta
inicial de los estudiantes era cautelosamente interesada pero,
cuando la noción pasó del principio a la realidad, afloró la
ansiedad.

Características fundamentales

Las caracteristicas fundamentales del test de progreso son las
siguientes:

ò Un banco de cuestiones que refleja el perfil del curriculum y
es seleccionado por un comite al margen del programa.

ò Cuestiones clinicamente relevantes que muestran el espectro
completo de las dimensiones biológicas, conductuales y
poblacionales de la salud.

ò Información detallada a los estudiantes individuales incluidos
sus resultados en cada categoria, junto con el resultado medio
para cada promoción de estudiantes, pero sin gradaciones o
percentiles de la promoción.

ò Información resumida a cada profesor asesor del estudiante al
cabo de 3 tests de progreso.

ò Los tutores no deben recibir resultados ni sus nombres deben
aparecer en la transcripción.

ò Decisiones basadas en los resultados acumulados en pruebas
sucesivas no en una sola.

ò Fiabilidad y validez, y el impacto sobre el aprendizaje
individual y tutorial de los estudiantes se evaluan tras 2 años
de experiencia.

Estos principios fueron fruto de una larga negociacion y la
aportación de los estudiantes fue particularmente util en la
configuracion de los informes escolares individuales. La
evaluación del progreso se introdujo en l991, como una valoración
necesaria y, para distinguirlo de los examenes tradicionales,
se acuñó el termino Indice de Progreso Personal (IPP). Cada test
consiste en 180 preguntas de eleccion multiple, seleccionadas al
azar de una base de datos computarizada, con un objetivo final de
3.500 preguntas. El IPP se practica tres veces al año -otofio,
invierno y primavera-. Se instruye a los estudiantes a que
intenten sólo las preguntas que creen que pueden contestar, y
las preguntas intentadas aumentan del 15% en el primer mes de
estar en la facultad de medicina al 90% en el ultimo año. La
media de los resultados medios de las clases, año a año, esta
separada por dos desviaciones estandar -confirmando la evidencia
de que el conocimiento efectivamente ha aumentado-. Tras tres
IPP, se dispone de una curva de progreso. Se evalua el progreso y
se comunica a los estudiantes y a sus asesores como
satisfactorio, limitrofe o que requiere recuperación. Para los
estudiantes que no progresan, se incluyen hojas de trabajo para
ayudarles a identificar sus debilidades, y se les explica
cómo pueden obtener ayuda, todo con caracter voluntario.

Impacto del IPP sobre los estudiantes y el aprendizaje

Cuando se comunicó el segundo IPP, se evaluó formalmente mediante
un cuestionario el impacto sobre los estudiantes y el proceso
tutorial. Dado que las distintas opiniones continuaban vigentes,
este cuestionario se consideró como un test acido. Los
estudiantes manifestaron una moderada ansiedad sobre
su acumulación de conocimiento, pero generalmente opinaron que el
IPP era algo util" para su nivel de confianza. Se mostró sólo
discretamente util en la identificación de los puntos fuertes y
debiles pero lo mas interesante es que no reveló impacto sobre la
función tutorial. Ademas, se utilizó la Cognitive Behavior Survey
de Mitchelll para comprobar si el IPP habia cambiado los estilos
de aprendizaje preferidos por los estudiantes: la ausencia de
un aumento de la memorización y el mantenimiento de la
conceptualización o creación de un modelo, sugieren que no fue
asi.

Un analisis preliminar de la respuesta a la retroalimentación
formativa mostro que la mayoria de estudiantes a los que se
aconsejaba buscar una ayuda correctiva mejoraban sus
resultados. Despues de la utilización durante 2 aiios, el IPP
sigue siendo una guia de progreso personal. La respuesta de los
estudiantes individuales al asesoramiento determinara si el IPP
puede continuar con su caracter formativo o debe integrarse en la
evaluación formal.

Fiabilidad y validez

La capacidad del IPP para detectar los resultados de forma
consistente se confirmó por el hallazgo de una fiabilidad
test-retest (correlación) de 0,70 en sucesivos intervalos del
test. Los resultados del test mejoraron constantemente con el
tiempo en el programa (fig. 1) dando una medida de la
validez constructiva. Mostró tambien valor predictivo: el
resultado del IPP, incluso un año antes, mostro una relación
consistente (r = 0,ó8) con el resultado del examen nacional (MCC)
subsiguiente. No superaron el MCC 4 de 12 estudiantes con uno o
mas IPP insatisfactorios comparado con tan solo uno de 88
estudiantes con IPP satisfactorios.

Finalmente, confirmamos que el conocimiento segun la evaluación
tutorial no estaba relacionado con los resultados del MCC o del
IPP. Asi, se mostró que el IPP tiene propiedades psicometricas
aceptables. Durante los ultimos 5 años la tasa de fracasos en el
examen MCC alcanzo una media del 5,ó%, en linea con la media
nacional del 5%. Esta mejoria precedió a la introduccion del IPP.
Nota del scaneador (pero no a la introducción de
medidas ?Objetivas? de evaluación (Examenes)

Mejorar la evaluacion de tipo tutorial (1992)

Con el test de progreso reconocimos que, introduciendo un test
altamente fiable para conocimientos aunque sin aumentar otros
aspectos de nuestro sistema de evaluacion, corriamos el riesgo de
distorsionar el sistema. Ademas, a pesar de que el test de
progreso se introdujo fundamentalmente para ayudar a
los estudiantes, nosotros teniamos que asistir todavia a los
tutores y grupos tutoriales en su labor de evaluacion. En el
ultimo año, se han introducido ejercicios de razonamiento clinico
en dos de las unidades. Los tests se basan en el triple salto,
pero utilizan multiples escenarios de casos breves donde se pide
que los estudiantes expliquen el fenómeno o proceso subyacente.
Los primeros informes de los tutores y estudiantes sugieren
que estos ejercicios han facilitado la objetivación de
preocupaciones acerca de la adquisición de conocimientos y que
parecen psicometricamente sólidos.

iAdonde vamos a partir de aqui?

Ahora que tenemos una experiencia de mas de 25 anos con nuestro
curriculum en la Universidad de McMaster, confiamos en que muchos
de sus elementos, especialmente el aprendizaje basado en la
resolución de problemas en pequenos grupos, ha resistido la
prueba del tiempo. Hemos tenido que reforzar nuestro sistema de
valoración con evaluaciones mas rigurosas y estructuradas
de resultados, conducta profesional, conocimientos y razonamiento
clinico. Nosotros continuamos confiando en que nuestros
estudiantes reaccionen sensatamente a la retroacción. Nos sigue
preocupando que un excesivo enfasis en los conocimientos
distorsionara el aprendizaje del estudiante pero el conocimiento
es claramente un sustrato necesario; habiendo establecido que
el sustrato es adecuado, podemos enfocar nuestras evaluaciones en
la aplicación del conocimiento de los estudiantes a la practica
clinica, sus habilidades, profesionalidad y aptitudes singulares.
Hasta la fecha parecemos haber sorteado las aguas revueltas sin
volcar el barco de la Universidad de McMaster. No hemos alcanzado
todavia un sistema perfecto y debemos continuar teniendo la
valentia de hacer cambios, midiendo cuidadosamente el impacto de
cada innovación mientras avanzamos.

Nuestro agradecimiento a todos los colegas de la facultad,
actuales y pasados que tuvieron la visión de aceptar el cambio,
la energia de nutrirlo y la valentía de evaluar el resultado.

Bibliografia

1. Woodward C. The effects of the innovations in medical
education at McMareport on follow-up studies. Medicus 1989; 2:
ó4-ó8.

2. Newble D Jaeger K. The effect of assessments and examinations
on the lea medical students. Med Educ 1983; 17: 1ó5-171.

3. Gordon M]. A renew of the validity and accuracy of
self-assessments in professions training. Acad Med 1991, óó:
7ó2-7ó9.

4. Perkins DN, Salomon G. Are cogmtive skils context-bound?
Educatinnal Res 1989; enero-febrero: 1ó-25.

5. Pickering G. Controversy: against multiple choice questions.
Med Teach 197 8ó.

ó. Painnn C, Neufeld VR, Norman G et al. The tnple-jump exercise:
a st measure of problem solving and self-directed learning.
Proceedings of t Conference on Research in Medical Education,
1979.

7. Neufeld VR, Woodward CA, MacLeod SM. The McMaster MD program:
a ca of renewal in medical education. Acad Med 1989; ó4: 423-432.

8. Woodward CA, Ferrier BM. The content of the medical curnculum
at M University: graduates' report of their preparation for
postgraduate traini Educ 1983; 17: 54-ó0.

9. Harden R, Stevenson M, Downie W et al. Assessment of clinical
competer objective structured examinations. BM1 1975:1: 447-451.

10. Bienenstock A, Keane D, Cohen M et al. Defining and
evaluating professional in undergraduate medical education
tutorials [resumenl. Presented at Re Medical Education Amnual
Conference, Washington, DC, 5-11 de noviembr~

11. Van Heesen PAW, Virwijnen GM. Does problem based learning
provide oB ledge? En: Bender W, editor. Teaching and assessing
clinical competence. G Boek and Werk, 1989.

12. Arnold L, Willoughby TL. The quarterly profile test. Acad Med
1990; ó5:

13. Mitchell R. The development of the cognitive behanor survey
to asses student learning. Presented at the American Educabonal
Research Associa ting, San Francisco, California, 1992.

Fech: 13 Nov 95 10:07
De: Carlos
A: Antonio
Tema: Universidad de Mc Master
-----------------------------------------------------------------

Me ha venido muy bien esta comunicación porque desconocía
totalmente el experimento de McMaster.

Recuerdo que hace años se me ocurrió cambiar el sistema de
exámenes en un curso que daba, en (...), para empresarios.
En pocas palabras, se podían (a voluntad de los estudiantes)
formar un grupo para dar exámen al mismo tiempo, o sea que todo
el grupo se examinaba como si fuera uno. La nota era la misma
para todos y si había suspenso, también implicaba a todos. Había
preguntas dirigidas al grupo, y preguntas dirigidas a cada
individuo en particular. Si en las preguntas individuales la
persona fallaba, se entendía que ese resultado afectaba a todo
el grupo.

Para no alargarme sobre esto te diré que, aunque en los papeles
el sistema parecía buena, en la práctica fué un fracaso. Todos
optaron por presentarse en grupos y dentro de cada uno algunos
tiraban del carro y otros simplemente se montaban a él. A la
hora de cortar cabezas, para el profesor era muy difícil
suspender a un grupo donde había habido excelentes
intervenciones por la presencia de un miembro mediocre o
vago....

Ya ves; en diferente tiempo, lugar y condiciones vuelve a
repetirse la misma historia.

En el fondo, y sin desestimar el valor de estas experiencias
(aunque mejor hacerlas en un laboratorio, y no en la universidad)
es como intentar suprimir el dinero para volver a economía de
trueque que, supuestamente, evitaría los abusos y absurdos de un
medio de pago universal. En la actualidad descreo de estos
experimentos cuando se aplican directamente a grandes grupos.

"La Facultad de Medicina de la Universidad de McMaster se
fundó en 1965 con el compromiso de desarrollar un sistema de educación nuevo ..."

Estos objetivos entran de lleno en el tipo de utopías que
absorbieron una parte importante de mi vida. Ahora no creo que
haya que cesar, como te decía más arriba, en esa búsqueda; pero
con tino. Los experimentos sociales salen carísimos, y no solo
en dinero, sino en amarguras y crueldades (estoy pensando en la
revolución rusa). Además, ahora veo un error de fondo: la
existencia de médicos muy competentes, con capacidad de trabajo
y equipo y con una mentalidad de aprendizaje permanente NO
DEPENDE SOLO DE LA UNIVERSIDAD.

Más aún, se puede estudiar en una universidad tradicional y ser
revolucionario justamente por haber probado en carne propia las
injusticias o limitaciones del sistema. En todo caso, además de
la universidad, el medio en el cual el profesional se
desenvuelve a posteriori será determinante para que afloren
estas cualidades, o se frustren. Envía al mejor egresado de
McMaster a una típica ciudad española donde lo que se puede
hacer depende de los enchufes (también podría llamarsele
"conexiones") y de lo que cada cuerpo de funcionarios establece
hasta donde se puede llegar y que títulos o certificados se
deben tener... y nuestro "mcmasteriano" se agostará como una
flor de invernadero transplantada bruscamente a la estepa.

"Se esperaba que, aprendiendo las ciencias basicas en el contexto de problemas clinicos, los graduados continuarian considerando los mecanismos responsables de la enfermedad al enfrentarse con los dilemas de la practica clinica."

Todo esto suponiendo que se pueda crear una "especie" nueva de
humano, tan diferente y tan estable en si misma, que sea
invulnerable a las condiciones ambientales hostíles...

Todos hemos comprobado en carne propia, y lo seguimos
comprobando en las nuevas generaciones como los exámenes no solo
filtran sino que además manipulan la realidad al establecer que
lo "verdaderamente importante" está en el exámen, y que lo demás
son temas sin importancia o sin validez científica.

Así como la información que aparece en los medios se convierte
en la "INFORMACIóN", y todo lo que sucede es solo periferia sin
verdadera importancia, la información que se pide en el exámen
es la más verdadera porque solo ella permite obtener el
resultado apetecido: aprobar.

Sin embargo aún cuando advertimos este fenómeno constantemente,
no por eso se nos ocurre eliminar los diarios, revistas, radio y
tv (aunque el intento de controlar los medios es la tentación
permanente de todo poder). Volviendo al tema ?cómo mejorar los
exámenes? Respuesta: eliminándolos. Si nos detenemos a pensar
desapasionadamente quizá la solución sea efectiva, pero tiene el
defecto propio de su efectividad: no queda nada para criticar.

Con otras palabras: los exámenes son peligrosos; no existe
ninguno que sea inocente y tienen consecuencias a largo plazo.
Razón de más para considerarlos seriamente y no para
trivializarlos o demonizarlos. En nuestro país (esta es una
opinión personal y, obviamente, muy parcial) existe una
divinización del exámen. He observado que, en todos los niveles
de enseñanza, los profesores pueden decir unas cosas durante el
curso y preguntar otras muy diferentes en el exámen. Esto es sí
no tiene nada de malo (porque un profesor no tiene porque ser un
texto parlante), solo que en este salto subyace algo así como
una creencia irracional que una cosa es uno, el profesor, en
plan de enseñanza y otra cosa muy diferente es uno "creando" un
exámen. En el primer caso nos sentimos falibles y advertimos que
son muchas las opiniones posibles; en el segundo (como creadores
de "exámenes") nos sentimos investidos de una gracia divina que
pregunta "lo que se debe" como si fuera un proceso atemporal y
absoluto. Todo esto agravado por la costumbre (fácil de
corregir) de hacer exámenes con múltiples respuestas donde solo
hay que marcar la mejor.

¡Pobre de nosotros! De esto no puede salir nada excelente, pero
¿no habrá aquí una trampa? No quiero extenderme ya que estas
reflexiones amenzan hacerse solo comprensibles para mi. La idea
es que los exámenes muestran toda la estupidez de los maestros;
pero que un futuro buen profesional necesita algo más que buenos
maestros... necesita de un medio que premie al original, al que
se esfuerza y obtiene resultados. No al que pertenece a una
capilla, gremio o iglesia.

Lo de "físico visionario" no me parece una casualidad. Hace poco
he leído un artículo donde decía que gran parte de los
integristas (sobre todo árabes) están formados por
intelectuales, sobre todo en ciencias físicas. Yo, en un mundo
"utópico", colocaría siempre al lado de un "físico" que tuviera
que dirigir algo, un "político" seleccionado entre lo más
corrupto que pueda encontrar, como comisario político. Los
políticos son los que mejor conocen el alma humana, y los
corruptos aún más (en otra época eran los sacerdotes, pero los
tiempos evolucionan).

"Aunque el tutor escribiria la evaluación narrativa final, el enfasis debia situarse en la autoevaluación del estudiante y en la evaluación por sus companeros.

¡Qué barbaridad! Las viejas utopias nuevamente en circulación,
solo que ahora vestidas con ropaje democrático. ¿Por qué no
dejamos que los políticos se evalúen entre si, al igual que los
policías o los maestros? Aquel que dijo "la milicia es algo
demasiado importante para dejársela solo a los militares" sabía
de que hablaba...

"...enseñanza abierta y cooperativa. Para desalentar la
competencia"

Otro elemento común a las utopías es el odio a la "competencia".
Se la intenta reemplazar por valores opuestos como la
"cooperación" a la que se presume fuente de placeres casi
orgásmicos. Sin embargo la observación diaria muestra que
competencia y cooperación son las dos caras de una misma moneda
(otra vez el dinero), y que lo que debería preocuparnos a los
educadores es asegurar alguna posibilidad para que la mayoría
puede "distinguirse" en algo como bueno; en vez de anular esta
posibilidad para todos.

No sigo reflexionando sobre lo que resta del material que me
brindas porque veo que la extensión puede llegar a ser un
obstáculo importante para que leas todo sin apelar a una voluntad
casi sobrehumana. Además me repetiría. Cosa que ya he hecho, y
que creo que hago aunque no me de cuenta (Por suerte no estoy
solo...). Pero en todo lo que no "quoteo" surge, para mi, un
sistema farragoso (demasiadas reuniones y cabildeos), con
agujeros por todos lados (llamo agujeros a aquello que puede
funcionar bien con gente excepcional, y que con gente normal se
va al diablo).

No se porqué me estoy acordando de la reciente reforma de las
enseñanzas no universitarias (reciente, pero no la última, porque
los ministros de educación expulsan "reformas" como si su dieta
habitual fuera garbanzos). ¡Dios mio! ¡Cuanta credulidad y
estupidez! Quizá haya una conspiración, como dice el gobierno,
pero no de empresarios y políticos corruptos sino de "físicos
visionarios". Y no empiezo con este tema... porque me
costaría "desengancharme".

Por hoy ya es bastante (supongo que aunque haya divergencias, en
esto último estarás totalmente de acuerdo conmigo).

----------------------------------------------------
Fech: 17 Nov 95 15:09
De: Antonio
All Enseñanza de la medicina

Quisiera abordar un tema que creo interesante.

En la enseñanza de las técnicas sanitarias (prácticamente todas
las ramas de la sanidad se deben entender como una técnica y no
como una ciencia, esto es bastante claro) existe un problema
bastante franco, que es que se tiene que impartir un nivel de
conocimientos, peor al mismo tiempo hay que proteger a
la sociedad de posibles fallos en la formación del sanitario,
puestos repercutirían directamente sobre la salud de los demás.
Para evitar este problema se han estudiado diversas estrategias.
Una de ellas es el asistir uno a dos años a un lugar donde se da una
formación especializada, como puede ser un hospital, una catedra,
etc. Se supone que no habrá nadie tan burro como para no aprender
nada en el tiempo en que estará allí, pero solo se supone y
además no existen habitualmente suficientes plazas en
prácticamente ningún sistema sanitario para garantizar esta
docencia.

El metodo mas conocido es el examen con sus multiples variantes,
ya sea el tipo cuestionario con centenares de preguntas o el
típico examen anglosajón que se realiza sobre casos prácticos en
presencia del tutor del alumno y que en principio es normal que
se apruebe de forma masiva, salvo intoxicación etilíca o
cretinismo masivo.

Otro sistema que se esta valorando actualmente, sobre todo en
U.S.A donde se usa para evaluación continuada de los médicos y
eventualmente se puede suspender a un médico en ejercicio y
obligarle a realizar un cierto reciclaje. Este sistema consiste
en adiestrar a actores profesionales para simular cualquier
sintoma de cualquier enfermedad y a los que se les acompaña de
una serie de pruebas ya realizadas en teoría por otros
especialistas, pero que en realidad no le pertenecen. Cuando el
médico pide alguna serie de pruebas mas se le dan en una ulterior
consulta mas pruebas que orienten a una determinada enfermedad y
cuando se aprieta en el sitio en que le han enseñado que tiene
que hacerlo se queja. Por supuesto, lo que mas se valora es que
el colegiado se de cuenta de la superchería o que en su defecto
oriente el diagnostico hacia la enfermedad que realmente padecía
el enfermo que ejemplifica el actor.

Esto, pese a que se esta haciendo por rutina en U.S.A, presenta
curiosos problemas éticos y algunas imposibilidades reales. Me
gustaría ver como se puede valorar por actores profesionales,
engañando a un dermatologo a no ser que este presente una seria
alteración de vista y tacto (es decir que lleve dentro varias
botellas de jumilla).

Obviamente es un problema no resuelto y que tampoco vamos a
resolver aquí, pero me gustaría conocer vuestra opinión, sobre
cual podría ser el mejor metodo de valoracion de la aptitud de un
sanitario para el trabajo que tiene que desempeñar o esta
desempeñando.
-----------------------------------------------------------------
Fech: 20 Nov 95 19:30:01
De: Carlos
A: Antonio
Tema: Enseñanza de la medicina
-----------------------------------------------------------------
"... es que se tiene que impartir un nivel de conocimientos,
peor al mismo tiempo hay que proteger a la sociedad de posibles
fallos en la formación del sanitario"

En sustancia es el mismo que en cualquier otra profesión. Solo
que la importancia del bien protegido puede dar, (¿cómo
decirlo?), mayor dramatismo a la titulación. En nuestra sociedad
2 son las cosas más preciadas: la salud y la bolsa (en orden de
importancia me parece que es al revés). En esta dirección
destacan, entonces, las titulaciones relacionadas con la
medicina y la abogacía (sin desdeñar otras, también, de tipo
económico).

De todas maneras es una cuestión bastante relativa. Ya que si te
mantienes razonablemente bien pero habitas una casa muy mal
construída, puede suceder que hagas el "tránsito" en perfecto
estado de salud.

"... el asistir unos años a un lugar donde se da una formación especializada ".

Parece sensato proporcionar al joven titulado un lugar donde
observar y practicar algunas herramientas de su profesión...

"El metodo mas conocido es el examen..."

Hasta donde alcanza nuestro horizonte histórico, no parece
haberse inventado nada mejor...

"ya sea el tipo cuestionario con centenares de preguntas

Muy ahorrativo, ya que permite examinar a bastantes estudiantes
al mismo tiempo y la corrección suele ser más descansada.

"o el típico examen anglosajón que se realiza sobre casos prácticos"

Una buena alternativa (más costosa en tiempo y energía), Sí se
hace bien. En este caso los profesores examinadores son
determinantes (más aún que en el caso anterior). Si son poco
serios, si no han preparado debidamente el caso, si lo toman
como un trámite enfadoso... todas las buenas intenciones se van
por el vertedero.

Dado que resulta tan importante la preparación del tribunal
examinador... suele ser una buena solución teórica, y una mala
solución práctica.

"...es normal que se apruebe de forma masiva"

Un confirmación de cómo las buenas intenciones sirven para
empedrar el camino hacia la nada.

"Este sistema consiste en adiestrar a actores profesionales"

Mucho ruído... y pocas nueces. No creo que haya necesidad de
actores, como tampoco a nadie se le ocurriría convertir el examen
en un estudio de filmación y repartir salsa de tomate entre las
supuestas víctimas. La clave, me parece, está en la seriedad como
se toma el caso el tribunal examinador... y todo lo demás son
pamplinas.

De todas maneras, si sirve para que actores en paro coman
caliente ¡no hay problema! Pero, insisto, este tipo de arreglos
solo ponen una nota de color.

"..se esta haciendo por rutina en U.S.A,presenta curiosos problemas éticos"

Antonio, los norteamericanos se pirran por los "problemas
éticos". Ya lo dijo Lao Tse hace más de 2000 años:

Cuando el tao ha sido abandonado
aparece la bondan y la rectitud.
Cuando surge la inteligencia y la sabiduría,
aparece la gran hipocresía.
Cuando no hay armonía entre los seis parentescos,
aparece la piedad filial y el amor.
Cuando los Estados caen en el desorden y en el caos,
aparecen los honestos vasallos.
(Traduc.J.I.Preciado.Edic.Alfaguara)

y parafraseando al autor mencionado: "Cuando somos y estamos
rodeados de crapulas, aparecen los problemas éticos y las
distinguidas catedráticas de Etica".

"Me gustaría ver como se puede valorar por actores
profesionales, engañando a un dermatologo a no ser que este presente una seria alteración de vista y tacto (es decir que lleve dentro
varias botellas de jumilla".

No te preocupes, es solo un problema de "efectos especiales".

"...es un problema no resuelto y que tampoco vamos a resolver"

Esto me da un gran alivio :-)

"... el mejor metodo de valoracion de la aptitud de un sanitario"

A corto plazo, un examen serio. A largo plazo, la posibilidad
que los "clientes" puedan seleccionar su matasanos. Todo lo
demas... son puñetas.