Hace unas semanas tuve un intercambio de pareceres en Twitter con Jesús Zamora Bonilla y prometí exponer mis argumentos de forma más extensa en una entrada en este mi blog. Para centrar un poco la cuestión resumo rápidamente la afirmación de Jesús para proceder después a justificar mi crítica.
Parece que Jesús estaba enfadado con alguien que opinaba en la tele sobre el informe PISA y que afirmaba que nuestro sistema educativo es un desastre "se mire por donde se mire". Jesús, no estando de acuerdo con quien hacía dicha afirmación, acompañaba el siguiente gráfico para argumentar que "Nuestra nota PISA responde exactamente a lo esperable con nuestro PIB".
La recta de regresión pasa exactamente por encima del punto de España, hecho que Jesús utiliza para hacer la afirmación anterior. Mi contestación literal fue: "Uffff.... Sacar esa conclusión de ese gráfico es temerario cuando menos....".
No quiero discutir aquí sobre si me parece que el informe PISA es algo por lo que tengamos que flagelarnos o sacar pecho; hay gente mucho más capacitada que yo para analizarlo, desmenuzarlo y juzgar si Jesús tiene razón o no. Lo que yo quiero hacer en esta entrada es argumentar que un análisis de correlación y su recta de regresión simple dibujada sobre la nube de datos no permite hacer afirmaciones como la de Jesús.
Para explicar mi punto de vista utilizaré un ejemplo numérico con datos inventados sobre un fenómeno para el que sabemos que existe una correlación: las personas más altas ganan salarios más altos. Imaginemos que tengo los siguientes datos de altura en cm. y salarios de 400 hombres:
En la gráfica anterior he destacado un punto (señalado con un circulito) que cae prácticamente sobre la linea. Según la lógica de Jesús, lo que dicha persona está ganando "responde exactamente a lo esperable" por su altura.
Supongamos ahora que también tengo datos sobre el nivel de formación de cada una de esas personas. La siguiente gráfica representa los mismos datos que la anterior pero con una modificación: los colores de los puntos identifican distintos niveles educativos:
Los puntos de color rojo representan un nivel educativo bajo, los azules un nivel medio y los verdes un nivel superior. La remuneración salarial está también correlacionada con el nivel educativo observándose más puntitos verdes por la parte superior de la nube de puntos y puntitos rojos por la parte inferior. He vuelto a representar la recta de regresión global, pero también la recta de regresión para los individuos "verdes" (los de nivel educativo alto). La correlación entre su salario y su altura es prácticamente la misma (las rectas son casi paralelas), pero pasa por encima. He vuelto a señalar el mismo punto que antes estaba "donde le correspondía" según su altura y vemos ahora cómo está claramente por debajo de lo que le corresponde según su altura y su nivel educativo.
En resumen: NO podemos sacar conclusiones sobre si un punto esta "donde le corresponde" ya que un estudio de correlación (lineal, para más señas) carece de capacidad predictiva. Básicamente nos dice en qué dirección se extiende la nube de puntos y poco más.
Y con esto doy por saldada mi deuda respecto al tema. :D
Me alegro de haber sido tan inspirador.
ResponderEliminarNo puedo sino reconocer que tienes razón, pero hay que tener en cuenta no sólo el valor científico de cada argumento, sino su posición y relevancia en un debate. Lo que yo quería decir no era que teníamos que aceptar como una verdad científica incontrovertible el hecho de que los datos demostraban que tenemos el nivel educativo que necesariamente se sigue de nuestro PIB (pues no hay tal cosa), sino más bien pretendía DESMONTAR un argumento: el argumento de que los datos muestran que estamos mal.
Creo que es obvio que tu propio argumento se puede aplicar justo a la tesis que yo estaba criticando: los datos de PISA no muestran por sí solos que estamos mal, pues podemos ofrecer otra lectura de los datos (tal vez igual de poco justificada que la que yo criticaba, pero no menos) de la que se seguiría la tesis contraria.
Jesús,
EliminarGracias por comentar. Efectivamente utilizar datos para argumentar una posición es algo mucho más difícil de lo que nos tienen acostumbrados. Yo no me atrevo a juzgar si nuestro sistema educativo cosecha lo que merece o no. Hay gente que conozco que está en tu línea de pensamiento y otros cuya opinión también respeto que opinan lo contrario.
Lo que sí te digo, y es más un criterio personal que un análisis de los datos, es que prefiero ver las cosas peor de lo que están porque eso me estimula a tratar de mejorarlas. Dormir en los laureles es el principio de la decadencia... Por eso tiendo a apoyar visiones más pesimistas que la tuya. ;)
Un saludo
Sobre el tema educativo creo que soy ya bastante pesimista. El nivel educativo en España es una porquería, y no hace falta compararlo con el de otros países para darse cuenta. Creo que decir que el nivel que tenemos corresponde más o menos con lo esperable dado nuestro PIB o que no hay datos para pensar lo contrrio) es compatible con afirmar que ese nivel es bastante miserable
ResponderEliminar:-)