Tres maneras de criticar un modelo

3455852747_94f8471e33_b

Publicado originalmente en Everybody Is Stupid Except You

Un modelo es un conjunto de predicciones que dicen que “bajo x condiciones, y debería ocurrir.” (También es una persona muy fotogénica, pero lamentablemente si eso es en lo que estás interesado, no te va a gustar demasiado el resto de la entrada).

Esta es la forma más usada para criticar un modelo: “Ese modelo no puede explicar fenómeno ABC”. El objetivo de este post es señalar una obviedad: esta crítica puede significar tres cosas muy diferentes. A saber,

  1. El modelo hace una predicción sobre ABC y esa predicción es incorrecta.
  2. El modelo hace una predicción sobre ABC y está bien en algunas circunstancias, pero en otras circunstancias está mal.
  3. El modelo no hace ninguna predicción sobre ABC.

Si en algún momento de tu vida propones un modelo y alguien se acerca a ti en una conferencia diciendo “¡¡Tengo datos que tu modelo no puede predecir!! ¡¡Chúpate esa!!” ¿Qué significa? A menudo y por lo general significa críticas tipo 2 o incluso tipo 3. En mi experiencia, es común que las personas mezclen esos tres tipos de crítica y los usen como si fueran más o menos lo mismo. Pero no lo son, claro. De hecho, hay grandes diferencias.

El primer tipo es la más devastador. Es una forma elegante de decir que el modelo es erróneo. El segundo sugiere que el modelo podría ser mejor, y, por tanto, es incompleto (y a veces incorrecto). El tercero no es una objeción en absoluto. Claro que hacer más más predicciones sería bueno, pero seamos sinceros, el único modelo completo se llama REALIDAD.

Acabamos hoy con algunos ejemplos de psicología cognitiva. Como podréis ver, los límites entre los tipos de críticas son un poco borrosos, pero yo diría que son (¡muy!) reales.

La crítica 1

Mi amigo y colega Shana Carpenter propuso un modelo en un artículo de 2011 En la conferenciade psiconomíade este año, otro colega, James Neely, señaló una posible explicación alternativa para los datos. Shana trató de replicar su estudio con diferentes materiales; en caso de estar en lo cierto se hubieran conseguido resultados diferentes y, por consiguiente su teoría podría estar equivocada. Pero no fue el caso y su teoría fue “confirmada”. Otro ejemplo clásico es la teoría de que las vacunas causan autismo. No lo hacen. Esta teoría está simplemente muerta. Y es un buen ejemplo de como la imposibilidad de replicar ciertos estudios abre la puerta a las críticas de este tipo.

  • En pocas palabras: Si la crítica 1 es cierta, el modelo es erróneo.

La crítica 2

Muchos estudios señalan que hacer exámenes ayuda a las personas a averiguar lo que saben y lo que no saben. Hace poco me di cuenta de que esto era cierto, pero sobre todo cuando las personas no comprueban la respuesta después del examen. Si lo hacen, sigue siendo cierto pero el efecto es mucho más débil. Esta es la crítica 2. El modelo original es correcto, pero es incompleta porque no toma en cuenta alguna variable importante.

  • En pocas palabras: Si la crítica 2 es cierta, el modelo necesita ser modificado para hacerse más completo.

 La crítica 3

He aquí otro ejemplo de la conferencia de psiconomía de este año.Presenté un modelo que asume que la gente se olvida de información a través del tiempo. Eso es una suposición bastante estándar y el modelo hace predicciones sobre otra cosa (los cambios en la tasa de olvido con el tiempo). Alguien levantó la mano y dijo: el modelo no tiene en cuenta los efectos de la reminiscencia – el hecho de que la memoria aumente con el tiempo, en lugar de disminuir. Este es un punto importante, pero incluso si es cierto no invalida el modelo. El modelo no hace predicciones sobre la reminiscencia (que por lo demás, es algo diferente de cualquier otra concepción de la memoria).

  • En pocas palabras: Si la crítica 3 es cierta, el modelo está probablemente muy bien. Simplemente no lo cubre todo bajo el sol (Aunque por supuesto, siempre sería mejor si lo hiciera).

Resumen

Cuando un modelo no predice un fenómeno (o conjunto de datos), la conclusión apropiada puede variar desde “el modelo está mal” para “el modelo está bien, pero hay cosas que no intenta explicar”. Y hay que tener cuidado con confundir una cosa con la otra.

Anuncios

Responder

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión / Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión / Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión / Cambiar )

Google+ photo

Estás comentando usando tu cuenta de Google+. Cerrar sesión / Cambiar )

Conectando a %s