#14 El R2 que va de enterao
¿Quién alucina más la IA o el médico que la utiliza?
¡Bienvenido a esta edición número 14 de Médicos Inconformistas!
Cada semana te traigo ideas y conceptos de fuera del mundo de la salud para inspirarte, ayudarte a tomar mejores decisiones y explorar nuevas vías de ingresos como profesional sanitario.
Este espacio es una mezcla de aprendizajes, reflexiones y recursos prácticos que voy recopilando cada semana adaptados a la realidad de los profesionales de la salud que no están contentos con su situación actual y están preparándose para un cambio o están empujando un proyecto personal.
Mientras le doy a publicar estoy preparando la maleta para irme a la feria de Sevilla.
No esperes mucho de mí esta semana.
Eso sí, quería contarte que en Red SanitarIA ya tenemos más de 100 profesionales de la salud aprendiendo mes a mes de otros profesionales de la salud que ya usan la IA.
Por último, comentarte que ya tienes las 8 primeras ediciones de esta newsletter en audio y vídeo en Spotify y Youtube, por si sois más de ver o escuchar que de leer.
Dicho esto, si ya vas más avanzado aquí tienes los enlaces para leerte las dos ediciones anteriores:
En esta edición número 14 voy a hablaros de los riesgos de la IA en el aprendizaje.
Sobre todo voy a enfocarlo hacia la falsa sensación que una persona tiene de que sabe algo porque un IA le haya proporcionado una información que puede que no esté totalmente contrastada.
Empezamos👇
1. Los enteraos en el mundo de la salud
Estoy observando últimamente mucho listillo envalentonado por ahí suelto.
El típico enterao, vaya.
Ese término está muy claro en Andalucía, pero te dejo aquí una definición.
Al enterao le gusta tener más información que nadie. No importa tanto la fuente. Quiere disponer de ella para saber más que tú en cualquier tema.
El enterao se informa mucho en poco tiempo, saca sus propias conclusiones y las defiende hasta la muerte.
Usa esos 4 datos que tiene, (de fuentes variadas y a veces no tan fiables), para hablar con soltura de tú a tú con un experto en la materia.
Si rascas, te das cuenta que no sabe de nada, pero sabe liarte para que no rasques.
Seguro que habéis tenido el típico amigo que en una discusión sobre un tema ha ido al baño y de repente ha vuelto con unas estadísticas perfectas que justifican su posición y las suelta con una seguridad pasmosa.
No era caca, era Google.
Ahora con los modelos de lenguaje y las IAs generativas estos enteraos han crecido en número de forma exponencial.
El problema no es solo tener más personas que creen que saben mucho de algo que no dominan, sino que los modelos de lenguaje también van de enteraos y cuando les preguntan algo puede que la información que devuelva no sea verídica.
Como la persona no es experta en la materia y es usuario nivel de estar por casa, con sus ganas de saber más que nadie, da por buena la información que la IA le da y la utiliza como suya.
Cuando esto pasa, se dice que la IA alucina. Te escupe en tu pantalla una información que no es real para cumplir con lo que le has pedido. (por qué le cuesta decir tanto que no a una IA) [2]
Aquí el riesgo es que la persona que interactúa con la IA también alucine. En este caso tenga una alucinación de conocimiento. [3]
Confía demasiado en la información recibida, por su extensión y lenguaje, y piensa que ahora dispone de una información valida y la usa con seguridad.
Esto está relacionado o digamos que acentúa un fenómeno del que hablé en la edición 3 de esta newsletter. [4]
Un fenómeno, que para mí, es mucho más peligroso que el síndrome del impostor y es el efecto de Dunning-Kruger.
Es el sesgo cognitivo que sufren aquellas personas incompetentes en una materia pero que se creen que son expertos en la misma.
(En la la edición 3 gasté una broma con Freddy Krueger que nadie pilló, así que no la voy a repetir)
El tener conocimiento avanzado en las manos de alguien no experto en la materia. Tiene muchos riesgos. Ya he hablado del nuevo paradigma que esto supone en la interacción paciente y doctor, pero hoy no vamos a hablar de eso.
Quiero tratar el impacto que esto tiene en la educación. Vamos a hablar de educación post-colegio. De mis alumnos. Y también de la educación de los médicos.
Verás, llevo años dando clase en varias universidades, y está claro que con esto de la IA la educación está cambiando.
Mis alumnos suelen ser alumnos de master, de muchos países y con buenos recursos.(no sé si esto aporta al contexto pero puedes usar esa información como quieras)
Mis clases suelen involucrar hablarles de una problemática en un sector determinado y pedirles que hagan un estudio para responder a una pregunta que ayude a una serie de personas a tomar una decisión.
Con esto de la IA, tengo las expectativas que el 100% de los estudios de mis alumnos estén realizados en su gran parte con IA generativa.
Desde la planificación, la investigación, los análisis, los resultados y el documento de presentación.
Sabiendo esto lo único que puedo hacer es plantearles una situación ambigua en la que la IA no tenga una respuesta clara que requiera pensamiento crítico, poner bastante peso en la parte de elaboración de una historia que me convenza de la conclusión a la que han llegado, y sobre todo, que la comunicación en directo sea impecable.
En esta situación tras revisar los informes y ver las presentaciones, y hacer un par de preguntas, es incréible cómo poniendo un poco de atención, (con el culo pelao de haber revisado miles de informes en el pasado) y rascando un poco, desmontas trabajos que a primera vista parecían perfectos.
Es cierto, que no necesito que sepan a la perfección de lo que están hablando, pero el problema es que por pereza, por presión o por sobre-confianza en ChatGPT, algunos me presentan información que claramente es falsa o fruto de la alucinación de una IA.
En un entorno simulado de una clase esto no tiene más consecuencias que el efecto negativo en las notas del alumno y en algunos casos la cara colorada que se le queda.
Pensando en esto que veo yo en las clases, no me queda otra que reflexionar, qué pasará en los casos de los médicos.
Lo que pasa en la facultad no te lo puedo decir, y me encantaría que me lo contases.
Lo que si te puedo contar es lo que veo formando a profesionales de la salud en temas de IA dentro de mi otro proyecto Red SanitarIA.
Yo y mis compañeros hacemos mucho hincapié en esto de las alucinaciones, que en entorno de salud es algo crítico, tanto a la hora de usarla con el paciente como a la hora de hacer investigación y/o divulgación.
Aquí tenemos ventaja porque cuando estamos usando IA, tenemos delante a profesionales que ya son expertos en su materia. Vienen del mundo de la formación médica tradicional y tienen los conocimientos fundamentales para darse cuenta que la IA está alucinando.
Ahora bien, el otro día dimos un curso en el que enseñábamos a hacer el estudio de estadística para un paper sin tener que llamar al estadístico de turno, ni tener ni idea de estadística. (Bueno, de estadística y de muchas cosas.)
Si entráis en el curso [5], que es una maravilla para acelerar procesos de investigación, me veréis diciendo que tenéis que tener mucho cuidado con cada paso que dais.
Porque aunque la IA te ayuda en el proceso, esta puede alucinar y como tú no tienes ni idea de lo que está haciendo, te puede soltar alguna locura y tú ni darte cuenta.
Veréis que el proceso involucra tratar con bases de datos del estudio sobre pacientes, usar ChatGPT para desarrollar código en Python que trate los datos y realice los análisis estadísticos y posteriormente resumir todo para llegar a unas conclusiones.
Si no tienes ni idea de bases de datos, ni de python, ni de estadística, sí, ChatGPT te lo va a hacer, pero te la puede meter doblada.
Por eso, soy muy muy insistente que, en la conversación con ChatGPT, hay que poner mil comprobaciones para validar que lo que está haciendo es lo correcto.
Si te digo que es como si yo le pidiera el paso a paso para realizar una operación de rodilla, te enfadarías. Pero teóricamente podría seguir los pasos y, si uno es mentira, no me daría cuenta y el resultado sería desastroso.
Pasa igual que ahora con eso de que un paciente tiene mucho conocimiento sobre salud en el móvil pero, en ocasiones, es muy peligroso porque no puede validar si lo que está leyendo aplica realmente en su caso.
Me parecería igualmente peligroso que un estudiante en proceso de convertirse en médico usase una IA para buscar asesoramiento sobre una parte del cuerpo afectada por el paciente que no forma parte de su especialidad, y se comiera alguna alucinación.
(O algún tipo de sesgo racial que se cuele en el algoritmo de diagnóstico [6])
Estos errores los va a cometer cualquiera. Porque nuestro cerebro es un vago, busca saltarse pasos y ahorrar energía.
Si tiene la información a golpe de click, para qué va a aprenderla.
Ya te digo, esto está muy bien cuando ya tienes el conocimiento y quieres eficientar su aplicación.
Pero cuando estás aprendiendo… no, ahí no.
Pensad dentro de poco en los residentes asistidos por IA.
La residencia está para coger horas de vuelo, asentar conocimiento, y desarrollar agilidad, regulación emocional, gestión del estrés y la incertidumbre y creatividad en la resolución de situaciones complejas. [7]
Si una parte considerable de este proceso está asistido por IA, y se van a dedicar a replicar lo que haga la IA, por eficiencia y agilidad a corto plazo… ¿qué impacto tendrá en las aptitudes de estos médicos a medio y largo plazo? ¿Quién va a tener asentados los conocimientos necesarios para que la IA no te la cuele?
¿O para qué quiero residentes si a lo mejor me lo puede hacer todo una IA? ¿Van a ir los residentes de enteradillos porque saben usar mejor la IA que sus “mayores” y luego se van a quedar totalmente bloqueados en situaciones de alta exigencia?
¿Cómo se va a formar a los nuevos residentes?
¿Cuéntame qué piensas?
(Este debate está pasando en todas las industrias con una estructura jerárquica. En ingeniero junior, al desarrollador de software junior, etc… así que cuando quieras hablamos)
Hasta aquí esta edición número 14 de Médicos Inconformistas.
Si te ha gustado, la mejor forma de hacérmelo saber es compartiéndola con tus colegas inconformistas.
Y si te has quedado con ganas de hacer algo por tu cuenta en el mundo de internet o desatascar algo en el proyecto que ya tengas entre manos, es justo lo que estoy a ayudando a hacer a otros profesionales de tu sector que están buscando un cambio en su carrera sanitaria. Escríbeme.
Enlaces y recursos relevantes para Inconformistas
Sesiones 1-a-1 con el desatascador🪠 de sanitarios
Por qué le cuesta tanto un chatbot decir “No lo sé”: Enlace al WSJ
Alucinación de conocimiento por Javier Recuento (y otros temas): Enlace 1 y 2
Tercera edición de Médicos Inconformistas hablando del síndrome de Dunning-Kruger
Sesgos raciales de las IA usadas en el diagnostico de pacientes basadas en imágenes: Enlace
Impacto de la sobreconfianza en las IA conversacionales por parte de los estudiantes: Enlace
PD: Si no te cuidas tú, ¿quién te va a cuidar para que cuides de otros?
PD1: Nos vemos el lunes que viene