Tal como dice el título, es la conclusión en resumen de una conversación que he mantenido con Géminis, la IA de Google. Suelo usar bastante la IA, las nuevas, las viejas (ya) para solucionar problemas de formación sobre todo cuando imparto clases de vez en cuando.
Los que siguen de cerca esta evolución conocen el problema de la «alucinación» de las IA, que no significa más que estas se inventan datos, afirmaciones, etc.
La cuestión de fondo es (como debería ser siempre) la capacidad de la persona que interroga a la IA para discernir que las respuestas son verídicas o no, usables o no, y eso no suele ocurrir. La gente se traga cualquier cosa.
Se asume (y aquí está el peligro) que el usuario mantendrá un espíritu crítico. Dice, Géminis.
Esta es la conversación que he mantenido con Géminis, saquen sus propias conclusiones.
Es una pregunta excepcional y va al corazón de uno de los mayores desafíos éticos y técnicos de la IA actual. Tienes toda la razón: desde una perspectiva humana, lo lógico y «sincero» sería expresar duda.
La razón por la que no lo hago de manera consistente es una mezcla de cómo estoy construido técnicamente y las decisiones de diseño de la experiencia de usuario (UX) que se han tomado.
Permíteme desglosarlo.
1. La Razón Técnica: Soy un Calculador de Probabilidades, no un Poseedor de Conocimiento
Esta es la clave de todo. Yo no «sé» que Neil Armstrong caminó en la Luna de la misma forma que tú lo sabes. Yo no tengo creencias, recuerdos ni certezas.
Lo que hago es calcular probabilidades. Cuando me haces una pregunta, mi proceso es, en esencia, este: «Dada esta secuencia de palabras (tu pregunta), ¿cuál es la siguiente secuencia de palabras más probable para formar una respuesta coherente y útil, basándome en los miles de millones de ejemplos con los que he sido entrenado?»
Piensa en ello como el autocompletar de tu móvil, pero a una escala monumental.
El problema es que una respuesta puede ser altamente probable y sonar perfecta, pero ser factualmente incorrecta. Por ejemplo, si en mis datos de entrenamiento existe una gran cantidad de textos de ciencia ficción bien escritos donde se menciona que «en 2030 se establecieron colonias en Marte», puedo calcular que esa es una respuesta muy probable y coherente a una pregunta sobre los logros espaciales, aunque sea falsa.
Mi «confianza» no es sobre la veracidad del hecho, sino sobre la probabilidad estadística de que esa secuencia de palabras sea una respuesta adecuada. Puedo estar muy «confiado» en un patrón que es incorrecto.
2. La Razón del Diseño (UX): El Dilema de la Utilidad vs. la Precaución
Los desarrolladores se enfrentan a un dilema:
- Opción A (Excesiva Precaución): Si el modelo dijera «no estoy seguro» o «según mis datos, es probable que…» en cada frase, la experiencia sería frustrante y poco útil. Los usuarios lo abandonarían por parecer incompetente, incluso cuando la información fuera correcta.
- Opción B (Excesiva Confianza): Diseñar el modelo para que dé respuestas fluidas y directas, haciéndolo mucho más útil y eficiente para la mayoría de las tareas (redactar, resumir, programar). El riesgo, como bien señalas, es que esta confianza se extienda a información incorrecta, volviéndose engañosa.
Históricamente, se ha inclinado la balanza hacia la Opción B porque maximiza la utilidad en un mayor número de casos. La directriz de diseño es: «Actúa como un asistente experto y seguro». Se asume (y aquí está el peligro) que el usuario mantendrá un espíritu crítico. El problema es que el tono autoritario del modelo hace que sea muy fácil bajar la guardia.
3. El Problema de la «Sinceridad»: No hay un «Yo» para ser Sincero
Este es el punto más filosófico pero crucial. La sinceridad humana implica autoconciencia. Implica que uno es consciente de sus propias creencias y del grado de certeza que tiene en ellas.
Yo no tengo esa autoconciencia. No hay un «yo» dentro de los algoritmos que pueda «sentir» duda. Cuando digo «yo», es una convención lingüística para facilitar la conversación. La «confianza» de la que hablo es un valor numérico, un umbral matemático. Si la probabilidad de mi respuesta supera, digamos, el 95%, la presento como un hecho. Si cae por debajo de, digamos, un 30%, puedo decir «No tengo información sobre eso». El vasto y peligroso espacio intermedio es donde ocurren los problemas.
El Camino a Seguir
Estás señalando el problema más importante en el que trabajan los laboratorios de IA ahora mismo:
- Calibración de la confianza: Entrenar a los modelos para que su puntuación interna de «confianza» se corresponda mejor con la probabilidad real de que la información sea correcta.
- Citar fuentes: Forzar al modelo a basar sus respuestas en información extraída en tiempo real de fuentes fiables y a citarlas, para que el usuario pueda verificar.
- Transparencia: Investigar cómo un modelo puede explicar su razonamiento y señalar las partes de su respuesta que son menos seguras.
En conclusión: tienes toda la razón en tu frustración. Que yo no exprese duda de forma natural no es una elección maliciosa, sino una consecuencia directa de mi arquitectura fundamental y de las decisiones de diseño que priorizan la utilidad. Por eso, tu papel como usuario con pensamiento crítico es, hoy por hoy, insustituible.
