Alerta de ironía: citas alucinadas en artículos de NeurIPS, la prestigiosa conferencia sobre IA

La startup de reconocimiento de IA GPTZero ha escaneado los 4.841 artículos aceptados en la prestigiosa Conferencia sobre Sistemas de Procesamiento de Información Neural (NeurIPS) celebrada en San Diego el mes pasado. La compañía le dijo a TechCrunch que encontró 100 citas alucinadas en 51 artículos que confirmó que eran falsos.

Aceptar trabajo a través de NeurIPS es un logro digno de un currículum en el mundo de la IA. Dado que estos son los líderes de la investigación de la IA, se podría suponer que utilizarían los LLM para la tarea catastróficamente aburrida de escribir citas.

Por lo tanto, existen numerosas advertencias sobre este hallazgo: 100 citas de alucinaciones confirmadas en 51 artículos no son estadísticamente significativas. Cada artículo contiene docenas de citas. Entonces, de decenas de miles de citas, esta estadísticamente es cero.

También es importante señalar que una cita inexacta no niega la investigación del artículo. NeurIPS dijo a Fortune, que fue el primero en informar sobre la investigación de GPTZero, “Incluso si el 1,1% de los artículos tienen una o más referencias incorrectas debido al uso de LLM, el contenido de los artículos en sí no es necesariamente inválido”.

Pero incluso una cita falsa no es nada. NeurIPS se enorgullece de sus “rigurosas publicaciones científicas en el área del aprendizaje automático y la inteligencia artificial”, dice. Y cada artículo es revisado por varias personas a las que se les instruye para reconocer las alucinaciones.

Las citas también son una especie de moneda para los investigadores. Se utilizan como métrica de carrera para mostrar cuán influyente es el trabajo de un investigador entre sus colegas. Si la IA los inventa, diluye su valor.

Nadie puede culpar a los revisores por no detectar algunas citas generadas por IA, dado el gran volumen. GPTZero también se apresura a señalar esto. El objetivo del ejercicio era proporcionar datos específicos sobre cómo las tonterías de la IA se están infiltrando a través de “un tsunami de sumisiones” que ha “estresado los procesos de revisión de estas conferencias hasta el punto de ruptura”, dice la startup en su informe. GPTZero incluso señala un artículo de mayo de 2025 titulado “La crisis de revisión por pares de la conferencia de IA”, que discutió el tema en conferencias importantes, incluida NeurIPS.

Pero ¿por qué los propios investigadores no pudieron comprobar cómo funcionan los LLM? Seguramente deben conocer la lista real de papeles que utilizaron para su trabajo.

Todo esto realmente apunta a una gran e irónica comprensión: si los principales expertos en IA del mundo, con su reputación en juego, no pueden garantizar que su uso de LLM sea preciso hasta el último detalle, ¿qué significa eso para el resto de nosotros?