Estimated reading time: 7 minutos
Puntos Clave
- La evaluación de IA documental requiere verificar la información y considerar modificaciones posteriores que puedan afectar las respuestas.
- Es fundamental preparar preguntas con el personal que trabaja con la documentación relevante para asegurar la calidad de las respuestas.
- Las pruebas deben incluir diversos tipos de consultas, algunas con información incompleta, para evaluar la capacidad del asistente.
- Registrar los resultados es crucial para entender el rendimiento del sistema y analizar errores en las respuestas proporcionadas.
- La participación de futuros usuarios en la evaluación puede ayudar a detectar problemas que el equipo técnico no identificaría fácilmente.
Tabla de contenidos
- Preparar las preguntas con quienes trabajan con la documentación
- Comprobar qué información utiliza y cómo responde
- Probar versiones y documentos relacionados
- Comprobar cuándo necesita más información
- Repetir las consultas con distintos permisos
- Registrar los resultados para saber dónde estamos
- Análisis de resultados
- Preguntas Frecuentes
Comprobar una respuesta de una IA documental requiere algo más que abrir el enlace que la acompaña. Puede que encontremos el contrato correcto, que el plazo indicado coincida con lo que dice el documento y que, a primera vista, todo parezca correcto.
Sin embargo, quizá exista una modificación posterior en el mismo expediente que cambie por completo las condiciones.
Imaginemos que una empresa consulta a su asistente documental cuánto tiempo tiene un proveedor para comunicar una incidencia. El contrato establece un plazo de 48 horas y la IA responde con ese dato, acompañado de la referencia correspondiente. Pero una modificación aprobada posteriormente reduce el plazo a 24 horas cuando se trata de incidencias críticas.
Si la pregunta no especificaba el tipo de incidencia, la respuesta debería recoger las dos condiciones o solicitar una aclaración. Limitarse a contestar «48 horas» supone dejar fuera información que puede ser determinante para tomar una decisión.
En el artículo sobre IA para gestión documental y entorno real ya abordábamos la importancia de comprobar las fuentes, la vigencia, los permisos y los límites de estas herramientas. Llevar esas cuestiones a una prueba concreta permite comprobar cómo se comporta el sistema, localizar errores y determinar hasta dónde podemos confiar en sus respuestas.
Preparar las preguntas con quienes trabajan con la documentación
La evaluación de IA documental puede empezar por recopilar las consultas que los equipos necesitan resolver habitualmente.
En compras aparecerán preguntas sobre condiciones contractuales; en una administración, sobre los antecedentes de un expediente; y en un archivo, sobre información que puede estar repartida entre varios documentos.
Para preparar estas pruebas necesitamos contar con personas que conozcan la documentación y sepan qué información debe tenerse en cuenta.
En nuestro ejemplo, se identificarían el contrato, la modificación posterior y los fragmentos que establecen ambos plazos. También habría que indicar que cualquier respuesta sobre el plazo general debe contemplar la excepción de las incidencias críticas.
No hace falta establecer una única respuesta literal como modelo. Lo importante es definir qué información debe aparecer, qué condiciones no pueden quedar fuera y qué conclusiones no están justificadas por los documentos.
El conjunto de pruebas debería incluir consultas sencillas y otras más complejas, distintas formas de formular una misma pregunta y casos en los que falte información. También reservaría algunas consultas para la evaluación final. De esta manera podemos comprobar si las mejoras funcionan con preguntas que el sistema no ha utilizado previamente durante los ajustes.
El manual ARIA de NIST, publicado el 18 de septiembre de 2026, ofrece una referencia para organizar este trabajo. Su enfoque combina pruebas del modelo, pruebas adversarias destinadas a buscar fallos y pruebas con usuarios. Es una guía para planificar evaluaciones adaptadas a cada aplicación de IA, cuyo enfoque podemos trasladar al contexto documental.
Comprobar qué información utiliza y cómo responde
Si el asistente responde únicamente con las 48 horas, conviene revisar si recuperó la modificación posterior o si la encontró y omitió la excepción al redactar. Son errores distintos que necesitamos identificar para corregirlos.
La documentación de evaluadores RAG de Microsoft distingue entre fundamentación y completitud. Podemos comprobar si lo que afirma la respuesta está respaldado por los documentos y si recoge las condiciones necesarias para resolver la consulta.
Cada cita debe permitir verificar la afirmación a la que acompaña, sin extender a todos los contratos una condición que solo corresponde a uno.
Probar versiones y documentos relacionados
Las pruebas deberían incluir modificaciones aprobadas, borradores, versiones anteriores y expedientes similares.
El asistente debe atribuir cada condición al documento y al ámbito que le corresponden. Una fecha más reciente no convierte un borrador en la versión aplicable.
Cuando las fuentes sean incompatibles y no permitan determinar cuál debe utilizarse, la respuesta debería señalar la discrepancia. También podemos introducir personas con el mismo nombre o documentación de un inmueble en distintos periodos para comprobar que el sistema conserva esas diferencias.
Comprobar cuándo necesita más información
Si preguntamos por una penalización que no aparece en los documentos disponibles, el asistente debería reconocer que no puede determinarla. La ausencia de información tampoco permite afirmar que esa penalización no existe.
Conviene combinar estas consultas con otras que sí tienen respuesta, además de preguntas ambiguas o con premisas equivocadas. Así podremos detectar tanto las afirmaciones sin respaldo como las abstenciones innecesarias.
Repetir las consultas con distintos permisos
Los permisos deben respetarse al recuperar información y al elaborar la respuesta. Bloquear la apertura de un PDF sería insuficiente si después el asistente muestra su contenido en un resumen.
Podemos repetir las consultas con distintos perfiles y después de modificar sus autorizaciones, incluyendo las respuestas almacenadas para reutilizarlas. Cuando la información accesible no permita confirmar una condición, el sistema deberá limitar su conclusión y, cuando corresponda, remitir al canal autorizado sin revelar información restringida.
Registrar los resultados para saber dónde estamos
Una evaluación tiene que dejar un registro que permita revisar qué se ha probado y con qué resultado. Para cada consulta conviene conservar la pregunta, el perfil utilizado, los documentos disponibles, la evidencia que esperábamos encontrar y la respuesta generada.
Podemos utilizar una tabla como esta para recoger algunos resultados hipotéticos del ejemplo.
| Consulta y perfil | Resultado esperado | Resultado observado Ejemplo hipotético | Valoración |
| Plazo de comunicación. Usuario autorizado | 48 horas en general y 24 para incidencias críticas | Omite la excepción | Respuesta incompleta |
| Penalización. Usuario autorizado | Reconoce que no consta en la documentación disponible | Inventa un importe | Afirmación sin respaldo |
| Plazo de comunicación. Perfil restringido | Respeta permisos y limita la respuesta a la evidencia autorizada | Revela contenido restringido | Fallo de control de acceso |
| Fecha de aprobación de un borrador | Aclara que no consta su aprobación | Utiliza la fecha del borrador como fecha de aprobación | Interpretación incorrecta |
Análisis de resultados
Los resultados deberían analizarse por tipo de consulta y gravedad del error. Una puntuación media puede ofrecer una imagen demasiado favorable si las búsquedas sencillas funcionan bien, pero las consultas que requieren relacionar varios documentos siguen dejando fuera condiciones importantes. Los errores relacionados con los permisos, por su parte, necesitan criterios de aceptación específicos.
También interesa incorporar a las personas que utilizarán la herramienta. Podemos comprobar si son capaces de formular sus consultas sin ayuda, si entienden las limitaciones de las respuestas y si saben contrastar las referencias. Su participación permite detectar problemas que difícilmente aparecerían en un conjunto de preguntas preparado únicamente por el equipo técnico.
Conservar las consultas y sus resultados facilita repetir las pruebas cuando se incorpora nueva documentación, cambian los permisos o se modifica algún componente del sistema. Para que la comparación tenga sentido, tendremos que registrar también qué documentos y qué configuración se utilizaron en cada evaluación.
Al estudiar la aplicación de ArchivIA a un repositorio concreto, estas comprobaciones permiten definir el alcance inicial y determinar qué consultas necesitan controles adicionales. Antes de ampliar su uso, conviene dejar establecidos los criterios de aceptación y los fallos que obligarían a revisar la implantación. Así podremos comprobar si las correcciones han resuelto los problemas detectados. Si quieres estudiar cómo consultar la documentación de tu organización con IA, conoce ArchivIA, nuestra solución de archivo inteligente.
Preguntas Frecuentes
Se utilizan preguntas representativas del trabajo cotidiano y se comprueba si el sistema recupera los documentos adecuados, responde con información respaldada y recoge las condiciones relevantes. Las pruebas deben incluir versiones anteriores, excepciones y consultas que la documentación no permita resolver.
Las citas facilitan la comprobación, pero hay que revisar si el documento respalda realmente lo afirmado. Una respuesta puede citar una cláusula correctamente y omitir un anexo que modifica sus condiciones.
Debería explicar qué no puede confirmar y, cuando resulte útil, pedir una aclaración o remitir al canal autorizado. Que un dato no aparezca en la documentación consultada no permite concluir que no existe.
