ProtForge

Auditoría de chatbots y asistentes con IA (RAG)

Si tu chatbot se inventa respuestas, antes de cambiar de modelo conviene saber cuántas, cuáles y por qué. Medimos con tus propias conversaciones cuánto falla tu chatbot, asistente o RAG sobre documentos, y te decimos qué corregir primero. Desde 3.500 € + IVA, precio cerrado, dos semanas, y te quedas con el banco de pruebas.

Pedir la auditoría Cómo funciona

Actualizado: 21 de noviembre de 2026

Qué medimos

Empezamos construyendo un conjunto de evaluación con tus conversaciones o registros reales, porque los benchmarks genéricos dicen poco de lo que preguntan tus usuarios. Después pasamos tu sistema por ese conjunto y contamos.

Alucinaciones

La proporción de afirmaciones sin respaldo: frases de una respuesta que ni los documentos de origen ni el resultado de las herramientas sostienen. Cada tasa va acompañada de ejemplos reales, para que veas cómo es un fallo.

Calidad de las respuestas

Si las respuestas son correctas, completas y tienen el formato que necesita tu producto, puntuadas contra un conjunto de referencia que acordamos contigo y revisadas a mano en una muestra.

Recuperación, en sistemas RAG

Si se recuperan los pasajes correctos y si el modelo los usa. Muchas alucinaciones de un RAG nacen como fallos de recuperación y no como errores del modelo: el documento bueno nunca llegó a la pregunta.

Agentes y llamadas a herramientas

Fallos en ejecuciones de varios pasos: herramienta equivocada, argumentos erróneos, bucles, pasos omitidos y respuestas que ignoran lo que devolvió una herramienta.

Latencia y coste

Tiempo y gasto por respuesta, medidos sobre el mismo conjunto, para que cada corrección se juzgue frente a lo que cuesta mantenerla en marcha.

Banco de pruebas de regresión

Un conjunto de referencia y comprobaciones automáticas que tu equipo puede ejecutar en integración continua, de modo que el siguiente cambio de prompt, de modelo o de recuperación se pruebe antes de salir.

Qué recibes

Cuatro cosas, todas tuyas.

Informe

Las tasas medidas con ejemplos de cada tipo de fallo, escrito para que lo puedan usar a la vez un ingeniero y quien responde del producto.

Correcciones priorizadas

Una lista ordenada por impacto y esfuerzo: qué cambiar en los prompts, en la recuperación, en las barreras de seguridad o en la elección del modelo, y en qué orden.

Banco de pruebas

El código y el conjunto de referencia, documentados y entregados, con comprobaciones que corren en tu integración continua.

Nueva medición

Cuando las primeras correcciones están aplicadas, repetimos la misma evaluación y ves el antes y el después sobre datos idénticos.

Para la parte técnica usamos nuestra herramienta de código abierto groundcheck, que puntúa una respuesta frente a sus fuentes frase a frase. El equipo viene de una investigación doctoral sobre detección de alucinaciones en modelos de lenguaje; en nuestra comparativa de detectores de alucinaciones explicamos cómo evaluamos los propios detectores.

Cómo funciona

Semana 1: medir

Construimos el conjunto de evaluación con tus conversaciones, ejecutamos tu sistema contra él y medimos alucinaciones, calidad, recuperación, fallos de agente, latencia y coste.

Semana 2: plan y entrega

Redactamos el informe y las correcciones priorizadas, te entregamos el banco de pruebas y el conjunto de referencia, y volvemos a medir cuando las primeras correcciones están aplicadas.

Lo que necesitamos de ti: una muestra de conversaciones reales (unos cientos de consultas, anonimizadas si lo prefieres), acceso a un entorno de pruebas o a tus registros, y una persona técnica que pueda contestar dudas sobre el sistema.

Y la Ley de IA

Un chatbot que habla con clientes o empleados suele caer en las obligaciones de transparencia del artículo 50 del Reglamento europeo de IA: la persona tiene que saber que habla con una máquina. Eso no depende de la calidad de las respuestas, pero tener medida su fiabilidad te da una documentación seria si alguien te la pide, y es el tipo de evaluación técnica que muchos planes de cumplimiento no tienen. No sustituye al asesoramiento jurídico. Si quieres ver el cuadro completo de tus sistemas, tenemos el diagnóstico de la Ley de IA y una checklist gratuita para clasificar el riesgo.

Precio

Precio cerrado, sin facturar por horas.

El precio final depende del número de sistemas y de cuántos pasos de agente o fuentes de datos intervienen. Lo confirmamos tras una llamada de 30 minutos, antes de empezar. Mira todos los servicios o cuánto cuesta implantar IA en una empresa.

Preguntas frecuentes

¿Cuánto cuesta auditar un chatbot con IA?

La auditoría tiene un precio cerrado desde 3.500 € + IVA. Tras una llamada de 30 minutos sobre tu sistema confirmamos el alcance y el precio final, sin horas ocultas. Incluye el informe, el banco de pruebas y la nueva medición tras las correcciones.

¿Cuánto tarda?

Dos semanas desde que tenemos la muestra de conversaciones y el acceso. La primera semana es de medición; la segunda, de plan de correcciones, entrega del banco de pruebas y nueva medición.

¿Necesitáis acceso a datos reales de nuestros clientes?

Necesitamos una muestra de conversaciones reales, porque es lo que hace representativo el conjunto de evaluación. Suelen bastar unos cientos de consultas, y pueden anonimizarse o editarse antes de que lleguen a nosotros. Para ejecutar el sistema nos basta un entorno de pruebas; no necesitamos acceso de escritura a producción.

¿Con qué modelos y herramientas trabajáis?

Con cualquiera. Trabajamos con modelos de OpenAI y Anthropic y con modelos de pesos abiertos, y con sistemas hechos con LangChain, LangGraph, LlamaIndex o código propio. Evaluamos el comportamiento de tu sistema a través de sus entradas y salidas, así que la tecnología que hay debajo importa poco.

¿Esto sirve para la Ley de IA?

Ayuda, sin prometer más de la cuenta. Si tu chatbot interactúa con personas, el artículo 50 del Reglamento (UE) 2024/1689 exige informar de que hablan con una IA, y tener medido cómo de fiables son sus respuestas es una buena base documental. La auditoría no es un dictamen jurídico ni una certificación de cumplimiento.

¿Qué pasa después de la auditoría?

Te quedas con el informe y el banco de pruebas, y tu equipo puede ejecutar las comprobaciones en integración continua. Si quieres ayuda para aplicar las correcciones, lo presupuestamos aparte, por ejemplo como responsable de IA fraccional uno o dos días por semana. No hay obligación de continuar.

Pide la auditoría

Cuéntanos qué hace tu chatbot, sobre qué documentos responde y con qué modelo y herramientas está hecho. Te contestamos en un día laborable y te proponemos una llamada de 30 minutos.

hello@protforge.com

Aceptamos pocos encargos a la vez para que cada uno tenga atención directa.