Si tu chatbot se inventa respuestas, antes de cambiar de modelo conviene saber cuántas, cuáles y por qué. Medimos con tus propias conversaciones cuánto falla tu chatbot, asistente o RAG sobre documentos, y te decimos qué corregir primero. Desde 3.500 € + IVA, precio cerrado, dos semanas, y te quedas con el banco de pruebas.
Pedir la auditoría Cómo funcionaActualizado: 21 de noviembre de 2026
Empezamos construyendo un conjunto de evaluación con tus conversaciones o registros reales, porque los benchmarks genéricos dicen poco de lo que preguntan tus usuarios. Después pasamos tu sistema por ese conjunto y contamos.
La proporción de afirmaciones sin respaldo: frases de una respuesta que ni los documentos de origen ni el resultado de las herramientas sostienen. Cada tasa va acompañada de ejemplos reales, para que veas cómo es un fallo.
Si las respuestas son correctas, completas y tienen el formato que necesita tu producto, puntuadas contra un conjunto de referencia que acordamos contigo y revisadas a mano en una muestra.
Si se recuperan los pasajes correctos y si el modelo los usa. Muchas alucinaciones de un RAG nacen como fallos de recuperación y no como errores del modelo: el documento bueno nunca llegó a la pregunta.
Fallos en ejecuciones de varios pasos: herramienta equivocada, argumentos erróneos, bucles, pasos omitidos y respuestas que ignoran lo que devolvió una herramienta.
Tiempo y gasto por respuesta, medidos sobre el mismo conjunto, para que cada corrección se juzgue frente a lo que cuesta mantenerla en marcha.
Un conjunto de referencia y comprobaciones automáticas que tu equipo puede ejecutar en integración continua, de modo que el siguiente cambio de prompt, de modelo o de recuperación se pruebe antes de salir.
Cuatro cosas, todas tuyas.
Las tasas medidas con ejemplos de cada tipo de fallo, escrito para que lo puedan usar a la vez un ingeniero y quien responde del producto.
Una lista ordenada por impacto y esfuerzo: qué cambiar en los prompts, en la recuperación, en las barreras de seguridad o en la elección del modelo, y en qué orden.
El código y el conjunto de referencia, documentados y entregados, con comprobaciones que corren en tu integración continua.
Cuando las primeras correcciones están aplicadas, repetimos la misma evaluación y ves el antes y el después sobre datos idénticos.
Para la parte técnica usamos nuestra herramienta de código abierto groundcheck, que puntúa una respuesta frente a sus fuentes frase a frase. El equipo viene de una investigación doctoral sobre detección de alucinaciones en modelos de lenguaje; en nuestra comparativa de detectores de alucinaciones explicamos cómo evaluamos los propios detectores.
Construimos el conjunto de evaluación con tus conversaciones, ejecutamos tu sistema contra él y medimos alucinaciones, calidad, recuperación, fallos de agente, latencia y coste.
Redactamos el informe y las correcciones priorizadas, te entregamos el banco de pruebas y el conjunto de referencia, y volvemos a medir cuando las primeras correcciones están aplicadas.
Lo que necesitamos de ti: una muestra de conversaciones reales (unos cientos de consultas, anonimizadas si lo prefieres), acceso a un entorno de pruebas o a tus registros, y una persona técnica que pueda contestar dudas sobre el sistema.
Un chatbot que habla con clientes o empleados suele caer en las obligaciones de transparencia del artículo 50 del Reglamento europeo de IA: la persona tiene que saber que habla con una máquina. Eso no depende de la calidad de las respuestas, pero tener medida su fiabilidad te da una documentación seria si alguien te la pide, y es el tipo de evaluación técnica que muchos planes de cumplimiento no tienen. No sustituye al asesoramiento jurídico. Si quieres ver el cuadro completo de tus sistemas, tenemos el diagnóstico de la Ley de IA y una checklist gratuita para clasificar el riesgo.
Precio cerrado, sin facturar por horas.
Conjunto de evaluación con tus conversaciones, tasas medidas, correcciones priorizadas, banco de pruebas entregado y nueva medición. Dos semanas.
El precio final depende del número de sistemas y de cuántos pasos de agente o fuentes de datos intervienen. Lo confirmamos tras una llamada de 30 minutos, antes de empezar. Mira todos los servicios o cuánto cuesta implantar IA en una empresa.
La auditoría tiene un precio cerrado desde 3.500 € + IVA. Tras una llamada de 30 minutos sobre tu sistema confirmamos el alcance y el precio final, sin horas ocultas. Incluye el informe, el banco de pruebas y la nueva medición tras las correcciones.
Dos semanas desde que tenemos la muestra de conversaciones y el acceso. La primera semana es de medición; la segunda, de plan de correcciones, entrega del banco de pruebas y nueva medición.
Necesitamos una muestra de conversaciones reales, porque es lo que hace representativo el conjunto de evaluación. Suelen bastar unos cientos de consultas, y pueden anonimizarse o editarse antes de que lleguen a nosotros. Para ejecutar el sistema nos basta un entorno de pruebas; no necesitamos acceso de escritura a producción.
Con cualquiera. Trabajamos con modelos de OpenAI y Anthropic y con modelos de pesos abiertos, y con sistemas hechos con LangChain, LangGraph, LlamaIndex o código propio. Evaluamos el comportamiento de tu sistema a través de sus entradas y salidas, así que la tecnología que hay debajo importa poco.
Ayuda, sin prometer más de la cuenta. Si tu chatbot interactúa con personas, el artículo 50 del Reglamento (UE) 2024/1689 exige informar de que hablan con una IA, y tener medido cómo de fiables son sus respuestas es una buena base documental. La auditoría no es un dictamen jurídico ni una certificación de cumplimiento.
Te quedas con el informe y el banco de pruebas, y tu equipo puede ejecutar las comprobaciones en integración continua. Si quieres ayuda para aplicar las correcciones, lo presupuestamos aparte, por ejemplo como responsable de IA fraccional uno o dos días por semana. No hay obligación de continuar.
Cuéntanos qué hace tu chatbot, sobre qué documentos responde y con qué modelo y herramientas está hecho. Te contestamos en un día laborable y te proponemos una llamada de 30 minutos.
hello@protforge.comAceptamos pocos encargos a la vez para que cada uno tenga atención directa.