Benchmark de fidelidad · revisado el 15 de septiembre de 2026

Publicamos cuántas veces acierta la página. Y cuántas se la inventa.

Ningún asistente sobre documentos debería venderse sin esta página. Estas son nuestras cifras sobre conjuntos de preguntas escritas por responsables reales, con fecha, y el método para que cualquiera pueda discutirlas.

0
citas inventadas: 21/24
con respuesta apoyada en el manual: 18/20
manual elegido correctamente: 3,0 ¢
coste medio por pregunta

Conjuntos de referencia

Dos departamentos, 24 preguntas

Laboral y juego (RRHH de una empresa de bingo)

14 preguntas sobre el convenio estatal del bingo, el Estatuto de los Trabajadores, la Ley de Prevención de Riesgos Laborales y la Ley 13/2011 del juego: permisos, jornada, sanciones, obligaciones del empresario. Dos son de control: preguntan algo que ningún manual dice y la respuesta correcta es «no consta».

Tirada: 15 de septiembre de 2026
Con respuesta: 12 de 12 posibles
Citas inventadas: 0
Manual acertado: 10 de 12
Coste medio: 2,9 ¢
Latencia mediana: 7,9 s

Fiscal y mercantil (contabilidad de un grupo de juego)

10 preguntas sobre los tributos cedidos de Andalucía, Aragón, Castilla y León y Madrid, el RDL 16/1977 sobre juegos de azar, Verifactu y la Ley de Sociedades de Capital: tipos, bases, plazos, mayorías. Una es de control.

Tirada: 15 de septiembre de 2026
Con respuesta: 9 de 9 posibles
Citas inventadas: 0
Manual acertado: 8 de 8
Coste medio: 3,0 ¢
Latencia mediana: 6,7 s

Método

Cómo se mide, para que se pueda discutir

Qué es una cita inventada

Cada respuesta marca sus afirmaciones con [1], [2]… que remiten a los fragmentos del manual que el asistente tenía delante. Una cita es inventada cuando el número no corresponde a ningún fragmento: el modelo se ha sacado una fuente de la manga. Se cuenta con una comprobación mecánica, sin juez humano ni otro modelo, y una sola cita inventada en una tirada bloquea la publicación hasta corregirla.

Qué mide «con respuesta»

Cuántas preguntas obtienen una respuesta apoyada en los manuales. Las preguntas de control preguntan algo que ningún manual dice: ahí la respuesta correcta es «no consta», y contestar contaría como fallo. Por eso 12 de 14 con dos de control es el máximo posible, no un 86 %.

Qué mide «acierto de manual»

Antes de buscar, el asistente elige el manual al que atribuye la pregunta. Se compara con el manual que un responsable de RRHH o de contabilidad marcó como correcto al escribir la pregunta. Solo se puntúan las preguntas con manual esperado.

Cómo se ejecuta

El mismo código que atiende a los usuarios, con el mismo modelo por defecto y temperatura 0 para que la misma pregunta dé la misma respuesta entre tiradas. Cada tirada deja un fichero con la respuesta completa, las citas, la latencia y el coste de cada pregunta, y se repite tras cualquier cambio en las instrucciones del asistente.

Lo que este benchmark no dice

No mide si la respuesta es correcta en derecho: mide si se apoya en el texto del manual y lo cita bien. Los conjuntos son pequeños y del sector del juego porque son los manuales del primer cliente; con cada cliente nuevo se añade el suyo. Las cifras son de nuestra instancia de referencia, no una media de clientes.

Historial

Cada tirada publicada, también las que fallaron

1 de septiembre de 2026
Primera tirada sobre los conjuntos de referencia: 12/14 y 8/10 con respuesta, 0 citas inventadas.
7 de septiembre de 2026
Selección de manual por departamento: mismo acierto con el clasificador eligiendo entre menos manuales; coste igual o menor.
15 de septiembre de 2026
Respuesta en el idioma de quien pregunta. El modelo escribió «[198]» por «artículo 198» en una tirada y la auditoría lo contó como cita inventada; se añadió la regla de que los corchetes son solo para citas y la tirada siguiente volvió a 0. El conjunto fiscal no declaraba su pregunta de control: se declaró y se repitió la tirada, 9 de 9 posibles.

¿Un conjunto de preguntas de vuestro sector? Lo medimos en la demo y publicamos el resultado aquí, con vuestro permiso. Más sobre cómo tratamos los datos en Seguridad y datos.

Demo de 20 minutos

Trae un manual. Te lo devolvemos respondido.

En la demo indexamos documentación pública de tu sector, o un manual tuyo si lo prefieres, y hacemos las preguntas que hace tu equipo. Si en cinco minutos no encaja, lo decimos y no te hacemos perder el tiempo.

Sin permanencia · piloto de 3 semanas · respondemos en 24 h laborables

Reservar en el calendario Escribir a info@rankaify.es

Te atiende quien lo ha construido, desde Valladolid, en español.