¿Inventa cifras Claude? Memoria, web y MCP del BCRP

Actualizado:

Evaluación de IA · MCP · BCRP

Gráfico de barras apiladas con aciertos, errores y respuestas «no sabe» de Claude Haiku en 10 preguntas del BCRP, según use memoria, web o MCP
Figura. Aciertos, errores y respuestas «no sabe» de Claude Haiku en 10 preguntas del BCRP, según use memoria, web o MCP.

10/10 respuestas correctas con el servidor MCP del BCRP (web: 9, memoria: 0)

Pregunta

¿Responde bien Claude a datos oficiales del BCRP según de dónde saque la información?

Hallazgo

Con 10 preguntas y Claude Haiku, el servidor MCP acertó 10, la web 9 y la memoria 0 (decía «no sé»). Al quitarle a la memoria la salida «no sé», 7 de 10 respuestas salieron mal: 3 eran estimaciones reales y 4 un cero usado como marcador.

Informe

Resultados por modo de consulta

Acierta Se equivoca No sabe

  • Memoria base 10
  • Memoria sin null 7 3
  • Web base 9 1
  • MCP base 10
  • MCP sin null 10

Pasa el cursor o enfoca una fila para ver su detalle. «Sin null» quita a Claude la salida «no sé».

Fuentes

Las cifras salen del informe y del repositorio del proyecto.

← Todos los proyectos