Inteligencia competitiva · interno

Rayyan vs Revisia: investigación a fondo

Réplica (y mejora) del estudio que hicimos de Elicit, aplicada a rayyan.ai — el rival de cribado gratuito más usado del mundo. Incluye auditoría en vivo de una cuenta real y un benchmark propio.

28 de junio de 2026 · paquete completo en docs/research/rayyan/ (11 docs)

⚠️ Confidencial · página no indexada · no compartir el enlace fuera del equipo

Resumen en una frase

Rayyan ya no es "solo cribado": hoy tiene extracción con IA, riesgo de sesgo, diagrama PRISMA, API y un LLM ("ResearchPilot"). Es un rival más fuerte de lo que creíamos — pero estructuralmente batible donde apuntamos: busca la evidencia (no busca: solo importa), la publica en español (es solo inglés), y la IA buena se la queda para instituciones (un individuo no puede comprarla). No le ganamos en precio, marca ni "limpieza"; le ganamos en los dos extremos que no alcanza y en el idioma que no habla.

1 · Qué es Rayyan y sus puntos fuertes

1M+ investigadores, 20.000+ instituciones, 3M+ revisiones. Spin-off de QCRI (Qatar), ~17 personas, sin capital riesgo. Su muralla real: el paper de 2016 con ~27.000 citas — cada sección de métodos que lo cita es marca y SEO gratis. Donde no le ganamos de frente:

Panel de planes de Rayyan en euros
Panel de planes (cuenta real, España → precios en EUROS). Confirma de primera mano que ResearchPilot™ es "Institutional only" en ambos planes individuales, y que "Advanced Compute Ratings (AI)" sigue siendo "coming soon".

2 · La IA — el hallazgo clave

Hay tres superficies de IA y tres muros muy distintos. Esto es lo más valioso de la auditoría:

MOAT La IA buena es solo institucional

El "AI Reviewer" (el LLM que criba de verdad) abre, en la cuenta gratuita, este muro: "Available with an institutional license… ResearchPilot™ está disponible solo en planes Academic, Business y Enterprise". Un investigador o equipo pequeño no puede comprarlo a ningún precio. Es la prueba de primera mano de nuestro mayor contraste: nosotros metemos IA validada en la revisión individual.

Modal: AI Reviewer disponible solo con licencia institucional
El LLM de cribado de Rayyan, vetado al individuo: "Get institutional license" / "Join waiting list".

En el free solo hay un SVM viejo… con arranque en frío

La única IA del free ("Compute Ratings") es un clasificador SVM que se niega a arrancar hasta que haces 50 decisiones manuales. Y ni el plan de pago Advanced tiene IA mejor ("coming soon").

Aviso: Compute ratings failed — 50 decisions left
"Compute ratings failed — 50 decisions left to run ratings calculation." La IA gratis no es zero-shot.

"ResearchPilot" en el free = un chatbot de ayuda, no el cribador

Lo que sí aparece gratis es un chat de ayuda (Help Center / preguntar sobre tus artículos), no el AI Reviewer. No conviene confundirlos.

Panel de chat ResearchPilot en el free
ResearchPilot en el free: asistente de ayuda, no cribado automático.

3 · PRISMA y el resto del gating

MOAT El diagrama PRISMA está de pago en el free: el botón abre un "Upgrade Now". El artefacto de publicación nº1 se le esconde al usuario gratuito (igual que a Elicit).

Modal de Rayyan: Crear diagrama PRISMA — Upgrade Now
"Create a PRISMA flow diagram — Upgrade…". Las pestañas de extracción y RoB sí se abren en el free (manuales); sus versiones con IA están gated.

4 · El producto en vivo

Panel inicial de Rayyan
App en new.rayyan.ai (cuenta limpia).
Asistente de crear revisión
Asistente de 3 pasos; taxonomía amplia de tipo/dominio.
Workbench de cribado de Rayyan
Workbench de cribado: Incluir/Maybe/Excluir + Razón/Etiqueta, blind mode por defecto, y facetas de keywords — que salen solo en inglés incluso sobre un corpus español (cuña directa para nosotros).

5 · Benchmark propio (la IA gratis de Rayyan)

Importé dos de nuestros gold standards a cuentas reales, entrené el SVM con una semilla mínima (8 incluidos + 42 excluidos), calculé ratings y medí dónde caen los estudios realmente incluidos que no usé para entrenar. La dirección del orden la confirmé visualmente: arriba, pulgar verde (probable incluir); abajo, "?" naranja.

Top de la lista ordenada por rating: pulgares verdes
Arriba del orden por rating: pulgar verde = alta probabilidad de incluir.
Parte baja de la lista: signos de interrogación naranjas
Más abajo: "?" naranja (incierto). Confirma orden descendente.
MétricaSR1 — inglés (control)SR2 — español (sonda)
recall@1008% (1/12)28% (5/18)
recall@20017%61%
rank mediano del gold503 / 702 (bajo)178 / 668 (alto)

Conclusión honesta (dos resultados, uno es una refutación)

MOAT El SVM gratis es un priorizador débil de los incluidos reales (recall@100 = 8–28% con semilla mínima): quien se fíe del ranking y pare pronto, se deja la mayoría de estudios. Confirma la literatura ("precisión catastrófica").

⚠️ OJO La hipótesis de "su IA se degrada en español" NO se sostiene — el review español puntuó mejor (idioma confundido con lo estrecho del tema). Nunca digamos en marketing "su IA rankea peor el español". La cuña española está en UI/facetas/corpus/IA-institucional, no en el ranking.

6 · Dónde gana Revisia (USPs y posición)

1. Búsqueda reproducible + corpus iberoamericano

Buscamos PubMed/OpenAlex/SciELO/LILACS/Europe PMC/Crossref con apéndice PRISMA exportable. Rayyan ni está en esta categoría (es solo-importar). Nuestra mayor ventaja estructural.

2. Español nativo de punta a punta

UI, IA, búsqueda y artefactos PRISMA-ES. Su punto ciego (es 100% inglés).

3. IA validada para el INDIVIDUO

La IA que Rayyan reserva a instituciones, en la revisión individual, mostrando modelo + citas (vs su caja negra).

4. Extracción con procedencia

Cita verificada, char-localizada, cero alucinaciones silenciosas. La suya es "básica", sin procedencia.

5. Auto-fetch de PDFs OA

Y estado "excluido por acceso ≠ por elegibilidad". Rayyan exige subir PDFs a mano y descarta en silencio.

6. Salida publicable

Manuscrito en español + PRISMA-ES + RoB más allá de RCT. Rayyan exporta datos, no un informe.

Posicionamiento

"Rayyan es el cribado libre del mundo, y se queda ahí, y solo en inglés. Revisia es donde un investigador hispanohablante hace la revisión entera: búsqueda reproducible (incluido el corpus iberoamericano que Rayyan no indexa), IA validada y transparente que un individuo sí puede comprar, extracción con procedencia, RoB completo y salida PRISMA-ES publicable."

Táctica: interop "siguiente paso tras Rayyan" (importas de Rayyan, terminas en Revisia) + ganar el SERP de comparativas en español, que ellos no cubren.

7 · Dónde Rayyan nos gana hoy (a mejorar)

8 · Lo que NO debemos hacer

Paquete completo (11 documentos + benchmark) en docs/research/rayyan/ y benchmark/results/RAYYAN-SCREENING.md. Plan de mejoras en docs/product/25-mejoras-vs-rayyan.md. Capturas tomadas de una cuenta real de Rayyan el 28-jun-2026.

Página interna no indexada. Revisia · investigación competitiva.