OpenRAG – Le benchmark open source pour les RAG

OpenRAG est un outil open source développé par Meritis pour comparer les performances des solutions Retrieval-Augmented Generation (RAG).
Pensé pour les experts de la data et de l’IA, il permet d’évaluer objectivement les architectures RAG les plus utilisées, sur vos propres données.

Ce que fait OpenRAG

• Benchmark multi-RAG : testez une vingtaine de pipelines RAG open source (LangChain, Haystack, LlamaIndex, etc.)
• Analyse complète : mesurez la pertinence des réponses, la consommation de tokens, le temps de réponse et l’impact énergétique
• Scoring intelligent : évaluez les résultats avec un système LLM-as-a-judge
• Interface claire : accédez à un dashboard interactif et exportez des rapports exploitables
• Customisable : ajoutez vos modèles, pipelines, bases de données et métriques

OpenRAG est compatible avec les principaux modèles (OpenAI, Mistral, Ollama, VLLM…) et s’intègre facilement dans un environnement technique existant.

Pour quels profils ?

OpenRAG est conçu pour les professionnels en charge des choix technologiques sur les projets IA :

• CDO / Head of Data
• CTO / Head of Engineering / Architectes techniques
• Data Scientists / Ingénieurs IA
• Innovation Labs / Product Managers IA

Pourquoi Meritis a lancé OpenRAG

En tant que société de conseil en transformation IT et data, Meritis place l’excellence technique et l’impact positif au cœur de ses engagements.

OpenRAG est né d’un besoin concret : aider les équipes à comparer objectivement les solutions RAG dans un contexte de montée en puissance de l’IA générative.

➡️ Un projet développé en interne par notre cellule Innovation
➡️ En open source, sous licence MIT
➡️ Avec un objectif : rendre les choix technologiques plus éclairés, transparents et responsables

---

---

❓ FAQ – OpenRAG

▶ OpenRAG est-il simple à installer ?

Oui. Le projet est fourni avec un environnement Conda préconfiguré et un docker-compose. Vous pouvez le lancer en quelques lignes de commande, en local ou sur un serveur.

▶ Peut-on utiliser ses propres données ?

Oui. OpenRAG vous permet de charger vos propres bases de connaissances (documents, FAQ, corpus interne) pour évaluer les modèles sur vos cas d’usage réels.

▶ OpenRAG fonctionne-t-il avec des modèles open source ?

Oui. Vous pouvez utiliser des modèles open source via Ollama, VLLM ou Hugging Face, ou connecter des API externes (OpenAI, Mistral, etc.). L’architecture est totalement flexible.

▶ Est-ce que je peux modifier ou enrichir l’outil ?

Absolument. Le code est open source sous licence MIT. Vous pouvez ajouter de nouveaux pipelines RAG, intégrer vos propres modèles, ou créer de nouvelles métriques d’évaluation.

▶ Peut-on utiliser OpenRAG sans passer par un LLM propriétaire ?

Oui. OpenRAG est compatible avec des modèles open source déployés en local (via Ollama, VLLM, Hugging Face, etc.) ainsi qu’avec des API tierces comme OpenAI.

▶ OpenRAG est-il conforme au RGPD ?

Oui. OpenRAG est un projet open source que vous pouvez déployer entièrement en local, sans aucun transfert de données vers l’extérieur. Vous gardez le contrôle total sur vos données et votre environnement d’exécution.

▶ Meritis propose-t-elle un support ou un accompagnement professionnel ?

Oui. Pour les entreprises souhaitant aller plus loin, Meritis propose un accompagnement sur mesure :

• Aide au déploiement dans vos environnements (on-premise ou cloud privé)
• Intégration dans vos workflows IA ou data existants
• Personnalisation des pipelines RAG, des modèles, et des métriques métier
• Maintenance évolutive si besoin

⇾ Contactez notre équipe Innovation

▶ Peut-on utiliser OpenRAG dans une architecture sécurisée ?

Oui. L’outil peut être installé en environnement cloisonné ou restreint (intranet, VPN, bastion, etc.), sans connexion Internet. Il est compatible avec les contraintes de sécurité des grands groupes et organisations sensibles.

▶ Est-ce que OpenRAG peut être utilisé en phase d’expérimentation / POC ?

C’est précisément l’un de ses cas d’usage principaux. De nombreuses entreprises utilisent OpenRAG pour valider une stratégie RAG avant industrialisation, avec un socle mesurable et reproductible.