On en collecte de plus en plus tous les jours, elles représentent les clés de compréhension du client. Comment peut on les gérer ? quelles sont les approches les plus efficaces pour la collecter? quels sont les processus les plus fiables pour les exploiter ?
Le Big Data est un domaine riche en outils divers et variés. Splunk ne fait pas partie des nouveaux arrivants sur ce marché mais savez-vous ce que c’est exactement ? Yacine nous propose de partager son expérience à ce sujet afin que nous en sachions plus.
Le Big Data est aujourd’hui bien ancré dans le paysage des systèmes d’information. Avec eux vient un vocabulaire riche qu’il est parfois dur de maîtriser, en particulier pour les non érudits. Mathieu nous propose de faire le point sur certains des éléments de langage importants pour les administrateurs Big Data … et les autres !!!
Nowadays insert data into a datawarehouse in big data architecture is a synonym of Spark. However this is not your only option. Lingxiao give us some clue about why choising Kafka Streams over Spark streaming.
Il y a quelque temps, j’ai découvert Apache NiFi, et en tant qu’ingénieur Big Data, je l’ai immédiatement trouvé très attractif. En effet, cet outil permet de travailler sur la donnée avec une grande facilité.
Dans cette suite d’article, nous allons voir ensemble l’architecture détaillée du Framework Apache Spark, comprendre les différentes briques qui forment le Framework et voir comment on peut déployer et exécuter des traitements Spark avec les différents clusters manager.
Nous allons commencer dans cet article par l’architecture du Framework et comprendre comment fonctionne les traitements sur ce Framework.
Si vous travaillez comme moi dans un environnement mêlant data engineers, data scientists et data analysts et que le choix de votre plateforme s’est porté sur la plateforme cloud de Google, il y a fort à parier que vous ayez accès à beaucoup de données sous BigQuery.
