En savoir plus

Spark Streams or Kafka streaming, deep dive in a hard choice

Nowadays insert data into a datawarehouse in big data architecture is a synonym of Spark. However this is not your only option. Lingxiao give us some clue about why choising Kafka Streams over Spark streaming.

Lire la suite
En savoir plus

Reconnaissance des émotions

Le machine learning a le vent en poupe actuellement. Charbel nous propose de découvrir comment on peut créer un réseau de neurones profond destiné à reconnaître les émotions à partir des images et du son d’une personne.

Lire la suite
En savoir plus

Travailler sur la donnée avec Apache NiFi

Il y a quelque temps, j’ai découvert Apache NiFi, et en tant qu’ingénieur Big Data, je l’ai immédiatement trouvé très attractif. En effet, cet outil permet de travailler sur la donnée avec une grande facilité.

Lire la suite
En savoir plus

Cartes topologiques de Kohonen

En 1984, un statisticien propose une méthode totalement nouvelle pour représenter les réseaux de neurones, les cartes auto-adaptative de Kohonen. Ablaye nous présente cette méthode appliquée à la classification.

Lire la suite
En savoir plus

L’architecture du Framework Spark

Dans cette suite d’article, nous allons voir ensemble l’architecture détaillée du Framework Apache Spark, comprendre les différentes briques qui forment le Framework et voir comment on peut déployer et exécuter des traitements Spark avec les différents clusters manager.
Nous allons commencer dans cet article par l’architecture du Framework et comprendre comment fonctionne les traitements sur ce Framework.

Lire la suite
En savoir plus

BigQuery en tant que source de données pour Spark : fausse bonne idée ?

Si vous travaillez comme moi dans un environnement mêlant data engineers, data scientists et data analysts et que le choix de votre plateforme s’est porté sur la plateforme cloud de Google, il y a fort à parier que vous ayez accès à beaucoup de données sous BigQuery.

Lire la suite