Blog

Le re-partitionnement Spark pour gagner en performance

L’article précédent traitait du concept de partition en Spark et des méthodes permettant de re-partitionner ses données. Mais pour quoi faire ?

Si vous développez en Spark, vous vous êtes déjà rendu compte que certains de vos algorithmes, qui semblent pourtant si simples, prennent énormément de temps à s’exécuter, sans savoir pourquoi. Ce peut être dû à un problème de partitionnement.

Regardons ensemble les difficultés que vous pouvez rencontrer dans vos programmes ainsi que des techniques pour les résoudre.

Big Data : analyse de données avec Apache Hive

Aujourd’hui, on entend beaucoup parler des technologies Big Data : les chefs de projets en parlent et souhaitent expérimenter l’apport de ces technologies en termes de scalabilité, les commerciaux parlent de missions Big Data et de DataLab chez les clients, les RH cherchent des experts Big Data et des développeurs Hadoop qu’ils n’arrivent pas facilement à trouver.
Un nombre très important de frameworks Big Data a vu le jour ces dernières années et l’écosystème Big Data est en pleine effervescence. Cependant, compte tenu du manque de maturité de son écosystème, plusieurs frameworks disparaissent à cause de leur complexité ou non adéquation avec les nouveaux besoins.

Introduction au partitioning Spark

Si vous développez en Spark, vous avez sûrement déjà entendu parler des partitions. Ce n’est pas le cas ? Et pourtant, il est très probable que vous ayez eu à faire à elles, sans le savoir, lors d’une phase de debug, de l’écriture d’un algorithme ou de l’analyse d’un traitement sur la Web UI Spark. Découvrez ce concept et surtout pourquoi il est si important de l’avoir à l’esprit lorsque l’on fait “du Spark”.

Tests informatiques, les bonnes pratiques

Que celui qui n’a jamais dit : « c’est bon, j’suis sûr que ça passe, on testera en prod sinon », lève la main. La tentation est grande, mais hélas, trois fois hélas, ça ne finit généralement pas par un happy end.

Comment obtenir ou générer des crypto-monnaies ?

Nous vous avons présenté la crypto-monnaie lors du précédent article de ce dossier, une monnaie virtuelle dont la valeur dépend dans la plupart des cas de l’équilibre entre l’offre et la demande. Nous nous attachons dans ce nouvel article à répondre à deux questions évidentes : comment générer cette offre et comment répondre à la demande ?

.Net Core, le pari stratégique de Microsoft

Microsoft a toujours représenté un univers à part dans la sphère informatique. Son OS est très différent de ceux de Linux ou Unix. Cela plaît au regard de la proportion de desktop utilisant Windows. Même au niveau serveur, il n’est pas rare de retrouver cette OS. Cependant Windows est pour moi la marque de l’isolement de Microsoft, heureusement la firme change de stratégie et cherche à s’ouvrir au monde extérieur et c’est tant mieux. Son arme ? .NETCore. Un écosystème lancé en juin 2016 pour tous les terminaux, PC, tablettes et serveurs. Un virage audacieux de la part de Microsoft afin de pouvoir s’adapter aux évolutions numériques. Mais qu’est-ce que le .NETCore exactement ? Et en quoi est-il intéressant d’utiliser cette technologie ? Découvrons ensemble ce que nous apporte ce nouvel arrivant et comment en tirer parti.