Delta Lake avec Apache Spark
Il existe différent format de fichier pour stocker la donnée : parquet, avro, csv. Connaissez-vous le format Delta Lake ? Découvrons les fonctionnalités de ce format.
Microservice avec Go et gRPC
gRPC c'est quoi ?
gRPC a été développé initialement par Google. Il permet de réaliser des clients et serveurs RPC (Remote Procedure Call) via HTTP/2 avec Protocol Buffers.
Je vous invite à lire les articles de notre blog expliquant comment fonctionne Protobuf et comment fonctionne gRPC.
Qu'allons-nous faire ?
Dans ce tutoriel nous allons mettre en place un serveur gRPC en Go utilisant l'API Translate de Google.
Vous pouvez retrouver l'ensemble du code sur le github des donuts-factory.
Le but est de comprendre :
- la déclaration d'un service gRPC via le fichier protobuf
- la mise en place d'un serveur gRPC
- l'utilisation de l'outil prototool
- la mise en place d'un proxy REST pour pouvoir l'appeler depuis le web
Prérequis
- Installer Go 1.9 ou 1.10
- Créer un dossier
translator-servicedans le dossier$GOPATH/src - Installer Dep
Auteur(s)
Quentin Neyrat
Back-end developer @ Eleven Labs
Vous souhaitez en savoir plus sur le sujet ?
Organisons un échange !
Notre équipe d'experts répond à toutes vos questions.
Nous contacterDécouvrez nos autres contenus dans le même thème
Tester son script Apache Spark avec pytest
Dans le domaine de la data, la qualité de la donnée est primordiale. Pour s'en assurer, plusieurs moyens existent, et nous allons nous attarder dans cet article sur l'un d'entre eux : tester unitairement avec Pytest.
Démarrer avec Apache Spark étape par étape
Le domaine de la data est présent dans le quotidien de chacun : la majorité de nos actions peut être traduite en données. Le volume croissant de ces données exploitables a un nom : "Big Data". Dans cet article, nous verrons comment exploiter ce "Big data" à l'aide du framework Apache Spark.