Delta Lake avec Apache Spark
Il existe différent format de fichier pour stocker la donnée : parquet, avro, csv. Connaissez-vous le format Delta Lake ? Découvrons les fonctionnalités de ce format.
Microservice avec Go et gRPC
Installer protoc
protoc est un générateur qui va lire vos fichiers Protobuf et générer du code.
Si vous êtes sur Linux :
PROTOC_ZIP=protoc-3.3.0-osx-x86_64.zip
curl -OL https://github.com/google/protobuf/releases/download/v3.3.0/$PROTOC_ZIP
sudo unzip -o $PROTOC_ZIP -d /usr/local bin/protoc
rm -f $PROTOC_ZIPSi vous êtes sur Mac OS X :
brew install protobuf
Si vous êtes sur Windows, vous pouvez télécharger l'exécutable ici.
Installer prototool
prototool est une commande qui va vous permettre d'utiliser plus facilement protoc via un fichier yaml. Il intègre aussi un linter et un client gRPC que nous verrons à l'étape 5.
L'installer avec Go :
go get -u github.com/uber/prototool/cmd/prototool
Auteur(s)
Quentin Neyrat
Back-end developer @ Eleven Labs
Vous souhaitez en savoir plus sur le sujet ?
Organisons un échange !
Notre équipe d'experts répond à toutes vos questions.
Nous contacterDécouvrez nos autres contenus dans le même thème
Tester son script Apache Spark avec pytest
Dans le domaine de la data, la qualité de la donnée est primordiale. Pour s'en assurer, plusieurs moyens existent, et nous allons nous attarder dans cet article sur l'un d'entre eux : tester unitairement avec Pytest.
Démarrer avec Apache Spark étape par étape
Le domaine de la data est présent dans le quotidien de chacun : la majorité de nos actions peut être traduite en données. Le volume croissant de ces données exploitables a un nom : "Big Data". Dans cet article, nous verrons comment exploiter ce "Big data" à l'aide du framework Apache Spark.