Delta Lake avec Apache Spark
Il existe différent format de fichier pour stocker la donnée : parquet, avro, csv. Connaissez-vous le format Delta Lake ? Découvrons les fonctionnalités de ce format.
Progression
Nous allons commencer par tester notre service avec prototool. Prototool va permettre de transformer un json en protobuf et d'appeler le serveur gRPC.
Nous allons créer un fichier payload.json
.
{ "text": "Salut les astronautes !", "language": "en" }
Nous allons maintenant appeler notre serveur gRPC.
cat payload.json | prototool grpc proto/translator.proto 0.0.0.0:4000 proto.Translator/Translate -
Nous allons créer un simple fichier client.go
pour appeler le serveur gRPC avec le code qui a été généré.
// client.go package main import ( "context" "log" "google.golang.org/grpc" "translator-service/proto" ) func main() { conn, err := grpc.Dial("localhost:4000", grpc.WithInsecure()) if err != nil { log.Fatalln(err) } defer conn.Close() client := proto.NewTranslatorClient(conn) res, err := client.Translate( context.Background(), &proto.TranslateRequest{Text:"Salut les astronautes !", Language: proto.Language_en}, ) if err != nil { log.Fatalln(err) } log.Println(res.Text) }
Nous allons maintenant appeler notre serveur gRPC avec notre client en Go.
go run client.go
Auteur(s)
Quentin Neyrat
Back-end developer @ Eleven Labs
Vous souhaitez en savoir plus sur le sujet ?
Organisons un échange !
Notre équipe d'experts répond à toutes vos questions.
Nous contacterDécouvrez nos autres contenus dans le même thème
Il existe différent format de fichier pour stocker la donnée : parquet, avro, csv. Connaissez-vous le format Delta Lake ? Découvrons les fonctionnalités de ce format.
Dans le domaine de la data, la qualité de la donnée est primordiale. Pour s'en assurer, plusieurs moyens existent, et nous allons nous attarder dans cet article sur l'un d'entre eux : tester unitairement avec Pytest.
Le domaine de la data est présent dans le quotidien de chacun : la majorité de nos actions peut être traduite en données. Le volume croissant de ces données exploitables a un nom : "Big Data". Dans cet article, nous verrons comment exploiter ce "Big data" à l'aide du framework Apache Spark.