[Proposal]: Productieklare data processing met moderne Python tools

[ddotabma]

Talk title

Productieklare data processing met moderne Python tools

The Abstract

Recente vooruitgangen in data validatie en -verwerking met Python openen nieuwe mogelijkheden voor het maken van productieklare code. In deze presentatie onderzoek ik deze mogelijkheden door middel van een praktijkvoorbeeld met weerdata. Onderwerpen die we zullen behandelen zijn onder andere:

• Ontwerpen van een simpel datamodel (PyDantic)
• Integreren van dit datamodel in een JSON API (met FastAPI)
• schaalbaar wegschrijven een grote dataset met multiprocessing (Delta Lake & Polars)
• Data transformaties met multiprocessing (Polars)
• Maken van een weerkaartje voor een website (Plotly)

Per stap zullen we o.a. bespreken:

• Wat de voorbeeldcode doet (altijd korte stukjes / max 3 regels)
• Waarom de komst van deze Python libraries vernieuwend is.
• Alternatieven in de markt / beschikbaarheid in andere programmeertalen
• ...

The duration of your talk

30 minutes

Tell us more about yourself as a speaker

As a physicist, I enjoy working on challenging, real-world problems. My analytical approach is based on years of experience in modelling, programming and cloud development. I want to find durable and smart solutions, so that companies stay competitive and at the same time contribute to society. To establish new data driven solutions that work, I employ DevOps practices. This implies writing production-ready code, focusing on frequent releases, and creating a learning culture within the team.

format

Regular talk

[matthijsl]

Allereerst, bedankt~!
Devil's advocate: Is 30 minuten genoeg voor de hoeveelheid topics? ⏳

[jeroenhuinink]

This talk was presented as a lightning talk on 2024-11-26: https://www.meetup.com/nimma-codes-meetup-group/events/303824017.

@ddotabma wil je hem nog open laten staan als idee voor een full-length talk?