Kvalitetssikre data (Soda)

Vi kan overvåke om BigQuery-tabellene står til forventningene våre gjennom Soda (ekstern lenke). Sjekker evalueres, Slack-varslinger sendes og resultater tilgjengeliggjøres når dere endrer bittelitt config i navikt/dp-nada-soda og deployer Naisjoben.

Sjekkene defineres i Yaml.

Se for eksempel sjekken vi gjør for å se om tabellen vedtak er oppdatert siste døgn ved å se på observasjonene i kolonnen innsamlet:

checks for vedtak:
  - freshness(innsamlet) < 1d

Dokumentasjonen til Soda beskriver godt hvilke sjekker som kommer ut av boksen og hvordan dere kan lage egendefinerte.