Postmortem – Vertraagde import van nieuwe opdrachten
Samenvatting
Van 26 tot en met 27 oktober 2026 kwamen nieuwe opdrachten van een deel van onze bronnen niet of vertraagd binnen in Sentior.
De oorzaak lag bij een externe dienst die we gebruikten om aanvullende gegevens uit opdrachtpagina’s te halen. Een onderdeel van die dienst gaf vanaf 26 oktober bij elke aanvraag een foutmelding. Daardoor konden deze opdrachten niet worden verwerkt.
Impact
- Ongeveer 320 nieuwe opdrachten van circa 20 bronnen werden niet of vertraagd geïmporteerd. Het grootste deel daarvan kwam van freelance.nl.
- Opdrachten die al in Sentior stonden, hadden geen last van de verstoring.
- Bronnen met een directe koppeling bleven normaal werken.
- Er is geen data verloren gegaan: gemiste opdrachten bleven in de wachtrij staan en worden na het herstel automatisch alsnog verwerkt.
Timeline
-
26 okt 12:00 – Start van de verstoring: de externe dienst geeft bij elke aanvraag met aanvullende gegevensextractie een foutmelding
-
27 okt 08:20 – Detectie van de verstoring via foutmeldingen in onze monitoring
-
27 okt 09:30 – Oorzaak vastgesteld: het probleem zit in één specifieke functie van de externe dienst, niet in onze eigen code of configuratie
-
27 okt 11:30 – Oplossing gebouwd en getest: de gegevens worden voortaan door onze eigen extractieservice bepaald
-
27 okt 12:55 – Oplossing live in productie; nieuwe opdrachten worden weer normaal verwerkt
-
27 okt 15:40 – Wachtrij van gemiste feed-opdrachten volledig verwerkt
Root Cause
- Een functie van een externe dienst waarmee we gegevens als contactpersoon, opdrachtgever en start- en einddatum uit opdrachtpagina’s haalden, gaf vanaf 26 oktober bij elke aanvraag een foutmelding
- Onze verwerking was volledig afhankelijk van deze functie: als die faalde, werd de hele opdracht niet geïmporteerd
- Er was geen alarmering op een sterk oplopend aantal mislukte imports, waardoor de verstoring pas de volgende ochtend werd opgemerkt
Mitigerende Maatregelen (tijdens incident)
We hebben de verwerking hersteld door:
- De gegevens die we bij de externe dienst ophaalden, voortaan door onze eigen extractieservice te laten bepalen
- De externe functie volledig uit de verwerking te halen
- De gemiste opdrachten automatisch opnieuw te laten verwerken vanuit de wachtrij
Structurele Verbeteringen
Om herhaling te voorkomen, voeren we de volgende verbeteringen door:
- Minder afhankelijkheid van externe diensten
- De extractie van opdrachtgegevens draait nu in onze eigen extractieservice
- Deze extractie is opgesplitst in losse, kleinere stappen; als één stap faalt, wordt de opdracht toch geïmporteerd met de gegevens die wel beschikbaar zijn
- Betere alarmering
- We voegen alarmering toe op een oplopend aantal mislukte imports per bron
- We voegen alarmering toe op een opvallende daling van het aantal nieuw geïmporteerde opdrachten
- Slimmer opnieuw proberen
- Mislukte opdrachten worden niet meer onbeperkt en direct opnieuw geprobeerd, maar met een oplopende wachttijd. Zo belasten we externe diensten minder tijdens een verstoring.
Huidige Status
- De import van nieuwe opdrachten werkt weer normaal voor alle bronnen
- Gemiste opdrachten worden automatisch alsnog verwerkt
- We monitoren de situatie actief
- De verbetermaatregelen worden momenteel geïmplementeerd
Conclusie
De verstoring werd veroorzaakt door een storing bij een externe dienst, in combinatie met een harde afhankelijkheid van die dienst en het ontbreken van alarmering op mislukte imports. Door de extractie naar onze eigen service te verplaatsen en de alarmering te verbeteren, maken we de import van opdrachten robuuster.