English version below

Post Mortem

Référence incident

TSR-3077

Service concerné

Reversement des paiements e-commerce et magasin.

Impact client

Impossibilité de procéder au reversement des transactions pendant la durée de l’incident, entraînant un retard de règlement des marchands.

‌

Synthèse de l’incident

• 16 mars 11h02 : création d’une cellule de crise dédiée et début des investigations.
• 16 mars 11h05 : identification d’un échec de dépôt des fichiers de reversements.
• 16 mars 11h15 : identification d’un second problème : impossibilité d’accéder à l’outil permettant la validation des virements.
• 16 mars 11h15 - 12h : poursuite des investigations.
• 16 mars 12h : confirmation de l’impossibilité de débloquer les fonds le jour même.
• 16 mars 12h - 18h30 : poursuite des investigations.
• 17 mars 9h : reprise de la cellule de crise.
• 17 mars 9h28 : récupération des fichiers de virements de la veille. Poursuite des investigations.
• 17 mars 10h23 : identification d’une solution de contournement permettant d’envoyer les fonds. 
• 17 mars 10h23 - 11h15 : tests pour vérifier le bon fonctionnement de la solution. Tests concluants.
• 17 mars 11h30 : validation des fichiers de reversements. Fin de l’incident. 
• 17 mars 12h09 : confirmation du traitement des fichiers et du transfert des fonds dans la journée.

‌

Root cause

Une opération de migration a introduit une incohérence dans les données techniques utilisées par le système de validation des virements, en raison d’un défaut entre deux mécanismes. Cette situation a bloqué le traitement normal des validations.

Actions prises par Payplug

Un retour arrière vers la dernière version stable a été initié afin de restaurer le service. Cette opération a permis de rétablir l’ensemble des fonctionnalités de validation des virements de manière fiable.

‌

==============ENGLISH VERSION==============

Post Mortem

Incident reference

TSR-3077

Payment services affected by the incident

E-commerce & in-store payments settlement.

Client impact

Inability to process the reversal of transactions during the incident period, resulting in a delay in merchant settlement.

‌

Incident Overview

• 16 March 11:02am: creation of a dedicated crisis team and start of investigations.
• 16 March 11:05am: identification of a failure in the submission of disbursement files.
• 16 March 11:15am: identification of a second issue: inability to access the tool used to validate transfers.
• 16 March 11:15am – 12:00pm: ongoing investigations.
• 16 March 12:00pm: confirmation that funds could not be released on the same day.
• 16 March 12:00pm – 6:30pm: ongoing investigations.
• 17 March 9:00am: crisis team resumed.
• 17 March 9:28am: recovery of the previous day’s transfer files. Ongoing investigations.
• 17 March 10:23am: identification of a workaround enabling the funds to be sent.
• 17 March 10:23am – 11:15am: testing to verify the solution. Tests successful.
• 17 March 11:30am: validation of disbursement files. Incident resolved.
• 17 March 12:09pm: confirmation that files were processed and funds would be transferred during the day.

‌

Root cause

A migration introduced an inconsistency in the technical data used by the transfer validation system, due to a discrepancy between two mechanisms, which prevented the normal processing of validations.

Actions taken by Payplug

A rollback to the last stable version was initiated to restore the service. This operation successfully restored all transfer validation functionalities.