English version below

Post Mortem

Référence incident

TSR-3623.

Service concerné

Portail.

Impact client

Accès au Portail indisponible, retard d’affichage des transactions sur le Portail et interruption de la fonctionnalité GetTransaction.

Synthèse de l’incident

• 18 août 9h20 : livraison d’une mise en production. 
• 18 août 9h48 : premières erreurs, début de l’incident.
• 18 août 9h53 : détection des erreurs. Début des analyses.
• 18 août 9h56 : création d’une cellule de crise dédiée.
• 18 août 10h01 : confirmation que les paiements ne sont pas impactés par l’incident.
• 18 août 10h02 : communication Statuspage.
• 18 août 10h08 : identification de l’origine de l’incident.
• 18 août 10h10 : déploiement des actions correctives.
• 18 août 10h11 : fin de l’incident.
• 18 août 10h12-10h18 : série de contrôles pour s’assurer qu’aucune transaction n’a été perdue durant l’incident. 

‌

Root cause

Une modification de configuration prévue uniquement pour l'environnement de préproduction a été appliquée à la configuration de production.

Cette configuration a empêché un service de communiquer correctement avec un composant nécessaire à son fonctionnement, entraînant les dysfonctionnements observés lors de l'incident.

Actions prises par Payplug

Symptômes	Actions
Absence de détection des erreurs présentes dans un environnement de test en amont de celles en production.	Revue des alertes et étude en cours pour calquer les alertes de l’environnement de test sur celles de production.
Absence de détection d’impact sur un autre environnement.	Renforcement des contrôles afin de stopper le risque de propagation involontaire à d'autres environnements. Étude en cours pour préciser les environnements concernés lors des déploiements et faire l'objet de vérifications spécifiques avant un déploiement.
Livraison tardive de la modification suite à sa validation plusieurs jours auparavant.	Réduction des délais entre la validation d'une modification et son déploiement.

‌

==============ENGLISH VERSION==============

Post Mortem

Incident reference

TSR-3623.

Payment services affected by the incident

Portal.

Client impact

Portal access unavailable, delays in transaction display on the Portal, and disruption to the GetTransaction functionality.

Incident Overview

• 18 August, 9:20am: production deployment.
• 18 August, 9:48am: first errors detected. Incident began.
• 18 August, 9:53am: errors detected. Investigations commenced.
• 18 August, 9:56am: a dedicated crisis management team was established.
• 18 August, 10:01am: confirmation that payments were not impacted by the incident.
• 18 August, 10:02am: Statuspage communication published.
• 18 August, 10:08am: root cause identified.
• 18 August, 10:10am: corrective actions deployed.
• 18 August, 10:11am: incident resolved.
• 18 August, 10:12–10:18am: a series of checks was carried out to ensure that no transactions had been lost during the incident.

‌

Root cause

A configuration change intended solely for the pre-production environment was applied to the production configuration.

This configuration prevented a service from communicating correctly with a component required for its operation, resulting in the issues observed during the incident.

Actions taken by Payplug

Symptômes	Actions
No detection of errors in a test environment before they occurred in production.	Review of alerts underway, with an assessment to align alerts in the test environment with those in production.
No detection of an impact on another environment.	Controls are being strengthened to prevent the risk of unintended propagation to other environments. Work is underway to identify the environments affected by production deployments and ensure that specific checks are carried out before any deployment.
Delayed deployment of the change following its approval several days earlier.	Reduction of the time between change approval and deployment.