English version below

Post Mortem

Référence incident

TSR-2951

Service concerné

Portail

Impact client

Problèmes de connexion pour accéder au Portail et messages d’erreurs intempestifs une fois connecté.

Synthèse de l’incident

• 16 février 15h15 : déploiement d’une mise en production.
• 16 février 15h18 : des problèmes de connexions  - déconnexions ainsi que des messages d’erreurs apparaissent sur le Portail. Début de l’incident.
• 16 février 15h34 : remontée d’alerte. Début des investigations.
• 16 février 15h53 : création d’une cellule incident majeur. 
• 16 février 15h58 : communication Statuspage. Identification d’une mise en production concordant avec le début de l’incident. Lancement de l’annulation de la mise en production.
• 16 février 16h08 : échec de l’annulation de la mise en production.
• 16 février 16h25 : identification de l’origine de l’incident.
• 16 février 16h33 : des problèmes de connexions persistent. Lancement du retour à une version précédente de certains services défaillants identifiés.
• 16 février 16h54 : redémarrage des services avec la version précédente.
• 16 février 16h59 : fin des problèmes de connexions sur le Portail.
• 16 février 17h06 : fin des messages d’erreurs sur le Portail. Fin de l’incident. 
• 17 février 16h16 : résurgence des erreurs.
• 17 février 16h29-18h35 : création d’une cellule de crise et reprise des analyses.
• 17 février 18h40 : identification de l’origine de l’incident et déploiement d’un correctif.
• 17 février 18h52 : Fin de l’incident.

Contexte

N/A

Root cause

Une mise en production a généré des problèmes d’accès entre nos services internes. Ces problèmes ont engendré une déconnexion forcée de l’utilisateur qui revenait sur sa page d’authentification. La seconde occurrence a été provoquée suite à une nouvelle mise en production qui a récupéré les mauvais identifiants suite au rollback de la veille. 

‌

Actions à entreprendre par Payplug

‌

==============ENGLISH VERSION==============

Post Mortem

Incident reference

TSR-2951

Payment services affected by the incident

Portal

Client impact

Connection issues when accessing the Portal and unexpected error messages once logged in.

Incident Overview

• 16 February 3:15pm: deployment to production.
• 16 February 3:18pm: connection issues – disconnections as well as error messages appear on the Portal. Start of the incident.
• 16 February 3:34pm: alert raised. Investigations begin.
• 16 February 3:53pm: major incident team established.
• 16 February 3:58pm: Statuspage communication issued. A production deployment coinciding with the start of the incident is identified. Rollback of the deployment initiated.
• 16 February 4:08pm: rollback of the production deployment unsuccessful.
• 16 February 4:25pm: root cause of the incident identified.
• 16 February 4:33pm: connection issues persist. Rollback to a previous version of certain identified faulty services initiated.
• 16 February 4:54pm: services restarted with the previous version.
• 16 February 4:59pm: end of connection issues on the Portal.
• 16 February 5:06pm: end of error messages on the Portal. Incident resolved.
• 17 February 4:16pm: Recurrence of errors.
• 17 February 4:29pm–6:35pm: crisis team established and investigations resumed.
• 17 February 6:40pm: root cause identified and fix deployed.
• 17 February 6:52pm: incident resolved.

Context

N/A

Root cause

A production deployment caused access issues between our internal services. These issues resulted in users being forcibly logged out and redirected back to the authentication page. The second occurrence was triggered by a subsequent production deployment that retrieved incorrect credentials following the rollback carried out the previous day.

Actions to be taken by Payplug