English version below

Versione italiana qui sotto

Post Mortem

Référence incident

TSR-1977

Service concerné

Page de paiement intégrée (Hosted Fields) sur Shopify

Impact client

Paiements faits via une page de paiement intégrée (Hosted Fields) sur Shopify en erreur.

Synthèse de l’incident

• 2 juillet 18h10 : début de l’incident.
• 3 juillet 9h37 : remontée d’alerte de perturbations sur la page de paiement intégrée (Hosted Fields) sur Shopify.
• 3 juillet 9h42 : création d’une cellule incident majeur.
• 3 juillet 09h53-10h30 : multiples actions pour tenter de restaurer le service.
• 3 juillet 10h30 : mail d’escalade à Shopify.
• 3 juillet 10h50 : identification d’erreurs liées au certificat.
• 3 juillet 11h11 : envoi d’un second mail à Shopify avec plus de détails.
• 3 juillet 11h15 : test impliquant la désactivation du contrôle du certificat. Test concluant.
• 3 juillet 11h28 : désactivation du contrôle du certificat réalisée sur tous les serveurs. Reprise du service.
• 3 juillet 11h30 : envoi d’un troisième mail à Shopify.
• 3 juillet 11h30-15h : les investigations continuent pour rétablir la vérification du certificat.
• 3 juillet 15h : compréhension de la root cause.
• 3 juillet 16h : ajout de l’ancienne Certificate Authority et réactivation du contrôle du certificat sur un serveur. Test concluant.
• 3 juillet 16h29 : ajout de l’ancienne Certificate Authority et réactivation du contrôle du certificat sur tous les serveurs. Fin de l’incident.

Contexte

Une Certificate Authority a pour but de vérifier l'identité d'un site web et de délivrer un "certificat numérique" pour prouver que ce site est bien ce qu'il prétend être.

En 2024, Shopify nous a informé du déploiement d’une nouvelle Certificate Authority qui viendrait remplacer l’ancienne qui expire le 26 octobre 2025. Nous avons déployé la nouvelle Certificate Authority en août 2024 puis désactivé l’ancienne en décembre 2024.

Root cause

Réutilisation de l’ancienne Certificate Authority par Shopify suite à un incident, alors que nous l’avions désactivée.

Actions à entreprendre par Payplug

‌‌

Symptômes	Actions
Quiproquo sur la révocation de l’ancienne Certificate Authority (CA) par Payplug suite au déploiement de la nouvelle.	Clarifications à mener sur la raison de la révocation de l’ancienne CA. Conservation systématique des anciennes CA jusqu’à la date d’expiration.
Détection tardive de l’incident.	Réflexion à mener sur des alerting spécifiques à chaque parcours de paiement (dont celui impacté par cet incident), ne représentant chacun qu’une faible portion des flux de la plateforme. Améliorer la remontée des erreurs liées à des certificats pour avoir un alerting plus précis sur ce cas.
Délai de compréhension de la root cause perfectible.	Obtenir un contact d’urgence chez Shopify pour faciliter les investigations.

==============ENGLISH VERSION==============

Post Mortem

Incident reference

TSR-1977

Payment services affected by the incident

Integrated payment page (Hosted Fields) on Shopify

Client impact

Payments made via the integrated payment page (Hosted Fields) on Shopify failed.

Incident Overview

• July 2, 6:10 PM: start of the incident.
• July 3, 9:37 AM: alert raised for disruptions on the integrated payment page (Hosted Fields) on Shopify.
• July 3, 9:42 AM: major incident task force created.
• July 3, 9:53–10:30 AM: multiple recovery actions attempted.
• July 3, 10:30 AM: escalation email sent to Shopify.
• July 3, 10:50 AM: errors identified as certificate-related.
• July 3, 11:11 AM: second email sent to Shopify with more details.
• July 3, 11:15 AM: test conducted by disabling certificate validation — Successful test.
• July 3, 11:28 AM: certificate validation disabled on all servers — Service restored.
• July 3, 11:30 AM: third email sent to Shopify.
• July 3, 11:30 AM–3:00 PM: ongoing investigations to safely re-enable certificate validation.
• July 3, 3:00 PM: root cause understood.
• July 3, 4:00 PM: old Certificate Authority (CA) re-added and certificate validation reactivated on one server — Successful test.
• July 3, 4:29 PM: old CA re-added and certificate validation reactivated on all servers — End of the incident.

Context

A Certificate Authority (CA) verifies the identity of a website and issues a digital certificate to prove its authenticity.

In 2024, Shopify informed us about a new CA to replace the current one expiring on October 26, 2025. We deployed the new CA in August 2024 and disabled the old one in December 2024.

Root cause

Reuse of the old Certificate Authority by Shopify following an incident, although we had previously deactivated it.

Actions to be taken by Payplug

‌

Symptoms	Actions
Misunderstanding regarding the revocation of the old Certificate Authority (CA) by Payplug following the deployment of the new one.	Clarify the reasons for the revocation. Systematic retention of old CA until their expiration date.
Delayed incident detection.	Consider implementing specific alerts per payment flow (including the affected one), even if each represents a small share of platform traffic. Improve alerting mechanisms to detect certificate-related issues more precisely.
Time to understand the root cause could be improved.	Establish an emergency contact with Shopify to facilitate future investigations.

==============VERSIONE ITALIANA==============

Post Mortem

Riferimento incidente

TSR-1977

Servizio interessato

Pagina di pagamento integrata (Hosted Fields) su Shopify

Impatto per i clienti

I pagamenti effettuati tramite la pagina di pagamento integrata (Hosted Fields) su Shopify sono risultati in errore.

Sintesi dell’incidente

• 2 luglio, ore 18:10: inizio dell’incidente
• 3 luglio, ore 09:37: allerta per anomalie sulla pagina di pagamento integrata (Hosted Fields) su Shopify.
• 3 luglio, ore 09:42: attivazione della task force incidente maggiore.
• 3 luglio, 09:53–10:30: varie azioni tentate per ripristinare il servizio.
• 3 luglio, ore 10:30: primo messaggio di escalation inviato a Shopify.
• 3 luglio, ore 10:50: identificazione di errori legati ai certificati.
• 3 luglio, ore 11:11: secondo messaggio a Shopify con ulteriori dettagli.
• 3 luglio, ore 11:15: test disattivando il controllo del certificato — Esito positivo.
• 3 luglio, ore 11:28: disattivazione del controllo del certificato su tutti i server — Servizio ripristinato.
• 3 luglio, ore 11:30: terzo messaggio a Shopify.
• 3 luglio, 11:30–15:00: proseguimento delle analisi per riattivare il controllo del certificato.
• 3 luglio, ore 15:00: identificazione della root cause.
• 3 luglio, ore 16:00: aggiunta della vecchia Certificate Authority e riattivazione del controllo del certificato su un server — Test riuscito.
• 3 luglio, ore 16:29: aggiunta della vecchia Certificate Authority e riattivazione del controllo del certificato su tutti i server — Fine dell’incidente.

Contesto

Una Certificate Authority (CA) ha lo scopo di verificare l’identità di un sito web e di rilasciare un certificato digitale che ne confermi l’autenticità.

Nel 2024, Shopify ci ha informato del passaggio a una nuova CA, in sostituzione di quella esistente che scade il 26 ottobre 2025. Abbiamo implementato la nuova CA ad agosto 2024 e disattivato la vecchia a dicembre 2024.

Root cause

Riutilizzo della vecchia Certificate Authority da parte di Shopify a seguito di un incidente, nonostante fosse già stata disattivata da noi.

Azioni da intraprendere da parte di Payplug

Sintomi	Azioni
Incomprensione sulla revoca della vecchia Certificate Authority (CA) da parte di Payplug dopo l’adozione della nuova.	Chiarire le motivazioni della revoca. Conservazione sistematica delle vecchie CA fino alla data di scadenza.
Rilevamento tardivo dell’incidente.	Valutare l’attivazione di alert specifici per ciascun percorso di pagamento, anche se rappresentano una piccola parte del traffico. Migliorare l’alerting per rilevare più facilmente i problemi di certificato.
Tempo migliorabile per identificare la root cause.	Ottenere un contatto di emergenza presso Shopify per facilitare le indagini future.