Quelles alertes mettre en place en premier ?
Commencez par quatre alertes sur les symptômes : parcours critique en échec, erreurs visibles, lenteur durable, traitement bloqué. Le principe vient de Google SRE : alerter sur ce que l'utilisateur subit, pas sur la cause possible, qui se cherche ensuite dans les tableaux de bord.
| Signal | Condition illustrative | Destinataire | Première réaction |
|---|---|---|---|
| Parcours critique en échec | 3 contrôles externes consécutifs en échec, espacés de 1 minute | Notification urgente, développeur de permanence | Rejouer le parcours, vérifier le dernier déploiement |
| Erreurs visibles | Plus de 5 % d'erreurs serveur sur 5 minutes, avec au moins 50 requêtes | Notification urgente, développeur de permanence | Confirmer le périmètre, lire les erreurs les plus fréquentes |
| Lenteur durable | p95 des requêtes réussies du parcours critique au-dessus de 2 secondes sur 10 minutes | Ticket ; notification urgente si le parcours critique est dégradé | Comparer avec le dernier déploiement, chercher la requête lente |
| Traitement bloqué | Aucun succès depuis 2 cycles complets, si l'échéance client le permet | Notification urgente si le client attend le résultat, sinon ticket | Inspecter le travail bloqué, relancer seulement si c'est sûr |
Ces chiffres sont des exemples pour un trafic régulier : aucun seuil n'est universel. Une notification urgente sonne sur le téléphone, y compris hors horaires si une couverture humaine est organisée.
- Mesurez le p95 sur les requêtes réussies et une fenêtre explicite : une erreur rapide ferait baisser la latence. À faible trafic il devient instable, préférez alors le contrôle externe du parcours.
- Le volume minimal limite le bruit des petits échantillons, mais il ne distingue pas les clients : un gros client peut déclencher seul l'alerte si ses requêtes en échec pèsent assez dans le total, pendant que les autres vont bien, et un segment plus petit peut ne pas franchir le seuil.
- Pour les traitements en lot, Prometheus recommande d'attendre 2 exécutions complètes : job toutes les 4 heures, durée 1 heure, alerte après 10 heures sans succès. Seulement si l'échéance client le permet : sinon, exécutez le job plus souvent. La relance doit éviter tout double effet métier (facture émise deux fois) : sinon, vérifiez l'état avant.
Comment vérifier un vrai parcours client plutôt qu'une page qui répond ?
Faites rejouer par un robot externe le geste qui compte pour vos clients, et validez le résultat attendu, pas le code HTTP 200. Une page peut répondre 200 alors que la connexion tourne dans le vide ou que la donnée est absente.
Choisissez un ou deux parcours dont l'échec empêche d'utiliser le produit : connexion puis accès à une donnée, création d'un objet métier, appel d'une API critique. Exemple hypothétique : le robot se connecte, ouvre la liste des projets et vérifie que le projet de test s'y trouve.
Fréquence et confirmation fixent le délai de détection. Un contrôle par minute et 3 échecs consécutifs donnent environ 2 à 3 minutes, hors durée du contrôle et acheminement de la notification. À 5 minutes d'intervalle, la même confirmation demande 10 à 15 minutes. Confirmer sur 2 échecs détecte plus vite mais produit plus de fausses alertes : choisissez selon le coût d'une panne non détectée.
- Un contrôle externe, hors de votre infrastructure. Si elle est à l'arrêt, une alerte interne ne partira jamais, et le contrôle depuis l'extérieur voit ce que voit le client.
- Un compte de test aux droits minimaux, sur des données isolées de celles des clients, sans effet de bord : pas de facture réelle, pas de courriel à un vrai client. Ses identifiants vivent dans un gestionnaire de secrets.
- Une mesure par parcours : Prometheus signale qu'une fonctionnalité à faible trafic est noyée dans un taux d'erreurs global.
Quels risques surveiller même si les clients ne voient encore rien ?
Ajoutez trois alertes sur des risques qui peuvent rester invisibles jusqu'à la panne : un certificat TLS qui expire, un stockage qui se remplit, une sauvegarde dégradée. Prometheus admet ces alertes sur une cause : une capacité proche de sa limite exige une intervention avant la panne. Leur nature diffère : une expiration est une date connue, une saturation une estimation, une sauvegarde dégradée une protection perdue sans échéance visible.
Réglez selon le délai dont vous avez besoin pour agir : ticket tant que l'échéance le laisse, notification urgente quand elle devient incompatible avec lui.
- Certificat TLS, expiration connue : ticket 3 semaines avant l'échéance par exemple, notification urgente si l'échéance approche et que le renouvellement automatique a échoué. Réaction : relancer le renouvellement, vérifier tous les domaines.
- Stockage ou quota, saturation estimée : ticket si la saturation est estimée dans plusieurs jours, notification urgente si elle tombe avant votre prochaine plage d'intervention (vendredi soir, avant lundi matin). Réaction : libérer ou étendre la capacité, comprendre la croissance.
Sauvegarde, protection dégradée : l'objectif est le RPO, le temps maximal acceptable après le dernier point de récupération. Si vous tolérez 24 heures, une alerte à 26 heures arrive après la limite. Alertez sur l'âge du dernier point exploitable, terminé et lisible, pas sur l'heure du dernier job, avec un seuil au plus égal à l'objectif moins la durée de la réaction complète : notification, diagnostic, correction, nouvelle exécution, vérification du nouveau point.
La priorité dépend du délai restant : ticket si ce délai couvre le temps jusqu'à la prochaine plage d'intervention plus la réaction complète, notification urgente sinon.
Exemple : sauvegarde toutes les 6 heures, durée 1 heure, réaction complète 6 heures, RPO 24 heures. L'âge normal reste sous 7 heures. À 12 heures d'âge, il reste 12 heures : ticket seulement si une plage d'intervention commence dans les 6 heures, notification urgente sinon, par exemple un vendredi soir. À 18 heures, il ne reste que la réaction complète : notification urgente quoi qu'il arrive. Une sauvegarde quotidienne ne laisse aucune marge : l'âge du point approche 24 heures avant la suivante.
Une sauvegarde réussie n'est pas une restauration possible : planifiez une restauration d'essai récurrente sur un environnement séparé.
Qui prévenir et que doit permettre de faire chaque alerte ?
Réservez la notification urgente à un impact critique en cours ou imminent, adressé à quelqu'un qui peut intervenir : Prometheus déconseille les pages quand il n'y a rien à faire. Le reste devient un ticket avec un propriétaire et une échéance en heures ouvrées.
- Le titulaire de la permanence reçoit la notification sur son téléphone.
- Sans accusé de réception sous 5 minutes (délai à fixer selon votre organisation), elle passe à une personne de secours.
- Sans réponse, elle va au lead dev ou au CTO.
Titulaire et secours doivent être des personnes distinctes. Avec plusieurs équipes, routez l'alerte vers celle qui possède le parcours, ou gardez une permanence centralisée qui escalade vers elle. Une chaîne n'est une couverture que si quelqu'un a accepté d'être joignable la nuit et le week-end. C'est une décision à prendre explicitement : détecter une panne à 3 heures ne garantit pas qu'on intervienne. Sans couverture organisée, ne promettez aucune réaction nocturne : l'alerte attend la prochaine plage d'intervention. Un message Slack ne réveille personne.
Exemple de message :
Parcours « connexion puis liste des projets » en échec depuis 14 h 02. 3 contrôles sur 3 échoués. Clients touchés : à confirmer. Dernier déploiement : 13 h 55. Diagnostic : lien vers le tableau de bord. Première action : rejouer le parcours. Si l'échec persiste et que le déploiement est corrélé, envisager son retour arrière, seulement s'il est sûr.
Trois contrôles échoués ne prouvent pas que tous les clients sont touchés : le contrôle voit un chemin, un compte. Le retour arrière n'est sûr que sans migration de données incompatible avec la version précédente. Chaque alerte renvoie à une procédure courte.
Comment garder des alertes fiables sans épuiser l'équipe ?
Supprimez ou corrigez chaque mois toute alerte qui ne mène pas à une action, plutôt que de relever son seuil. Google rappelle que des notifications urgentes trop fréquentes prolongent les pannes. Regroupez les notifications d'un même incident et posez des silences bornés pendant une maintenance.
Checklist d'exploitation :
- Déclenchez une alerte d'essai de bout en bout, jusqu'au téléphone du destinataire, à chaque changement d'outil ou de rotation.
- Surveillez le silence de la chaîne elle-même : Prometheus recommande un contrôle de bout en bout de l'alerting. Exemple : l'outil d'alerte envoie un signal toutes les 5 minutes à un récepteur externe, hors de votre infrastructure. Si le signal cesse pendant 15 minutes, ce récepteur vous prévient par un canal de secours distinct du canal principal, par exemple un SMS.
- Pour chaque incident signalé d'abord par un client, diagnostiquez pourquoi il a été manqué (règle absente, seuil trop lent, notification non reçue, mauvais destinataire) avant d'ajouter une alerte : la correction est parfois un réglage.
Si vous avez des objectifs de service (SLO), alerter sur la vitesse de consommation du budget d'erreur, c'est-à-dire sur la rapidité avec laquelle vous épuisez la marge d'indisponibilité tolérée, remplace avantageusement les seuils fixes. Ce n'est pas un prérequis du socle.