Creat pentru a monitoriza un milion de site-uri
În spatele tabloului dumneavoastră de bord se află aceeași stivă de observabilitate pe care rulăm platforma: Prometheus și Grafana pentru metrici, OpenTelemetry pentru urmărire distribuită în cadrul motorului, fluxurilor de lucru și driverelor, precum și jurnale structurate centralizate, etichetate pentru fiecare locatar, cu datele de audit păstrate separat.
Metricile sunt colectate per serviciu, per worker și per tenant, cu statistici LVE per site din stratul de izolare. Fiecare rulare a fluxului de lucru — provizionare, migrare, aplicare — este vizibilă cap-coadă, motiv pentru care un răspuns de asistență poate fi specific în loc de o presupunere.
Monitorizarea la scară largă este o problemă de volum de date, prin urmare a fost proiectată ca atare. Metricile cu volum ridicat sunt partiționate în funcție de timp și agregate, în loc să fie păstrate permanent pentru fiecare site în parte și pentru fiecare minut, urmele sunt eșantionate, iar controalele de cardinalitate la nivel de chiriaș împiedică un cont cu activitate intensă să degradeze tablourile de bord ale celorlalți. Obiectivul proiectului este de un milion de site-uri, nu numărul pe care îl gestionăm în prezent.
Alertele sunt direcționate prin Alertmanager către echipa noastră de gardă, cu SLO-uri definite și monitorizate — păstrate în mod deliberat separat de notificările pentru clienți de mai sus, astfel încât zgomotul operațional să nu ajungă niciodată în căsuța dumneavoastră de e-mail, iar alertele dumneavoastră să nu stea niciodată la coadă în spatele alor noastre.