Được xây dựng để giám sát một triệu trang web
Đằng sau bảng điều khiển của bạn là cùng một ngăn xếp khả năng quan sát mà chúng tôi dùng để vận hành nền tảng: Prometheus và Grafana cho các chỉ số, OpenTelemetry cho việc theo dõi phân tán trên công cụ, quy trình làm việc và trình điều khiển, cùng nhật ký có cấu trúc tập trung được gắn thẻ đối tượng thuê với dữ liệu kiểm toán được lưu giữ riêng biệt.
Số liệu được thu thập theo từng dịch vụ, từng worker và từng đối tượng thuê, kèm theo số liệu thống kê LVE cho từng trang web từ lớp cô lập. Mỗi lần chạy quy trình làm việc — cấp phép, di chuyển, thực thi — đều hiển thị xuyên suốt từ đầu đến cuối, đó là lý do tại sao câu trả lời hỗ trợ có thể mang tính cụ thể thay vì chỉ là phỏng đoán.
Giám sát trên quy mô lớn là bài toán về khối lượng dữ liệu, vì vậy hệ thống được thiết kế kỹ thuật để giải quyết chính vấn đề này. Các chỉ số khối lượng lớn được phân vùng theo thời gian và tổng hợp lại thay vì lưu trữ vĩnh viễn theo từng trang mỗi phút, dữ liệu theo dõi được lấy mẫu, và việc kiểm soát lực lượng riêng cho từng khách thuê giúp ngăn chặn một tài khoản có lưu lượng bất thường làm suy giảm bảng điều khiển của mọi người khác. Mục tiêu thiết kế là một triệu trang web, chứ không phải con số mà chúng tôi đang vận hành hôm nay.
Cảnh báo được định tuyến qua Alertmanager đến ca trực của chúng tôi với các SLO được xác định và theo dõi — được chủ ý tách biệt khỏi các thông báo của khách hàng ở trên, để các tạp âm vận hành không bao giờ chuyển vào hộp thư đến của quý khách và cảnh báo của quý khách không bao giờ phải xếp hàng sau cảnh báo của chúng tôi.