Binuo para magbantay ng isang milyong site
Nasa likod ng inyong dashboard ang parehong observability stack kung saan namin pinapatakbo ang platform: Prometheus at Grafana para sa mga sukatan, OpenTelemetry para sa distributed tracing sa kabuuan ng engine, mga workflow, at mga driver, at mga sentralisadong structured log na naka-tag ayon sa tenant habang nakahiwalay ang data ng pag-audit.
Kinokolekta ang mga sukatan bawat serbisyo, bawat worker, at bawat tenant, na may mga istatistika ng LVE bawat site mula sa isolation layer. Ang bawat pagpapatakbo ng workflow — paglalaan, paglipat, pagpapatupad — ay makikita mula simula hanggang wakas, kung kaya't ang sagot ng suporta ay maaaring tiyak sa halip na hula lang.
Ang pagsubaybay sa malaking sukat ay isang problema sa dami ng data, kaya idinisenyo ito bilang ganoon. Ang mga sukatan na may mataas na dami ay hinahati ayon sa oras at pinagsasama-sama sa halip na panatilihin bawat site bawat minuto magpakailanman, ang mga trace ay sinasampolan, at ang mga kontrol sa kardinalidad bawat tenant ay pumipigil sa isang maingay na account na magpababa sa kalidad ng mga dashboard ng iba. Ang target ng disenyo ay isang milyong site, hindi ang bilang na pinapatakbo natin ngayon.
Ang pag-alerto ay niruruta sa pamamagitan ng Alertmanager patungo sa aming on-call rota na may mga natukoy at sinusubaybayang SLO — sadyang pinapanatiling hiwalay sa mga abiso sa customer sa itaas, upang ang ingay sa pagpapatakbo ay hindi kailanman mapunta sa iyong inbox at ang iyong mga alerto ay hindi kailanman pumila sa likod ng amin.