Рекомендую статью Monitoring and Observability от Cindy Sridharan‏

Там простым языком (английким) объясняется, чем таки мониторинг отличается от "observability" и зачем кому-то нужен ещё один термин.

Написано хорошо, но мы то понимаем. Цитирую:

 I’m an engineer that can help provide monitoring to the other engineers in the organization
> Great, here’s $80k.
I’m an architect that can help provide observability for cloud-native, container-based applications
> Awesome! Here’s $300k!

#monitoring #observability

А почитайте про Canopy систему от Facebook для сквозного (end-to-end) анализа производительности

Это как раз и есть то, что назвали бы модным словом "observability", но в статье его ни разу не встречается (хаха!) и, честно говоря, от самого слова уже начинает дёргаться глазик

#monitoring #observability

​​Окей, вы настроили мониторинг. У вас есть куча метрик, которые даже собраны в красивые дашборды

Куда смотреть? Надо ли будить половину команды, если вырос cpu_wio на 7% бэкэндов? А на 20%? Или мы просто будем сомтреть на valid_response_p95_rate и алерить по данной метрике?

Конечно, это всё очень индивидуально, и у разных людей разные мнения по поводу "золотых сигналов". Т.е индикаторов, что у нас сейчас всё overall good или overall bad. Почитать о разных мнениях можно тут:

https://medium.com/devopslinks/how-to-monitor-the-sre-golden-signals-1391cadc7524

В кратце о методах:

Google: Latency, Traffic, Errors, and Saturation
Brendan Gregg: Utilization, Saturation, and Errors
Tom Wilkie: Rate, Errors, and Duration

Ну а дальше уже в статье всё разжёвано детальней

#monitoring #observability

​​Короткая методичка от Honeycomb.io о трейсинге

#observability

Pinterest заопенсорсили свой агент логгирования — Singer

Судя по документации, логи предполагается писать в Кафку, но есть вот такая строка:

> Extensible design: Singer can be easily extended to support data uploading to custom destinations.

#logging #observability