А почитайте про Canopy систему от Facebook для сквозного (end-to-end) анализа производительности

Это как раз и есть то, что назвали бы модным словом "observability", но в статье его ни разу не встречается (хаха!) и, честно говоря, от самого слова уже начинает дёргаться глазик

#monitoring #observability

​​Окей, вы настроили мониторинг. У вас есть куча метрик, которые даже собраны в красивые дашборды

Куда смотреть? Надо ли будить половину команды, если вырос cpu_wio на 7% бэкэндов? А на 20%? Или мы просто будем сомтреть на valid_response_p95_rate и алерить по данной метрике?

Конечно, это всё очень индивидуально, и у разных людей разные мнения по поводу "золотых сигналов". Т.е индикаторов, что у нас сейчас всё overall good или overall bad. Почитать о разных мнениях можно тут:

https://medium.com/devopslinks/how-to-monitor-the-sre-golden-signals-1391cadc7524

В кратце о методах:

Google: Latency, Traffic, Errors, and Saturation
Brendan Gregg: Utilization, Saturation, and Errors
Tom Wilkie: Rate, Errors, and Duration

Ну а дальше уже в статье всё разжёвано детальней

#monitoring #observability

​​Короткая методичка от Honeycomb.io о трейсинге

#observability

Pinterest заопенсорсили свой агент логгирования — Singer

Судя по документации, логи предполагается писать в Кафку, но есть вот такая строка:

> Extensible design: Singer can be easily extended to support data uploading to custom destinations.

#logging #observability

​​Framework for an Observability Maturity Model

Observability is on the minds of just about every modern dev team running a production service, and it’s time everyone spoke the same language, so we can build something greater on the top of our shared understanding. Access to observable systems is the path toward less frustration and more happiness—both for those responsible for production, and the customers they serve.

For this propose, Honeycomb was created white paper, where they sharing own vision of observability based on goals instead of tools.

P.S. Monitoring is only little part of this Framework.
P.P.S. If you earlier skiped Achieving Observability guide, it's time to read it.

#books #observability

Observability на конкретном примере одного проекта https://dzone.com/articles/microservices-observability - очень доступно #observability #tracing #msa

Лонгрид для выходного дня о распределенном трейсинге от Cindy Sridharan.

В статье описано, какие возникают проблемы при построении трейсинга и как их можно принципиально решать.

#observability

Ретроспектива трёх лет понятия "observability" от одной из основательниц движения - Charity Majors

В статье описана история возникновения понятие, почему метрики - это ещё не observability, практическую сторону вопроса и прочее.

#observability

Если вам лень что-то читать по понедельникам, вот выпуск подкаста про Observability: инженер Uber рассказывает про распределенный трейсинг.

Если всё же читать вам приятней, чем слушать, вот интервью на том же Packt с Charity Majors - одной из пионеров этого понятия.

#observability

VMWare отдаёт книгу по observability в обмен на ваши персональные данные

#books #observability

Facebook рассказывают о своём сервисе стриминга логов - Scribe.

"Transporting petabytes per hour" - вам такой объём скорее всего не нужен, но почитать интересно

#observability

Live stream с Monitorama, которая сейчас проходит в Балтиморе

#slides #observability

Grafana делятся своими предположениями о будущем observability

1. Больший акцент на корреляциях между метриками, логами и трейсами
2. Использование новых сигналов для анализа (как, например, профайлеры)
3. Аггрегация логов без индексов

#observability

Philip Krenn - developer advocate в Elastic - отвечает на StackOverflow про то, как мониторить время ответа Nginx с помощью Elastic Stack

Может, кому пригодится

#observability #elk

Разворачиваем Filebeat с разными модулями в Kubernetes

С примерами конфигурации.

#kubernetes #elk #observability

Статья от Percona с советами по созданию дашбордов

В названии фигурирует Grafana, но советы на самом деле общее. Кому-то они могут показаться капитанскими, но я повидал слишком много непонятных, бесполезных и перегруженных дашбордов. Потому считаю необходимым запостить.

#observability

Сага в четырёх частях от СЕО Percona Петра Зайцева о мониторинге производительности в Linux и типичных ошибках:

- Часть первая: CPU
- Часть вторая: Disk
- Часть третья: Memory
- Часть четвёртая: Network

Очень хороший разбор, рекомендую к прочтению 👍

#observability

Две свежие статьи от Netflix и Slack про то, как у них реализован трейсинг и как это упрощает отладку проблем в распределённых системах.

http://amp.gs/XGAx
http://amp.gs/XGAe
#tracing #observability

OpenTelemetry examples

https://github.com/ericksoen/opentelemetry-examples

#opentelemetry #observability #monitoring #logs #metrics