Скачайте репозиторий командой git clone https://github.com/gulyasmir/grafana.git
Запустить командой
docker-compose up -d
По адресу <span class="code-inline__content">http://locahost:8080/metrics</span> можно получить метрики.
Если перейти на вкладку targets <span class="code-inline__content">http://localhost:9090/targets?search=</span>, то можно увидеть источник метрик
в Prometheus в разделе Targets <span class="code-inline__content">http://localhost:9090/targets?search=</span> вы увидите новый сервис app
Метрики <span class="code-inline__content">http://localhost:8080/rand_metrics</span>
Откройте `http://localhost:3000 admin/admin`.
Добавьте Prometheus: Connections→ Add new connection → «Prometheus» в строке поиска.
В настройках напишите ссылку на сервер с метриками <span class="code-inline__content">http://prometheus:9090</span>. Сохраните (кнопка внизу)
Добавьте новый дашборд. Добавьте метрики, нажав Add visualization.
Заполните название метрики <span class="code-inline__content">http_request_duration_count</span> и нажмите Run queries.
Заполните название метрики <span class="code-inline__content">http_request_duration_bucket</span>, в функциях агрегации выберите Avg by (средняя) по метке <span class="code-inline__content">le</span> (время меньше, чем из наших синтетических метрик) и нажмите Run queries. Нарисуется график, дальше исправьте Title в Panel Options и нажмите Save. По итогу у вас получится вариант RED.
Заполните название метрики <span class="code-inline__content">http_request_duration_count</span> и <span class="code-inline__content">label = 500</span> (ошибочные запросы) и нажмите Run queries.
Полезные ссылки:
Google Cloud Tech Custom Metrics with Prometheus
Аня Сокол **Error Budget, SLO и мониторинг: советы для начинающих SRE-инженеров