Supervision complète avec Grafana, Prometheus, Loki et Alloy (Docker)
4. Alloy : journaux et exporters
config.alloy (extrait) :
loki.write "local" {
endpoint { url = "http://loki:3100/loki/api/v1/push" }
}
local.file_match "apache" {
path_targets = [{__path__ = "/var/log/apache2/*access.log", job = "apache"}]
}
loki.source.file "apache" {
targets = local.file_match.apache.targets
forward_to = [loki.write.local.receiver]
}
prometheus.remote_write "local" {
endpoint { url = "http://prometheus:9090/api/v1/write" }
}
Le « remote write » vers Prometheus permet d’ajouter d’autres sources sans modifier prometheus.yml (exporter MariaDB, Redis…). Pour un exporter MySQL/MariaDB, créez un utilisateur à droits minimaux :
CREATE USER 'exporter'@'%' IDENTIFIED BY 'MOT_DE_PASSE' WITH MAX_USER_CONNECTIONS 3;
GRANT PROCESS, REPLICATION CLIENT, SELECT ON *.* TO 'exporter'@'%';
Placez le DSN dans un fichier secrets/alloy.env (chmod 600) chargé par env_file.
5. Grafana : sources et tableaux de bord
Provisionnez les sources de données dans grafana/provisioning/datasources/ :
apiVersion: 1
datasources:
- name: Prometheus
uid: prometheus
type: prometheus
url: http://prometheus:9090
isDefault: true
- name: Loki
uid: loki
type: loki
url: http://loki:3100
Importez les tableaux de bord communautaires : 1860 (Node Exporter Full), 14282 (cAdvisor), 7362 (MySQL), 10176 (Pi-hole). Ceux que vous écrivez vous-même peuvent être provisionnés par fichiers JSON dans grafana/dashboards : avantage, ils sont versionnables ; inconvénient, on les édite dans le fichier, pas dans l’interface.
Astuce d’ergonomie : définissez un tableau de bord d’accueil avec des voyants (disque plein, RAM, cibles Prometheus à l’arrêt, températures, alertes actives) et deux versions : écran large et mobile.
6. Alertes poussées sur le téléphone avec ntfy
- installez l’application ntfy sur le téléphone et abonnez-vous à un sujet difficile à deviner ;
- créez dans Grafana un *contact point* de type webhook ou utilisez un petit pont (
grafana-ntfy) qui transforme l’alerte en notification ; - provisionnez règles et contact points par YAML (
grafana/provisioning/alerting/) ; - règles utiles : disque presque plein, RAM disponible faible, cible Prometheus injoignable, conteneur essentiel manquant, disque SMART/NVMe en défaut, sauvegarde en retard.
Pour éviter les alertes qui clignotent en « No data », terminez vos requêtes LogQL par or vector(0) et réglez « No data » sur *Normal*.
Pièges rencontrés
- Port 9090 déjà pris (Cockpit par exemple) : publiez Prometheus sur un autre port hôte (9091 ici) ;
- **Après
systemctl restart docker**, un conteneur redémarré seul peut perdre sa règle NAT :docker compose up -d --force-recreate <service>la reprogramme ; - Dossier d’alertes non supprimable dans Grafana tant que des règles provisionnées y sont rattachées : déplacez-les vers un autre dossier dans le YAML ;
- Métriques SMART vides : sur un NVMe, utilisez
nvme_temperature_celsiusetnvme_critical_warningdu collecteur nvme plutôt quesmartmon_*.
Sauvegarde
Sauvegardez /opt/fwmon (configurations, dashboards, provisioning) et le volume grafana-data. Les données Prometheus et Loki sont des séries chronologiques : leur perte est regrettable mais pas critique.
Pages : ⬅ Page précédente