Installer le domaine "web-log-analyser"

Notes : ce domaine hébergera l'outil GoAccess (équivalant à AwStats) permettant d'analyser et de visualiser les logs web.

Voir la section Configurer Nginx pour la création et la gestion du fichier .htpasswd.

En local, sur votre machine, se placer dans le dépôt Github "sinp-<region>-srv" récupéré précédemment et si nécessaire resynchroniser le dossier bkp-srv avec le serveur de destination en exécutant la commande Rsync indiquée dans le fichier README.md.

Tester la configuration SSL : https://www.ssllabs.com/ssltest/analyze.html?d=web-log-analyser.silene.eu

Tester l'URL https://web-log-analyser.<domaine-sinp>/

La config finale :

upstream websocket {
    server 127.0.0.1:57890;
}
 
server {
    listen 443 ssl http2; # managed by Certbot
    listen [::]:443 ssl http2; # managed by Certbot
 
    server_name web-log-analyser.<domaine-sinp>;
 
    auth_basic "Zone restreinte";
    auth_basic_user_file /etc/nginx/.htpasswd; 
 
    location ^~ /ws {
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection "upgrade";
 
        proxy_pass http://websocket;
        proxy_http_version 1.1;
        proxy_read_timeout 1d; 
    }   
 
    location / { 
        proxy_set_header Host $http_host;
        proxy_set_header X-Real-IP $realip_remote_addr;
 
        proxy_set_header X-Forwarded-Host $host:$server_port;
        proxy_set_header X-Forwarded-Server $host;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header X-Forwarded-Proto $scheme;
 
        proxy_pass http://127.0.0.1:50082/;# ATTENTION : bien mettre un slash final ! Sinon => erreur 404
    }   
 
    ssl_certificate /etc/letsencrypt/live/web-log-analyser.<domaine-sinp>/fullchain.pem; # managed by Certbot
    ssl_certificate_key /etc/letsencrypt/live/web-log-analyser.<domaine-sinp>/privkey.pem; # managed by Certbot
    include /etc/letsencrypt/options-ssl-nginx.conf; # managed by Certbot
    ssl_dhparam /etc/letsencrypt/ssl-dhparams.pem; # managed by Certbot
}
 
server {
    listen 80; 
    listen [::]:80;
 
    server_name web-log-analyser.<domaine-sinp>;
 
    return 302 https://web-log-analyser.<domaine-sinp>$request_uri;
}

Notes : Logorotate pour Nginx doit avoir été configuré pour utiliser un format de date %Y-%m-%d

Télécharger un base "IP to City Lite" depuis le site : https://db-ip.com/db/lite.php

La placer dans le dossier ~/docker/web-log-analyser/goaccess/

Modifier le fichier docker-compose.yml et ajouter le volume suivant au container web-log-analyser-goaccess : - ./goaccess/dbip-city-lite-2023-06.mmdb:/var/lib/GeoIP/GeoLite2-City.mmdb

Créer un fichier goaccess/custom.css avec le contenu :

.wrap-panels:after {
    content: "IP Geolocation by DB-IP : https://db-ip.com";
    color: grey;
}

Ajouter le volume suivant au 2 container de la stack web-log-analyser dans le fichier docker-compose.yml : - ./goaccess/custom.css:/goaccess/reports/custom.css:ro

Ajouter les paramètres suivant à tous les fichiers de configuration de goaccess :

# User interfaces Options
html-custom-css /custom.css
# Geolocation Options
geoip-database /var/lib/GeoIP/GeoLite2-City.mmdb

Redémarer la stack : docker compose restart

Contexte : GoAccess ne propose pas de solution native pour décompresser les logs. Il faut passer par zcat et l'utilisation des pipes.

Problème : GoAccess gère mal la persistance en base des données de fichiers de log issu de l'utilisation d'un pipe avec zcat. Voir la documentation de GoAccess.

Solution : pour l'interface GoAccess temps réel, nous utilisons seulement le plus récent fichier de log généré par Nginx, le fichier access.log, avec l'utilisation des paramètres --persist, --restore et --db-path=/goaccess/database. Normalement, cela devrait nous permettre de retrouver toutes logs analysés dans l'interface en temps réel…