Comment l'espace disque est alloué sur les collecteurs de journaux
Symptom
Où va l'espace?
A log collector est déployé avec 4 paires de disques de 1 To. Les GUI rapports 3,23 TB de l’espace total qui peut être alloué via un quota. Diverses CLI commandes affichent des valeurs différentes de celles GUIdu fichier . Qu’est-ce qui se passe ici? Combien d’espace avez-vous réellement pour les journaux?
Cause
Comment l’espace est-il alloué?
Plusieurs facteurs influent sur la quantité d’espace sur un disque utilisée pour les journaux dans Elasticsearch. Le graphique suivant explique où l'espace va lorsqu'une paire disque ou disque est ajoutée à un collecteur de journaux.
Resolution
Taille totale
Dans cet exemple, un disque 1 TB est ajouté à un collecteur de journaux. Dès le début, un écart peut être observé entre la taille du disque (1 TB) et la quantité d’espace que le système d’exploitation voit (917 GB). Cet écart est dû à quelques facteurs :
- Surcharge du système de fichiers: il y a des frais généraux associés à la création du système de fichiers sur le disque, mais il est assez mineur.
- 1000 vs 1024 octets par kilo-octet: les fabricants de disques durs comptent 1000 octets par kilo-octet alors que le système d'exploitation utilise 1024 octets par kilo-octet. C'est la source la plus importante de l'écart que nous voyons ci-dessus. Vous avez encore réellement le même nombre d'octets disponibles, les fabricants de disque dur juste compter les kilo-octets différemment.
Journaux formatés logD
Un tiers (~ 33%) de l'espace disque disponible est alloué aux journaux formatés logD. Le format déconnecté est ce qui a été utilisé avant l’introduction d’Elasticsearch. Post 8,0, les journaux formatés logD sont stockés pour prendre en charge la mise à niveau et downgrade seulement. Aucun index n'est généré pour ces journaux.
Elasticsearch
Deux tiers (~66%) de l’espace disque disponible est alloué pour une utilisation par Elasticsearch. Les quotas configurés sont appliqués à cet espace alloué. Dans le graphique ci-dessus, on peut voir que les pourcentages de quotas par défaut sont appliqués par rapport aux 66% de l’espace disque total alloué à Elasticsearch.
Vérification de l’utilisation du disque sur le CLI
Pour vérifier l’utilisation globale du disque :
> Afficher l’espace disque système
Cette commande affichera l PAN-OS 'équivalent de la commande Unix 'df -h'. Les statistiques d'utilisation pour chaque monture sont incluses. Les disques d'enregistrement sont montés sur/opt/panlogs/:
L'examen de la colonne 'Taille' pour les disques de journalisation montre que le système d'exploitation voit les disques comme 917 GB en raison de la différence de 1000 vs 1024 octets par kilooctet.
Pour vérifier l’utilisation par Elasticsearch
> Show système de recherche-moteur-quota
Cette commande affichera l’état de l’allocation du disque elasticsearch (66% de la taille totale du disque):
Pour vérifier l'utilisation par logD
> Show System logdb-quota
Cette commande montrera l'espace utilisé pour stocker les journaux formatés logdb (33% de la taille totale du disque):