Les journaux transmis à AWS S3 au format JSON via Strata Logging Service > Log Forwarding > AWS S3 Profiles semblent être corrompus.
5672
Created On 01/27/25 01:31 AM - Last Modified 02/20/25 01:25 AM
Symptom
- Le client a configuré le transfert des journaux vers le compartiment AWS S3 dans SLS > Transfert de journaux > Profils AWS S3
- Lors du contrôle de fonctionnement, il a été confirmé que des fichiers étaient générés au format .json dans le compartiment S3
- Cependant, après avoir téléchargé et inspecté les fichiers du bucket S3, le contenu semblait corrompu
- J'ai tenté de décompresser les fichiers avec Snappy, mais la décompression a échoué
Environment
- Accès Prisma
- Service d'enregistrement de strates
Cause
- Comme décrit dans la documentation de Transférer les journaux vers le compartiment AWS S3 , le fichier journal est compressé à l'aide de Snappy avant d'être transféré.
- Les fichiers téléchargés ont été corrompus en raison d'un manque de décompression Snappy.
Resolution
- Le fichier doit être décompressé à l'aide de Snappy pour obtenir le JSON réel, de par sa conception.
- Our engineering team provided an example of the script to decode the file in a similar case.
import snappy import sys file = sys.argv[1] with open(file, 'rb') as f: index = 0 data = f.read() for b in data: if b == 10: #separator break; index = index + 1 payload = data[index+1:] print(snappy.uncompress(payload))
Additional Information
Le service de journalisation Strata transfère les journaux vers le compartiment AWS S3