Strata Logging Service > Log Forwarding > AWS S3 Profiles를 통해 JSON 형식으로 AWS S3에 전달된 로그가 손상된 것 같습니다.
5664
Created On 01/27/25 01:31 AM - Last Modified 02/20/25 01:32 AM
Symptom
- 고객은 SLS > 로그 전달 > AWS S3 프로필에서 AWS S3 버킷으로의 로그 포워딩 구성했습니다.
- 동작 확인 중 S3 버킷에 .json 형식으로 파일이 생성되는 것을 확인했습니다.
- 하지만 S3 버킷에서 파일을 다운로드하고 검사한 후 콘텐츠가 손상된 것으로 나타났습니다.
- Snappy로 파일 압축 해제를 시도했지만 압축 해제가 실패했습니다.
Environment
- 프리즈마 액세스
- Strata 로깅 서비스
Cause
- AWS S3 버킷에 로그 전달 설명서에 설명된 대로 로그 파일은 전달하기 전에 Snappy를 사용하여 압축됩니다.
- Snappy 압축 해제가 부족하여 다운로드한 파일이 손상되었습니다.
Resolution
- 의도적으로 실제 JSON을 얻으려면 Snappy를 사용하여 파일을 압축 해제해야 합니다.
- Our engineering team provided an example of the script to decode the file in a similar case.
import snappy import sys file = sys.argv[1] with open(file, 'rb') as f: index = 0 data = f.read() for b in data: if b == 10: #separator break; index = index + 1 payload = data[index+1:] print(snappy.uncompress(payload))
Additional Information
Strata Logging Service 가 AWS S3 버킷으로 로그 전달