S3 버킷에서 파티션된 접두사마다 초당 3,500개의 PUT/COPY/POST/DELETE 및 5,500개의 GET/HEAD 요청을 전송할 수 있습니다. 그리고 이 한계를 넘으면 503 Slow Down 이 발생하면서 에러가 리턴되는데……
작업을 하다보면 위의 이슈를 만나게 되는 경우가 종종 생깁니다. 그런데 AWS S3 Versioning에 따라서 해당 에러가 자주 발생할 수도 있어서 주의가 필요합니다.
Spark 작업등을 하면 특정 작업을 하는 디렉토리의 상위 폴더에 _SUCCESS 가 생기면서 해당 버전이 계속 쌓이면서 문제가 발생할 수 있습니다.
이런 경우 LifeCycle을 잘 적용하거나, 작업 관련 prefix나 bucket을 분리하는게 좋을듯 합니다. 아예 버킷을 분리해서 version을 분리하는 것도 방법인듯 합니다.
https://www.waitingforcode.com/apache-spark-sql/apache-spark-success-anatomy/read