1. 데이터 분석 파트데이터 분석 파트는 적재된 데이터를 효율적으로 분석하고, 비즈니스 인사이트를 도출하기 위한 역할을 수행합니다. 이 파트에서는 AWS Glue를 활용해 데이터를 스키마화하고 데이터 카탈로그를 생성하여 구조화된 데이터로 변환합니다. 이후, AWS Athena를 사용해 SQL 기반의 쿼리로 데이터를 분석하고, 이 과정을 통해 적재된 데이터를 효율적으로 탐색하고, 필요한 정보를 시각화하며, 분석 결과를 기반으로 구체적인 서비스 개선 작업을 진행할 수 있습니다. 2. 사용할 AWS 서비스AWS Glue CrawlerAWS Glue Crawler는 AWS에서 제공하는 데이터 크롤링 도구로, S3와 같은 데이터 저장소를 스캔하여 데이터의 스키마(구조 및 메타데이터)를 자동으로 생성합니다. 이를 ..

지난 글에서는 데이터 적재를 위한 AWS 서비스(S3, Firehose)를 설정하고, 이를 Serverless Framework를 활용해 효율적으로 관리하는 방법을 알아보았습니다. 이번 글에서는 이벤트 로그를 Firehose로 전송하는 코드를 작성하고, 이를 실제로 배포 및 테스트하는 과정을 살펴보겠습니다. 1. 이벤트 로그 전송 코드 추가이벤트 로그 적재에 필요한 리소스인 S3와 Firehose의 배포가 완료되었다면, 이제 이전에 작성했던 코드에 Firehose로 데이터를 전송하는 로직을 추가합니다. 먼저 @aws-sdk/firehose-client 패키지를 설치합니다. 이 패키지는 Firehose에 데이터를 전송하기 위한 AWS SDK 모듈 입니다.$ pnpm add @aws-sdk/client-fi..

1. 데이터 적재 파트데이터 적재 파트는 수집된 데이터를 안정적이고 효율적으로 저장하기 위한 역할을 수행합니다. 이 파트에서는 AWS Kinesis Firehose를 통해 데이터를 스트리밍 방식으로 처리하고, AWS S3에 적재하여 이후 분석 및 활용이 가능하도록 합니다. 이 파트는 데이터의 배치 처리, 압축 및 변환 등을 수행합니다. 2. 사용할 AWS 서비스AWS Kinesis Data FirehoseKinesis Data Firehose는 AWS에서 제공하는 완전 관리형 데이터 스트리밍 서비스로, 데이터를 실시간으로 수집하여 저장소나 분석 도구로 전달할 수 있습니다. 데이터 압축(예: gzip)과 형식 변환(예: JSON → Parquet)을 지원하여 저장 공간을 최적화하며, Lambda와 연동해 ..

지난 글에서는 Serverless Framework를 사용해 프로젝트를 생성하고, 이를 테스트 및 배포하는 방법을 살펴보았습니다. 이제 본격적으로 코드를 작성해보겠습니다. 이벤트 로그를 Firehose에 전송하는 기능은 Firehose와 S3 설정이 필요하므로, 이와 관련된 코드는 [데이터 적재 파트]에서 함께 작성하도록 하겠습니다. 이번 섹션에서는 요청 파라미터를 검증하고, 전달받은 데이터를 콘솔에 출력하여 확인하는 코드만 작성하겠습니다. 1. 이벤트 로그 스키마먼저, 이벤트 로그의 스키마를 정의합니다. 앞서 설명한 대로, 이벤트 로그는 이벤트명, 이벤트 발생 시점, 그리고 이벤트 관련 파라미터로 구성됩니다. 이를 기반으로 정의한 스키마는 아래와 같습니다.type EventLog = { event_n..

1. 데이터 수집 파트데이터 수집 파트는 이벤트 로그 서버에서 클라이언트가 전송하는 데이터를 수집하고, 이를 처리하여 적재 파트로 전달하는 역할을 수행합니다. 이 파트는 파라미터의 검증, 전처리, 전달 등을 담당합니다. 2. 사용할 AWS 서비스AWS API GatewayAPI Gateway는 AWS에서 제공하는 완전 관리형 서비스로, RESTful API를 생성, 배포, 관리할 수 있도록 지원합니다. 클라이언트와 백엔드 서비스 간의 통신을 중개하며, 인증/인가, 요청 검증, 속도 제한 등의 다양한 기능을 제공합니다. 이 프로젝트에서는 API Gateway를 활용해 이벤트 데이터를 수집하기 위한 엔드포인트를 제공하고, 요청을 Lambda로 전달합니다.AWS LambdaLambda는 AWS의 서버리스 컴퓨..

1. 이벤트 로그이벤트 로그는 사용자의 행동을 추적하기 위해 기록하는 데이터로, 서비스 운영 및 개선에 중요한 역할을 합니다. 예를 들어, 특정 기능에 대한 사용자 클릭 수, 페이지 체류 시간, 전환율 등을 분석하여 사용자의 행동 패턴을 파악할 수 있습니다. 이를 통해 사용성 개선, 개인화된 서비스 제공, 효과적인 마케팅 전략 수립 등이 가능합니다.이벤트 로그는 이벤트의 이름, 발생 시점, 그리고 해당 이벤트와 관련된 파라미터를 포함합니다. 이벤트 이름은 '로그인', 'A 페이지 진입', '스크롤 N%'와 같이 특정 이벤트를 식별하는 데 사용됩니다. 이벤트 파라미터는 이벤트의 세부 정보를 담고 있으며, 예를 들어 로그인 이벤트의 경우 '로그인 타입(구글, 카카오 등)'과 '로그인 ID'가 포함될 수 있습..