• README.md is written in KOREAN

Spotify API로부터 앨범 및 아티스트 데이터를 수집 & 적재하는 자동화 데이터 파이프라인입니다.
간단한 사용자 추천 시스템을 구현하고 있습니다.

• Airflow (Docker 기반의 서비스 빌드) : API 서버 작업 스케줄링 & Kafka 메세지 발행
• Cron : Postgres DB 백업 & Spotify Access Token 재발급

• FastAPI + uvicorn[standard] : ETL 프로세스 수행

• Spark
  (Streaming Kafka Application) : Kafka 메세지의 파라미터를 기반으로 데이터 가공
  (ML) : 데이터 분석 및 추천 시스템 구현
• Kafka : Spark 어플리케이션 작업 스케줄링

• PostgreSQL : 반복 사용 API 파라미터 적재
• AWS S3 : 백업 스냅샷(.sql) 및 가공 데이터(.parquet) 적재

• Grafana: Kafka 서버 모니터링