Spotify 데이터 파이프라인에서 ETL 작업을 수행합니다.
# install FastAPI
pip install fastapi "uvicorn[standard]" requests
# run FastAPI
nohup python3 main.py &# Postgres 서버에 API 파라미터 적재
/sql/new_release
/sql/featured_playlists
/sql/related_artists
/sql/artist_albums
# .json 데이터 수집
/json/albums
/json/artists
# Kafka 메세지 발행 -> Spark Streaming 앱 스케줄링
/kafka/albums
/kafka/artists
# .parquet 파일 백업 (AWS S3)
/parquet/albums
/parquet/artists