목록K-ICT (1)

오음

Airflow) GPU서버를 이용한 모델 학습과 학습된 모델 버킷에 저장하기

사용자들의 플레이리스트들을 수집해서 word2vec모델을 학습 후 새로운 사용자의 리스트를 보고 추천해주는 시스템을 만들고 싶었다. (더 공부한 후 포스팅예정!) 거의 2주간은 필요한 데이터 수집과 데이터 전처리에 많은 시간을 쏟은 것 같았다. 그럼에도 필요 데이터 수집은 계속해서 이루어져야 한다.. 왜냐? 모델 학습을 계속 진행해서 더 많은 데이터로 학습하게 만들어야 되기 때문이다. 이 과정을 airflow를 통해서 만들어진 코드들이 자동화 될 수 있게 만들어 줄 것이다. airflow 진행순서) 멜론,바이브,지니,스포티파이등등의 user 플레이리스트 크롤링 + 배포될 경우 새로운 사용자들의 리스트 -> 모델 학습 -> 모델 저장 -> 백엔드로 모델 서빙 여기서 플레이리스트 크롤링과 배포될 경우 새로운..
데이터 엔지니어링/Airflow 2023. 7. 30. 16:28
이전 Prev 1 Next 다음