오음

코드 참고 git 주소 GitHub - OhJune/Client-Django-FastAPI: Git DE Git DE . Contribute to OhJune/Client-Django-FastAPI development by creating an account on GitHub. github.com RabbitMQ 서버 설치 > sudo apt install rabbitmq-server > systemctl status rabbitmq-server > sudo service rabbitmq-server start 가상환경에 celery 설치 > pip install celery celery 실행 -- celery.py가 있는 경로에서 실행해야한다. 나는 fastconnect프로젝트에 fastconnect..

저번 시간에 Fastapi와 Django를 이용하여 모델 서빙을 하였다. 여기서 장고에서 사용자의 값이 너무 많이 들어오게 될 경우 Fastapi가 처리해야할 데이터를 놓칠수도 있게 된다. 때문에 RabbitMQ로 메시지를 연결해주고 celery로 비동기 작업을 처리하는 구조를 만들어 볼까 한다. 처리에 앞서 비동기란 무엇일까? 비동기 태스크(asynchronous task)는 코드의 실행이 동시에 발생하지 않고, 순차적으로 실행을 기다리지 않고 독립적으로 실행하는 작업이다. 비동기 프로그래밍을 사용하면 프로그램이 다른 작업을 기다리지 않고 동시에 여러 작업을 수행할 수 있도록 하여 모든 작업을 완료할 수 있게 된다. Message broker 란? Message broker는 송신자의 이전 메시지 프로..

만들어 놓은 word2vec 기반의 Song2vec.model을 Fastapi에 올리고 Django가 값을 띄워주는 구조를 만들어 볼까 한다. 우선 FastAPI가 뭐냐?? FastAPI는 파이썬 프레임워크 비교적 가벼운 웹개발이라면 Flask를 사용했고 조금 더 볼륨있는 프로젝트라면 Django를 사용했다. RESTful: REST 아키텍처를 구현하는 웹 서비스 FastAPI는 조작법은 단순하면서도 성능적으로는 우세함을 보장한다. 직접 느껴본 바 : 별거 안했는데도 빠르게 restful 한 url을 만들 수 있었다. 그럼 사용 이유는 무어냐?? API 문서 자동 생성 (/docs,/redoc,/openapi.josn) 코드의 변화에 따라 발생하는 요청/응답 스키마를 자동으로 문서화해 제공하는 파이프라인..

사용자들의 플레이리스트들을 수집해서 word2vec모델을 학습 후 새로운 사용자의 리스트를 보고 추천해주는 시스템을 만들고 싶었다. (더 공부한 후 포스팅예정!) 거의 2주간은 필요한 데이터 수집과 데이터 전처리에 많은 시간을 쏟은 것 같았다. 그럼에도 필요 데이터 수집은 계속해서 이루어져야 한다.. 왜냐? 모델 학습을 계속 진행해서 더 많은 데이터로 학습하게 만들어야 되기 때문이다. 이 과정을 airflow를 통해서 만들어진 코드들이 자동화 될 수 있게 만들어 줄 것이다. airflow 진행순서) 멜론,바이브,지니,스포티파이등등의 user 플레이리스트 크롤링 + 배포될 경우 새로운 사용자들의 리스트 -> 모델 학습 -> 모델 저장 -> 백엔드로 모델 서빙 여기서 플레이리스트 크롤링과 배포될 경우 새로운..