오음

1. 도커 컴포즈란?단일 서버에서 여러개의 컨테이너를 하나의 서비스로 정희해 컨테이너의 묶음으로 관리 할 수 있는 작업 환경을 제공하는 관리 도구이다.여러 개의 컨테이너의 옵션과 환경을 정의한 파일을 읽어 컨테이너를 순차적으로 생성한다.컨테이너 간의 의존성,네트워크,볼륭 등을 정의 할 수 있다.2. 사용하기 도커 컴포즈는 compose file을 실행하기 때문에 yaml파일 작성이 필요하다. 파일의 내용은 장고와 nginx 그리고 rabbitmq를 순차적으로 생성하는 명령어version: "3" services: web: build: . container_name: django_ctn restart: "no" command: bash -c " python3 manage.py collectstatic --..

hadoop 환경에서 jupyter노트북을 이용하여 spark session을 띄웠는데 하나의 주피터 환경 안에서는 하나의 spark session을 사용할 수밖에 없다. 때문에 여러 개의 커널을 사용하여 독립적인 환경에서 각자 작업을 할 수 있게 만들고 싶었다. 환경설정을 바꾸어 클러스터 된 spark에 주피터 노트북 커널을 두 개 이상 사용하고자 한다. 세션 간에 직접적인 데이터 공유는 불가능하지만 이렇게 하면 서로 다른 작업들이 서로에게 영향을 주지 않으므로 개인 공부에는 최적이라고 생각했다. ** 이런 작업환경을 구성하려면 다음과 같은 파일들을 수정해야한다. ** kernel.json 파일과 shell.py 파일은 Jupyter Notebook에서 PySpark 커널을 사용하도록 설정하는 데 사용..

코드 참고 git 주소 GitHub - OhJune/Client-Django-FastAPI: Git DE Git DE . Contribute to OhJune/Client-Django-FastAPI development by creating an account on GitHub. github.com RabbitMQ 서버 설치 > sudo apt install rabbitmq-server > systemctl status rabbitmq-server > sudo service rabbitmq-server start 가상환경에 celery 설치 > pip install celery celery 실행 -- celery.py가 있는 경로에서 실행해야한다. 나는 fastconnect프로젝트에 fastconnect..

저번 시간에 Fastapi와 Django를 이용하여 모델 서빙을 하였다. 여기서 장고에서 사용자의 값이 너무 많이 들어오게 될 경우 Fastapi가 처리해야할 데이터를 놓칠수도 있게 된다. 때문에 RabbitMQ로 메시지를 연결해주고 celery로 비동기 작업을 처리하는 구조를 만들어 볼까 한다. 처리에 앞서 비동기란 무엇일까? 비동기 태스크(asynchronous task)는 코드의 실행이 동시에 발생하지 않고, 순차적으로 실행을 기다리지 않고 독립적으로 실행하는 작업이다. 비동기 프로그래밍을 사용하면 프로그램이 다른 작업을 기다리지 않고 동시에 여러 작업을 수행할 수 있도록 하여 모든 작업을 완료할 수 있게 된다. Message broker 란? Message broker는 송신자의 이전 메시지 프로..

만들어 놓은 word2vec 기반의 Song2vec.model을 Fastapi에 올리고 Django가 값을 띄워주는 구조를 만들어 볼까 한다. 우선 FastAPI가 뭐냐?? FastAPI는 파이썬 프레임워크 비교적 가벼운 웹개발이라면 Flask를 사용했고 조금 더 볼륨있는 프로젝트라면 Django를 사용했다. RESTful: REST 아키텍처를 구현하는 웹 서비스 FastAPI는 조작법은 단순하면서도 성능적으로는 우세함을 보장한다. 직접 느껴본 바 : 별거 안했는데도 빠르게 restful 한 url을 만들 수 있었다. 그럼 사용 이유는 무어냐?? API 문서 자동 생성 (/docs,/redoc,/openapi.josn) 코드의 변화에 따라 발생하는 요청/응답 스키마를 자동으로 문서화해 제공하는 파이프라인..