오음

빗썸 api를 이용하여 수집한 데이터를 어떻게 처리를 하고 시각화할지에 대해 생각해 보았다. 우선 수집한 데이터들은 한번 스케줄 될 때 300개의 코인종목과 26가지의 컬럼정보들을 가져올 수 있다. 칼럼 정보가 많기 때문에 차원을 줄여서 따로 데이터웨어하우스를 구축해야겠다고 생각했다. 또한 원데이터의 손실을 막기 위하여 데이터 레이크를 만들어 필요한 데이터를 추출하여 필요시 전처리 할 수 있게 만들어야겠다고 생각했다. 이후, 레이크에 있는 json파일들을 spark로 전처리를 하여 최종 데이터를 산출해 내고 그 데이터를 이용하여 시각화툴을 사용하여 인사이트를 도출할 수 있도록 하고 시계열 데이터를 pytorch를 사용하여 모델링할 수 있었으면 좋겠다고 생각했다. 또한 더 생각해 볼 수 있는 것이 데이터 ..

멜론 사용자의 플레이 리스트를 크롤링 해보았다. 플레이 리스트는 사용자들의 노래방리스트들의 정보가 담겨있고 약 2000여개의 리스트들과 각 리스트들에 대한 노래정보들을 가져온다. 멜론에서는 따로 api를 발급해주지 않기 때문에 셀레니움을 이용하여 크롤링 할 예정이다. 크롤링 단계는 셀레니움으로 사용자들의 플레이리스트 id값들을 얻어온 후 request를 통해서 다시 한번 리스트 안에 있는 노래정보들을 가저올 것이다. 1. 우선 셀레니움에 필요한 라이브러리들을 임포트 해준다. from selenium import webdriver from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expe..

데이터 모델링이 필요한 이유 유저의 활동은 모두 데이터이며, 수 많은 종류의 서비스나 기능이 나오고, 많은 데이터가 추가되고 삭제된다. 그 데이터로 더 나은 서비스를 제공하기 위하여 가능한 모든 데이터를 쌓아놓고 활용하려고 한다. 하지만 데이터를 보관하는 데는 비용이 들고 데이터를 조회하는 데도 비용이 든다. 이러한 데이터를 효율적으로 사용하기 위해서는 데이터 모델링이 필요하다. 데이터 모델링 현실세계에 거대하고 복잡한 정보를 데이터베이스화 시키기 위한 과정이다. 데이터를 구조화하고, 조직화하면, 관계를 정의한다. 추상화 : 다양한 것을 일정한 형식에 맞춰 표현 단순화 : 동일한 규약으로 이해하기 쉽도록 하는 것 명확성 : 정확하게 현상을 기술 여러 데이터에 맞는 데이터베이스를 만들어줘야 하고 그 데이터..

https://school.programmers.co.kr/learn/courses/30/lessons/42577 프로그래머스 코드 중심의 개발자 채용. 스택 기반의 포지션 매칭. 프로그래머스의 개발자 맞춤형 프로필을 등록하고, 나와 기술 궁합이 잘 맞는 기업들을 매칭 받으세요. programmers.co.kr 문제 설명 전화번호부에 적힌 전화번호 중, 한 번호가 다른 번호의 접두어인 경우가 있는지 확인하려 합니다. 전화번호가 다음과 같을 경우, 구조대 전화번호는 영석이의 전화번호의 접두사입니다. 구조대 : 119 박준영 : 97 674 223 지영석 : 11 9552 4421 전화번호부에 적힌 전화번호를 담은 배열 phone_book 이 solution 함수의 매개변수로 주어질 때, 어떤 번호가 다른 ..

https://school.programmers.co.kr/learn/courses/30/lessons/42576 프로그래머스 코드 중심의 개발자 채용. 스택 기반의 포지션 매칭. 프로그래머스의 개발자 맞춤형 프로필을 등록하고, 나와 기술 궁합이 잘 맞는 기업들을 매칭 받으세요. programmers.co.kr 문제 설명 수많은 마라톤 선수들이 마라톤에 참여하였습니다. 단 한 명의 선수를 제외하고는 모든 선수가 마라톤을 완주하였습니다. 마라톤에 참여한 선수들의 이름이 담긴 배열 participant와 완주한 선수들의 이름이 담긴 배열 completion이 주어질 때, 완주하지 못한 선수의 이름을 return 하도록 solution 함수를 작성해주세요. 제한사항 마라톤 경기에 참여한 선수의 수는 1명 이상..