AI/Data Analysis

개요Twitter Input Plugin을 통해 수집한 트윗들은 geo data를 포함하고 있지 않아, re-indexing을 통해 geo data를 가져오도록 설정하는 방법에 대해 다룬다. * 해당 포스팅은 다음 내용을 참고하여 작성하였다.  A DIY Twitter Tracking Tool With Elastic StackKnowing that Australians are coming out of a second wave of the COVID-19 pandemic 👍, while the rest of the world goes into a new one 👎…medium.com 구현1. OpenNLP 설치# elasticsearch -> bin 폴더로 이동 후 실행 (Windows)elastics..

1. 대시보드0) 홈디렉터리에 대시보드에 사용할 데이터(covid data) 업로드, 3번째 노드에만 수행  * 현재 VMWare Tool Installation 실패한 상태 ..  윈도우에서 vmware로 파일 옮기기/ vmware 파일 공유안녕하세요 호호에요 이번에 vmware로 공부하게 되면서 처음 보는 error도 발견하게 되서 해결하고 이제 리...blog.naver.com1) Kibana에서 파일 업로드 이렇게 파일을 로드하였고, Import를 수행해준다. 1) 인덱스 지정 2) mapping 정보 수정 -> long으로 되어 있는 값들을, integer로 변경한다. (맨 마지막 'time'의 type 값은 byte로 변경)mapping 정보 수정이 완료되면, import 클릭 ! 3) Ind..

1. logstach 설치, 노드 1번에 수행 (별도의 컴퓨터에 해도 됨)  -> lostash를 사용하면 input과 output을 지정하고, filtering까지 적용할 수 있음. 대용량의 실시간 성이 있는 데이터들을 받아서 필터링을 하고, Elastic Search에 전송해줌  0) 설치파일 다운로드 wget https://artifacts.elastic.co/downloads/logstash/logstash-7.14.1-linux-x86_64.tar.gztar xfz logstash-7.14.1-linux-x86_64.tar.gz1) logstash 테스트-> 리눅스에서의 일반적인 input과 output에 대해 logstash test ~/logstash-7.14.1/bin/logstash -e..

0. 초기 값 -> Elastic Search 실습을 위해 노드 3개 생성.     Maximum Disk Size: 30GB, Store Virtual disk as a single file, Memory Size: 2GB   1. IP 주소 설정 (network & hostname) 0) IPv4 settings -> Method: Manual 1) node1 (elastic-1)· IP: 192.168.56.101· subnet mask: 255.255.255.0· Gateway, DNS: 192.168.56.2  2) node2 (elastic-2)· IP: 192.168.56.102· subnet mask: 255.255.255.0· Gateway, DNS: 192.168.56.2 3) node..

1. elastic search 다운로드, 3개 노드 모두 적용$ wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.14.1-linux-x86_64.tar.gz$ wget https://artifacts.elastic.co/downloads/kibana/kibana-7.14.1-linux-x86_64.tar.gz$ tar xfz elasticsearch-7.14.1-linux-x86_64.tar.gz$ tar xfz kibana-7.14.1-linux-x86_64.tar.gz$ mkdir files $ mv *.tar.gz files/$ mv elasticsearch-7.14.1 es-714$ mv kibana-7.14.1..

1. 엘라스틱 서치에 존재하는 스냅숏의 목록 확인 $ curl -XGET "http://localhost:9200/_snapshot/javacafe/_all?pretty"  2. movie-search의 스냅숏 복구 $ curl -XPOST "http://localhost:9200/_snapshot/javacafe/movie-search/_restore" 3. 인덱스 생성하기 (movie_nested)PUT move_nested{ "settings": { "number_of_replicas": 1, "number_of_shards": 5 }, "mappings": { "_doc": { "properties": { "repGenreNm": { "t..

외국인 관광객 데이터 다루기 1편에서 수행한 데이터 분석 및 데이터 전처리의 내용을 함수화하여 간편하게 사용할 수 있도록하고, 추가로 전처리한 데이터를 시각화 하는 방법에 대해 다룬다.  1편에서 수행한 데이터 분석 및 전처리 1. 불러올 데이터의 형태 파악2. 엑셀 파일 파이썬으로 불러오기 (pd.read_excel())3. 데이터 탐색 (info(), describe())4. 기준년월 컬럼 추가5. 국적 데이터만 남기기 (대륙 데이터 제거)6. 대륙 컬럼 만들기7. 국적별 관광객비율(%) 살펴보기8. 전체 외국인 관광객 대비 국적별 관광객 비율 살펴보기  * 해당 포스팅에서 다루고 있는 모든 내용은 다음 서적을 참고하였습니다. 직장인을 위한 데이터 분석 실무 with 파이썬(개정판)(위키북스 데이터 ..

월별 외국인 관광객 통계에 대한 데이터를 수집하고, 파이썬에서 이를 전처리한다. 전처리한 결과를 시각화하여 국적별로 외국인 관광객 수에 어떤 계절적인 패턴이 있는지, 외국인 관광객의 방문이 증가 또는 감소한 원인이 되는 이벤트들이 무엇인지 분석한다.  * 해당 포스팅에서 다루고 있는 모든 내용은 다음 서적을 참고하였습니다. 직장인을 위한 데이터 분석 실무 with 파이썬(개정판)(위키북스 데이터 사이언스 시리즈 63)‘데이터 분석은 좋은 질문에서 시작합니다’이 책에서는 누구나 궁금했던 그 질문에 대해 데이터로 답해 봅니다. 이 책은 파이썬을 처음 접하는 마케팅, 영업, 기획 실무 담당자들이 파이썬을book.naver.com사용 데이터한국관광공사에서 관광 목적으로 입국한 외국인 월벌 통계 데이터 (2010..

유튜브에서 제공하는 채널 랭킹과 상세 정보 (채널명, 카테고리 정보, 구독자 수, 조회 수, 동영상 수)를 수집, 시각화한다.  * 해당 포스팅에서 다루고 있는 모든 내용은 다음 서적을 참고하였습니다. 직장인을 위한 데이터 분석 실무 with 파이썬(개정판)(위키북스 데이터 사이언스 시리즈 63)‘데이터 분석은 좋은 질문에서 시작합니다’이 책에서는 누구나 궁금했던 그 질문에 대해 데이터로 답해 봅니다. 이 책은 파이썬을 처음 접하는 마케팅, 영업, 기획 실무 담당자들이 파이썬을book.naver.com0. 기본 환경 설정from selenium import webdriverfrom bs4 import BeautifulSoupimport time import pandas as pd browser = web..

국내 여러 음원 서비스(멜론, 지니, 벅스)에서 노래 순위를 수집하고, 통합 * 해당 포스팅에서 다루고 있는 모든 내용은 다음 서적을 참고하였습니다. 직장인을 위한 데이터 분석 실무 with 파이썬(개정판)(위키북스 데이터 사이언스 시리즈 63)‘데이터 분석은 좋은 질문에서 시작합니다’이 책에서는 누구나 궁금했던 그 질문에 대해 데이터로 답해 봅니다. 이 책은 파이썬을 처음 접하는 마케팅, 영업, 기획 실무 담당자들이 파이썬을book.naver.com 0. 기본 환경 설정from selenium import webdriverfrom bs4 import BeautifulSoupdriver = webdriver.Chrome('./chromedriver.exe')url = 'http://www.melon.co..

HTML 태그를 살펴보는 방법 (부모 태그, 자식 태그 등)에 대해 다룬다. * 해당 포스팅에서 다루고 있는 모든 내용은 다음 서적을 참고하였습니다. 직장인을 위한 데이터 분석 실무 with 파이썬(개정판)(위키북스 데이터 사이언스 시리즈 63)‘데이터 분석은 좋은 질문에서 시작합니다’이 책에서는 누구나 궁금했던 그 질문에 대해 데이터로 답해 봅니다. 이 책은 파이썬을 처음 접하는 마케팅, 영업, 기획 실무 담당자들이 파이썬을book.naver.com1. 크롤링 대상 탐색하기 1) 태그를 출력해 보았을 때, 원하는 개수만큼 들어있는 경우F12키를 누르면 위 그림과 같이 브라우저에서 HTML 소스를 확인할 수 있다. 태그를 한 단계씩 살피다보면 노래 한 곡의 정보를 가지는 태그를 찾을 수 있는데, 태그를 ..