코딩하는 오리

[개요] Twitter Input Plugin을 통해 수집한 트윗들은 geo data를 포함하고 있지 않아, re-indexing을 통해 geo data를 가져오도록 설정하는 방법에 대해 다룬다. * 해당 포스팅은 다음 내용을 참고하여 작성하였다. A DIY Twitter Tracking Tool With Elastic Stack Knowing that Australians are coming out of a second wave of the COVID-19 pandemic 👍, while the rest of the world goes into a new one 👎… medium.com [구현] 1. OpenNLP 설치 # elasticsearch -> bin 폴더로 이동 후 실행 (Windows) e..

1. 대시보드 0) 홈디렉터리에 대시보드에 사용할 데이터(covid data) 업로드, 3번째 노드에만 수행 * 현재 VMWare Tool Installation 실패한 상태 .. 윈도우에서 vmware로 파일 옮기기/ vmware 파일 공유 안녕하세요 호호에요 이번에 vmware로 공부하게 되면서 처음 보는 error도 발견하게 되서 해결하고 이제 리... blog.naver.com 1) Kibana에서 파일 업로드 이렇게 파일을 로드하였고, Import를 수행해준다. 1) 인덱스 지정 2) mapping 정보 수정 -> long으로 되어 있는 값들을, integer로 변경한다. (맨 마지막 'time'의 type 값은 byte로 변경) mapping 정보 수정이 완료되면, import 클릭 ! 3) ..

1. logstach 설치, 노드 1번에 수행 (별도의 컴퓨터에 해도 됨) -> lostash를 사용하면 input과 output을 지정하고, filtering까지 적용할 수 있음. 대용량의 실시간 성이 있는 데이터들을 받아서 필터링을 하고, Elastic Search에 전송해줌 0) 설치파일 다운로드 wget https://artifacts.elastic.co/downloads/logstash/logstash-7.14.1-linux-x86_64.tar.gz tar xfz logstash-7.14.1-linux-x86_64.tar.gz 1) logstash 테스트 -> 리눅스에서의 일반적인 input과 output에 대해 logstash test ~/logstash-7.14.1/bin/logstash -..

0. 초기 값 -> Elastic Search 실습을 위해 노드 3개 생성. Maximum Disk Size: 30GB, Store Virtual disk as a single file, Memory Size: 2GB 1. IP 주소 설정 (network & hostname) 0) IPv4 settings -> Method: Manual 1) node1 (elastic-1) · IP: 192.168.56.101 · subnet mask: 255.255.255.0 · Gateway, DNS: 192.168.56.2 2) node2 (elastic-2) · IP: 192.168.56.102 · subnet mask: 255.255.255.0 · Gateway, DNS: 192.168.56.2 3) node3..

1. elastic search 다운로드, 3개 노드 모두 적용 더보기 wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.14.1-linux-x86_64.tar.gz wget https://artifacts.elastic.co/downloads/kibana/kibana-7.14.1-linux-x86_64.tar.gz tar xfz elasticsearch-7.14.1-linux-x86_64.tar.gz tar xfz kibana-7.14.1-linux-x86_64.tar.gz mkdir files mv *.tar.gz files/ mv elasticsearch-7.14.1 es-714 mv kibana-7.14.1-linu..