크롤링

교수님이 크롤링 관련 일을 주셔서, 기록용으로 업로드 ~0. 해시 태그 이용 input:  해시 태그 + 크롤링 게시글 개수 output: 게시글의 내용, 해시태그, 장소, 좋아요 수  1. 계정 ID 이용 input: 인스타 계정 아이디output1: 계정 아이디, 게시글 수, 팔로워 수output2: 계정 아이디, 최근 9개 게시글의 좋아요 수, 댓글 수, 본문, 해시태그, 장소 tqdm 라이브러리를 사용해 게시글 크롤링이 잘 진행되고 있는지도 확인해 보았다.또한 댓글 수를 계산하기 위해, 댓글 창 부분의 '+' 버튼을 계속 누르도록 설정해주는 부분도 추가해 주었다.  아 그리고 크롤링할 때는 copy to xpath 기능을 활용함 !  * 크롤링한 데이터는 공부 용도로만 사용하였음

유튜브에서 제공하는 채널 랭킹과 상세 정보 (채널명, 카테고리 정보, 구독자 수, 조회 수, 동영상 수)를 수집, 시각화한다.  * 해당 포스팅에서 다루고 있는 모든 내용은 다음 서적을 참고하였습니다. 직장인을 위한 데이터 분석 실무 with 파이썬(개정판)(위키북스 데이터 사이언스 시리즈 63)‘데이터 분석은 좋은 질문에서 시작합니다’이 책에서는 누구나 궁금했던 그 질문에 대해 데이터로 답해 봅니다. 이 책은 파이썬을 처음 접하는 마케팅, 영업, 기획 실무 담당자들이 파이썬을book.naver.com0. 기본 환경 설정from selenium import webdriverfrom bs4 import BeautifulSoupimport time import pandas as pd browser = web..

국내 여러 음원 서비스(멜론, 지니, 벅스)에서 노래 순위를 수집하고, 통합 * 해당 포스팅에서 다루고 있는 모든 내용은 다음 서적을 참고하였습니다. 직장인을 위한 데이터 분석 실무 with 파이썬(개정판)(위키북스 데이터 사이언스 시리즈 63)‘데이터 분석은 좋은 질문에서 시작합니다’이 책에서는 누구나 궁금했던 그 질문에 대해 데이터로 답해 봅니다. 이 책은 파이썬을 처음 접하는 마케팅, 영업, 기획 실무 담당자들이 파이썬을book.naver.com 0. 기본 환경 설정from selenium import webdriverfrom bs4 import BeautifulSoupdriver = webdriver.Chrome('./chromedriver.exe')url = 'http://www.melon.co..

HTML 태그를 살펴보는 방법 (부모 태그, 자식 태그 등)에 대해 다룬다. * 해당 포스팅에서 다루고 있는 모든 내용은 다음 서적을 참고하였습니다. 직장인을 위한 데이터 분석 실무 with 파이썬(개정판)(위키북스 데이터 사이언스 시리즈 63)‘데이터 분석은 좋은 질문에서 시작합니다’이 책에서는 누구나 궁금했던 그 질문에 대해 데이터로 답해 봅니다. 이 책은 파이썬을 처음 접하는 마케팅, 영업, 기획 실무 담당자들이 파이썬을book.naver.com1. 크롤링 대상 탐색하기 1) 태그를 출력해 보았을 때, 원하는 개수만큼 들어있는 경우F12키를 누르면 위 그림과 같이 브라우저에서 HTML 소스를 확인할 수 있다. 태그를 한 단계씩 살피다보면 노래 한 곡의 정보를 가지는 태그를 찾을 수 있는데, 태그를 ..