Python

Log 파일에 정보를 기록하다, 관련 파일에 변경을 가했을 때 이후 Logging 작업이 원활하지 않은 경우가 종종 있다. 보통 logger는 다음과 같이 생성한다. import logging logger = logging.getLogger('code_logger')logger.setLevel(logging.INFO)file_handler = logging.FileHandler('code-result.log')formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')file_handler.setFormatter(formatter)logger.addHandler(file_handler)logger를 이용해, 다음..

다음과 같은 구조에서는 src 폴더 내의 파일들을 바로 불러올 수 있다.  ''' train_encoder.py '''from src import encoder enc = encoder()하지만 다음과 같이 실행 파일이 src 폴더와 동일한 경로 상에 위치하는 경우, 앞의 코드는 src 폴더를 찾지 못한다.이를 해결하기 위해서는, 다음과 같이 해당 파일에 경로를 추가해주어야 한다.  import sys sys.path.append('{directory to src folder}') # example: sys.append('/cori/stock/src')경로를 추가해주고 난 후, PYTHONPATH에 import 하고자 하는 폴더의 경로를 추가해주자. export PYTHONPATH=$PYTHONPATH:..

교수님이 크롤링 관련 일을 주셔서, 기록용으로 업로드 ~0. 해시 태그 이용 input:  해시 태그 + 크롤링 게시글 개수 output: 게시글의 내용, 해시태그, 장소, 좋아요 수  1. 계정 ID 이용 input: 인스타 계정 아이디output1: 계정 아이디, 게시글 수, 팔로워 수output2: 계정 아이디, 최근 9개 게시글의 좋아요 수, 댓글 수, 본문, 해시태그, 장소 tqdm 라이브러리를 사용해 게시글 크롤링이 잘 진행되고 있는지도 확인해 보았다.또한 댓글 수를 계산하기 위해, 댓글 창 부분의 '+' 버튼을 계속 누르도록 설정해주는 부분도 추가해 주었다.  아 그리고 크롤링할 때는 copy to xpath 기능을 활용함 !  * 크롤링한 데이터는 공부 용도로만 사용하였음

개요Deep Neural Networks의 성능을 개선하는 방법에 대해 알아본다. 내용 정리1. 최적화 (Optimization)0) 정의-> Train data에서 최고의 성능을 얻으려고 모델 파라미터들을 조정하는 과정  1) 일반화 (Generalization)· 훈련된 모델이 처음 보는 데이터에 대해 잘 추론할 수 있는 상태 · 학습을 통해 일반화된 특징들을 잘 찾은 상태  2) 과대적합 (Overfitting)· 검증 결과 Train set에 대한 성능은 좋은데 validation dataset에 대한 성능은 안 좋은 상태로, 학습을 과하게 한 상태를 말함 · 학습이 과하게 되어 쓸데 없는 패턴을 모두 외워버려, 오히려 처음 본 데이터에 대한 예측 성능이 떨어진다.· 보통 Train Dataset..

개요Hard Voting, Soft Voting이 무엇인지 알아보고, 이들을 활용하는 예제를 다뤄본다. 내용 정리1. Voting0) 정의-> 서로 다른 종류의 알고리즘들을 결합하여 다수결 방식으로 최종 결과 출력한다.  1) Hard Voting-> 다수의 추정기가 예측한 값들 중 많은 것을 선택한다.2) Soft Voting· 서로 다른 종류의 알고리즘들을 결합하여 다수결 방식으로 최종 결과 출력· 다수의 추정기에서 각 레이블 별 예측한 확률들의 평균을 내서 높은 레이블값을 결과값으로 선택· Hard Voting보다 Soft Voting의 성능이 더 좋다. 3) voting 함수sklearn.ensemble.VotingClassifier · estimators: 앙상블할 모델들을 설정한다. ("추정기..

개요그리드서치와 랜덤서치가 무엇인지 알아보고, 어떻게 활용하는지 살펴본다. 내용 정리1. 그리드서치0) 정의-> 모델의 성능을 가장 높게 하는 최적의 하이퍼파라미터를 찾는 방법으로, 하이퍼파라미터 후보들을 하나씩 입력해 모델의 성능이 가장 좋게 만드는 값을 찾는다. 1) 함수sklearn.model_selection.GridSearchCV-> 시도해볼 하이퍼파라미터들을 지정하면 모든 조합에 대해 교차검증 후 제일 좋은 성능을 내는 하이퍼파라미터 조합을 찾아준다. · fit(X, y): 학습· predict(X): 분류-추론한 class, 회귀-추론한 값· predict_proba(X): 분류문제에서 class별 확률을 반환  · cv_results_: 파라미터 조합별 평가 결과를 Dictionary로 반..

개요데이터 불균형이 무엇인지 알아보고, 이를 해결할 수 있는 방법들 중 Cost-sensitive Learning 기법과 SMOTE 기법에 대해 다룬다. 내용 정리1. 데이터 불균형0) 정의-> 어떤 데이터에서 각 클래스 (주로 범주형 변수)가 가지고 있는 데이터의 양에 차이가 큰 경우를 말한다. 예시) 이번 포스팅에서 다룰 대출 문제 예측 데이터셋에도 데이터 불균형이 있다. 불균형 데이터에 대해 아무런 처리도 하지 않고 예측을 수행하면, 다음과 같은 결과가 발생한다.1번 클래스 데이터 (소수)를 0번 클래스 데이터 (다수)로 예측하는 경우가 상당히 많으며, 이에 데이터 불균형 문제를 해결해보려고 한다. 1) 해결 방법· 언더 샘플링-> 불균형한 데이터 셋에서 높은 비율을 차지하던 클래스의 데이터 수를 ..

개요과적합에 대해서 알아보고, 이러한 상황에서 하이퍼파라미터 튜닝을 통해 일반화하는 방법에 대해 알아본다. 내용 정리1. 과적합과 일반화1) 과대적합 (overfitting)· 모델이 훈련 데이터에 대한 예측 성능은 너무 좋지만 일반성이 떨어져 새로운 데이터 (테스트 데이터)에 대해선 성능이 좋지 않은 것 · 모델이 훈련 데이터 세트의 특징에 너무 맞춰서 학습되었기 때문에 일반화 되지 않아 발생 * 과대적합은 학습 데이터 양에 비해 모델이 너무 복잡한 경우 발생하며, 이를 해결하기 위해 데이터의 양을 늘리거나 모델을 좀 더 단순하게 만드는 방법을 사용한다. (모든 모델은 모델의 복잡도를 변경할 수 있는 규제와 관련된 하이퍼파라미터를 제공) 2) 과소적합 (underfitting)· 모델이 훈련 데이터와 ..

개요키와 몸무게 등 수치형 데이터들을 전처리 해야 하는 이유와, 수행하는 방법에 대해 알아본다.  내용 정리1. Feature Scaling (정규화)0) 정의· 각 피처가 가지는 값들의 숫자 범위 (척도, Scale)이 다를 경우 이 값의 범위를 일정한 범위로 맞추는 작업 · 트리 계열을 제외한 대부분의 머신러닝 알고리즘들이 Feature간의 서로 다른 척도에 영향을 받음 · Scaling (정규화)은 train set으로 fitting하며, test set이나 예측할 새로운 데이터는 train set으로 fitting 한 것으로 변환 * 같은 100이라는 숫자 데이터도 키가 100cm인 것과 무게가 100g인 것은 큰 차이가 있다. 이에 이러한 범위를 일정하게 맞춘다. 1) 함수· fit(): 어떻게..

1. One-Hot Encoding0) 정의· N개의 클래스를 N차원의 One-Hot 벡터로 표현되도록 변환한다 (고유값들을 피처로 만들고 정답에 해당하는 열은 1, 나머진 0으로 -)· 숫자의 차이가 모델에 영향을 미치는 선형 계열 모델에서 범주형 데이터로 변환할 때 사용한다.· Decision Tree 계열의 알고리즘은 Feature에 0이 많은 경우 성능이 떨어지기 때문에 Label Encoding을 수행한다. 1) 함수· sklearn.preprocessing.OneHotEncoder더보기· fit(데이터셋): 데이터셋을 기준으로 어떻게 변환할 지 학습· transform(데이터셋): argument로 받은 데이터셋을 원핫인코딩 처리· fit_transform(데이터셋): 학습과 변환을 한 번에 ..

개요Label Encoding이 무엇인지, 어떻게 사용되는지에 대해 알아본다. 내용 정리0. 범주형 데이터 -> scikit-learn의 머신러닝 API들은 Feature나 Label의 값들이 숫자 (정수 / 실수)인 것만 처리할 수 있기 때문에, 문자열일 경우 숫자형으로 변환하여 처리해야 한다.  * 범주형이 아닌 단순 문자열인 경우, 일반적으로 제거함  1. 레이블 인코딩 (Label Encoding)0) 정의-> 문자열(범주형) 값을 오름차 순으로 정렬 후 0부터 1씩 증가하는 값으로 변환한다. 숫자의 차이가 모델에 영향을 주지 않는 트리 계열 모델(의사결정나무, 랜덤포레스트)에 적용하며,숫자의 차이가 모델에 영향을 미치는 선형 계열 모델 (로지스틱회귀, SVM, 신경망)에는 사용할 수 없다.  1..

개요Hold out, K-Fold Cross Validation, StratifiedKold 등 데이터 분리 방법과 교차 검증에 대해 알아본다. 내용 정리0. Train, Validation, Test Dataset · Train Dataset: 모델을 학습시킬 때 사용할 데이터셋· Validation Dataset: Train Dataset으로 학습한 모델의 성능을 측정하기 위한 데이터셋 · Test Dataset: 모델의 성능을 최종적으로 측정하기 위한 데이터셋으로, 마지막에 모델의 성능을 측정하는 용도로 딱 한 번만 사용됨   1. Hold out 데이터 분리0) Hold out 방법-> 데이터셋을 Train, Validation, Test set으로 나눈다. * sklearn.model_selec..