코딩하는 오리

※ 연구하면서 혼자 구현해본 내용이기에 틀린게 있을 수 있음 ※ 사용 데이터세트는 송영숙님의 챗봇 데이터 0. 사전 작업 1. Bi-encoder 2. Cross-encoder Cross-encoder는 Sentence Trasnforemr 라이브러리를 이용해 구현 3. Poly-encoder ** attention 연산을 위와 같이 작성하였더니, Poly-encoder 출력 값과 Bi-encoder 출력 결과가 동일하게 나와서 수정 ♣ 전체 코드 https://github.com/Jaedong95/Chatbot/tree/main/Encoder ♣ 참고 자료 [개념] https://ratsgo.github.io/nlpbook/docs/language_model/tr_self_attention/ [코드] ..

0. VSCode Remote - SSH 설치 VSCode를 실행하고, 메인 화면에서 Ctrl + Shift + X 입력, Extensions 창에서 Remote - SSH 툴 설치 1. 왼쪽 메뉴에서 원격 탐색기 실행, 새로 추가 (or Ctrl + Shift + P) 2. 원격 서버 접속 정보 설정 1) SSH 대상(target) -> 설정 파일(톱니바퀴) 2) 접속 정보 설정 Host: [사용자명]@[서버 IP 주소]:[포트번호] HostName: [서버 IP 주소] User: [사용자명] Port: [포트번호] 3. 원격 서버 접속 1) SSH 대상(target) 호스트 -> 새 창에서 호스트 연결 2) 서버 접속 성공 ~

※ 내가 보려고 만들었기 때문에 설명이 친절하지 않을 수 있음 ※ 가끔가다 업데이트 진행 (최종 업데이트: 2022.10.04) 0. 파일 읽기, 변환, 저장 import pandas as pd ''' csv 파일 읽기 ''' pd.read_csv('filepath.csv') # [option] # sep(','), header(None, 0), names(['col', ..]), na_values('?'), nrows(num), index_col('col') # skiprows(num), skipfooter(num), low_memory(True, False), encoding('utf-8', 'cp949') # ''' excel 파일 읽기 ''' pd.read_csv('filepath.xlsx', e..

⊙ 해당 포스팅은 다른 분들이 작성한 내용을 최소한으로 요약 정리한 포스팅입니다. ⊙ 보다 자세한 내용 (수식 등)을 알고 싶으신 분들은 맨 아래 페이지의 참고 자료에 있는 사이트들을 참고해주세요. 0. Bi-encoder & Cross-encoder - pairwise comparison task 문제를 해결하기 위한 인코더 - 다음에 올 문장을 예측하는 등의 작업에 사용됨 - 두 인코더 모두 Cross-Entropy Loss를 최소화도록 학습함 1) Bi-encoder Context Encoder와 Candidate Encoder가 각각 context 문장과 해당 context 문장 다음에 올 후보 문장을 인코딩함 인코딩 결과로 Context Embedding(ctxt Emb), Candidate E..

※ 서버 작업하면서 참고하려고 작성한 포스트이기 때문에, 설명이 친절하지 않을 수 있음 ※ 가끔가다 업데이트 진행 (최종 업데이트: 2022.10.31) 2023.01.28 - Jupyter Notebook 관련 설정 업데이트 0. 초기 설정 1) 패키지 업데이트 sudo apt update sudo apt upgrade -y sudo reboot 2) 기본 패키지 설치 sudo apt install tree -y sudo apt install unzip -y sudo apt-get install vim sudo apt-get install gcc sudo apt install net-tools sudo apt-get install build-essential sudo apt-get install pyt..

교수님이 크롤링 관련 일을 주셔서, 기록용으로 업로드 ~ 0. 해시 태그 이용 input: 해시 태그 + 크롤링 게시글 개수 output: 게시글의 내용, 해시태그, 장소, 좋아요 수 1. 계정 ID 이용 input: 인스타 계정 아이디 output1: 계정 아이디, 게시글 수, 팔로워 수 output2: 계정 아이디, 최근 9개 게시글의 좋아요 수, 댓글 수, 본문, 해시태그, 장소 tqdm 라이브러리를 사용해 게시글 크롤링이 잘 진행되고 있는지도 확인해 보았다. 또한 댓글 수를 계산하기 위해, 댓글 창 부분의 '+' 버튼을 계속 누르도록 설정해주는 부분도 추가해 주었다. 아 그리고 크롤링할 때는 copy to xpath 기능을 활용함 ! * 크롤링한 데이터는 공부 용도로만 사용하였음

부제: C3D, 3D Convolution Layer를 이용한 이상행동 분류 6개월간의 교육 과정이 모두 끝이 났다. 마지막 2달 동안은 이상행동 탐지 CCTV 프로젝트를 진행했는데, 이에 대한 내용을 이번 포스팅에서 다뤄보려 한다. ※ 프로젝트 코드는 보유하고 있지 않습니다 (2023.12.16). 0. 개발 환경, 개발 배경 및 서비스 아키텍처 0) 개발 환경 aws region: ap-northeast-1 (Tokyo, Kinesis Video Stream 서비스를 이용하기 위함) ec2 instance: Deep Learning Base AMI (Ubuntu 18.04) Version 49.0, p2.xlarge Deep Learning Base AMI (Ubuntu 18.04) Version 4..