텍스트 분석 NLTK를 이용한 영문 텍스트 분석 NLP? 텍스트 분석? NLP(National Language Processing)와 텍스트 분석(TA, Text Analytics)을 구분하는건 머신러닝이 보편화되면서 의미가 없어짐 NLP는 기계가 인간의 언어를 이해하고 해석하는데 중점을 두고, TA는 텍스트 마이닝(Text Mining)이라고도 불리...
Yelp 데이터셋과 텍스트 유사도를 이용한 추천 시스템
Yelp Recommender Systems 참고 노트북 | Yelp Dataset: SurpriseMe Recommendation System 사용 라이브러리 import os import re import string import numpy as np import pandas as pd import nltk from nltk.tokenize ...
[PyTorch] 실험: GD vs SGD
GD(Gradient Descent)와 SGD(Stochastic Gradient Descent) GD는 전체 데이터를 이용해 변화도를 계산하고, SGD나 미니배치 GD는 데이터의 서브셋을 이용해 변화도를 계산 import numpy as np import matplotlib.pyplot as plt import koreanize_matplotlib...
[PyTorch] Model Checkpoint
Model CheckPoint 모델 저장하고 불러오기 모델의 상태를 유지(persist)하기 위해 모델을 저장하고 불러와 모델의 예측을 실행하는 방법 import torch import torchvision.models as models 모델 가중치 저장하고 불러오기 PyTorch 모델은 학습한 매개변수를 state_dict라고 불리는 내부 상태...
[PyTorch] Hyperparameter
Hyperparameter Hyperparameter vs Parameter Parameter 모델 내부에서 결정되는 값 데이터로부터 결정 됨 Hyperparameter 모델링시 사용자가 직접 세팅해주는 값 최적의 값은 존재하지 않고, 휴리스틱하게 경험 법칙(rules...
[PyTorch] 로지스틱 회귀 구현하기
Logistic Regression 구현하기 import numpy as np import matplotlib.pyplot as plt import torch import torch.nn as nn import torch.nn.functional as F Data np.random.seed(42) train_X = np.random.rand...
[PyTorch] Transform
Transform (변형) 데이터가 항상 학습에 필요한 최종 처리가 된 형태로 제공되지 않음 -> 변형(transform)을 해서 데이터를 조작하고 학습에 적합하게 만듬 모든 TorchVision 데이터셋들은 변형 로직을 갖는, 호출 가능한 객체(callable)를 받는 매개변수 두개를 갖음 특징(feature): transform 정...
[PyTorch] Data
TORCH.UTILS.DATA PyTorch 데이터 로딩 유틸리티의 핵심은 torch.utils.data.DataLoader 클래스임 데이터 세트에 대해 반복 가능한 Python을 나타내며 다음을 지원함 map-스타일 및 반복 가능한 스타일 데이터 세트 데이터 로드 순서 사용자 정의 자동 배치 단일 및 다중 프로세스 데이터 로딩 자...
[PyTorch] Datasets/DataLoader
Datasets/DataLoader 데이터 샘플을 처리하는 코드는 지저분하고 유지보수가 어려울 수 잇음 -> 더 나은 가독성(readability)과 모듈성(modularity)을 위해 데이터셋 코드를 모델 학습 코드로부터 분리하는 것이 이상적임 PyTorch는 torch.utils.data.DataLoader와 torch.utils.data.D...
[PyTorch] Training Code
PyTorch NN Training Code TORCH.NN이 실제로 무엇인가요? PyTorch는 신경망(Neural Network)를 생성하고 학습 시키는 것을 도와주기 위해서 torch.nn, torch.optim, Dataset, DataLoader와 같은 잘 디자인된 모듈과 클래스들을 제공 이들의 성능을 최대한 활용하고 커스텀하기 위해서, 정확...