인공지능/머신러닝 13

Dataset traing, test set으로 나누기

어떠한 결과를 도출해내기 위한 머신러닝을 위해 도출해내려는 값y 학습시킬 데이터를 x로 표현하는데 머신러닝을 돌렸을때 학습용만 데이터가 있다면 나중에 결과값이 정확하지 않는경우가 있음 그래서 테스트용과 트레이닝용으로 값을 나눠준다 from sklearn.model_selection import train_test_split 머신러닝을 위해 준비한 데이터는 x값이든 y값이든 트레이닝용 데이터와 테스트용 데이터 준비 train_test_split(X,y, test_size = 0.n , random_state=n) 테스트 사이즈는 0.n => 준비된 데이터의 n% 랜덤 스테이트 n은 random으로 돌릴값 sedd라고 생각 각각 순서대로 첫번째 array는 x데이터 학습 두번째는 x데이터 테스트용 3번째는 ..

문자 수치화,데이터분리: OneHotEncoder

카데고리컬 데이터가 3개이상이면 머신러닝의 효율이 떨어지는데 레이블인코딩은 이런점에서 취약하다 그럴때 사용하는 방식은 원핫 인코딩하는것 원핫 인코딩이란 3개이상의 카테고리컬 데이터를 전부 컬럼화 시켜서 하나의 1과 0으로 표현하는것 가령 컨트리라는 컬럼에 프랑스 독일 스페인이 있다면 France Germany Spain 1 0 0 0 1 0 0 0 1 각 각에 해당되는 데이터에 1을 배당해서 컬럼화 시킴 이런식으로 Hot(1)이 one개 있다는 뜻 원핫인코딩을 위해선 from sklearn.preprocessing import OneHotEncoder from sklearn.compose import ColumnTransformer ColumnTransformer( [ ('인코더이름',OneHotEnco..

문자의 수치화,데이터분리 : LableEncoder

머신러닝을 통한 학습으로 새로운데이터를 얻으려고 할때 기존데이터를 방정식에 대입하기 위해서는 모든데이터가 숫자로 되어 이썽야한다. 문자열 데이터는 숫자로 바궈줘야 하는데 그때 사용하는것이 LableEncoder from sklearn.preprocessing import LabelEncoder sklearn은 아나콘다에 기본으로 설치가 되어있음 이렇게 카테고리컬 데이터가 3개일경우 'France' => 0 'Germany' => 1 'Spain' => 2 정렬해서, 순서대로, 0부터 시작하는 숫자로 바꿔준다 => Label Encoding fit_transform(바꿔줄 컬럼 ) 레이블인코더를 변수에 넣어주고 이때 fit_transform(바꿔줄 컬럼 ) 통해 레이블링을 해줌 from sklearn.pr..