코딩으로 돈벌기

Hierarchical Clustering 계층적 군집이란 가까운 두개데이터끼리 묶고 또 그 묶음과 가까운 데이터를 묶고 이런식으로 완전히 모든 데이터가 묶일때 까지 작업하는 알고리즘 유사 개채끼리 계속 군집화를 수행하다 보니 k-means와 달리 클러스팅갯수를 사전에 정하지 않아도가능하다 개체들이 결합되는 순서를 나타내는 트리형태의 구조인 덴드로그램을 통해 시각적으로 k의 갯수를 쉽게 정할 수 있다. 데이터는 수입별 구매점수를 의미 이데이터를 통해 군집화하여 최적의 그룹으로 나누기 트레이닝 기본 1. nan확인 2.x와y분리 언수퍼 바이즈드 러닝은 결과값이 없기때문에 x데이터는 존재하지만 y데이터는 존재하지 않는다 3.문자열이 있다면 숫자로 바궈주기 4.피셔츠케일링을 통해 값 맞춰주기 5.트레이닝 / ..

unsupervised는 결과값을 정하는 supervised 머신러닝과 다르게 데이터를 군집(클러스팅)화 하여 자동으로 묶어주는 머신러닝을 의미한다 k-means 알고리즘이란 데이터를 k개의 묶음을 정해 그거리의 평균을 내는 알고리즘을 뜻한다. 아직 군집이 정해지지 않은 데이터 무리들 사이에 임의점 점(좌표)를 찍고 그 좌표를 중심으로선을 나눠 집단을 형성 그리고 또다른 좌표를 찍고 다시 선을 그어 데이터가 나눠보면서 계속해서 이과정을 반복을한다. 이과정을 반복하다가 더이상 데이터의 변동이 일어나지 않을때 최적의 클러스팅을 찾은것 데이터는 수입별 구매점수를 의미 이데이터를 통해 여러 소비군집을 나누기 트레이닝 기본 1. nan확인 2.x와y분리 언수퍼 바이즈드 러닝은 결과값이 없기때문에 x데이터는 존재하..

Decision Tree 선하나로 분류가 불가능한 경우 데이터의 규칙을 통해 반씩 쪼개가면서 마치 스무고개하듯 가지치기를 하는 분류를 말한다 동일하게 연봉과 나이 성별, 구매여부가 있는 데이터 이데이터를 Decision Tree를 통해 새로운데이터가 나타났을때 관측값 데이터를 기준에 따라 나눠논 알고리즘을 통해 결과값 도출 트레이닝 기본 1. nan확인 2.x와y분리 3.문자열이 있다면 숫자로 바궈주기 4.피셔츠케일링을 통해 값 맞춰주기 5.트레이닝 / 테스트 셋으로 분리시키기 [머신러닝0] 머신러닝의 기초(총정리) (tistory.com) [머신러닝0] 머신러닝의 기초(총정리) 머신러닝이란 데이터를 이용하여 데이터 특성과 패턴을 학습하여 그결과 밭으로 미지의 데이터에 대한 결과값을 예측하는것 머신러닝의..

[머신러닝4] Support Vector Machine (tistory.com) [머신러닝4] Support Vector Machine 서포트 벡터 머신 서포트 벡터머신이란 데이터를 분류하는 선중에 마진을 최대화 하는 경계면을 찾아서 나눠준다 마진이란 데이터를 분류해서 나눴을때 그 분류에서 가장 먼 데이터끼리의 사 seonggongstory.tistory.com 이렇게 커널값 하나만으로 정확도 차이가 많이 나기 때문에 이데이터 프레임에 맞는 정확도 높은 커널을 찾기 위해 여러번 작업을 해야한다. 그런 수고를 덜기위해 그리드 서치가 있다 Grid Search 그리드 서치란 머신러닝중 여러 하이퍼파라미터 값 조합을두고 가능한 모든 조합을 시도해보는 라이브러리를 뜻한다. from sklearn.model_se..

서포트 벡터 머신 서포트 벡터머신이란 데이터를 분류하는 선중에 마진을 최대화 하는 경계면을 찾아서 나눠준다 마진이란 데이터를 분류해서 나눴을때 그 분류에서 가장 먼 데이터끼리의 사이를 의미함 가장 분류가 잘 나타나는 것들끼리 선에서 멀어지고 구분하기 힘든 데이터는 클래서파이어에 가까워짐 마진을 최대화 하여 분류하기 때문에 특이한것 까지 비슷한 부류로 묶는데에 많이 사용 동일하게 연봉과 나이 성별, 구매여부가 있는 데이터 이데이터를 KNN 머신러닝을 통해 새로운데이터가 나타났을때 어느쪽으로 분류를 할지 정하기 트레이닝 기본 1. nan확인 2.x와y분리 3.문자열이 있다면 숫자로 바궈주기 4.피셔츠케일링을 통해 값 맞춰주기 5.트레이닝 / 테스트 셋으로 분리시키기 [머신러닝0] 머신러닝의 기초(총정리) (..

최근접 이웃 알고리즘(K-NN) 어떠한 레이블링 되어있는 데이터에 새로운 데이터가 생겼을때 이데이터가 과연 어느쪽과 가까운지를 판단하는 알고리즘 인접한 데이터를 인공지능이판단하여 비슷한 속성으로 데이터를 진단해줌 동일하게 연봉과 나이 성별, 구매여부가 있는 데이터 이데이터를 KNN 머신러닝을 통해 새로운데이터가 나타났을때 구매한 쪽과 구매하지 않은쪽과 어느쪽이 더 가까운 이웃인지 분류를 통해 예측하기 트레이닝 기본 1. nan확인 2.x와y분리 3.문자열이 있다면 숫자로 바궈주기 4.피셔츠케일링을 통해 값 맞춰주기 5.트레이닝 / 테스트 셋으로 분리시키기 ---------------------------------------------------------- 6.모델링하기 7.성능평가 [머신러닝0] 머신..

머신러닝에 필요한 데이터를 수집한후 러닝을 돌리려할때 모은 표본의 비율이 불균형하거나 너무 양이 적을때가 있다. 정상과 비정상의 결과중 정상이 과대수집되어있다면 비정상의 결과도 정상으로 예측해버리는 결과가 나올수 있다는것 즉 '정확도'가 낮아진다는것이다. 이경우가 반대 경우보다 심각한문제를 야기하는데 맞는걸 틀리다고 예측하는경우 직접 수정해주면 문제가 해결이 되지만 비정상을 정상으로 처리해버리면 추적이 쉽지 않기 때문이다. 이런경우 up sampling기법으로 1의결과값의 데이터를 늘려주면됨 from imblearn.over_sampling import SMOTE ※imblearn 라이브러리는 설치를 해줘야함 sm = SMOTE() sm.fit_resample(X,y) 이렇게 하면 둘의 수가 맞춰진다. ..

Logistic Regression 리그레이션(회귀분석) 이지만 독립 변수간의 관계를 구체적인 함수로 나타내어 향후 예측 모델에 사용하는 것이다. 사건발생의 가능성을 예측하는데 사용하며 확률의 문제이기 때문에 일반회귀분석과 다르게 값은 0,1로 예측을 해준다고 생각하면 된다. 그렇다면 나이와 연봉으로 물건을 구매할지 안할지 분류를 해보자 사용할 데이터프레임은 성별, 나이, 연봉, 구매유무로 나뉜 데이터로 유도 마지막 컬럼인 구매유무는 구매 했는지 안했는지 값이니까 0과 1이다 트레이닝 기본 1. nan확인 2.x와y분리 3.문자열이 있다면 숫자로 바궈주기 4.피셔츠케일링을 통해 값 맞춰주기 5.트레이닝 / 테스트 셋으로 분리시키기 -----------------------------------------..

regression regression은 y=ax+b라는 직선 방정식으로 봤을때 x와 y값의 데이터를 학습시켜서 a와 b를 찾아 내는것이 이 머신러닝의 목표 직선의 방정식을 컴퓨터가 계산하여 직선의 기울기와 Y절편을 구해줌 계수를 찾아내고 예측치와 실제값의 오차를 줄여나가는것 예를 들면 y가 연봉 x가 연차라고 생각하면 편하다. 그럼 이러한 데이터들을 모아 연차별 연봉을예측함 이런식으로 어떤 데이터가 예측된 직선에 가까운 값을 찾아준다 벌어진 오차만큼의 간격을 많은 데이터를 통해 줄여나가는것 연차별 연봉데이터가 있을때 특정연차의 연봉을 예상하기 x와 y데이터로 분리 할때 내가 알고싶은 값이 연봉이니까 연봉이 y X = df.loc[ : ,'YearsExperience' ].to_frame() 여기서 to..

머신러닝이란 데이터를 이용하여 데이터 특성과 패턴을 학습하여 그결과 밭으로 미지의 데이터에 대한 결과값을 예측하는것 머신러닝의 종류도 다양하며 용도나 상황에 따라 이용하는 툴도 정말 다양하다 먼저 머신러닝의 큰 갈래에는 Supervised러닝과 unsupervised 러닝이 있는데 데이터의 결과값을 도출해내느냐, 데이터를 분류를 하느냐라고 생각하면 편하다. 먼저 supervised 러닝은 새로운 데이터 결과값을 도출해내기 위해 당연히 학습시킬 기존데이터가 존재해야하고 이 품종에대한 데이터를 레이블이라고 표현한다. 이 supervised의 러닝엔 또 두가지 유형으로 나뉘어지는데 연속형 변수들에 대해 두 변수 사이의 모형을 구한 뒤 적합도를 측정해 내는 분석 방법인 regression과 기존에 존재하는 데이..