코딩으로 돈벌기

시카고의 범죄상황 데이터 프레임 여기서 년도별 시간별로 월별등 시간을 쪼개서 데이터를 가공하고 싶을때 그룹바이함수를 이용해서는, 날짜 데이터로 바로 년단위 ,월단위, 일단위, 시단위, 분단위, 초단위 등으로 묶어라 이런거 못한다 따라서, 먼저 Date 컬럼을 인덱스로 만들어준다. → 그러면 resample 함수를 사용할수 있게 된다. 이함수 년단위,월단위,시단위 등등 으로 데이터를 묶어서 처리가 가능하다는것 변수.resample('alias') 이렇게 년,월,일,시,분으로 다 정리가 가능하다

판다스 데이터프레임 read시 parserError error_bad_lines=False 이걸 넣어 주면됨

concat사용시 오류 concat에 3개이상 데이터 프레임 넣을때 리스트 형태로 넣어줘야함 chicago_df = pd.concat( [chicago_df_1 , chicago_df_2 , chicago_df_3] )

import pandas as pd import numpy as np 데이터 가공 공통된 컬럼인 item_id를 토대로 합치되, 필용없는 타임스탬프 컬럼은 제거 movies_rating_df = movies_rating_df.drop('timestamp',axis=1) movies_rating_df = pd.merge(movie_titles_df , movies_rating_df, on = 'item_id' , how='left' ) 여기서 how를 하지 않으면 평점을 메기지 않은 정보는 머지 되지 않기 때문에 how를 곡 해준다. 타이틀별 평균 평점을 구하기 movies_rating_df.groupby('title')['rating'].describe() ratings_df_mean = movies_r..

import numpy as np from google.colab import files from tensorflow.keras.preprocessing import image uploaded = files.upload() for fn in uploaded.keys() : path = '/content/' + fn img = image.load_img(path, target_size=(300,300)) x = image.img_to_array(img) / 255.0 print(x) print(x.shape) x = np.expand_dims(x, axis = 0) print(x.shape) images = np.vstack( [x] ) classes = model.predict( images, batch..

CNN모델링이 끝난후 사진을 머신러닝에 넣어 분류를 하려고 할때 사진파일은(PNG,JPG등) 넘파이 어레이가 아니기 때문에 그대로 사용이 불가능 하다. 이때 이미지파일을 학습데이터로 변환시켜 주는 작업이 필요하다. 이미지 파일을 넘파이 어레이로 바꿔주는 ImageDataGenerator 라이브러리를 사용 from keras.preprocessing.image import ImageDataGenerator train_datagen = ImageDataGenerator(rescale= 1/255.0 ) 트레인용 validation_datagen = ImageDataGenerator(rescale= 1/255.0) 밸리데이션 용

트레이닝과 밸리데이션에 사용할 사진 자료 압축 풀기 https://seonggongstory.tistory.com/156 파이썬 압축파일 푸는 방법 import zipfile zipfile.ZipFile('/경로/'풀어줘야할파일이름') file.extractall('/압축풀경로/'압축풀고저장할폴더이름만들기') seonggongstory.tistory.com train_horse_dir = '/tmp/horse-or-human/horses' train_human_dir = '/tmp/horse-or-human/humans' validation_horse_dir = '/tmp/validation-horse-or-human/horses' validation_human_dir = '/tmp/validation-..

import zipfile zipfile.ZipFile('/경로/'풀어줘야할파일이름') file.extractall('/압축풀경로/'압축풀고저장할폴더이름만들기')

https://seonggongstory.tistory.com/151 CNN(Convolutional Neural Network) 컨볼루션 CNN이란 CNN은 이미지(영상)를 분석하기 위한 패턴을 찾아 이를 직접 학습하고, 학습한 패턴을 이용하여 이미지를 분류한다. CNN은 Convolution Layer, Pooling Layer(Sub Sampling), Fully Connected Layer 를 사용하여 seonggongstory.tistory.com pooling이란 컨볼루션을 통해 나온 피처맵의 크기를 다시 리사이징하여 새로운 레이어를 도출해내는것을 의미한다 pooling에는 최댓값을 뽑아내는 max pooling, 평균값을 뽑아내는 mean pooling등 다양한 종류가 있다. 위사진은 max..

넘파이의 레이블 인코딩된 값을 ,원핫 인코딩으로 바꾸는 법 텐서플로우 기본 제공한다. tf.keras.utils.to_categorical(y_train,num_classes=컬럼수)