Dataset Split (데이터셋 분할)

# 필요한 라이브러리 불러오기 import pandas as pd # 샘플 데이터 생성 data = { 'feature1': range(1, 101), # feature1은 1부터 100까지의 숫자 'feature2': range(101, 201), # feature2는 101부터 200까지의 숫자 'label': [1 if x % 2 == 0 else 0 for x in range(1, 101)] # label은 짝수이면 1, 홀수이면 0 } df = pd.DataFrame(data) # 데이터프레임 생성 # 전체 데이터셋 크기 확인 print("전체 데이터셋 크기:", len(df))

# 전체 데이터셋에서 학습 데이터 비율 설정 train_size = int(0.6 * len(df)) # 학습 데이터 비율 (60%) # 학습 데이터 분할 train_data = df[:train_size] # 학습 데이터로 분할 # 학습 데이터셋 크기 확인 print("학습 데이터셋 크기:", len(train_data)) # train_data 형태 확인하기 print("train_data:", train_data) # 0 ~ 59

# 전체 데이터셋에서 검증 데이터 비율 설정 validation_size = int(0.2 * len(df)) # 검증 데이터 비율 (20%) # 검증 데이터 분할 validation_data = df[train_size:train_size + validation_size] # 검증 데이터로 분할 (60 ~ 79행 까지) # 검증 데이터셋 크기 확인 print("검증 데이터셋 크기:", len(validation_data)) print("validation_data:", validation_data) # 60 ~ 79

# 테스트 데이터 분할 test_data = df[train_size + validation_size:] # 테스트 데이터로 분할 # 테스트 데이터셋 크기 확인 print("테스트 데이터셋 크기:", len(test_data)) print("test_data:", test_data) # 80 ~ 99

# 필요한 라이브러리 불러오기 from sklearn.model_selection import train_test_split # 데이터셋을 학습, 검증, 테스트 세트로 랜덤 분할 (60:20:20 비율) train_data, temp_data = train_test_split(df, test_size=0.4, random_state=42) # 먼저 학습 데이터 분할 validation_data, test_data = train_test_split(temp_data, test_size=0.5, random_state=42) # 남은 데이터에서 검증 및 테스트 데이터 분할 # 각 데이터셋 크기 확인 print("학습 데이터셋 크기:", len(train_data)) print("검증 데이터셋 크기:", len(validation_data)) print("테스트 데이터셋 크기:", len(test_data))

# Scikit-Learn 라이브러리는 일반적으로 코랩에 기본 설치되어 있습니다. # 만약 설치되어 있지 않다면 아래 주석을 제거하고 실행하세요. # !pip install scikit-learn import numpy as np import pandas as pd from sklearn.model_selection import KFold from sklearn.metrics import accuracy_score

# 샘플 데이터 생성 data = { 'feature1': range(1, 101), # 1부터 100까지의 숫자 'feature2': range(101, 201), # 101부터 200까지의 숫자 'label': [1 if x % 2 == 0 else 0 for x in range(1, 101)] # 짝수이면 1, 홀수이면 0 } df = pd.DataFrame(data) # 데이터프레임 생성 # 특성(features)와 라벨(label) 분리 X = df[['feature1', 'feature2']] y = df['label']

# KFold 설정 kf = KFold(n_splits=5, shuffle=True, random_state=42) # 결과를 저장할 리스트 accuracy_scores = [] # 각 폴드에 대해 학습 및 평가 for train_index, test_index in kf.split(X): # 학습 데이터와 테스트 데이터 분할 X_train, X_test = X.iloc[train_index], X.iloc[test_index] y_train, y_test = y.iloc[train_index], y.iloc[test_index] # 간단한 모델: 예제에서는 feature1의 값이 짝수면 1, 홀수면 0으로 예측 y_pred = [1 if x % 2 == 0 else 0 for x in X_test['feature1']] # 정확도 계산 accuracy = accuracy_score(y_test, y_pred) accuracy_scores.append(accuracy) # 각 폴드의 정확도 출력 for i, score in enumerate(accuracy_scores): print(f"폴드 {i+1}의 정확도: {score:.2f}") # 평균 정확도 출력 print(f"평균 정확도: {np.mean(accuracy_scores):.2f}")

폴드 1의 정확도: 1.00 폴드 2의 정확도: 1.00 폴드 3의 정확도: 1.00 폴드 4의 정확도: 1.00 폴드 5의 정확도: 1.00 평균 정확도: 1.00

# 필요한 라이브러리 불러오기 import pandas as pd from sklearn.model_selection import train_test_split # 샘플 데이터 생성 data = { 'feature1': range(1, 101), 'feature2': range(101, 201), 'label': [1 if x % 2 == 0 else 0 for x in range(1, 101)] } df = pd.DataFrame(data) # 전체 데이터셋 크기 확인 print("전체 데이터셋 크기:", len(df)) # 데이터셋을 학습, 검증, 테스트 세트로 분할 (60:20:20 비율) train_data, temp_data = train_test_split(df, test_size=0.4, random_state=42) validation_data, test_data = train_test_split(temp_data, test_size=0.5, random_state=42) # 각 데이터셋 크기 출력 print("학습 데이터셋 크기:", len(train_data)) print("검증 데이터셋 크기:", len(validation_data)) print("테스트 데이터셋 크기:", len(test_data))

# 필요한 라이브러리 불러오기 import pandas as pd from sklearn.model_selection import train_test_split from sklearn.linear_model import LogisticRegression from sklearn.metrics import accuracy_score # 샘플 데이터 생성 data = { 'feature1': range(1, 101), 'feature2': range(101, 201), 'label': [1 if x % 2 == 0 else 0 for x in range(1, 101)] } df = pd.DataFrame(data) # 데이터셋을 학습, 검증, 테스트 세트로 분할 (60:20:20 비율) train_data, temp_data = train_test_split(df, test_size=0.4, random_state=42) validation_data, test_data = train_test_split(temp_data, test_size=0.5, random_state=42) # 학습 데이터와 레이블 분리 X_train = train_data[['feature1', 'feature2']] y_train = train_data['label'] X_validation = validation_data[['feature1', 'feature2']] y_validation = validation_data['label'] X_test = test_data[['feature1', 'feature2']] y_test = test_data['label'] # 모델 학습 model = LogisticRegression() model.fit(X_train, y_train) # 검증 데이터로 성능 평가 y_val_pred = model.predict(X_validation) val_accuracy = accuracy_score(y_validation, y_val_pred) print("검증 데이터 정확도:", val_accuracy) # 테스트 데이터로 최종 성능 평가 y_test_pred = model.predict(X_test) test_accuracy = accuracy_score(y_test, y_test_pred) print("테스트 데이터 정확도:", test_accuracy)