Train/Test Split та перша повноцінна модель

import pandas as pd
from sklearn.linear_model import LinearRegression
import numpy as np

# Завантажити дані Housing Prices
df = pd.read_csv('train.csv')

# Відібрати 5 числових ознак:
# - OverallQual (загальна якість матеріалів та оздоблення)
# - GrLivArea (житлова площа над землею, кв. фути)
# - GarageCars (місткість гаража, кількість авто)
# - TotalBsmtSF (загальна площа підвалу, кв. фути)
# - 1stFlrSF (площа першого поверху, кв. фути)
features = ['OverallQual', 'GrLivArea', 'GarageCars', 'TotalBsmtSF', '1stFlrSF']
X = df[features].fillna(df[features].median())
y = df['SalePrice']  # цільова змінна: SalePrice (ціна продажу, $)

# Навчити модель на ВСІХ даних
model = LinearRegression()
model.fit(X, y)

# Оцінити на тих самих даних
score = model.score(X, y)

print(f"R² на тренувальних даних: {score:.4f}")
print(f"\nЗдається чудово! Але...")

# Без random_state — кожен раз різне розбиття
split1 = train_test_split(X, y, test_size=0.2)
split2 = train_test_split(X, y, test_size=0.2)

print("Без random_state:")
print(f"  Split 1 — test індекси: {split1[1].index.tolist()}")
print(f"  Split 2 — test індекси: {split2[1].index.tolist()}")
print(f"  Однакові? {split1[1].index.tolist() == split2[1].index.tolist()}")

# З random_state — завжди однакове розбиття
split3 = train_test_split(X, y, test_size=0.2, random_state=42)
split4 = train_test_split(X, y, test_size=0.2, random_state=42)

print("З random_state=42:")
print(f"  Split 3 — test індекси: {split3[1].index.tolist()}")
print(f"  Split 4 — test індекси: {split4[1].index.tolist()}")
print(f"  Однакові? {split3[1].index.tolist() == split4[1].index.tolist()}")

# Відсортовані дані (ціни зростають)
y_sorted = pd.Series([100, 120, 140, 160, 180, 200, 220, 240, 260, 280])

# БЕЗ перемішування
_, _, _, y_test_noshuffle = train_test_split(
    X, y_sorted, 
    test_size=0.2, 
    shuffle=False  # ← НЕ перемішувати
)

# З перемішуванням
_, _, _, y_test_shuffle = train_test_split(
    X, y_sorted,
    test_size=0.2,
    shuffle=True,
    random_state=42
)

print("БЕЗ shuffle (останні 20%):")
print(f"  Test y: {y_test_noshuffle.values}")
print(f"  Середнє: ${y_test_noshuffle.mean():.0f}")

print("\nЗ shuffle=True (випадкові 20%):")
print(f"  Test y: {y_test_shuffle.values}")
print(f"  Середнє: ${y_test_shuffle.mean():.0f}")

print(f"\nСереднє всього датасету: ${y_sorted.mean():.0f}")

# Метрики на TRAIN
train_r2 = r2_score(y_train, y_train_pred)
train_mae = mean_absolute_error(y_train, y_train_pred)
train_rmse = np.sqrt(mean_squared_error(y_train, y_train_pred))

# Метрики на TEST
test_r2 = r2_score(y_test, y_test_pred)
test_mae = mean_absolute_error(y_test, y_test_pred)
test_rmse = np.sqrt(mean_squared_error(y_test, y_test_pred))

# Красиво відобразити
print("=" * 60)
print(" " * 18 + "РЕЗУЛЬТАТИ МОДЕЛІ")
print("=" * 60)
print(f"{'Метрика':<12s} {'Train':>20s} {'Test':>20s}")
print("-" * 60)
print(f"{'R²':<12s} {train_r2:>20.4f} {test_r2:>20.4f}")
print(f"{'MAE':<12s} ${train_mae:>19,.2f} ${test_mae:>19,.2f}")
print(f"{'RMSE':<12s} ${train_rmse:>19,.2f} ${test_rmse:>19,.2f}")
print("=" * 60)

import matplotlib.pyplot as plt

fig, axes = plt.subplots(1, 2, figsize=(14, 5))

# ===== Train =====
axes[0].scatter(y_train, y_train_pred, alpha=0.4, color='dodgerblue', s=30, edgecolor='black', linewidth=0.3)
axes[0].plot([y_train.min(), y_train.max()], 
             [y_train.min(), y_train.max()], 
             'r--', linewidth=2.5, label='Ідеальна лінія')
axes[0].set_xlabel('Реальна ціна ($)', fontsize=11, fontweight='bold')
axes[0].set_ylabel('Передбачена ціна ($)', fontsize=11, fontweight='bold')
axes[0].set_title(f'Train Set (R² = {train_r2:.4f})', fontsize=13, fontweight='bold')
axes[0].legend(fontsize=10)
axes[0].grid(alpha=0.3, linestyle='--')
axes[0].set_xlim(0, 700000)
axes[0].set_ylim(0, 700000)

# ===== Test =====
axes[1].scatter(y_test, y_test_pred, alpha=0.5, color='limegreen', s=40, edgecolor='black', linewidth=0.5)
axes[1].plot([y_test.min(), y_test.max()], 
             [y_test.min(), y_test.max()], 
             'r--', linewidth=2.5, label='Ідеальна лінія')
axes[1].set_xlabel('Реальна ціна ($)', fontsize=11, fontweight='bold')
axes[1].set_ylabel('Передбачена ціна ($)', fontsize=11, fontweight='bold')
axes[1].set_title(f'Test Set (R² = {test_r2:.4f})', fontsize=13, fontweight='bold')
axes[1].legend(fontsize=10)
axes[1].grid(alpha=0.3, linestyle='--')
axes[1].set_xlim(0, 700000)
axes[1].set_ylim(0, 700000)

plt.tight_layout()
plt.show()

print("Інтерпретація графіків:")
print("  ✅ Точки біля червоної лінії = добрі передбачення")
print("  ❌ Точки далеко від лінії = великі помилки")
print("  📊 Розкид точок однаковий на train і test = модель узагальнює добре")

# Обчислити залишки (помилки моделі)
residuals_train = y_train - y_train_pred
residuals_test = y_test - y_test_pred

fig, axes = plt.subplots(1, 2, figsize=(14, 5))

# ===== Гістограма залишків =====
axes[0].hist(residuals_train, bins=40, alpha=0.6, label='Train', color='dodgerblue', edgecolor='black')
axes[0].hist(residuals_test, bins=20, alpha=0.7, label='Test', color='limegreen', edgecolor='black')
axes[0].axvline(0, color='red', linestyle='--', linewidth=2.5, label='Нульова лінія')
axes[0].set_xlabel('Residual (Реальне - Передбачене)', fontsize=11, fontweight='bold')
axes[0].set_ylabel('Частота', fontsize=11, fontweight='bold')
axes[0].set_title('Розподіл залишків', fontsize=13, fontweight='bold')
axes[0].legend(fontsize=10)
axes[0].grid(alpha=0.3, linestyle='--')

# ===== Residual Plot (Test) =====
axes[1].scatter(y_test_pred, residuals_test, alpha=0.5, color='limegreen', s=40, edgecolor='black', linewidth=0.5)
axes[1].axhline(0, color='red', linestyle='--', linewidth=2.5, label='Нульова лінія')
axes[1].set_xlabel('Передбачена ціна ($)', fontsize=11, fontweight='bold')
axes[1].set_ylabel('Residual ($)', fontsize=11, fontweight='bold')
axes[1].set_title('Residual Plot (Test)', fontsize=13, fontweight='bold')
axes[1].legend(fontsize=10)
axes[1].grid(alpha=0.3, linestyle='--')

plt.tight_layout()
plt.show()

print(f"Статистика залишків (Test):")
print(f"  Середнє: ${residuals_test.mean():,.2f} (має бути ~$0)")
print(f"  Std:     ${residuals_test.std():,.2f}")
print(f"  Min:     ${residuals_test.min():,.2f}")
print(f"  Max:     ${residuals_test.max():,.2f}")

# Створити DataFrame з коефіцієнтами
feature_importance = pd.DataFrame({
    'Feature': features,
    'Coefficient': model.coef_
}).sort_values('Coefficient', key=abs, ascending=False)

print("Важливість ознак (Feature Importance):")
print(feature_importance.to_string(index=False))

# Візуалізація
plt.figure(figsize=(10, 6))
colors = ['green' if c > 0 else 'red' for c in feature_importance['Coefficient']]
plt.barh(feature_importance['Feature'], feature_importance['Coefficient'], color=colors, edgecolor='black', linewidth=1.2)
plt.xlabel('Коефіцієнт ($)', fontsize=12, fontweight='bold')
plt.title('Важливість ознак (Feature Importance)', fontsize=14, fontweight='bold')
plt.axvline(0, color='black', linestyle='-', linewidth=0.8)
plt.gca().invert_yaxis()
plt.grid(alpha=0.3, axis='x', linestyle='--')
plt.tight_layout()
plt.show()