Практичні завдання та резюме модуля

Рівень 1: Базові завдання

Ці завдання перевіряють розуміння основних концепцій.

Завдання 1.1: Обчислення передбачення вручну

Дано модель лінійної регресії з параметрами:

• Завантаження... ($/м²)
• Завантаження... ($)

Питання:

1. Обчисліть передбачену ціну для квартири площею 65 м²
2. Обчисліть передбачену ціну для квартири площею 120 м²
3. На скільки зросте ціна при збільшенні площі з 50 до 51 м²?

Завдання 1.2: Обчислення метрик якості

Дано три спостереження:

Завдання: обчисліть вручну (з калькулятором):

1. MAE (Mean Absolute Error)
2. MSE (Mean Squared Error)
3. RMSE (Root Mean Squared Error)

Завдання 1.3: Реалізація передбачення на NumPy

Напишіть функцію predict(X, w, b), яка приймає:

• X: масив ознак (одна або кілька)
• w: вага або вектор вагів
• b: bias

і повертає передбачення Завантаження....

import numpy as np

def predict(X, w, b):
    """
    Обчислює передбачення лінійної регресії.
    
    Параметри:
        X: np.array, форма (n_samples, n_features) або (n_samples,)
        w: np.array, форма (n_features,) або скаляр
        b: float, bias
    
    Повертає:
        np.array, форма (n_samples,) — передбачення
    """
    # Якщо X одновимірний (проста регресія)
    if X.ndim == 1:
        return w * X + b
    
    # Якщо X двовимірний (множинна регресія)
    return X @ w + b  # або np.dot(X, w) + b

# Тест 1: проста регресія
X1 = np.array([50, 70, 90])
w1, b1 = 500, 10000
print("Тест 1 (проста регресія):")
print(f"X = {X1}")
print(f"ŷ = {predict(X1, w1, b1)}")

# Тест 2: множинна регресія
X2 = np.array([
    [70, 2],    # 70 м², 2 кімнати
    [100, 3],   # 100 м², 3 кімнати
])
w2 = np.array([500, 3000])
b2 = 10000
print("\nТест 2 (множинна регресія):")
print(f"X =\n{X2}")
print(f"ŷ = {predict(X2, w2, b2)}")

Тест 1 (проста регресія):
X = [50 70 90]
ŷ = [35000 45000 55000]

Тест 2 (множинна регресія):
X =
[[ 70   2]
 [100   3]]
ŷ = [51000 69000]

Рівень 2: Середні завдання

Ці завдання вимагають глибшого розуміння та написання більшого коду.

Завдання 2.1: Реалізація градієнтного спуску для простої регресії

Реалізуйте функцію gradient_descent_simple(X, y, lr, epochs), яка:

1. Ініціалізує w та b нулями
2. Виконує epochs ітерацій градієнтного спуску
3. Повертає фінальні w, b та історію втрат

Формули градієнтів для однієї змінної:

import numpy as np
import matplotlib.pyplot as plt

def gradient_descent_simple(X, y, lr=0.01, epochs=1000):
    """
    Градієнтний спуск для простої лінійної регресії.
    
    Параметри:
        X: np.array (n_samples,) — одна ознака
        y: np.array (n_samples,) — ціль
        lr: float — learning rate
        epochs: int — кількість епох
    
    Повертає:
        w, b, loss_history
    """
    n = len(X)
    w, b = 0.0, 0.0
    loss_history = []
    
    for epoch in range(epochs):
        # 1. Передбачення
        y_pred = w * X + b
        
        # 2. Обчислення втрат (MSE)
        loss = np.mean((y - y_pred) ** 2)
        loss_history.append(loss)
        
        # 3. Градієнти
        dw = -(2/n) * np.sum(X * (y - y_pred))
        db = -(2/n) * np.sum(y - y_pred)
        
        # 4. Оновлення параметрів
        w = w - lr * dw
        b = b - lr * db
    
    return w, b, loss_history

# Тестові дані
rng = np.random.default_rng(seed=42)
X = np.array([50, 60, 70, 80, 90, 100])
y = 500 * X + 10000 + rng.normal(0, 2000, len(X))

# Навчання
w_final, b_final, losses = gradient_descent_simple(X, y, lr=0.0001, epochs=1000)

print(f"Фінальні параметри:")
print(f"  w = {w_final:.2f}")
print(f"  b = {b_final:.2f}")
print(f"  Фінальний Loss = {losses[-1]:.2f}")

# Візуалізація
fig, (ax1, ax2) = plt.subplots(1, 2, figsize=(14, 5))

# Крива навчання
ax1.plot(losses, linewidth=2)
ax1.set_title('Крива навчання')
ax1.set_xlabel('Епоха')
ax1.set_ylabel('MSE Loss')
ax1.grid(True, alpha=0.3)

# Модель
ax2.scatter(X, y, label='Дані', s=100)
ax2.plot(X, w_final * X + b_final, 'r-', linewidth=2, label=f'ŷ = {w_final:.0f}x + {b_final:.0f}')
ax2.set_title('Навчена модель')
ax2.set_xlabel('X')
ax2.set_ylabel('y')
ax2.legend()
ax2.grid(True, alpha=0.3)

plt.tight_layout()
plt.show()

Завдання 2.2: Порівняння різних learning rates

Використайте функцію з попереднього завдання, щоб порівняти три значення learning rate:

• Завантаження... (дуже малий)
• Завантаження... (оптимальний)
• Завантаження... (великий)

Побудуйте графік кривих навчання (Loss по епохах) для всіх трьох випадків на одному графіку.

Питання для аналізу:

1. Який Завантаження... збігається найшвидше?
2. Чи є Завантаження..., що призводить до розбіжності (втрати зростають)?
3. Як обрати оптимальний learning rate для нових даних?

Завдання 2.3: Дослідження реального датасету

Завантажте датасет Boston Housing або California Housing з scikit-learn:

from sklearn.datasets import fetch_california_housing

data = fetch_california_housing(as_frame=True)
df = data.frame

Завдання:

1. Дослідіть дані: df.head(), df.info(), df.describe()
2. Побудуйте кореляційну матрицю та heatmap (seaborn)
3. Оберіть одну найкорельованішу ознаку з ціною
4. Навчіть просту лінійну регресію (одна ознака → ціна)
5. Обчисліть MAE, RMSE, R²
6. Побудуйте scatter plot з лінією регресії

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
from sklearn.datasets import fetch_california_housing
from sklearn.linear_model import LinearRegression
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_absolute_error, mean_squared_error, r2_score

# 1. Завантаження
data = fetch_california_housing(as_frame=True)
df = data.frame

# 2. EDA (Exploratory Data Analysis)
print(df.head())
print("\nКореляція з ціною:")
print(df.corr()['MedHouseVal'].sort_values(ascending=False))

# 3. Обираємо ознаку з найвищою кореляцією
# ... ваш код ...

# 4. Train/Test split
# ... ваш код ...

# 5. Навчання моделі
# ... ваш код ...

# 6. Метрики та візуалізація
# ... ваш код ...

Рівень 3: Просунуті завдання

Ці завдання вимагають комплексного підходу та творчості.

Завдання 3.1: Реалізація Mini-Batch Gradient Descent

Реалізуйте варіант градієнтного спуску, де градієнт обчислюється не на всіх даних (Batch GD), а на випадковій підмножині розміром batch_size (наприклад, 32 зразки).

Алгоритм:

1. На кожній епосі перемішайте дані (rng.shuffle або індекси rng.permutation)
2. Розділіть на міні-батчі по batch_size зразків
3. Для кожного батчу обчисліть градієнт та оновіть параметри
4. Повторіть для всіх епох

Порівняйте:

• Batch GD (весь датасет)
• Mini-Batch GD (batch_size = 32)
• Stochastic GD (batch_size = 1)

Побудуйте криві навчання для всіх трьох методів.

Завдання 3.2: Поліноміальна регресія

Дослідіть випадок, коли дані мають нелінійну залежність.

Кроки:

1. Згенеруйте дані з квадратичною залежністю:

   rng = np.random.default_rng(seed=42)
   X = np.linspace(0, 10, 100)
   y = 2*X**2 - 5*X + 3 + rng.normal(0, 10, 100)
   

2. Навчіть три моделі:
   • Лінійну регресію (степінь 1)
   • Поліноміальну регресію степеня 2
   • Поліноміальну регресію степеня 5
3. Побудуйте всі три моделі на одному графіку
4. Порівняйте R² для кожної моделі

Підказка: використовуйте PolynomialFeatures з scikit-learn:

from sklearn.preprocessing import PolynomialFeatures

poly = PolynomialFeatures(degree=2)
X_poly = poly.fit_transform(X.reshape(-1, 1))

model = LinearRegression()
model.fit(X_poly, y)

Завдання 3.3: Проєкт «Передбачення зарплати за стажем»

Мета: створити повноцінний ML-проєкт з нуля.

Датасет: знайдіть або створіть дані про зарплати та стаж (можна згенерувати синтетично або використати Kaggle).

Етапи проєкту:

1. Збір та аналіз даних
   • Завантаження даних
   • EDA: розподіли, викиди, кореляції
   • Візуалізація scatter plot
2. Підготовка даних
   • Обробка пропусків (якщо є)
   • Розділення на train/test (80/20)
   • Нормалізація (StandardScaler)
3. Навчання моделі
   • Реалізувати градієнтний спуск з нуля
   • Порівняти з scikit-learn LinearRegression
   • Підібрати оптимальний learning rate
4. Оцінка якості
   • Обчислити MAE, RMSE, R²
   • Побудувати residual plot (залишки vs передбачення)
   • Діагностика: чи є систематичні помилки?
5. Візуалізація результатів
   • Scatter plot з лінією регресії
   • Крива навчання (Loss по епохах)
   • Порівняння реальних та передбачених значень
6. Звіт
   • Документ (Markdown або Jupyter Notebook) з описом кожного етапу
   • Висновки: чи можна використовувати модель в production?

Додаткові ресурси для практики

Підсумкове резюме модуля

Перевірочні питання

Перед переходом до наступного модуля переконайтеся, що ви можете відповісти на ці питання:

Що далі?

Мотиваційна цитата

Фінальне резюме у вигляді карток

Вітаємо з завершенням модуля «Лінійна регресія»! 🎉