Регресійна задача та лінійна регресія з однією змінною

Історія про рієлтора, який хоче передбачати ціни

Олена працює рієлтором уже п'ять років. Щодня їй телефонують клієнти з питаннями: «У мене квартира 50 квадратних метрів у центрі міста — скільки вона може коштувати?» або «Хочу продати трикімнатну квартиру на 7 поверсі — яку ціну виставити?»

Зараз Олена відповідає інтуїтивно, «на око», спираючись на свій багатий досвід. Але такий підхід має недоліки:

• Неточність: інтуїція може помилятися, особливо для нестандартних квартир
• Повільність: треба згадати подібні угоди, прикинути поправки
• Немасштабованість: Олена не може обробити 100 запитів за годину

Але у неї є скарб — база даних за минулий рік: площа та ціна 100 проданих квартир. Чи можна використати ці дані, щоб формалізувати залежність математично? Щоб комп'ютер миттєво видавав відповідь для будь-якої площі?

Що таке регресійна задача?

Перед тим як розібратися з конкретним алгоритмом, потрібно зрозуміти, до якого класу задач належить наша проблема.

Регресія (regression) — це тип завдання машинного навчання, де потрібно передбачити неперервне числове значення на основі вхідних ознак.

Приклади регресійних задач

Регресія vs Класифікація

Студенти часто плутають ці два фундаментальні типи задач машинного навчання з учителем (supervised learning). Головна відмінність полягає у природі цільової змінної Завантаження...: чи є вона неперервною числовою величиною, чи належить до фіксованої дискретної множини класів.

У задачі регресії ми шукаємо неперервну математичну функцію Завантаження..., яка проходить якомога ближче до точок у просторі спостережень. Прогноз моделі — це число (наприклад, 18.7 або 21.2). У задачі класифікації мета зовсім інша — знайти розділову межу (decision boundary), яка розділяє простір ознак на ізольовані регіони, що відповідають окремим класам (0 або 1).

# Передбачаємо ЧИСЛО
def predict_blood_pressure(age, weight, height):
    """
    Вхід: вік, вага, зріст
    Вихід: артеріальний тиск (число, наприклад 120.5 мм рт.ст.)
    """
    return model.predict([age, weight, height])

# Приклад виводу
>>> predict_blood_pressure(45, 80, 175)
122.3  # неперервне число

# Передбачаємо КАТЕГОРІЮ
def diagnose_disease(symptoms, test_results):
    """
    Вхід: симптоми, результати аналізів
    Вихід: діагноз (категорія: "здоровий" / "застуда" / "грип")
    """
    return model.predict([symptoms, test_results])

# Приклад виводу
>>> diagnose_disease(['кашель', 'температура'], [98.6, 'positive'])
"грип"  # одна з фіксованих категорій

Порівняльна таблиця:

Типологія регресійних моделей у машинному навчанні

Залежно від кількості вхідних факторів та характеру фізичних взаємозв'язків у даних, у математичному моделюванні виділяють кілька фундаментальних класів регресійних моделей.

Розглянемо базові відмінності між ними:

1. Проста лінійна регресія (Simple Linear Regression):
   • Моделює залежність між однією вхідною ознакою Завантаження... та цільовою змінною Завантаження....
   • Формула: Завантаження....
   • Геометрична форма: пряма лінія у двовимірному просторі.
   • Приклад: залежність вартості житла суто від площі.
2. Множинна лінійна регресія (Multiple Linear Regression):
   • Узагальнює задачу на випадок Завантаження... взаємопов'язаних факторів (Завантаження...).
   • Формула: Завантаження....
   • Геометрична форма: гіперплощина у багатовимірному просторі (для двох ознак — похила площина у 3D).
   • Приклад: прогнозування ціни за площею, кількістю кімнат, поверхом та відстанню до метро.
3. Поліноміальна регресія (Polynomial Regression):
   • Застосовується, коли емпіричні спостереження демонструють виражену кривизну (прискорення, насичення або параболічний спад).
   • Формула: Завантаження....
   • Зберігає лінійність відносно ваг Завантаження..., але додає нелінійні степені вхідних факторів.
4. Логістична регресія (Logistic Regression):
   • Пропускає лінійну комбінацію через сигмоїдну функцію активації Завантаження..., перетворюючи будь-яке дійсне число на ймовірність від 0 до 1.
   • Використовується для задач бінарної та багатокласової класифікації.

Візуалізація проблеми: який паттерн у даних?

Повернемося до задачі Олени. Завантажимо дані та подивимося на них.

regression_intro.ipynb (Autosaved)

Trusted

Python 3.11 (ipykernel)

Cell

Run

Code

md

Крок 1: Завантаження та візуалізація даних

In [1]:

0.15s

import numpy as np
import matplotlib.pyplot as plt

# Генеруємо синтетичні дані (імітація бази Олени)
rng = np.random.default_rng(seed=42)
area = np.array([45, 50, 60, 55, 70, 65, 80, 75, 90, 85,
                 100, 95, 110, 105, 120, 115, 130, 125, 140, 135])
# Справжня залежність: ціна ≈ 500$/м² + випадковий шум
price = 500 * area + rng.normal(0, 3000, 20)

print(f"Кількість спостережень: {len(area)}")
print(f"Діапазон площ: {area.min()} — {area.max()} м²")
print(f"Діапазон цін: ${price.min():.0f} — ${price.max():.0f}")

Out[1]:

Кількість спостережень: 20 Діапазон площ: 45 — 140 м² Діапазон цін: $20474 — $69158

In [2]:

0.22s

# Побудуємо scatter plot (точкову діаграму)
fig, ax = plt.subplots(figsize=(10, 6))

ax.scatter(area, price, s=100, alpha=0.7, color="steelblue",
           edgecolor="navy", linewidth=1.5, label="Продані квартири")

ax.set_title("Залежність ціни квартири від площі", 
             fontsize=14, fontweight="bold")
ax.set_xlabel("Площа (м²)", fontsize=12)
ax.set_ylabel("Ціна ($)", fontsize=12)
ax.grid(True, alpha=0.3)
ax.legend(fontsize=11)

plt.tight_layout()
plt.show()

Out[2]:

md

Спостереження: Точки розташовані не хаотично — видно чіткий позитивний лінійний тренд: чим більша площа, тим вища ціна. Це означає, що між змінними існує кореляція, яку можна описати математично.

Рівняння прямої: математична основа лінійної регресії

Якщо залежність лінійна, її можна описати рівнянням прямої зі шкільного курсу алгебри:

Розшифруємо кожен символ:

Геометрична інтерпретація параметрів

Параметри Завантаження... та Завантаження... мають прозорий геометричний зміст, що визначає орієнтацію та положення регресійної прямої на декартовій площині:

• Коефіцієнт нахилу Завантаження... (weight / slope): задає кутовий коефіцієнт дотичної або самої прямої. Він показує темп зміни цільової змінної. Чим вище додатне значення Завантаження..., тим крутіше пряма підіймається вгору. Якщо Завантаження..., пряма є суворо горизонтальною (немає лінійного зв'язку). При Завантаження... залежність стає оберненою (наприклад, вік будівлі та її ринкова вартість).
• Зсув Завантаження... (bias / intercept): відповідає точці перетину прямої з віссю ординат Завантаження... при нульовому значенні аргументу (Завантаження...). Він зсуває пряму вгору чи вниз паралельно самій собі.

graph TD
    A["Параметр <strong>w</strong> (нахил)"] -->|"w > 0"| B["Пряма йде вгору<br/>(позитивна кореляція)"]
    A -->|"w = 0"| C["Горизонтальна лінія<br/>(немає залежності)"]
    A -->|"w < 0"| D["Пряма йде вниз<br/>(негативна кореляція)"]
    
    E["Параметр <strong>b</strong> (зсув)"] -->|"b > 0"| F["Пряма перетинає Y вище нуля"]
    E -->|"b = 0"| G["Пряма проходить через початок координат"]
    E -->|"b < 0"| H["Пряма перетинає Y нижче нуля"]
    
    style A fill:#dbeafe,stroke:#1e40af,color:#1e293b
    style E fill:#fef3c7,stroke:#b45309,color:#1e293b
    style B fill:#dcfce7,stroke:#15803d,color:#1e293b
    style C fill:#e2e8f0,stroke:#475569,color:#1e293b
    style D fill:#dcfce7,stroke:#15803d,color:#1e293b
    style F fill:#dcfce7,stroke:#15803d,color:#1e293b
    style G fill:#e2e8f0,stroke:#475569,color:#1e293b
    style H fill:#dcfce7,stroke:#15803d,color:#1e293b

Приклад: три варіанти моделі

Спробуємо «вручну» підібрати параметри w та b і подивимося, як виглядають різні варіанти моделі.

model_comparison.ipynb (Autosaved)

Trusted

Python 3.11 (ipykernel)

Cell

Run

Code

In [1]:

import numpy as np
import matplotlib.pyplot as plt

# Ті ж дані
rng = np.random.default_rng(seed=42)
area = np.array([45, 50, 60, 55, 70, 65, 80, 75, 90, 85,
                 100, 95, 110, 105, 120, 115, 130, 125, 140, 135])
price = 500 * area + rng.normal(0, 3000, 20)

# Три варіанти моделі (різні w та b)
x_line = np.array([40, 145])

model_1 = {"w": 600, "b": -5000, "label": "Модель 1 (занадто крута)"}
model_2 = {"w": 300, "b": 10000, "label": "Модель 2 (занадто плоска)"}
model_3 = {"w": 500, "b": 0, "label": "Модель 3 (оптимальна)"}

fig, ax = plt.subplots(figsize=(10, 6))

# Точки даних
ax.scatter(area, price, s=100, alpha=0.7, color="steelblue",
           edgecolor="navy", linewidth=1.5, label="Реальні дані", zorder=3)

# Три прямі
ax.plot(x_line, model_1["w"] * x_line + model_1["b"], 
        'r--', linewidth=2, alpha=0.6, label=model_1["label"])
ax.plot(x_line, model_2["w"] * x_line + model_2["b"], 
        'g--', linewidth=2, alpha=0.6, label=model_2["label"])
ax.plot(x_line, model_3["w"] * x_line + model_3["b"], 
        'orange', linewidth=3, label=model_3["label"], zorder=2)

ax.set_title("Порівняння трьох варіантів моделі", fontsize=14, fontweight="bold")
ax.set_xlabel("Площа (м²)", fontsize=12)
ax.set_ylabel("Ціна ($)", fontsize=12)
ax.grid(True, alpha=0.3)
ax.legend(loc="upper left", fontsize=10)
ax.set_ylim(15000, 75000)

plt.tight_layout()
plt.show()

Out[1]:

md

Аналіз:

• Модель 1 (червона): Завантаження... — занадто крутий нахил, переоцінює великі квартири
• Модель 2 (зелена): Завантаження... — занадто плоска, недооцінює великі та переоцінює малі
• Модель 3 (помаранчева): Завантаження... — проходить якраз посередині точок

Питання: як автоматично знайти найкращі значення Завантаження... та Завантаження...? Не «на око», а математично?

Відповідь буде в наступних підрозділах: метрики якості та градієнтний спуск.

Інтерпретація параметрів у контексті задачі

Розглянемо модель з параметрами w = 500 та b = 0:

Що означає w = 500?

Це коефіцієнт нахилу прямої. Він показує, на скільки зміниться ціна при збільшенні площі на 1 м².

Економічний зміст: ціноутворення за районами міста

У реальному секторі нерухомості параметри Завантаження... та Завантаження... безпосередньо відображають географічну та ринкову диференціацію:

• Центр міста: Завантаження.... Тут як базова вартість престижної локації (Завантаження... $), так і питома ціна кожного квадратного метра (Завантаження... $/м²) є найвищими. Однокімнатна квартира 50 м² коштуватиме 40 000 $.
• Середня зона (спальний район): Завантаження.... Помірні показники (Завантаження..., Завантаження...), квартира 50 м² оцінюється у 27 500 $.
• Околиця (передмістя): Завантаження.... Низький поріг входу (Завантаження... $) та доступний метр (Завантаження... $/м²). Та сама площа 50 м² обійдеться всього у 17 000 $.

Цей приклад доводить: параметри лінійної регресії є не просто абстрактними коефіцієнтами оптимізації, а мають чіткий інженерний та бізнесовий зміст.

Формальне визначення лінійної регресії

Тепер, коли ми розглянули інтуїцію, дамо формальне визначення.

Лінійна регресія (Linear Regression) — це метод машинного навчання з учителем, який моделює залежність між:

• Однією або кількома вхідними ознаками Завантаження... (predictor variables, features)
• Однією цільовою змінною Завантаження... (target variable, response)

у вигляді лінійної функції:

для одної змінної, або

для багатьох змінних (про це детальніше в підрозділі 04).

Обмеження лінійної регресії

Лінійна регресія — це потужний та швидкий інструмент, проте вона демонструє надійні результати лише тоді, коли зв'язок між змінними дійсно є лінійним або близьким до нього. Якщо процес підпорядкований складному нелінійному закону, пряма лінія дасть систематично зміщені прогнози.

Візуалізація обмеження: нелінійні дані

nonlinear_example.ipynb (Autosaved)

Trusted

Python 3.11 (ipykernel)

Cell

Run

Code

In [1]:

0.18s

import numpy as np
import matplotlib.pyplot as plt

# Генеруємо дані з квадратичною залежністю
rng = np.random.default_rng(seed=123)
x = np.linspace(0, 10, 50)
y = 2 * x**2 - 5 * x + 10 + rng.normal(0, 10, 50)

# Спробуємо підібрати лінійну модель (проста лінійна регресія)
w = np.polyfit(x, y, 1)[0]  # нахил
b = np.polyfit(x, y, 1)[1]  # зсув
y_pred_linear = w * x + b

fig, ax = plt.subplots(figsize=(10, 6))

ax.scatter(x, y, s=80, alpha=0.6, color="steelblue", label="Реальні дані")
ax.plot(x, y_pred_linear, 'r-', linewidth=2, label=f"Лінійна модель (y = {w:.1f}x + {b:.1f})")
ax.plot(x, 2 * x**2 - 5 * x + 10, 'g--', linewidth=2, label="Справжня залежність (квадратична)")

ax.set_title("Обмеження лінійної регресії: нелінійні дані", fontsize=14, fontweight="bold")
ax.set_xlabel("x", fontsize=12)
ax.set_ylabel("y", fontsize=12)
ax.legend()
ax.grid(True, alpha=0.3)

plt.tight_layout()
plt.show()

Out[1]:

md

Висновок: червона лінія (лінійна модель) не описує параболічний тренд. Для таких даних потрібна поліноміальна регресія або інші нелінійні методи.

Резюме підрозділу