from sklearn.datasets import load_iris
from sklearn.linear_model import LogisticRegression

# Завантаження датасету Iris (3 класи)
iris = load_iris()
X, y = iris.data, iris.target

print(f"Кількість класів: {len(np.unique(y))}")
print(f"Класи: {iris.target_names}")

import matplotlib.pyplot as plt

colors = ['#ef4444', '#3b82f6', '#10b981']

plt.figure(figsize=(9, 6))
for k, name in enumerate(iris.target_names):
    plt.scatter(X[y == k, 2], X[y == k, 3], c=colors[k], s=60,
                alpha=0.8, edgecolor='white', label=name)
plt.xlabel('Довжина пелюстки (см)', fontsize=12)
plt.ylabel('Ширина пелюстки (см)', fontsize=12)
plt.title('Iris: три класи у просторі ознак пелюстки', fontsize=14)
plt.legend(title='Клас')
plt.grid(alpha=0.3)
plt.show()

import numpy as np
import matplotlib.pyplot as plt
from sklearn.linear_model import LinearRegression

# Дані: вік студента та чи склав іспит (0 = ні, 1 = так)
X = np.array([15, 18, 20, 22, 25, 28, 30, 35, 40, 45]).reshape(-1, 1)
y = np.array([0, 0, 0, 1, 1, 1, 1, 1, 1, 1])

# Навчання лінійної регресії
model = LinearRegression()
model.fit(X, y)

# Прогноз для різних значень віку
X_test = np.linspace(10, 50, 100).reshape(-1, 1)
y_pred = model.predict(X_test)

print(f"Прогноз для віку 10: {model.predict([[10]])[0]:.3f}")
print(f"Прогноз для віку 50: {model.predict([[50]])[0]:.3f}")

import numpy as np
import matplotlib.pyplot as plt

def sigmoid(z):
    return 1 / (1 + np.exp(-z))

# Діапазон значень z від -10 до +10
z = np.linspace(-10, 10, 200)
y = sigmoid(z)

# Побудова графіка
plt.figure(figsize=(10, 6))
plt.plot(z, y, linewidth=2.5, color='#3b82f6', label='σ(z)')
plt.axhline(y=0.5, color='#ef4444', linestyle='--', alpha=0.7, label='Поріг 0.5')
plt.axvline(x=0, color='#10b981', linestyle='--', alpha=0.7, label='z = 0')
plt.grid(alpha=0.3)
plt.xlabel('z (лінійна комбінація)', fontsize=12)
plt.ylabel('σ(z) — ймовірність класу 1', fontsize=12)
plt.title('Сигмоїдна функція: перетворення z у ймовірність', fontsize=14)
plt.legend()
plt.show()

# Перевірка ключових точок
print(f"σ(-5) = {sigmoid(-5):.4f}")
print(f"σ(0)  = {sigmoid(0):.4f}")
print(f"σ(5)  = {sigmoid(5):.4f}")

# Пацієнт: вік = 52, холестерин = 240, тиск = 145
X = np.array([[52, 240, 145]])

# Передбачена ймовірність (приклад)
y_prob = model.predict_proba(X)[0, 1]
y_class = model.predict(X)[0]

print(f"Ймовірність хвороби серця: {y_prob:.1%}")
print(f"Прогноз: {'підвищений ризик ⚠️' if y_class == 1 else 'низький ризик ✅'}")

import matplotlib.pyplot as plt

plt.figure(figsize=(9, 2.8))
plt.barh(['P(y=1)'], [y_prob], color='#ef4444' if y_prob >= 0.5 else '#10b981', height=0.5)
plt.barh(['P(y=1)'], [1 - y_prob], left=[y_prob], color='#e5e7eb', height=0.5)
plt.axvline(0.5, color='#1f2937', linestyle='--', label='Поріг 0.5')
plt.text(y_prob / 2, 0, f'{y_prob:.1%}', ha='center', va='center',
         color='white', fontsize=14, fontweight='bold')
plt.xlim(0, 1)
plt.xlabel('Ймовірність хвороби серця')
plt.title('Ймовірність → клас через поріг', fontsize=13)
plt.legend(loc='upper right')
plt.show()

import numpy as np
import matplotlib.pyplot as plt
from sklearn.linear_model import LogisticRegression

# Дані: оцінки з двох іспитів та результат (0 = не прийнято, 1 = прийнято)
X_train = np.array([
    [45, 85], [55, 70], [60, 90], [65, 75], [70, 88],
    [75, 92], [80, 85], [85, 95], [30, 50], [40, 60],
    [50, 65], [35, 55], [42, 68]
])
y_train = np.array([0, 0, 1, 0, 1, 1, 1, 1, 0, 0, 0, 0, 0])

# Навчання моделі
model = LogisticRegression()
model.fit(X_train, y_train)

# Отримання параметрів
w1, w2 = model.coef_[0]
b = model.intercept_[0]

print(f"Рівняння розділової межі:")
print(f"{w1:.3f} * x1 + {w2:.3f} * x2 + {b:.3f} = 0")
print(f"\nСпрощено (x2 через x1):")
x2_formula = f"x2 = {-w1/w2:.3f} * x1 + {-b/w2:.3f}"
print(x2_formula)

# Побудова графіка з розділовою межею
plt.figure(figsize=(10, 7))

# Точки класу 0 (не прийнято)
plt.scatter(X_train[y_train == 0, 0], X_train[y_train == 0, 1],
            c='#ef4444', marker='x', s=100, linewidths=2,
            label='Клас 0 (не прийнято)', alpha=0.8)

# Точки класу 1 (прийнято)
plt.scatter(X_train[y_train == 1, 0], X_train[y_train == 1, 1],
            c='#10b981', marker='o', s=100, linewidths=2,
            label='Клас 1 (прийнято)', alpha=0.8)

# Розділова межа
x1_line = np.linspace(20, 90, 100)
x2_line = -(w1 * x1_line + b) / w2
plt.plot(x1_line, x2_line, 'b--', linewidth=2.5, label='Розділова межа')

# Регіони класів (фон)
xx, yy = np.meshgrid(np.linspace(20, 90, 200), np.linspace(40, 100, 200))
Z = model.predict(np.c_[xx.ravel(), yy.ravel()]).reshape(xx.shape)
plt.contourf(xx, yy, Z, alpha=0.1, levels=[-0.5, 0.5, 1.5],
             colors=['#ef4444', '#10b981'])

plt.xlabel('Іспит 1 (бали)', fontsize=12)
plt.ylabel('Іспит 2 (бали)', fontsize=12)
plt.title('Розділова межа логістичної регресії', fontsize=14)
plt.legend(fontsize=11)
plt.grid(alpha=0.3)
plt.show()

# Приклад 1: рівноважні ваги
w = np.array([1, 1])  # x1 та x2 однаково важливі
b = -100

# Рівняння: x1 + x2 = 100
# Це пряма під кутом 45° (нахил -1)

print("Приклад 1: w = [1, 1], b = -100")
print("Розділова межа: x2 = -x1 + 100 (діагональ)")

import matplotlib.pyplot as plt

x1 = np.linspace(0, 100, 100)
x2 = -(w[0] * x1 + b) / w[1]

plt.figure(figsize=(7, 6))
plt.plot(x1, x2, color='#3b82f6', linewidth=2.5, label='x1 + x2 = 100')
plt.fill_between(x1, x2, 100, color='#10b981', alpha=0.12, label='Клас 1')
plt.fill_between(x1, 0, x2, color='#ef4444', alpha=0.12, label='Клас 0')
plt.xlim(0, 100); plt.ylim(0, 100)
plt.xlabel('x1'); plt.ylabel('x2')
plt.title('w = [1, 1], b = -100: діагональна межа (45°)', fontsize=13)
plt.legend(); plt.grid(alpha=0.3)
plt.show()

# Приклад 2: x1 важливіший за x2
w = np.array([3, 1])
b = -100

# Рівняння: 3*x1 + x2 = 100
# x2 = -3*x1 + 100 (крутіший нахил)

print("\nПриклад 2: w = [3, 1], b = -100")
print("Розділова межа: x2 = -3*x1 + 100 (більше залежить від x1)")
print("Інтерпретація: x1 в 3 рази важливіша за x2")

import matplotlib.pyplot as plt

x1 = np.linspace(0, 100, 200)

plt.figure(figsize=(7, 6))
plt.plot(x1, -(1 * x1 - 100) / 1, color='#3b82f6', linewidth=2.5, label='w = [1, 1]: x2 = -x1 + 100')
plt.plot(x1, -(3 * x1 - 100) / 1, color='#ef4444', linewidth=2.5, label='w = [3, 1]: x2 = -3·x1 + 100')
plt.xlim(0, 100); plt.ylim(0, 100)
plt.xlabel('x1'); plt.ylabel('x2')
plt.title('Більша вага x1 робить межу крутішою', fontsize=13)
plt.legend(); plt.grid(alpha=0.3)
plt.show()

# Фіксуємо ваги, змінюємо bias
w = np.array([1, 1])

# Три різні bias
biases = [-80, -100, -120]

for b in biases:
    # x1 + x2 + b = 0  =>  x2 = -x1 - b
    print(f"b = {b:4d}  =>  x2 = -x1 + {-b} (пряма проходить через точку (0, {-b}))")

import matplotlib.pyplot as plt

x1 = np.linspace(0, 130, 200)
colors = ['#10b981', '#3b82f6', '#ef4444']

plt.figure(figsize=(7, 6))
for b, c in zip(biases, colors):
    plt.plot(x1, -x1 - b, color=c, linewidth=2.5, label=f'b = {b}')
plt.xlim(0, 130); plt.ylim(0, 130)
plt.xlabel('x1'); plt.ylabel('x2')
plt.title('Зміна bias зсуває межу паралельно', fontsize=13)
plt.legend(); plt.grid(alpha=0.3)
plt.show()

# Дані XOR: клас 1 у протилежних кутах квадрата
X_xor = np.array([
    [0, 0],  # клас 0
    [0, 1],  # клас 1
    [1, 0],  # клас 1
    [1, 1]   # клас 0
])
y_xor = np.array([0, 1, 1, 0])

# Спроба навчити звичайну логістичну регресію
model_linear = LogisticRegression()
model_linear.fit(X_xor, y_xor)

accuracy = model_linear.score(X_xor, y_xor)
print(f"Точність лінійної моделі на XOR: {accuracy:.0%}")
print("Проблема: жодна пряма лінія не може розділити ці точки!")

import matplotlib.pyplot as plt

xx, yy = np.meshgrid(np.linspace(-0.5, 1.5, 300), np.linspace(-0.5, 1.5, 300))
Z = model_linear.predict_proba(np.c_[xx.ravel(), yy.ravel()])[:, 1].reshape(xx.shape)

plt.figure(figsize=(7, 6))
plt.contourf(xx, yy, Z, levels=20, cmap='RdYlGn', alpha=0.35)
plt.contour(xx, yy, Z, levels=[0.5], colors='#1f2937', linewidths=2.5, linestyles='--')
plt.scatter(X_xor[y_xor == 0, 0], X_xor[y_xor == 0, 1], c='#ef4444', marker='x', s=200, linewidths=3, label='Клас 0')
plt.scatter(X_xor[y_xor == 1, 0], X_xor[y_xor == 1, 1], c='#10b981', marker='o', s=200, edgecolor='white', label='Клас 1')
plt.xlabel('x1'); plt.ylabel('x2')
plt.title(f'XOR: лінійна модель, точність {accuracy:.0%}', fontsize=13)
plt.legend(); plt.grid(alpha=0.3)
plt.show()

from sklearn.preprocessing import PolynomialFeatures

# Створюємо поліноміальні ознаки (квадрати та добутки)
poly = PolynomialFeatures(degree=2, include_bias=False)
X_poly = poly.fit_transform(X_xor)

print("Вихідні ознаки:")
print(X_xor)
print("\nПісля перетворення (x1, x2, x1², x1*x2, x2²):")
print(X_poly)

# Навчання моделі на поліноміальних ознаках
# C=100 — слабка регуляризація, бо даних лише 4 точки
model_poly = LogisticRegression(C=100)
model_poly.fit(X_poly, y_xor)

accuracy_poly = model_poly.score(X_poly, y_xor)
print(f"Точність моделі з поліноміальними ознаками: {accuracy_poly:.0%}")
print("Успіх! Тепер розділова межа — це крива, а не пряма.")

import matplotlib.pyplot as plt

xx, yy = np.meshgrid(np.linspace(-0.5, 1.5, 300), np.linspace(-0.5, 1.5, 300))
grid_poly = poly.transform(np.c_[xx.ravel(), yy.ravel()])
Z = model_poly.predict_proba(grid_poly)[:, 1].reshape(xx.shape)

plt.figure(figsize=(7, 6))
plt.contourf(xx, yy, Z, levels=20, cmap='RdYlGn', alpha=0.35)
plt.contour(xx, yy, Z, levels=[0.5], colors='#1f2937', linewidths=2.5, linestyles='--')
plt.scatter(X_xor[y_xor == 0, 0], X_xor[y_xor == 0, 1], c='#ef4444', marker='x', s=200, linewidths=3, label='Клас 0')
plt.scatter(X_xor[y_xor == 1, 0], X_xor[y_xor == 1, 1], c='#10b981', marker='o', s=200, edgecolor='white', label='Клас 1')
plt.xlabel('x1'); plt.ylabel('x2')
plt.title(f'XOR: поліноміальні ознаки, точність {accuracy_poly:.0%}', fontsize=13)
plt.legend(); plt.grid(alpha=0.3)
plt.show()

from sklearn.linear_model import LogisticRegression
import numpy as np

# Припустимо, модель вже навчена
# model = LogisticRegression()
# model.fit(X_train, y_train)

# Отримуємо ймовірності для тестової вибірки
X_test = np.array([[50, 75], [70, 90], [40, 60]])
y_probs = model.predict_proba(X_test)[:, 1]  # Ймовірність класу 1

print("Ймовірності класу 1:")
print(y_probs)

import matplotlib.pyplot as plt

labels = [f'Об\'єкт {i + 1}' for i in range(len(y_probs))]

plt.figure(figsize=(9, 5))
plt.bar(labels, y_probs, color='#3b82f6', alpha=0.85, width=0.5)
for t, c in zip([0.3, 0.5, 0.7], ['#10b981', '#1f2937', '#ef4444']):
    plt.axhline(t, color=c, linestyle='--', linewidth=2, label=f'Поріг {t}')
for i, p in enumerate(y_probs):
    plt.text(i, p + 0.02, f'{p:.2f}', ha='center', fontsize=12)
plt.ylim(0, 1)
plt.ylabel('P(y = 1)')
plt.title('Той самий об\'єкт — різні рішення при різних порогах', fontsize=13)
plt.legend()
plt.show()

# Застосування різних порогів
thresholds = [0.3, 0.5, 0.7]

for threshold in thresholds:
    y_pred = (y_probs >= threshold).astype(int)
    print(f"\nПоріг {threshold}: прогнози = {y_pred}")

from sklearn.datasets import load_iris
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split

# Завантаження датасету Iris
iris = load_iris()
X, y = iris.data, iris.target

# Розбиття на навчальну та тестову вибірки
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.3, random_state=42
)

# Навчання моделі з multi_class='ovr'
model_ovr = LogisticRegression(multi_class='ovr', max_iter=200)
model_ovr.fit(X_train, y_train)

accuracy = model_ovr.score(X_test, y_test)
print(f"Точність на тестовій вибірці: {accuracy:.1%}")
print(f"\nМодель навчила {len(model_ovr.coef_)} бінарних класифікаторів")
print(f"Форма матриці ваг: {model_ovr.coef_.shape}")

# Прогноз для одного об'єкта
sample = X_test[0:1]
probs = model_ovr.predict_proba(sample)[0]

print("Ймовірності для кожного класу:")
for i, (class_name, prob) in enumerate(zip(iris.target_names, probs)):
    print(f"  Клас {i} ({class_name:10s}): {prob:.1%}")

predicted_class = model_ovr.predict(sample)[0]
print(f"\nПрогноз: клас {predicted_class} ({iris.target_names[predicted_class]})")

import matplotlib.pyplot as plt

colors = ['#ef4444', '#3b82f6', '#10b981']

plt.figure(figsize=(8, 5))
bars = plt.bar(iris.target_names, probs, color=colors, alpha=0.85)
for bar, p in zip(bars, probs):
    plt.text(bar.get_x() + bar.get_width() / 2, p + 0.02, f'{p:.1%}', ha='center', fontsize=12)
plt.ylim(0, 1.1)
plt.ylabel('Ймовірність')
plt.title(f'Прогноз: {iris.target_names[predicted_class]}', fontsize=13)
plt.show()

# Навчання моделі з multi_class='multinomial'
model_softmax = LogisticRegression(multi_class='multinomial', max_iter=200)
model_softmax.fit(X_train, y_train)

accuracy_softmax = model_softmax.score(X_test, y_test)
print(f"Точність (softmax): {accuracy_softmax:.1%}")

import matplotlib.pyplot as plt
from matplotlib.colors import ListedColormap

# Для 2D-візуалізації навчаємо softmax лише на ознаках пелюстки
model_2d = LogisticRegression(max_iter=200)
model_2d.fit(X_train[:, 2:], y_train)

xx, yy = np.meshgrid(np.linspace(0.5, 7.5, 300), np.linspace(-0.2, 2.8, 300))
Z = model_2d.predict(np.c_[xx.ravel(), yy.ravel()]).reshape(xx.shape)
colors = ['#ef4444', '#3b82f6', '#10b981']

plt.figure(figsize=(9, 6))
plt.contourf(xx, yy, Z, alpha=0.2, cmap=ListedColormap(colors))
for k, name in enumerate(iris.target_names):
    plt.scatter(X_train[y_train == k, 2], X_train[y_train == k, 3], c=colors[k],
                s=50, edgecolor='white', label=name)
plt.xlabel('Довжина пелюстки (см)', fontsize=12)
plt.ylabel('Ширина пелюстки (см)', fontsize=12)
plt.title('Softmax: три лінійні області рішень', fontsize=14)
plt.legend()
plt.show()

import numpy as np
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score, confusion_matrix, classification_report

# Генерація синтетичних даних (імітація реального датасету)
rng = np.random.default_rng(seed=42)

n_samples = 300
age = rng.integers(30, 80, size=n_samples)
cholesterol = rng.integers(150, 300, size=n_samples)
blood_pressure = rng.integers(90, 180, size=n_samples)
bmi = rng.uniform(18, 40, size=n_samples)
smoking = rng.choice([0, 1], size=n_samples, p=[0.7, 0.3])

# Цільова змінна: ймовірність хвороби зростає з віком, холестерином, тиском
risk_score = (
    0.05 * age +
    0.01 * cholesterol +
    0.02 * blood_pressure +
    0.3 * bmi +
    5 * smoking - 12
)
disease = (risk_score + rng.normal(0, 5, n_samples) > 0).astype(int)

# Створення DataFrame
df = pd.DataFrame({
    'age': age,
    'cholesterol': cholesterol,
    'blood_pressure': blood_pressure,
    'bmi': bmi,
    'smoking': smoking,
    'disease': disease
})

print(df.head(10))
print(f"\nРозподіл класів:")
print(df['disease'].value_counts())

# Розділення на ознаки (X) та цільову змінну (y)
X = df.drop('disease', axis=1)
y = df['disease']

# Розбиття на навчальну та тестову вибірки (70% / 30%)
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.3, random_state=42, stratify=y
)

print(f"Розмір навчальної вибірки: {X_train.shape}")
print(f"Розмір тестової вибірки: {X_test.shape}")
print(f"\nРозподіл у навчальній вибірці:")
print(y_train.value_counts())

# Стандартизація ознак (важливо для логістичної регресії!)
scaler = StandardScaler()
X_train_scaled = scaler.fit_transform(X_train)
X_test_scaled = scaler.transform(X_test)

print("Середні значення до масштабування:")
print(X_train.mean())
print("\nСередні значення після масштабування:")
print(pd.DataFrame(X_train_scaled, columns=X_train.columns).mean())

# Створення та навчання моделі
model = LogisticRegression(random_state=42, max_iter=1000)
model.fit(X_train_scaled, y_train)

# Прогнози на тестовій вибірці
y_pred = model.predict(X_test_scaled)
y_probs = model.predict_proba(X_test_scaled)[:, 1]

# Оцінка точності
accuracy = accuracy_score(y_test, y_pred)
print(f"Точність на тестовій вибірці: {accuracy:.1%}")

# Отримання коефіцієнтів (ваг)
coef_df = pd.DataFrame({
    'Ознака': X.columns,
    'Коефіцієнт': model.coef_[0],
    'Абсолютне значення': np.abs(model.coef_[0])
}).sort_values('Абсолютне значення', ascending=False)

print("Важливість ознак (за абсолютним коефіцієнтом):")
print(coef_df)
print(f"\nВільний член (bias): {model.intercept_[0]:.4f}")

import matplotlib.pyplot as plt

plt.figure(figsize=(9, 5))
plt.barh(coef_df['Ознака'][::-1], coef_df['Коефіцієнт'][::-1], color='#3b82f6')
plt.axvline(0, color='#1f2937', linewidth=1)
plt.xlabel('Коефіцієнт (ознаки стандартизовані)')
plt.title('Вплив ознак на ризик хвороби серця', fontsize=13)
plt.grid(axis='x', alpha=0.3)
plt.show()

# Приклад: аналіз одного пацієнта
sample_index = 5
sample_patient = X_test.iloc[sample_index:sample_index+1]
sample_patient_scaled = X_test_scaled[sample_index:sample_index+1]

# Характеристики пацієнта
print("Характеристики пацієнта:")
print(sample_patient.to_string(index=False))

# Прогноз моделі
prob = model.predict_proba(sample_patient_scaled)[0, 1]
pred_class = model.predict(sample_patient_scaled)[0]
true_class = y_test.iloc[sample_index]

print(f"\nЙмовірність хвороби серця: {prob:.1%}")
print(f"Прогноз моделі: {'Підвищений ризик ⚠️' if pred_class == 1 else 'Низький ризик ✅'}")
print(f"Справжній діагноз: {'Хворий' if true_class == 1 else 'Здоровий'}")