import numpy as np
import matplotlib.pyplot as plt

rng = np.random.default_rng(seed=42)

# Генеруємо реалістичні дані зі зв'язком
height = rng.normal(170, 10, 100)  # Зріст: N(170, 10²)
weight = 0.8 * height + rng.normal(0, 5, 100) - 70  # Вага залежить від зросту + шум

# Візуалізація
plt.figure(figsize=(10, 6))
plt.scatter(height, weight, alpha=0.6, s=50, edgecolors='black', linewidths=0.5)
plt.xlabel('Зріст (см)', fontsize=12)
plt.ylabel('Вага (кг)', fontsize=12)
plt.title('Зв\'язок між зростом і вагою', fontweight='bold', fontsize=14)
plt.grid(alpha=0.3)
plt.show()

print("Статистика:")
print(f"  Зріст: μ = {height.mean():.1f} см, σ = {height.std():.1f} см")
print(f"  Вага:  μ = {weight.mean():.1f} кг, σ = {weight.std():.1f} кг")
print("\nВізуально помітно: точки утворюють хмару, що йде 'знизу-вліво до верху-вправо'")
print("Це сигнал ПОЗИТИВНОГО зв'язку: ↑зріст → ↑вага")

import numpy as np

# Дані: температура (°C) та продажі морозива (шт)
temperature = np.array([15, 18, 22, 25, 28, 30, 32, 35])
ice_cream_sales = np.array([50, 65, 80, 95, 110, 125, 135, 150])

# Спосіб 1: Вручну за математичною формулою
temp_mean = temperature.mean()
sales_mean = ice_cream_sales.mean()

cov_manual = np.sum((temperature - temp_mean) * (ice_cream_sales - sales_mean)) / (len(temperature) - 1)

# Спосіб 2: Через матрицю коваріацій NumPy
cov_matrix = np.cov(temperature, ice_cream_sales)  # Матриця коваріацій 2×2
cov_numpy = cov_matrix[0, 1]  # Позадіагональний елемент [0,1] або [1,0]

print("Результати:")
print(f"  Коваріація (вручну):  {cov_manual:.2f}")
print(f"  Коваріація (NumPy):   {cov_numpy:.2f}")
print(f"\nІнтерпретація:")
print(f"  Cov > 0 → позитивний зв'язок")
print(f"  Коли температура зростає, продажі морозива теж зростають")
print(f"\nПроблема масштабу:")
print(f"  Чи {cov_numpy:.2f} — це багато? Без контексту дисперсій відповісти неможливо!")

# Візуалізація: розділення на квадранти відхилень навколо центру мас
import matplotlib.pyplot as plt

plt.figure(figsize=(9, 6))
plt.axvline(temp_mean, color='#dc2626', linestyle='--', label=f'$\\bar{{x}} = {temp_mean:.1f}^\\circ\\mathrm{{C}}$')
plt.axhline(sales_mean, color='#2563eb', linestyle='--', label=f'$\\bar{{y}} = {sales_mean:.1f}$ шт')
plt.scatter(temperature, ice_cream_sales, s=80, color='#0284c7', edgecolors='#0369a1', zorder=5, label='Дні спостережень')
plt.scatter([temp_mean], [sales_mean], s=130, color='#eab308', edgecolors='#ca8a04', zorder=6, label='Центр мас')
plt.title(f'Обчислення коваріації: Температура vs Продажі морозива (Cov = +{cov_numpy:.2f})', fontweight='bold')
plt.xlabel('Температура повітря (X, °C)')
plt.ylabel('Продажі морозива (Y, шт)')
plt.grid(True, linestyle=':', alpha=0.5)
plt.legend()
plt.tight_layout()
plt.show()

import numpy as np
from scipy import stats

# Дані: температура та продажі морозива
temperature = np.array([15, 18, 22, 25, 28, 30, 32, 35])
ice_cream_sales = np.array([50, 65, 80, 95, 110, 125, 135, 150])

# Спосіб 1: Вручну (за формулою через коваріацію та стандарти)
cov = np.cov(temperature, ice_cream_sales)[0, 1]
std_temp = temperature.std(ddof=1)
std_sales = ice_cream_sales.std(ddof=1)
r_manual = cov / (std_temp * std_sales)

# Спосіб 2: np.corrcoef() — повертає матрицю кореляцій 2×2
corr_matrix = np.corrcoef(temperature, ice_cream_sales)
r_numpy = corr_matrix[0, 1]

# Спосіб 3: scipy.stats.pearsonr() — повертає r та p-value для перевірки гіпотези
r_scipy, p_value = stats.pearsonr(temperature, ice_cream_sales)

print("Результати обчислення кореляції:")
print(f"  Вручну:        r = {r_manual:.4f}")
print(f"  np.corrcoef(): r = {r_numpy:.4f}")
print(f"  scipy:         r = {r_scipy:.4f}, p-value = {p_value:.6f}")
print(f"\nІнтерпретація:")
print(f"  r = {r_scipy:.3f} → майже ідеальний позитивний лінійний зв'язок")
print(f"  p-value < 0.05 → зв'язок статистично значущий (нульова гіпотеза про r=0 відкидається)")

# Візуалізація: порівняння сирих одиниць та стандартизованого Z-простору
import matplotlib.pyplot as plt

slope, intercept, r_val, p_val, _ = stats.linregress(temperature, ice_cream_sales)
z_temp = (temperature - temperature.mean()) / std_temp
z_sales = (ice_cream_sales - ice_cream_sales.mean()) / std_sales

fig, (ax1, ax2) = plt.subplots(1, 2, figsize=(14, 5.5))
ax1.scatter(temperature, ice_cream_sales, color='#0284c7', s=60, label='Дані')
x_grid = np.linspace(14, 36, 100)
ax1.plot(x_grid, slope * x_grid + intercept, color='#ea580c', lw=2, label=f'Тренд ($r = {r_val:.3f}$)')
ax1.set_title('Вихідні одиниці (Температура ↔ Продажі)', fontweight='bold')
ax1.set_xlabel('Температура (°C)')
ax1.set_ylabel('Продажі (шт)')
ax1.grid(True, linestyle=':', alpha=0.5)
ax1.legend()

ax2.scatter(z_temp, z_sales, color='#16a34a', s=60, label='Z-точки')
z_grid = np.linspace(-1.8, 1.8, 100)
ax2.plot(z_grid, r_val * z_grid, color='#dc2626', lw=2, label=f'Нахил = r = {r_val:.3f}')
ax2.axvline(0, color='#94a3b8', linestyle='--')
ax2.axhline(0, color='#94a3b8', linestyle='--')
ax2.set_title('Стандартизований Z-простір: кут нахилу = r', fontweight='bold')
ax2.set_xlabel('Z-оцінка температури')
ax2.set_ylabel('Z-оцінка продажів')
ax2.grid(True, linestyle=':', alpha=0.5)
ax2.legend()
plt.tight_layout()
plt.show()

import numpy as np
import matplotlib.pyplot as plt

rng = np.random.default_rng(seed=42)
n = 100

def generate_correlated_data(r, n=100):
    """Генерує дві нормальні змінні з заданим коефіцієнтом кореляції r"""
    x = rng.standard_normal(n)
    y = r * x + np.sqrt(1 - r**2) * rng.standard_normal(n)
    return x, y

correlations = [1.0, 0.8, 0.4, 0.0, -0.4, -0.8, -1.0]
fig, axes = plt.subplots(2, 4, figsize=(16, 8))
axes = axes.ravel()

for i, r_target in enumerate(correlations):
    x, y = generate_correlated_data(r_target, n)
    r_actual = np.corrcoef(x, y)[0, 1]

    axes[i].scatter(x, y, alpha=0.6, s=30, edgecolors='black', linewidths=0.5)
    axes[i].set_title(f'r = {r_actual:.2f}', fontweight='bold', fontsize=12)
    axes[i].set_xlabel('X')
    axes[i].set_ylabel('Y')
    axes[i].grid(alpha=0.3)
    axes[i].axhline(0, color='gray', linewidth=0.5, linestyle='--')
    axes[i].axvline(0, color='gray', linewidth=0.5, linestyle='--')

# 8-й графік: нелінійний функціональний зв'язок (коло), де r ≈ 0
theta = np.linspace(0, 2*np.pi, n)
x_circle = np.cos(theta) + rng.standard_normal(n) * 0.1
y_circle = np.sin(theta) + rng.standard_normal(n) * 0.1
r_circle = np.corrcoef(x_circle, y_circle)[0, 1]

axes[7].scatter(x_circle, y_circle, alpha=0.6, s=30, edgecolors='black', linewidths=0.5, color='red')
axes[7].set_title(f'Коло: r = {r_circle:.2f}', fontweight='bold', fontsize=12)
axes[7].set_xlabel('X')
axes[7].set_ylabel('Y')
axes[7].grid(alpha=0.3)
axes[7].text(0, 0, 'Нелінійний зв\'язок!\nr ≈ 0', ha='center', fontsize=10,
             bbox=dict(boxstyle='round', facecolor='yellow', alpha=0.7))

plt.tight_layout()
plt.show()

print("Висновки:")
print("  r = +1: точки лежать точно на висхідній прямій ↗")
print("  r = -1: точки лежать точно на спадній прямій ↘")
print("  r ≈ 0: хаотична хмара АБО нелінійний зв'язок (коло, парабола)")
print("\n⚠ ВАЖЛИВО: r = 0 НЕ означає 'немає зв'язку', це означає лише 'немає ЛІНІЙНОГО зв'язку'!")

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns

rng = np.random.default_rng(seed=42)

# Створюємо синтетичний датасет (100 зразків, 5 змінних)
n = 100
age = rng.integers(20, 60, n)
income = age * 1200 + rng.normal(0, 5000, n)  # Тісно корелює з віком
education_years = rng.normal(14, 3, n)
savings = 0.15 * income + 1000 * education_years + rng.normal(0, 3000, n)
debt = -0.1 * income + rng.normal(5000, 2000, n)  # Від'ємна кореляція з доходом

# Формуємо DataFrame
data = pd.DataFrame({
    'Вік': age,
    'Дохід': income,
    'Освіта (роки)': education_years,
    'Заощадження': savings,
    'Борг': debt
})

# Обчислюємо кореляційну матрицю
corr_matrix = data.corr()

print("Матриця кореляції:\n")
print(corr_matrix.round(2))

# Візуалізуємо через теплову карту (Heatmap)
plt.figure(figsize=(9, 7.5))
sns.heatmap(corr_matrix, annot=True, fmt='.2f', cmap='coolwarm', center=0, vmin=-1, vmax=1,
            square=True, linewidths=1, cbar_kws={"shrink": 0.8, "label": "Коефіцієнт кореляції r"})
plt.title('Heatmap: Матриця кореляції фінансових показників', fontweight='bold', fontsize=13)
plt.tight_layout()
plt.show()

print("\n📊 Інтерпретація кольорів:")
print("  🔴 Червоний (r → +1): сильний позитивний зв'язок")
print("  🔵 Синій (r → -1): сильний негативний зв'язок")
print("  ⚪ Білий (r ≈ 0): лінійний зв'язок відсутній")

import matplotlib.pyplot as plt
from matplotlib.patches import FancyArrowPatch

fig, axes = plt.subplots(1, 3, figsize=(15, 4.5))

scenarios = [
    ("Сценарій 1:\nX → Y", "X викликає Y\n(Пряма причинність)", [(0.25, 0.5, 0.75, 0.5)]),
    ("Сценарій 2:\nY → X", "Y викликає X\n(Зворотна причинність)", [(0.75, 0.5, 0.25, 0.5)]),
    ("Сценарій 3:\nZ → X, Z → Y", "Спільна причина Z\n(Хибна кореляція)", [(0.5, 0.75, 0.25, 0.35), (0.5, 0.75, 0.75, 0.35)])
]

for ax, (title, subtitle, arrows) in zip(axes, scenarios):
    ax.set_xlim(0, 1)
    ax.set_ylim(0, 1)
    ax.axis('off')
    ax.set_title(title, fontweight='bold', fontsize=14, pad=10)
    ax.text(0.5, 0.12, subtitle, ha='center', fontsize=11, fontweight='semibold',
            bbox=dict(boxstyle='round,pad=0.5', facecolor='#fef3c7', edgecolor='#f59e0b', alpha=0.9))

    for x1, y1, x2, y2 in arrows:
        arrow = FancyArrowPatch((x1, y1), (x2, y2),
                                arrowstyle='-|>', mutation_scale=22,
                                linewidth=3, color='#dc2626')
        ax.add_patch(arrow)

    if len(arrows) == 1:
        ax.plot(0.25, 0.5, 'o', markersize=42, color='#2563eb')
        ax.plot(0.75, 0.5, 'o', markersize=42, color='#ea580c')
        ax.text(0.25, 0.5, 'X', ha='center', va='center', fontsize=18, fontweight='bold', color='white')
        ax.text(0.75, 0.5, 'Y', ha='center', va='center', fontsize=18, fontweight='bold', color='white')
    else:
        ax.plot(0.5, 0.75, 'o', markersize=42, color='#16a34a')
        ax.plot(0.25, 0.35, 'o', markersize=42, color='#2563eb')
        ax.plot(0.75, 0.35, 'o', markersize=42, color='#ea580c')
        ax.text(0.5, 0.75, 'Z', ha='center', va='center', fontsize=18, fontweight='bold', color='white')
        ax.text(0.25, 0.35, 'X', ha='center', va='center', fontsize=18, fontweight='bold', color='white')
        ax.text(0.75, 0.35, 'Y', ha='center', va='center', fontsize=18, fontweight='bold', color='white')

plt.tight_layout()
plt.show()

print("При виявленні кореляції між X та Y необхідно ретельно перевірити ВСІ три сценарії!")
print("Без проведення контрольованих рандомізованих експериментів строго довести причинність неможливо!")

import numpy as np
import matplotlib.pyplot as plt

rng = np.random.default_rng(seed=42)

# Дві повністю незалежні змінні з глобальним трендом часу
years = np.arange(2000, 2020)
cheese_consumption = 10 + 0.5 * np.arange(20) + rng.normal(0, 1, 20)
engineering_phd = 500 + 25 * np.arange(20) + rng.normal(0, 30, 20)

# Обчислення кореляції
r = np.corrcoef(cheese_consumption, engineering_phd)[0, 1]

# Візуалізація двох шкал
fig, ax1 = plt.subplots(figsize=(11, 5.5))

ax1.plot(years, cheese_consumption, 'o-', color='#f59e0b', linewidth=2.2, markersize=7, label='Споживання сиру (кг/особу)')
ax1.set_xlabel('Рік', fontsize=12)
ax1.set_ylabel('Споживання сиру (кг/особу)', color='#d97706', fontsize=12)
ax1.tick_params(axis='y', labelcolor='#d97706')

ax2 = ax1.twinx()
ax2.plot(years, engineering_phd, 's--', color='#2563eb', linewidth=2.2, markersize=7, label='Докторські з інженерії')
ax2.set_ylabel('Кількість захищених дисертацій', color='#1d4ed8', fontsize=12)
ax2.tick_params(axis='y', labelcolor='#1d4ed8')

plt.title(f'Spurious Correlation: r = {r:.3f}\n(Спільний часовий тренд без жодного причинно-наслідкового зв\'язку)',
          fontweight='bold', fontsize=13)
fig.legend(loc='upper left', bbox_to_anchor=(0.12, 0.88))
plt.grid(True, linestyle=':', alpha=0.5)
plt.tight_layout()
plt.show()

print(f"Кореляція: r = {r:.3f}")
print("Пояснення: обидва процеси зростають в часі з незалежних причин.")
print("Це класичний випадок хибної кореляції трендів (Spurious Correlation)!")

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns

rng = np.random.default_rng(seed=42)
n = 100

# Генеруємо штучні ознаки з колінеарністю
area_m2 = rng.uniform(30, 150, n)
area_ft2 = area_m2 * 10.764               # Ідеальна колінеарність (r = 1.0)
rooms = rng.poisson(3, n)
age = rng.integers(0, 50, n)
age_squared = age ** 2                    # Нелінійна монотонна залежність (r ≈ 0.97)

# Цільова змінна: ціна
price = 1000 * area_m2 - 500 * age + rng.normal(0, 5000, n)

data = pd.DataFrame({
    'Площа (м²)': area_m2,
    'Площа (фут²)': area_ft2,
    'Кімнати': rooms,
    'Вік': age,
    'Вік²': age_squared,
    'Ціна': price
})

corr_matrix = data.corr()

# Візуалізація
plt.figure(figsize=(9, 7.5))
sns.heatmap(corr_matrix, annot=True, fmt='.2f', cmap='RdYlGn', center=0, vmin=-1, vmax=1,
            square=True, linewidths=1.5, linecolor='white', cbar_kws={'shrink': 0.8, 'label': 'Коефіцієнт r'})
plt.title('Матриця кореляцій: Виявлення мультиколінеарності ознак', fontweight='bold', fontsize=13)
plt.tight_layout()
plt.show()

# Автоматичний пошук колінеарних пар
print("⚠ ВИЯВЛЕНА МУЛЬТИКОЛІНЕАРНІСТЬ (|r| > 0.90 серед предикторів):\n")
features = [col for col in corr_matrix.columns if col != 'Ціна']
for i in range(len(features)):
    for j in range(i + 1, len(features)):
        r_val = corr_matrix.loc[features[i], features[j]]
        if abs(r_val) > 0.90:
            print(f"  {features[i]} ↔ {features[j]}: r = {r_val:.3f}")
            print(f"    → Рекомендація: вилучити одну з ознак або застосувати регуляризацію!\n")

import numpy as np
from scipy import stats
import matplotlib.pyplot as plt

rng = np.random.default_rng(seed=42)

# Нелінійна, але суворо монотонна функціональна залежність
x = np.linspace(0, 5, 50)
y = np.exp(x) + rng.normal(0, 5, 50)

# Обчислення коефіцієнтів
pearson_r, _ = stats.pearsonr(x, y)
spearman_r, _ = stats.spearmanr(x, y)

# Візуалізація
plt.figure(figsize=(10, 6))
plt.scatter(x, y, alpha=0.8, s=60, edgecolors='#1e293b', linewidths=0.7, color='#0284c7', label='Спостереження')
plt.plot(x, np.exp(x), color='#ea580c', linestyle='-', linewidth=2, label='Базова експонента y = exp(x)')

plt.xlabel('X', fontsize=12)
plt.ylabel('Y', fontsize=12)
plt.title('Нелінійний монотонний зв\'язок: порівняння коефіцієнтів Пірсона та Спірмена', fontweight='bold', fontsize=13)
plt.grid(True, linestyle=':', alpha=0.5)
plt.text(0.3, max(y) * 0.75, f'Pearson r = {pearson_r:.3f}\nSpearman ρ = {spearman_r:.3f}',
         fontsize=12, fontweight='semibold', bbox=dict(boxstyle='round,pad=0.6', facecolor='#fef08a', edgecolor='#eab308', alpha=0.9))
plt.legend(loc='upper left')
plt.tight_layout()
plt.show()

print("Порівняльні висновки:")
print(f"  Pearson r = {pearson_r:.3f} — недооцінює силу зв'язку через вигин експоненти")
print(f"  Spearman ρ = {spearman_r:.3f} — бездоганно фіксує збереження порядку рангів")