import numpy as np
import matplotlib.pyplot as plt

salaries = np.array([45, 48, 50, 52, 47, 51, 49, 53, 46, 50, 48, 52, 51, 49, 47, 50, 51, 48, 49, 250])

# Статистика з викидом
mean_with = salaries.mean()
median_with = np.median(salaries)
std_with = salaries.std()

# Статистика без викиду
salaries_clean = salaries[salaries < 100]
mean_without = salaries_clean.mean()
median_without = np.median(salaries_clean)
std_without = salaries_clean.std()

# Візуалізація
fig, (ax1, ax2) = plt.subplots(1, 2, figsize=(14, 5))

# Графік 1: Гістограма з викидом
ax1.hist(salaries, bins=20, edgecolor='black', alpha=0.7, color='coral')
ax1.axvline(mean_with, color='red', linestyle='--', linewidth=2, label=f'Середнє = ${mean_with:.1f}k')
ax1.axvline(median_with, color='green', linestyle='--', linewidth=2, label=f'Медіана = ${median_with:.1f}k')
ax1.set_xlabel('Зарплата ($k)', fontsize=12)
ax1.set_ylabel('Частота', fontsize=12)
ax1.set_title('З викидом (CEO)', fontweight='bold')
ax1.legend()
ax1.grid(alpha=0.3)

# Графік 2: Гістограма без викиду
ax2.hist(salaries_clean, bins=10, edgecolor='black', alpha=0.7, color='steelblue')
ax2.axvline(mean_without, color='red', linestyle='--', linewidth=2, label=f'Середнє = ${mean_without:.1f}k')
ax2.axvline(median_without, color='green', linestyle='--', linewidth=2, label=f'Медіана = ${median_without:.1f}k')
ax2.set_xlabel('Зарплата ($k)', fontsize=12)
ax2.set_ylabel('Частота', fontsize=12)
ax2.set_title('Без викиду', fontweight='bold')
ax2.legend()
ax2.grid(alpha=0.3)

plt.tight_layout()
plt.show()

print("📊 Порівняння статистики:\n")
print(f"{'':20} {'З викидом':>12} {'Без викиду':>12} {'Різниця':>12}")
print("-" * 60)
print(f"{'Середнє':<20} ${mean_with:>10.1f}k ${mean_without:>10.1f}k {(mean_with - mean_without):>+10.1f}k")
print(f"{'Медіана':<20} ${median_with:>10.1f}k ${median_without:>10.1f}k {(median_with - median_without):>+10.1f}k")
print(f"{'Стд. відхилення':<20} ${std_with:>10.1f}k ${std_without:>10.1f}k {(std_with - std_without):>+10.1f}k")

print("\n💡 Висновок:")
print("  Один викид ($250k) збільшив середнє на $9.4k (+19%)")
print("  Медіана майже не змінилася (стійка до викидів)")
print("  Стандартне відхилення зросло в 20 разів!")

import numpy as np
import matplotlib.pyplot as plt

rng = np.random.default_rng(seed=42)

# Генеруємо дані з викидами
data = np.concatenate([
    rng.normal(50, 10, 95),  # Основна маса
    np.array([10, 15, 90, 95, 100])  # Викиди
])

# Крок 1: Обчислюємо квартилі
Q1 = np.percentile(data, 25)
Q3 = np.percentile(data, 75)
IQR = Q3 - Q1

# Крок 2: Обчислюємо межі
lower_bound = Q1 - 1.5 * IQR
upper_bound = Q3 + 1.5 * IQR

# Крок 3: Виявляємо викиди
outliers = data[(data < lower_bound) | (data > upper_bound)]
inliers = data[(data >= lower_bound) & (data <= upper_bound)]

# Візуалізація
fig, (ax1, ax2) = plt.subplots(1, 2, figsize=(14, 5))

# Графік 1: Гістограма з межами
ax1.hist(data, bins=30, edgecolor='black', alpha=0.7, color='lightblue')
ax1.axvline(Q1, color='orange', linestyle='--', linewidth=2, label=f'Q1 = {Q1:.1f}')
ax1.axvline(Q3, color='orange', linestyle='--', linewidth=2, label=f'Q3 = {Q3:.1f}')
ax1.axvline(lower_bound, color='red', linestyle='-', linewidth=2, label=f'Нижня межа = {lower_bound:.1f}')
ax1.axvline(upper_bound, color='red', linestyle='-', linewidth=2, label=f'Верхня межа = {upper_bound:.1f}')
ax1.set_xlabel('Значення', fontsize=12)
ax1.set_ylabel('Частота', fontsize=12)
ax1.set_title('Метод IQR: межі викидів', fontweight='bold')
ax1.legend(loc='upper left')
ax1.grid(alpha=0.3)

# Графік 2: Точки (inliers vs outliers)
ax2.scatter(range(len(inliers)), inliers, c='green', alpha=0.6, s=50, edgecolors='black', linewidths=0.5, label='Нормальні')
ax2.scatter(range(len(inliers), len(data)), outliers, c='red', s=100, edgecolors='black', linewidths=1, label='Викиди', marker='^')
ax2.axhline(lower_bound, color='red', linestyle='--', linewidth=1.5, alpha=0.7)
ax2.axhline(upper_bound, color='red', linestyle='--', linewidth=1.5, alpha=0.7)
ax2.set_xlabel('Індекс', fontsize=12)
ax2.set_ylabel('Значення', fontsize=12)
ax2.set_title('Виявлені викиди', fontweight='bold')
ax2.legend()
ax2.grid(alpha=0.3)

plt.tight_layout()
plt.show()

print("📊 Результати методу IQR:\n")
print(f"  Q1 (25-й перцентиль): {Q1:.2f}")
print(f"  Q3 (75-й перцентиль): {Q3:.2f}")
print(f"  IQR: {IQR:.2f}")
print(f"  Нижня межа: {lower_bound:.2f}")
print(f"  Верхня межа: {upper_bound:.2f}")
print(f"\n🔍 Виявлено викидів: {len(outliers)} / {len(data)} ({len(outliers)/len(data)*100:.1f}%)")
print(f"  Викиди: {sorted(outliers)}")

import numpy as np
import matplotlib.pyplot as plt

rng = np.random.default_rng(seed=42)

# Три датасети з різною кількістю викидів
data_clean = rng.normal(50, 10, 100)
data_few_outliers = np.concatenate([rng.normal(50, 10, 95), np.array([10, 15, 90, 95, 100])])
data_many_outliers = np.concatenate([rng.normal(50, 10, 80), rng.uniform(0, 20, 10), rng.uniform(80, 100, 10)])

datasets = [data_clean, data_few_outliers, data_many_outliers]
labels = ['Без викидів', 'Кілька викидів (5%)', 'Багато викидів (20%)']

# Візуалізація
fig, axes = plt.subplots(1, 3, figsize=(15, 5))

for ax, data, label in zip(axes, datasets, labels):
    bp = ax.boxplot(data, vert=True, patch_artist=True, 
                     boxprops=dict(facecolor='lightblue', edgecolor='black'),
                     whiskerprops=dict(color='black', linewidth=1.5),
                     capprops=dict(color='black', linewidth=1.5),
                     medianprops=dict(color='red', linewidth=2),
                     flierprops=dict(marker='o', markerfacecolor='red', markersize=8, linestyle='none', markeredgecolor='black'))
    
    ax.set_ylabel('Значення', fontsize=12)
    ax.set_title(label, fontweight='bold', fontsize=12)
    ax.grid(axis='y', alpha=0.3)
    
    # Анотації
    Q1 = np.percentile(data, 25)
    Q3 = np.percentile(data, 75)
    median = np.median(data)
    
    ax.text(1.15, Q1, f'Q1={Q1:.1f}', fontsize=9, va='center')
    ax.text(1.15, Q3, f'Q3={Q3:.1f}', fontsize=9, va='center')
    ax.text(1.15, median, f'Q2={median:.1f}', fontsize=9, va='center', color='red', fontweight='bold')

plt.tight_layout()
plt.show()

print("📦 Інтерпретація Box Plot:\n")
print("  🟦 Ящик (box): 50% середніх даних (від Q1 до Q3)")
print("  🔴 Червона лінія: медіана (Q2)")
print("  📏 Вуса (whiskers): від Q1−1.5×IQR до Q3+1.5×IQR")
print("  🔴 Червоні точки: викиди (поза вусами)")
print("\n💡 Чим довші вуса → тим більший розкид даних")
print("💡 Чим більше червоних точок → тим більше викидів")

import numpy as np
import matplotlib.pyplot as plt

rng = np.random.default_rng(seed=42)

# Генеруємо нормально розподілені дані з викидами
data = np.concatenate([
    rng.normal(100, 15, 95),  # Основна маса N(100, 15²)
    np.array([40, 45, 160, 165, 170])  # Викиди
])

# Обчислюємо Z-оцінки
mean = data.mean()
std = data.std()
z_scores = (data - mean) / std

# Визначаємо поріг (зазвичай 3)
threshold = 3
outliers_mask = np.abs(z_scores) > threshold

outliers = data[outliers_mask]
inliers = data[~outliers_mask]
z_outliers = z_scores[outliers_mask]
z_inliers = z_scores[~outliers_mask]

# Візуалізація
fig, (ax1, ax2) = plt.subplots(1, 2, figsize=(14, 5))

# Графік 1: Оригінальні дані
ax1.scatter(range(len(inliers)), inliers, c='green', alpha=0.6, s=50, edgecolors='black', linewidths=0.5, label='Нормальні')
ax1.scatter(np.where(outliers_mask)[0], outliers, c='red', s=100, edgecolors='black', linewidths=1, label='Викиди', marker='^')
ax1.axhline(mean, color='blue', linestyle='--', linewidth=2, label=f'μ = {mean:.1f}')
ax1.axhline(mean + 3*std, color='red', linestyle='--', linewidth=1.5, alpha=0.7, label=f'μ+3σ = {mean + 3*std:.1f}')
ax1.axhline(mean - 3*std, color='red', linestyle='--', linewidth=1.5, alpha=0.7, label=f'μ-3σ = {mean - 3*std:.1f}')
ax1.set_xlabel('Індекс', fontsize=12)
ax1.set_ylabel('Значення', fontsize=12)
ax1.set_title('Оригінальні дані з межами ±3σ', fontweight='bold')
ax1.legend()
ax1.grid(alpha=0.3)

# Графік 2: Z-оцінки
ax2.scatter(range(len(z_inliers)), z_inliers, c='green', alpha=0.6, s=50, edgecolors='black', linewidths=0.5, label='Нормальні')
ax2.scatter(np.where(outliers_mask)[0], z_outliers, c='red', s=100, edgecolors='black', linewidths=1, label='Викиди', marker='^')
ax2.axhline(0, color='blue', linestyle='--', linewidth=2, label='z = 0 (середнє)')
ax2.axhline(3, color='red', linestyle='--', linewidth=1.5, alpha=0.7, label='z = +3')
ax2.axhline(-3, color='red', linestyle='--', linewidth=1.5, alpha=0.7, label='z = -3')
ax2.set_xlabel('Індекс', fontsize=12)
ax2.set_ylabel('Z-оцінка', fontsize=12)
ax2.set_title('Z-оцінки (стандартизовані)', fontweight='bold')
ax2.legend()
ax2.grid(alpha=0.3)

plt.tight_layout()
plt.show()

print("📊 Результати методу Z-score:\n")
print(f"  Середнє (μ): {mean:.2f}")
print(f"  Стандартне відхилення (σ): {std:.2f}")
print(f"  Поріг: |z| > {threshold}")
print(f"\n🔍 Виявлено викидів: {outliers_mask.sum()} / {len(data)} ({outliers_mask.sum()/len(data)*100:.1f}%)")
print(f"\n  Викиди (значення → Z-оцінка):")
for val, z in zip(outliers, z_outliers):
    print(f"    {val:.1f} → z = {z:+.2f}")

import numpy as np
from scipy import stats

rng = np.random.default_rng(seed=42)
data = rng.normal(100, 15, 1000)

thresholds = [2, 2.5, 3, 3.5]

print("📊 Вплив порогу Z-score на виявлення викидів:\n")
print(f"{'Поріг |z|':<12} {'Викидів':<10} {'%':<8} Теоретично (для N(0,1))")
print("-" * 60)

for thresh in thresholds:
    z_scores = np.abs((data - data.mean()) / data.std())
    outliers_count = (z_scores > thresh).sum()
    outliers_pct = outliers_count / len(data) * 100
    
    # Теоретична ймовірність для нормального розподілу
    theoretical_pct = (1 - stats.norm.cdf(thresh)) * 2 * 100
    
    print(f"  >{thresh:<10} {outliers_count:<10} {outliers_pct:>5.1f}%   ~{theoretical_pct:.2f}%")

print("\n💡 Висновок:")
print("  Більший поріг → менше викидів (консервативний підхід)")
print("  Менший поріг → більше викидів (агресивний підхід)")
print("  Стандарт: |z| > 3 (виявляє ~0.3% найекстремальніших значень)")

import numpy as np

rng = np.random.default_rng(seed=42)

# Генеруємо дані
data = np.concatenate([
    rng.normal(50, 10, 95),
    np.array([10, 15, 90, 95, 100])  # 5 викидів
])

# Видалення через IQR
Q1 = np.percentile(data, 25)
Q3 = np.percentile(data, 75)
IQR = Q3 - Q1
lower_bound = Q1 - 1.5 * IQR
upper_bound = Q3 + 1.5 * IQR

data_clean = data[(data >= lower_bound) & (data <= upper_bound)]

print("📊 Результати видалення викидів:\n")
print(f"  Розмір до:  {len(data)} зразків")
print(f"  Розмір після: {len(data_clean)} зразків")
print(f"  Видалено: {len(data) - len(data_clean)} зразків ({(len(data) - len(data_clean))/len(data)*100:.1f}%)")
print(f"\n  Середнє до:  {data.mean():.2f}")
print(f"  Середнє після: {data_clean.mean():.2f}")
print(f"  Різниця: {abs(data.mean() - data_clean.mean()):.2f}")

import numpy as np

rng = np.random.default_rng(seed=42)

data = np.concatenate([
    rng.normal(50, 10, 95),
    np.array([10, 15, 90, 95, 100])
])

# Обрізання через IQR
Q1 = np.percentile(data, 25)
Q3 = np.percentile(data, 75)
IQR = Q3 - Q1
lower_bound = Q1 - 1.5 * IQR
upper_bound = Q3 + 1.5 * IQR

data_capped = np.copy(data)
data_capped[data_capped < lower_bound] = lower_bound
data_capped[data_capped > upper_bound] = upper_bound

print("📊 Результати обрізання викидів:\n")
print(f"  Розмір: {len(data)} → {len(data_capped)} (не змінився)")
print(f"\n  Змінені значення:")
print(f"    10 → {lower_bound:.2f} (нижня межа)")
print(f"    15 → {lower_bound:.2f} (нижня межа)")
print(f"    90 → {upper_bound:.2f} (верхня межа)")
print(f"    95 → {upper_bound:.2f} (верхня межа)")
print(f"    100 → {upper_bound:.2f} (верхня межа)")
print(f"\n  Середнє до:  {data.mean():.2f}")
print(f"  Середнє після: {data_capped.mean():.2f}")

import numpy as np
import matplotlib.pyplot as plt

rng = np.random.default_rng(seed=42)

# Генеруємо скошені дані (логнормальний розподіл)
data = rng.lognormal(mean=3, sigma=0.8, size=200)

# Трансформація логарифмом
data_log = np.log(data)

# Візуалізація
fig, (ax1, ax2) = plt.subplots(1, 2, figsize=(14, 5))

ax1.hist(data, bins=30, edgecolor='black', alpha=0.7, color='coral')
ax1.set_xlabel('Значення', fontsize=12)
ax1.set_ylabel('Частота', fontsize=12)
ax1.set_title('До трансформації (скошений розподіл)', fontweight='bold')
ax1.grid(alpha=0.3)

ax2.hist(data_log, bins=30, edgecolor='black', alpha=0.7, color='lightgreen')
ax2.set_xlabel('log(Значення)', fontsize=12)
ax2.set_ylabel('Частота', fontsize=12)
ax2.set_title('Після log-трансформації (ближче до нормального)', fontweight='bold')
ax2.grid(alpha=0.3)

plt.tight_layout()
plt.show()

print("📊 Результати трансформації:\n")
print(f"  До трансформації:")
print(f"    Середнє: {data.mean():.2f}")
print(f"    Стд. відхилення: {data.std():.2f}")
print(f"    Min: {data.min():.2f}, Max: {data.max():.2f}")
print(f"\n  Після log-трансформації:")
print(f"    Середнє: {data_log.mean():.2f}")
print(f"    Стд. відхилення: {data_log.std():.2f}")
print(f"    Min: {data_log.min():.2f}, Max: {data_log.max():.2f}")
print(f"\n💡 Розкид зменшився, розподіл став більш симетричним")

import numpy as np
import matplotlib.pyplot as plt

rng = np.random.default_rng(seed=42)

# Генеруємо три типи даних
data_normal = rng.normal(50, 10, 100)
data_skewed = rng.exponential(20, 100)
data_with_outliers = np.concatenate([rng.normal(50, 10, 95), np.array([10, 15, 90, 95, 100])])

datasets = [data_normal, data_skewed, data_with_outliers]
titles = ['Нормальний розподіл', 'Скошений розподіл', 'З викидами']

fig, axes = plt.subplots(3, 2, figsize=(14, 10))

for row, (data, title) in enumerate(zip(datasets, titles)):
    # Метод IQR
    Q1 = np.percentile(data, 25)
    Q3 = np.percentile(data, 75)
    IQR = Q3 - Q1
    iqr_lower = Q1 - 1.5 * IQR
    iqr_upper = Q3 + 1.5 * IQR
    iqr_outliers = (data < iqr_lower) | (data > iqr_upper)
    
    # Метод Z-score
    mean = data.mean()
    std = data.std()
    z_scores = np.abs((data - mean) / std)
    z_outliers = z_scores > 3
    
    # Графік IQR
    axes[row, 0].scatter(range(len(data)), data, c=['red' if o else 'green' for o in iqr_outliers], 
                         s=50, alpha=0.6, edgecolors='black', linewidths=0.5)
    axes[row, 0].axhline(iqr_lower, color='red', linestyle='--', linewidth=1.5, label='IQR межі')
    axes[row, 0].axhline(iqr_upper, color='red', linestyle='--', linewidth=1.5)
    axes[row, 0].set_title(f'{title} — Метод IQR', fontweight='bold')
    axes[row, 0].set_ylabel('Значення')
    axes[row, 0].legend()
    axes[row, 0].grid(alpha=0.3)
    axes[row, 0].text(0.02, 0.98, f'Викидів: {iqr_outliers.sum()} ({iqr_outliers.sum()/len(data)*100:.0f}%)', 
                      transform=axes[row, 0].transAxes, va='top', fontsize=10,
                      bbox=dict(boxstyle='round', facecolor='yellow', alpha=0.7))
    
    # Графік Z-score
    axes[row, 1].scatter(range(len(data)), data, c=['red' if o else 'green' for o in z_outliers], 
                         s=50, alpha=0.6, edgecolors='black', linewidths=0.5)
    axes[row, 1].axhline(mean + 3*std, color='red', linestyle='--', linewidth=1.5, label='±3σ межі')
    axes[row, 1].axhline(mean - 3*std, color='red', linestyle='--', linewidth=1.5)
    axes[row, 1].set_title(f'{title} — Метод Z-score', fontweight='bold')
    axes[row, 1].set_ylabel('Значення')
    axes[row, 1].legend()
    axes[row, 1].grid(alpha=0.3)
    axes[row, 1].text(0.02, 0.98, f'Викидів: {z_outliers.sum()} ({z_outliers.sum()/len(data)*100:.0f}%)', 
                      transform=axes[row, 1].transAxes, va='top', fontsize=10,
                      bbox=dict(boxstyle='round', facecolor='yellow', alpha=0.7))

plt.tight_layout()
plt.show()

print("📊 Висновки порівняння:\n")
print("  IQR (Міжквартильний розмах):")
print("    ✅ Робастний — не залежить від викидів")
print("    ✅ Працює для будь-яких розподілів")
print("    ✅ Візуалізація через box plot")
print("    ❌ Може виявити більше 'хибних' викидів у довгих хвостах\n")
print("  Z-Score (Стандартизація):")
print("    ✅ Інтуїтивний (скільки σ від середнього)")
print("    ✅ Підходить для нормальних розподілів")
print("    ❌ Не робастний — залежить від викидів")
print("    ❌ Не підходить для скошених розподілів")

import numpy as np
import matplotlib.pyplot as plt
from sklearn.linear_model import LinearRegression
from sklearn.tree import DecisionTreeRegressor

rng = np.random.default_rng(seed=42)

# Генеруємо дані для регресії
X_clean = np.linspace(0, 10, 50).reshape(-1, 1)
y_clean = 2 * X_clean.ravel() + 3 + rng.normal(0, 1, 50)

# Додаємо 3 викиди
X_outliers = np.array([[2], [5], [8]])
y_outliers = np.array([20, 22, 24])

X_with_outliers = np.vstack([X_clean, X_outliers])
y_with_outliers = np.hstack([y_clean, y_outliers])

# Тренуємо моделі
lr_clean = LinearRegression().fit(X_clean, y_clean)
lr_outliers = LinearRegression().fit(X_with_outliers, y_with_outliers)

tree_clean = DecisionTreeRegressor(max_depth=3, random_state=42).fit(X_clean, y_clean)
tree_outliers = DecisionTreeRegressor(max_depth=3, random_state=42).fit(X_with_outliers, y_with_outliers)

# Передбачення
X_test = np.linspace(0, 10, 100).reshape(-1, 1)
y_lr_clean = lr_clean.predict(X_test)
y_lr_outliers = lr_outliers.predict(X_test)
y_tree_clean = tree_clean.predict(X_test)
y_tree_outliers = tree_outliers.predict(X_test)

# Візуалізація
fig, (ax1, ax2) = plt.subplots(1, 2, figsize=(14, 5))

# Лінійна регресія
ax1.scatter(X_clean, y_clean, c='green', alpha=0.6, s=50, edgecolors='black', linewidths=0.5, label='Чисті дані')
ax1.scatter(X_outliers, y_outliers, c='red', s=150, marker='^', edgecolors='black', linewidths=1, label='Викиди')
ax1.plot(X_test, y_lr_clean, 'b-', linewidth=2, label='Модель (без викидів)')
ax1.plot(X_test, y_lr_outliers, 'r--', linewidth=2, label='Модель (з викидами)')
ax1.set_xlabel('X', fontsize=12)
ax1.set_ylabel('Y', fontsize=12)
ax1.set_title('Лінійна регресія: ЧУТЛИВА до викидів', fontweight='bold')
ax1.legend()
ax1.grid(alpha=0.3)

# Дерево рішень
ax2.scatter(X_clean, y_clean, c='green', alpha=0.6, s=50, edgecolors='black', linewidths=0.5, label='Чисті дані')
ax2.scatter(X_outliers, y_outliers, c='red', s=150, marker='^', edgecolors='black', linewidths=1, label='Викиди')
ax2.plot(X_test, y_tree_clean, 'b-', linewidth=2, label='Модель (без викидів)')
ax2.plot(X_test, y_tree_outliers, 'r--', linewidth=2, label='Модель (з викидами)')
ax2.set_xlabel('X', fontsize=12)
ax2.set_ylabel('Y', fontsize=12)
ax2.set_title('Дерево рішень: РОБАСТНЕ до викидів', fontweight='bold')
ax2.legend()
ax2.grid(alpha=0.3)

plt.tight_layout()
plt.show()

print("📊 Вплив викидів на моделі:\n")
print("  Лінійна регресія:")
print("    ❌ Викиди драматично змінили нахил лінії")
print("    ❌ Модель намагається 'підлаштуватися' під викиди")
print("    ❌ Погіршилася якість передбачень для основної маси даних\n")
print("  Дерево рішень:")
print("    ✅ Модель майже не змінилася")
print("    ✅ Викиди потрапили в окремі листи дерева")
print("    ✅ Не впливають на передбачення для основної маси даних")