Exploratory Data Analysis датасету Housing Prices

# Перші 5 рядків
df.head()

# Детальна інформація про датасет
df.info()

# Статистика для числових стовпців
df.describe()

# Підрахунок пропусків для кожного стовпця
missing = df.isnull().sum()
missing = missing[missing > 0].sort_values(ascending=False)

# Відсоток пропусків
missing_percent = (missing / len(df)) * 100

# Об'єднати в DataFrame
missing_df = pd.DataFrame({
    'Стовпець': missing.index,
    'Пропусків': missing.values,
    'Відсоток': missing_percent.values
})

print(f"Стовпців з пропусками: {len(missing_df)}\n")
print(missing_df.head(10))

# Графік пропусків
plt.figure(figsize=(12, 6))
plt.barh(range(len(missing_df)), missing_df['Відсоток'], color='coral', edgecolor='black')
plt.yticks(range(len(missing_df)), missing_df['Стовпець'])
plt.xlabel('Відсоток пропусків (%)', fontsize=12)
plt.title('Топ-19 стовпців з пропусками', fontsize=14, fontweight='bold')
plt.axvline(50, color='red', linestyle='--', linewidth=2, label='50% поріг')
plt.legend()
plt.gca().invert_yaxis()
plt.grid(axis='x', alpha=0.3)
plt.tight_layout()
plt.show()

# Базова статистика
print("Статистика SalePrice:")
print(f"  Середня:  ${df['SalePrice'].mean():,.0f}")
print(f"  Медіана:  ${df['SalePrice'].median():,.0f}")
print(f"  Мінімум:  ${df['SalePrice'].min():,.0f}")
print(f"  Максимум: ${df['SalePrice'].max():,.0f}")
print(f"  Std:      ${df['SalePrice'].std():,.0f}")

# Skewness (асиметрія)
skewness = df['SalePrice'].skew()
print(f"\nSkewness: {skewness:.4f}")
if skewness > 0.5:
    print("  → Розподіл скошений вправо (right-skewed)")
    print("  → Більшість будинків дешевші, є кілька дорогих")

# Гістограма
plt.figure(figsize=(12, 5))

plt.subplot(1, 2, 1)
plt.hist(df['SalePrice'], bins=50, color='skyblue', edgecolor='black', alpha=0.7)
plt.axvline(df['SalePrice'].mean(), color='red', linestyle='--', linewidth=2, 
            label=f'Середня: ${df["SalePrice"].mean():,.0f}')
plt.axvline(df['SalePrice'].median(), color='green', linestyle='--', linewidth=2,
            label=f'Медіана: ${df["SalePrice"].median():,.0f}')
plt.xlabel('Ціна ($)', fontsize=11)
plt.ylabel('Кількість будинків', fontsize=11)
plt.title('Розподіл цін на будинки', fontsize=13, fontweight='bold')
plt.legend()
plt.grid(alpha=0.3)

# Box plot для виявлення викидів
plt.subplot(1, 2, 2)
plt.boxplot(df['SalePrice'], vert=False, patch_artist=True,
            boxprops=dict(facecolor='lightgreen', alpha=0.7),
            medianprops=dict(color='red', linewidth=2))
plt.xlabel('Ціна ($)', fontsize=11)
plt.title('Box Plot — виявлення викидів', fontsize=13, fontweight='bold')
plt.grid(alpha=0.3)

plt.tight_layout()
plt.show()

# Обчислення кореляції з ціною
numeric_cols = df.select_dtypes(include=['int64', 'float64']).columns
correlations = df[numeric_cols].corr()['SalePrice'].sort_values(ascending=False)

print("Топ-10 ознак з найбільшою позитивною кореляцією:\n")
print(correlations.head(11))  # 11, бо перший — сама ціна (1.0)

print("\n\nТоп-5 ознак з найбільшою негативною кореляцією:\n")
print(correlations.tail(5))

# Візуалізація топ-10 кореляцій
top_corr = correlations[1:11]  # без SalePrice (1.0)

plt.figure(figsize=(10, 6))
colors = ['forestgreen' if x > 0.6 else 'orange' for x in top_corr.values]
plt.barh(range(len(top_corr)), top_corr.values, color=colors, edgecolor='black')
plt.yticks(range(len(top_corr)), top_corr.index)
plt.xlabel('Кореляція з SalePrice', fontsize=12)
plt.title('Топ-10 ознак за кореляцією з ціною', fontsize=14, fontweight='bold')
plt.axvline(0.5, color='red', linestyle='--', linewidth=1.5, alpha=0.7, label='Поріг 0.5')
plt.gca().invert_yaxis()
plt.legend()
plt.grid(axis='x', alpha=0.3)
plt.tight_layout()
plt.show()

# Топ-15 ознак за кореляцією з ціною + сама ціна
top_features = correlations[1:16].index.tolist() + ['SalePrice']
corr_matrix = df[top_features].corr()

# Побудова heatmap
plt.figure(figsize=(14, 12))
sns.heatmap(
    corr_matrix,
    annot=True,          # показувати числа
    fmt='.2f',           # формат: 2 знаки після коми
    cmap='coolwarm',     # колірна схема
    square=True,         # квадратні клітинки
    linewidths=0.5,      # лінії між клітинками
    cbar_kws={"shrink": 0.8},  # розмір колірної шкали
    vmin=-1, vmax=1      # діапазон від -1 до 1
)
plt.title('Кореляційна матриця топ-15 ознак', fontsize=15, fontweight='bold', pad=20)
plt.tight_layout()
plt.show()

# Топ-4 ознаки
top_4 = ['OverallQual', 'GrLivArea', 'GarageCars', 'TotalBsmtSF']

fig, axes = plt.subplots(2, 2, figsize=(14, 10))
axes = axes.flatten()

for i, col in enumerate(top_4):
    axes[i].scatter(df[col], df['SalePrice'], alpha=0.5, color='dodgerblue', edgecolor='black', s=30)
    axes[i].set_xlabel(col, fontsize=11)
    axes[i].set_ylabel('SalePrice ($)', fontsize=11)
    axes[i].set_title(f'{col} vs SalePrice (corr={correlations[col]:.3f})', 
                      fontsize=12, fontweight='bold')
    axes[i].grid(alpha=0.3, linestyle='--')

plt.suptitle('Scatter Plots: Топ-4 ознаки vs Ціна', fontsize=14, fontweight='bold', y=1.00)
plt.tight_layout()
plt.show()

# Box plots для ключових ознак + ціна
outlier_features = ['GrLivArea', 'TotalBsmtSF', 'LotArea', 'SalePrice']

fig, axes = plt.subplots(1, 4, figsize=(16, 4))

for i, col in enumerate(outlier_features):
    bp = axes[i].boxplot(df[col].dropna(), patch_artist=True,
                          boxprops=dict(facecolor='lightyellow', alpha=0.7),
                          medianprops=dict(color='red', linewidth=2),
                          whiskerprops=dict(linewidth=1.5),
                          capprops=dict(linewidth=1.5))
    axes[i].set_ylabel(col, fontsize=11)
    axes[i].set_title(f'{col}', fontsize=12, fontweight='bold')
    axes[i].grid(axis='y', alpha=0.3)

plt.suptitle('Box Plots — виявлення викидів', fontsize=14, fontweight='bold')
plt.tight_layout()
plt.show()

# Будинки з площею > 4000 кв. футів
outliers = df[df['GrLivArea'] > 4000][['GrLivArea', 'SalePrice', 'OverallQual', 'Neighborhood']]

print(f"Виявлено {len(outliers)} будинків-викидів (GrLivArea > 4000):\n")
print(outliers)

print("\nСередня ціна всіх будинків: $", df['SalePrice'].mean())
print("Ціна викидів: ", outliers['SalePrice'].values)