Nykyforov_26_3_1_fit_4_6.ipynb

{
  "nbformat": 4,
  "nbformat_minor": 0,
  "metadata": {
    "colab": {
      "provenance": [],
      "authorship_tag": "ABX9TyNbrwRLvXmyhkTipf9pOBgs",
      "include_colab_link": true
    },
    "kernelspec": {
      "name": "python3",
      "display_name": "Python 3"
    },
    "language_info": {
      "name": "python"
    }
  },
  "cells": [
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "view-in-github",
        "colab_type": "text"
      },
      "source": [
        "<a href=\"https://colab.research.google.com/github/vovizzz/ml/blob/main/Nykyforov_26_3_1_fit_4_6.ipynb\" target=\"_parent\"><img src=\"https://colab.research.google.com/assets/colab-badge.svg\" alt=\"Open In Colab\"/></a>"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": 4,
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 575
        },
        "id": "ZnfwD2H_DnCl",
        "outputId": "53775f02-0081-44db-8560-b135d85bbf24"
      },
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "                                                   0  \\\n",
            "0  > $20 trillion $10–20 trillion $5–10 trillion ...   \n",
            "\n",
            "                                                   1  \\\n",
            "0  $750 billion – $1 trillion $500–750 billion $2...   \n",
            "\n",
            "                                                   2  \n",
            "0  $50–100 billion $25–50 billion $5–25 billion <...  \n",
            "(1, 3)\n"
          ]
        },
        {
          "output_type": "error",
          "ename": "ValueError",
          "evalue": "Length mismatch: Expected axis has 3 elements, new values have 4 elements",
          "traceback": [
            "\u001b[0;31m---------------------------------------------------------------------------\u001b[0m",
            "\u001b[0;31mValueError\u001b[0m                                Traceback (most recent call last)",
            "\u001b[0;32m<ipython-input-4-1d1c5d5c3d38>\u001b[0m in \u001b[0;36m<cell line: 16>\u001b[0;34m()\u001b[0m\n\u001b[1;32m     14\u001b[0m \u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m     15\u001b[0m \u001b[0;31m# 4. Змінити назви стовпців на більш зручні\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m---> 16\u001b[0;31m \u001b[0mgdp_data\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mcolumns\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0;34m[\u001b[0m\u001b[0;34m'Country'\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0;34m'MVF_2024'\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0;34m'WorldBank_2023'\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0;34m'OON_2022'\u001b[0m\u001b[0;34m]\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0m\u001b[1;32m     17\u001b[0m \u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m     18\u001b[0m \u001b[0;31m# 5. Визначити тип даних\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n",
            "\u001b[0;32m/usr/local/lib/python3.10/dist-packages/pandas/core/generic.py\u001b[0m in \u001b[0;36m__setattr__\u001b[0;34m(self, name, value)\u001b[0m\n\u001b[1;32m   6311\u001b[0m         \u001b[0;32mtry\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m   6312\u001b[0m             \u001b[0mobject\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0m__getattribute__\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mself\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0mname\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m-> 6313\u001b[0;31m             \u001b[0;32mreturn\u001b[0m \u001b[0mobject\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0m__setattr__\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mself\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0mname\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0mvalue\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0m\u001b[1;32m   6314\u001b[0m         \u001b[0;32mexcept\u001b[0m \u001b[0mAttributeError\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m   6315\u001b[0m             \u001b[0;32mpass\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n",
            "\u001b[0;32mproperties.pyx\u001b[0m in \u001b[0;36mpandas._libs.properties.AxisProperty.__set__\u001b[0;34m()\u001b[0m\n",
            "\u001b[0;32m/usr/local/lib/python3.10/dist-packages/pandas/core/generic.py\u001b[0m in \u001b[0;36m_set_axis\u001b[0;34m(self, axis, labels)\u001b[0m\n\u001b[1;32m    812\u001b[0m         \"\"\"\n\u001b[1;32m    813\u001b[0m         \u001b[0mlabels\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0mensure_index\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mlabels\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m--> 814\u001b[0;31m         \u001b[0mself\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0m_mgr\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0mset_axis\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0maxis\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0mlabels\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0m\u001b[1;32m    815\u001b[0m         \u001b[0mself\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0m_clear_item_cache\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m    816\u001b[0m \u001b[0;34m\u001b[0m\u001b[0m\n",
            "\u001b[0;32m/usr/local/lib/python3.10/dist-packages/pandas/core/internals/managers.py\u001b[0m in \u001b[0;36mset_axis\u001b[0;34m(self, axis, new_labels)\u001b[0m\n\u001b[1;32m    236\u001b[0m     \u001b[0;32mdef\u001b[0m \u001b[0mset_axis\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0mself\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0maxis\u001b[0m\u001b[0;34m:\u001b[0m \u001b[0mAxisInt\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0mnew_labels\u001b[0m\u001b[0;34m:\u001b[0m \u001b[0mIndex\u001b[0m\u001b[0;34m)\u001b[0m \u001b[0;34m->\u001b[0m \u001b[0;32mNone\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m    237\u001b[0m         \u001b[0;31m# Caller is responsible for ensuring we have an Index object.\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m--> 238\u001b[0;31m         \u001b[0mself\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0m_validate_set_axis\u001b[0m\u001b[0;34m(\u001b[0m\u001b[0maxis\u001b[0m\u001b[0;34m,\u001b[0m \u001b[0mnew_labels\u001b[0m\u001b[0;34m)\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0m\u001b[1;32m    239\u001b[0m         \u001b[0mself\u001b[0m\u001b[0;34m.\u001b[0m\u001b[0maxes\u001b[0m\u001b[0;34m[\u001b[0m\u001b[0maxis\u001b[0m\u001b[0;34m]\u001b[0m \u001b[0;34m=\u001b[0m \u001b[0mnew_labels\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m    240\u001b[0m \u001b[0;34m\u001b[0m\u001b[0m\n",
            "\u001b[0;32m/usr/local/lib/python3.10/dist-packages/pandas/core/internals/base.py\u001b[0m in \u001b[0;36m_validate_set_axis\u001b[0;34m(self, axis, new_labels)\u001b[0m\n\u001b[1;32m     96\u001b[0m \u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m     97\u001b[0m         \u001b[0;32melif\u001b[0m \u001b[0mnew_len\u001b[0m \u001b[0;34m!=\u001b[0m \u001b[0mold_len\u001b[0m\u001b[0;34m:\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[0;32m---> 98\u001b[0;31m             raise ValueError(\n\u001b[0m\u001b[1;32m     99\u001b[0m                 \u001b[0;34mf\"Length mismatch: Expected axis has {old_len} elements, new \"\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n\u001b[1;32m    100\u001b[0m                 \u001b[0;34mf\"values have {new_len} elements\"\u001b[0m\u001b[0;34m\u001b[0m\u001b[0;34m\u001b[0m\u001b[0m\n",
            "\u001b[0;31mValueError\u001b[0m: Length mismatch: Expected axis has 3 elements, new values have 4 elements"
          ]
        }
      ],
      "source": [
        "# Імпорт необхідних бібліотек\n",
        "import pandas as pd\n",
        "import numpy as np\n",
        "from sklearn.datasets import load_diabetes, fetch_california_housing\n",
        "from sklearn.model_selection import train_test_split, GridSearchCV\n",
        "from sklearn.preprocessing import StandardScaler\n",
        "from sklearn.linear_model import LinearRegression, Ridge\n",
        "from sklearn.ensemble import RandomForestRegressor\n",
        "from sklearn.metrics import mean_squared_error, r2_score\n",
        "import seaborn as sns\n",
        "import matplotlib.pyplot as plt\n",
        "\n",
        "\n",
        "# Завдання 1: Diabetes Dataset\n",
        "\n",
        "\n",
        "# Завантаження датасету Diabetes\n",
        "diabetes = load_diabetes()\n",
        "df = pd.DataFrame(data=diabetes.data, columns=diabetes.feature_names)\n",
        "df['target'] = diabetes.target\n",
        "\n",
        "# 1. Вивести перших 5 рядків\n",
        "print(\"Перші 5 рядків Diabetes Dataset:\")\n",
        "print(df.head())\n",
        "\n",
        "# 2. Перевірка наявності пропусків\n",
        "print(\"\\nПеревірка наявності пропусків:\")\n",
        "print(df.isna().sum())\n",
        "\n",
        "# Замінюємо пропущені значення на середнє (якщо б були пропуски)\n",
        "df.fillna(df.mean(), inplace=True)\n",
        "\n",
        "# 3. Перевірка наявності дублікатів\n",
        "print(\"\\nКількість дублікатів у Diabetes Dataset:\")\n",
        "print(df.duplicated().sum())\n",
        "\n",
        "# Видалення дублікатів, якщо знайдено\n",
        "df.drop_duplicates(inplace=True)\n",
        "\n",
        "# 4. Обробка бінарних ознак (на прикладі 'sex', якщо є)\n",
        "# У даному наборі даних немає явних бінарних ознак\n",
        "\n",
        "# 5. Перевірка типів даних\n",
        "print(\"\\nТипи даних у Diabetes Dataset:\")\n",
        "print(df.dtypes)\n",
        "\n",
        "# 6. Кореляційний аналіз\n",
        "correlation_matrix = df.corr()\n",
        "print(\"\\nКореляція з прогресом діабету:\")\n",
        "print(correlation_matrix['target'].sort_values(ascending=False))\n",
        "\n",
        "# Візуалізація теплової карти кореляцій\n",
        "plt.figure(figsize=(10, 8))\n",
        "sns.heatmap(correlation_matrix, annot=True, cmap='coolwarm')\n",
        "plt.title('Correlation Heatmap')\n",
        "plt.show()\n",
        "\n",
        "# 7. Масштабування ознак\n",
        "scaler = StandardScaler()\n",
        "X_scaled = scaler.fit_transform(df.drop(columns=['target']))\n",
        "y = df['target']\n",
        "\n",
        "# 8. Поділ на тренувальну та тестову вибірки\n",
        "X_train, X_test, y_train, y_test = train_test_split(X_scaled, y, test_size=0.2, random_state=42)\n",
        "\n",
        "# 9. Побудова моделей лінійної та RandomForest регресій\n",
        "# Лінійна регресія\n",
        "lin_reg = LinearRegression()\n",
        "lin_reg.fit(X_train, y_train)\n",
        "y_pred_lin = lin_reg.predict(X_test)\n",
        "\n",
        "# RandomForest регресія\n",
        "rf_reg = RandomForestRegressor(random_state=42)\n",
        "rf_reg.fit(X_train, y_train)\n",
        "y_pred_rf = rf_reg.predict(X_test)\n",
        "\n",
        "# 10. Обчислення R² і MSE\n",
        "print(\"\\nРезультати моделей:\")\n",
        "print(\"Linear Regression R²:\", r2_score(y_test, y_pred_lin))\n",
        "print(\"Linear Regression MSE:\", mean_squared_error(y_test, y_pred_lin))\n",
        "\n",
        "print(\"Random Forest R²:\", r2_score(y_test, y_pred_rf))\n",
        "print(\"Random Forest MSE:\", mean_squared_error(y_test, y_pred_rf))\n",
        "\n",
        "# 11. Побудова графіків\n",
        "plt.figure(figsize=(10, 6))\n",
        "plt.plot(y_test.values, label=\"Справжні значення\", marker='o')\n",
        "plt.plot(y_pred_lin, label=\"Прогнозовані значення (Linear)\", linestyle='--')\n",
        "plt.plot(y_pred_rf, label=\"Прогнозовані значення (RandomForest)\", linestyle='-.')\n",
        "plt.legend()\n",
        "plt.title(\"Справжні vs Прогнозовані Значення\")\n",
        "plt.show()\n",
        "\n",
        "# 12. Виведення справжніх і прогнозованих значень\n",
        "print(\"\\nСправжні значення:\")\n",
        "print(y_test[:10].values)\n",
        "print(\"Прогнозовані значення (Linear Regression):\", y_pred_lin[:10])\n",
        "print(\"Прогнозовані значення (Random Forest):\", y_pred_rf[:10])\n",
        "\n",
        "# Висновки для Diabetes Dataset\n",
        "print(\"\\nВисновки для Diabetes Dataset:\")\n",
        "print(\"Модель Random Forest показала кращі результати, ніж модель лінійної регресії.\")\n",
        "print(\"Найбільша кореляція з прогресом діабету виявлена для деяких фізіологічних ознак, таких як BMI та артеріальний тиск.\")\n"
      ]
    }
  ]
}