모의고사_1회.ipynb

{
  "nbformat": 4,
  "nbformat_minor": 0,
  "metadata": {
    "colab": {
      "provenance": [],
      "authorship_tag": "ABX9TyP8aRUUIlURCRqolibM0y6y",
      "include_colab_link": true
    },
    "kernelspec": {
      "name": "python3",
      "display_name": "Python 3"
    },
    "language_info": {
      "name": "python"
    }
  },
  "cells": [
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "view-in-github",
        "colab_type": "text"
      },
      "source": [
        "<a href=\"https://colab.research.google.com/github/esay2077/bigdata_analysis/blob/main/%EB%AA%A8%EC%9D%98%EA%B3%A0%EC%82%AC_1%ED%9A%8C.ipynb\" target=\"_parent\"><img src=\"https://colab.research.google.com/assets/colab-badge.svg\" alt=\"Open In Colab\"/></a>"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": 13,
      "metadata": {
        "id": "Y0JshcPgGgF2"
      },
      "outputs": [],
      "source": [
        "# 제 1 유형\n",
        "# 1. airquality 데이터 결측치 0으로 대치 / 대치 전후 평균 차이\n",
        "# 2. Wind 변수 Min-Max 정규화 평균값, z-정규화 평균값 차이\n",
        "# 3. 월별(5~9) 평균 기온\n",
        "\n",
        "import pandas as pd\n",
        "import numpy as np\n",
        "\n",
        "df = pd.read_csv(\"/content/airquality.csv\")"
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "# 1. airquality 데이터 변수 중 가장 큰 결측치 0으로 대치 / 대치 전후 평균 차이\n",
        "df\n",
        "df.info() # Ozone, Solar.R  결측치 확인 ->  Ozone\n",
        "\n",
        "Ozone_mean = df['Ozone'].mean()\n",
        "df['Ozone'].fillna(0, inplace = True)\n",
        "Ozone_mean2 = df['Ozone'].mean()\n",
        "\n",
        "print('대치전',Ozone_mean)\n",
        "print('대치후',Ozone_mean2)\n",
        "print('대치 평균 차이',Ozone_mean - Ozone_mean2)\n"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "2xJ_jOWbHMhl",
        "outputId": "826cad56-7bf1-45f0-aa45-605dcca7681a"
      },
      "execution_count": 14,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "<class 'pandas.core.frame.DataFrame'>\n",
            "RangeIndex: 153 entries, 0 to 152\n",
            "Data columns (total 6 columns):\n",
            " #   Column   Non-Null Count  Dtype  \n",
            "---  ------   --------------  -----  \n",
            " 0   Ozone    116 non-null    float64\n",
            " 1   Solar.R  146 non-null    float64\n",
            " 2   Wind     153 non-null    float64\n",
            " 3   Temp     153 non-null    int64  \n",
            " 4   Month    153 non-null    int64  \n",
            " 5   Day      153 non-null    int64  \n",
            "dtypes: float64(3), int64(3)\n",
            "memory usage: 7.3 KB\n",
            "대치전 42.12931034482759\n",
            "대치후 31.941176470588236\n",
            "대치 평균 차이 10.188133874239352\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "# 2. Wind 변수 Min-Max 정규화 평균값, z-정규화 평균값 차이\n",
        "\n",
        "Min = np.min(df['Wind'])\n",
        "Max = np.max(df['Wind'])\n",
        "df['min-max'] = round((df['Wind']-Min)/(Max-Min),2) # Min-Max 정규화\n",
        "minmax = np.mean(df['min-max']) # Min-Max 정규화 평균값\n",
        "\n",
        "mean = np.mean(df['Wind'])\n",
        "std = np.std(df['Wind'])\n",
        "df['z'] = round((df['Wind']-mean)/std,2) # z-정규화\n",
        "z = np.mean(df['z']) # z-정규화 평균값\n",
        "\n",
        "df.describe()\n",
        "print(minmax - z)"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "0mkkdqLVHFBH",
        "outputId": "39e45413-4660-4f77-c166-64c5a2b08c90"
      },
      "execution_count": 18,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "0.4333986928104576\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "# 3. 월별(5~9) 평균 기온\n",
        "print(df.groupby('Month')['Temp'].mean())\n"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "UdYvJa1WHFEK",
        "outputId": "393031b6-f965-450e-ba45-6795dc94a430"
      },
      "execution_count": 19,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "Month\n",
            "5    65.548387\n",
            "6    79.100000\n",
            "7    83.903226\n",
            "8    83.967742\n",
            "9    76.900000\n",
            "Name: Temp, dtype: float64\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "# 제 2 유형\n",
        "# 은행 고객 5000명\n",
        "# 금융정보에 따른 대출여부 분류하는 가장 최적이웃의 크기값(k)\n",
        "# 분류정확도 산출\n",
        "# 참조 데이터 7:3의 비율 /normalizer 스케일링\n",
        "# z값 산출 정규화\n",
        "# knn(k-nearest neighbor) 사용\n",
        "\n",
        "import numpy as np\n",
        "import pandas as pg\n",
        "import sklearn\n",
        "\n",
        "from sklearn.model_selection import train_test_split\n",
        "\n",
        "df = pd.read_csv('/content/Bank_Personal_Loan_Modeling.csv')\n",
        "\n",
        "df1 = df.dropna().drop(['ID','ZIP Code'],axis =1,inplace = False)\n",
        "# 데이터셋\n",
        "x = df1.drop(['Personal Loan'],axis = 1)\n",
        "y = df1['Personal Loan']\n",
        "\n",
        "# 데이터 전처리\n",
        "x_train, x_test, y_train, y_test = train_test_split(x, y,stratify=y, train_size=0.7, test_size=0.3, random_state=1234)\n",
        "\n",
        "import sklearn.preprocessing as preprocessing\n",
        "\n",
        "preprocessor = preprocessing.Normalizer()\n",
        "\n",
        "x_train = preprocessor.fit_transform(x_train)\n",
        "x_test = preprocessor.transform(x_test)\n",
        "\n",
        "# 모델 생성\n",
        "\n",
        "from sklearn import metrics\n",
        "from sklearn.metrics import confusion_matrix\n",
        "from sklearn.metrics import accuracy_score\n",
        "from sklearn.neighbors import KNeighborsClassifier\n",
        "\n",
        "train_acc = []\n",
        "test_acc = []\n",
        "\n",
        "setting = range(1,25)\n",
        "\n",
        "for n_neighbors in setting :\n",
        "    clf = KNeighborsClassifier(n_neighbors = n_neighbors)\n",
        "    clf.fit(x_train, y_train)\n",
        "\n",
        "\n",
        "    train_acc.append(clf.score(x_train,y_train))\n",
        "\n",
        "    test_acc.append(clf.score(x_test,y_test))\n",
        "\n",
        "test_acc\n"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "uYbuaTm3GjTC",
        "outputId": "280c62f9-4590-45fd-ac8c-8b3d8b9afde4"
      },
      "execution_count": 60,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "[0.9213333333333333,\n",
              " 0.9213333333333333,\n",
              " 0.9246666666666666,\n",
              " 0.92,\n",
              " 0.926,\n",
              " 0.916,\n",
              " 0.9166666666666666,\n",
              " 0.9173333333333333,\n",
              " 0.9166666666666666,\n",
              " 0.918,\n",
              " 0.916,\n",
              " 0.914,\n",
              " 0.914,\n",
              " 0.91,\n",
              " 0.914,\n",
              " 0.9093333333333333,\n",
              " 0.91,\n",
              " 0.908,\n",
              " 0.908,\n",
              " 0.9093333333333333,\n",
              " 0.9093333333333333,\n",
              " 0.9073333333333333,\n",
              " 0.9073333333333333,\n",
              " 0.9086666666666666]"
            ]
          },
          "metadata": {},
          "execution_count": 60
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "# 제 3 유형\n",
        "# 측정한 온도 평균값가 77도 일치하는지 t-검정\n",
        "# 1. 표본 평균 x (소수점 둘째자리 반올림)\n",
        "# 2. 가설검정 검정통계량 (소수점 둘째자리 반올림)\n",
        "# 3. 통계량 p-value값 (소수점 둘째자리 반올림) / 유의수준 0.05 채택 기각 결과\n",
        "import pandas as pd\n",
        "import scipy.stats as stats\n",
        "\n",
        "df= pd.read_csv('/content/airquality.csv')\n"
      ],
      "metadata": {
        "id": "n17YcAzlGjVe"
      },
      "execution_count": 61,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "# 1. 표본 평균 x (소수점 둘째자리 반올림)\n",
        "x = df['Temp'].mean()\n",
        "print(round(x,2))"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "BH2OTOQfGjYB",
        "outputId": "68f28bc2-dbd5-4b3d-cec8-13d7478e49d5"
      },
      "execution_count": 62,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "77.88\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "# 2. 가설검정 검정통계량 (소수점 둘째자리 반올림)\n",
        "t_score, p_value = stats.ttest_1samp(df['Temp'],77)\n",
        "print(round(t_score,2))\n",
        "print(round(p_value,4))\n"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "lD7feIkiIYEJ",
        "outputId": "7b679caf-a36e-4673-eb85-827178465346"
      },
      "execution_count": 66,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "1.15\n",
            "0.2507\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "# 3. 통계량 p-value값 (소수점 둘째자리 반올림) / 유의수준 0.05 채택 기각 결과\n",
        "\n",
        "pv = round(p_value,4)\n",
        "print(pv)\n",
        "\n",
        "if pv < 0.05:\n",
        "    print('귀무 기각')\n",
        "else:\n",
        "    print('귀무 채택')"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "URurKKUaGjbd",
        "outputId": "babe1f49-3f43-4838-844f-171dbda6c617"
      },
      "execution_count": 68,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "0.2507\n",
            "채택\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [],
      "metadata": {
        "id": "XP86lF7AhTE1"
      },
      "execution_count": null,
      "outputs": []
    }
  ]
}