lab13.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Laboratorium 9"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 0. Wczytanie danych\n",
    "Używając metody `load_svmlight_file` z modułu `sklearn` załaduj plik `lab13_files/breast_cancer`, który składa się z 2 elementów: macierzy `X` o wymiarach `683 x 10` oraz wektora `y` o dlugosci `683`. Macierz `X` opisuje badania 683 pacjentow, a wektor `y` ich diagnozy. "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "from sklearn.datasets import load_svmlight_file\n",
    "\n",
    "X, y = load_svmlight_file('lab13_files/breast-cancer')\n",
    "X = X.toarray()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 1. Preprocessing\n",
    "1.1 Korzystajac z `numpy.where` przenumeruj wektor y, tzn zamień wartości 2 i 4 na -1 i +1. \n",
    "\n",
    "1.2 Przeskaluj macierz X, tak żeby wartości w każdej kolumnie mieściły się w zakresie [0,1], innymi słowy przeskaluj niezależnie każdą kolumne $X_j$ wg wzoru:\n",
    "\n",
    "\n",
    "$$\n",
    "X_j = \\frac{X_j-\\min(X_j)}{\\max(X_j)-\\min(X_j)}\n",
    "$$"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "import numpy as np"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 2. Wizualizacja\n",
    "Narysuj dane używajac biblioteki `matplotlib`. Użyj wymiarów 1 i 2 z macierzy X, a jako kolory użyj wektora y. Pobaw sie parametrami \"s\" oraz \"alpha\" metody `plt.scatter` żeby uzyskać czytelną wizualizacje, np. taką jak poniżej."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<img src=\"lab13_files/d.png\">"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "%matplotlib inline\n",
    "import matplotlib.pyplot as plt"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 3. Regresja \n",
    "\n",
    "Przeprowadź regresje liniową wg wzoru:\n",
    "$$\n",
    "\\beta = (X^TX)^{-1}X^Ty\n",
    "$$"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 4. Wizualizacja Regresji\n",
    "\n",
    "Zwizualizuj dane po zrzutowaniu na $\\beta$ używajac metody `plt.hist`, tzn. narysuj histogramy $\\beta X_+$ oraz\n",
    "$\\beta X_-$ gdzie $X_+$ to wiersze $X$ dla których $y=+1$ i analogicznie $X_-$. Postaraj się wygenerować czytelny wykres podobny do tego poniżej."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<img src=\"lab13_files/lr1.png\">"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 5. Klasyfikacja\n",
    "\n",
    "Przeprowadź \"klasyfikacje\" naszych pacjentów, ci, którzy zostali zrzutowani na wartość ujemną dostają etykiete $-1$, a ci którzy na wartość dodatnia - etykiete $+1$"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 6. Ewaluacja\n",
    "\n",
    "Policz jak dokładny jest ten model, tzn. jak duży jest zbiór\n",
    "$ \\{ (x_i,y_i) : \\mathrm{sign}(\\beta x_i) = y_i \\} $\n",
    "w stosunku do rozmiaru całego $y$\n",
    "\n",
    "Powinno udać się uzyskać wynik na poziomie 93-94%"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 7. Regularyzacja \n",
    "Dodaj parametr `C` do regresji liniowej\n",
    "$$\n",
    "\\beta = (X^TX + \\tfrac{1}{C}I)^{-1}X^Ty\n",
    "$$\n",
    "\n",
    "gdzie $I$ - macierz identyczności. \n",
    "\n",
    "Dla jakiej wartości `C` wynik jest najlepszy? Jaki wynik udało Ci sie uzyskać?"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 8. Gratulacje\n",
    "Właśnie stworzyłeś/-aś swój pierwszy klasyfikator (statystyczny model predykcji). \n",
    "\n",
    "Spróbuj zastosować go do innych danych."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Zadanie dodatkowe\n",
    "\n",
    "Zaimplementuj powyższą metode jako klase `LRClassifier` wyposażoną w następujące metody:\n",
    "\n",
    "* konstruktor przyjmujący dwa parametry: \n",
    "    * `C` - stała z równania \n",
    "    * `scale` - zmienna boolowska (domyslnie `True`) która określa czy macierz `X` ma byc automatycznie znormalizowana (przeskalowana do `[0,1]`)\n",
    "* `.fit(X, y)` która spowoduje obliczenie $\\beta$, dla `X` - dowolnej macierzy, `y` - wektora etykiet skladajacego sie z dwóch unikalnych wartosci (mogą to byc np. 2 różne stringi)\n",
    "* `.predict(X)`, która zwróci wektor zawierajacy na `i`tej pozycji etykiete \"przewidzianą\" przez nasz model (pamiętaj o skalowaniu jesli `scale==True`!)\n",
    "\n",
    "Przykladowe użycie:\n",
    "\n",
    "    clf = LRClassifier(C=100)\n",
    "    Xt = np.array([[1, 0], [1, 1], [1, 2], [1, 3], [1, 4]])\n",
    "    yt = np.array(['x', 'x', 'y', 'y', 'y'])\n",
    "    clf.fit(Xt, yt)\n",
    "    X = np.array([[1, -1], [1, 0.9], [1, 2.1]])\n",
    "    print(clf.predict(X)) # ['x', 'x', 'y']"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.4"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 1
}