hw5_logit_rf_credit_scoring.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<center>\n",
    "<img src=\"../../img/ods_stickers.jpg\">\n",
    "## Открытый курс по машинному обучению\n",
    "</center>\n",
    "Авторы материала: Data Science интерн Ciklum, студент магистерской программы CSDS UCU Виталий Радченко, аналитик Вымпелком Саян Омаров"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# <center> Домашнее задание № 5\n",
    "## <center> Логистическая регрессия и случайный лес в задаче кредитного скоринга"
   ]
  },
  {
   "cell_type": "raw",
   "metadata": {},
   "source": [
    "#### Нашей главной задачей будет построение модели для задачи кредитного скоринга.\n",
    "\n",
    "Но для разминки решите первое задание :)\n",
    "\n",
    "**Задание 1** В зале суда есть 5 присяжных, каждый из них по отдельности с вероятностью 70% может правильно определить виновен подсудимый или нет. С какой вероятностью они все вместе вынесут правильный вердикт, если решение принимается большинством голосов?"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "83.7\n"
     ]
    }
   ],
   "source": [
    "import math\n",
    "def bernulli(p, amount, true_val):\n",
    "    prob = 0\n",
    "    for i in range(true_val, amount+1):\n",
    "        prob += math.pow(p, i) * math.pow(1-p, amount-i) * math.factorial(amount) / math.factorial(i) / math.factorial(amount - i)\n",
    "    return prob\n",
    "print(round(bernulli(0.7, 5, 3)*100, 1))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "- 70.00%\n",
    "- 83.20%\n",
    "- 83.70%\n",
    "- 87.50%\n",
    "\n",
    "Теперь перейдем непосредственно к машинному обучению.\n",
    "\n",
    "#### Данные представлены следующим образом:\n",
    "\n",
    "##### Прогнозируемая  переменная\n",
    "* SeriousDlqin2yrs\t     ----Человек не выплатил данный кредит в течение 90 дней; возможные значения  1/0 \n",
    "\n",
    "##### Независимые признаки\n",
    "* age\t                         ---- Возраст заёмщика кредитных средств; тип - integer\n",
    "* NumberOfTime30-59DaysPastDueNotWorse\t----Количество раз, когда человек имел просрочку выплаты других кредитов более 30-59 дней, но не больше в течение последних двух лет; тип -\tinteger\n",
    "* DebtRatio ----\tЕжемесячный отчисления на задолжености(кредиты,алименты и т.д.)  / совокупный месячный доход \tpercentage; тип -\treal\n",
    "* MonthlyIncome\t----Месячный доход в долларах; тип -\treal\n",
    "* NumberOfTimes90DaysLate ----Количество раз, когда человек имел просрочку выплаты других кредитов более 90 дней; тип -\tinteger\n",
    "* NumberOfTime60-89DaysPastDueNotWorse----\tКоличество раз, когда человек имел просрочку выплаты других кредитов более 60-89 дней, но не больше в течение последних двух лет; ; тип -\tinteger\n",
    "* NumberOfDependents ----Число человек в семье кредитозаёмщика; тип -\tinteger"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "%matplotlib inline\n",
    "import matplotlib.pyplot as plt\n",
    "import seaborn as sns\n",
    "# отключим предупреждения Anaconda\n",
    "import warnings\n",
    "warnings.filterwarnings('ignore')\n",
    "import pandas as pd\n",
    "import numpy as np"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "## Сделаем функцию, которая будет заменять NaN значения на медиану в каждом столбце таблицы \n",
    "def delete_nan(table):\n",
    "    for col in table.columns:\n",
    "        table[col]= table[col].fillna(table[col].median())\n",
    "    return table   "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>SeriousDlqin2yrs</th>\n",
       "      <th>age</th>\n",
       "      <th>NumberOfTime30-59DaysPastDueNotWorse</th>\n",
       "      <th>DebtRatio</th>\n",
       "      <th>NumberOfTimes90DaysLate</th>\n",
       "      <th>NumberOfTime60-89DaysPastDueNotWorse</th>\n",
       "      <th>MonthlyIncome</th>\n",
       "      <th>NumberOfDependents</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>0</td>\n",
       "      <td>64</td>\n",
       "      <td>0</td>\n",
       "      <td>0.249908</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>8158.0</td>\n",
       "      <td>0.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>0</td>\n",
       "      <td>58</td>\n",
       "      <td>0</td>\n",
       "      <td>3870.000000</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>0.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>0</td>\n",
       "      <td>41</td>\n",
       "      <td>0</td>\n",
       "      <td>0.456127</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>6666.0</td>\n",
       "      <td>0.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>0</td>\n",
       "      <td>43</td>\n",
       "      <td>0</td>\n",
       "      <td>0.000190</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>10500.0</td>\n",
       "      <td>2.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>1</td>\n",
       "      <td>49</td>\n",
       "      <td>0</td>\n",
       "      <td>0.271820</td>\n",
       "      <td>0</td>\n",
       "      <td>0</td>\n",
       "      <td>400.0</td>\n",
       "      <td>0.0</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "   SeriousDlqin2yrs  age  NumberOfTime30-59DaysPastDueNotWorse    DebtRatio  \\\n",
       "0                 0   64                                     0     0.249908   \n",
       "1                 0   58                                     0  3870.000000   \n",
       "2                 0   41                                     0     0.456127   \n",
       "3                 0   43                                     0     0.000190   \n",
       "4                 1   49                                     0     0.271820   \n",
       "\n",
       "   NumberOfTimes90DaysLate  NumberOfTime60-89DaysPastDueNotWorse  \\\n",
       "0                        0                                     0   \n",
       "1                        0                                     0   \n",
       "2                        0                                     0   \n",
       "3                        0                                     0   \n",
       "4                        0                                     0   \n",
       "\n",
       "   MonthlyIncome  NumberOfDependents  \n",
       "0         8158.0                 0.0  \n",
       "1            NaN                 0.0  \n",
       "2         6666.0                 0.0  \n",
       "3        10500.0                 2.0  \n",
       "4          400.0                 0.0  "
      ]
     },
     "execution_count": 5,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "## Считываем данные\n",
    "data = pd.read_csv('../../data/credit_scoring_sample.csv', sep =';')\n",
    "data.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "SeriousDlqin2yrs                          int64\n",
       "age                                       int64\n",
       "NumberOfTime30-59DaysPastDueNotWorse      int64\n",
       "DebtRatio                               float64\n",
       "NumberOfTimes90DaysLate                   int64\n",
       "NumberOfTime60-89DaysPastDueNotWorse      int64\n",
       "MonthlyIncome                           float64\n",
       "NumberOfDependents                      float64\n",
       "dtype: object"
      ]
     },
     "execution_count": 6,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "## Рассмотрим типы считанных данных\n",
    "data.dtypes"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Distribution of target\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "0    0.777511\n",
       "1    0.222489\n",
       "Name: SeriousDlqin2yrs, dtype: float64"
      ]
     },
     "execution_count": 7,
     "metadata": {},
     "output_type": "execute_result"
    },
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAe8AAAFnCAYAAACPasF4AAAABHNCSVQICAgIfAhkiAAAAAlwSFlz\nAAALEgAACxIB0t1+/AAAIABJREFUeJzt3Xl8VPW9//H3ZANCAhKYoIJWpGwGSYlgi0FZTGjY1FqQ\nsKuIRQTBmsuaS1gMAaRU2XqBAgqyRDBaa5GAshQhQBHEkMqlIAJhSSYEAoGQ9fz+4MdcIpM4LENy\nZl7Px8PH45w52+czX/U955zJHIthGIYAAIBpeFV0AQAA4OYQ3gAAmAzhDQCAyRDeAACYDOENAIDJ\nEN4AAJgM4Q24WFxcnKKiohQVFaWQkBB16NDBPp+bm+vy4x85ckR79uxxat0mTZrozJkzWr9+vWJj\nY295v/v27dPgwYMlSTExMVq4cOHNFS3po48+kiQVFxcrKipK2dnZN70PwF35VHQBgLubNGmSfbpj\nx46aMWOGWrVqddeOn5ycLB8fn5s65rUPF7e635YtW2rRokU3Xes1Z86c0ZIlS/TCCy/I29tb69ev\nv+V9Ae6IM2+ggh05ckTR0dHq3LmzOnXqpHXr1kmSioqK1KRJEy1YsEC//e1vJUlbtmzRU089pS5d\numjNmjUKDQ3VmTNnJEkrV65UVFSUOnbsqJiYGOXn52vjxo1avHixli5dqhkzZtxw7M2bNysiIkJd\nunTR0qVL7a+vWbNGgwYNkiSlpKToueeeU5cuXdS5c2dt2LDhhv3u2LFDffr00fDhwzVq1Cjt2LGj\nVPifPn1affv2VYcOHTR8+HDl5eXZ+7PZbKX6tdlsio6OVnp6uqKiolRQUFBqvffff1+dO3dWVFSU\nXn/9dfsZeUxMjObOnasXX3xR7du316BBg3TlypU7PVxApUB4AxUsISFBkZGR+uKLLzRp0iSNHz9e\nxcXF9uVeXl5KTk5WYWGhxo4dq4SEBK1bt06HDx9Wfn6+JGnnzp2aP3++li9frq+++kpVqlTRnDlz\nFBkZqQ4dOuill17SqFGjSh23sLBQsbGxmjJlitatW6eioiKH9U2fPl3//d//rXXr1mnevHnasGGD\nw/0eOHBAAwYMcPghYdu2bZo7d642btwom82mpKSkct+TqVOnqn79+lq/fr28vP7vf1N79uzRBx98\noBUrVmj9+vWqU6eO3n33Xfvy5ORkvffee9q4caMyMjK0adOmn3n3AXMivIEKtnDhQr344ouSpFat\nWuny5cvKysqyL+/QoYMk6YcffpBhGAoPD5ck9evXT9d+3Xjz5s3q2rWrrFarLBaLoqOjtXHjxnKP\ne/ToUZWUlKhNmzaSpN/97ncO16tdu7Y++eQT/fDDD3r44Yc1c+ZMh+tVr15drVu3drisffv2qlWr\nlnx8fNSpUyft27ev3NrKsnXrVkVFRSkoKEiS1LNnT23fvr3UcWrWrClfX181btxYp06duqXjAJUd\n97yBCrZ161YtWLBA586dk8VikSRd/8iBmjVrSpIuXLhgn5akunXr2qcvXLigzZs3a+vWrfbtCwsL\nyz1uTk6OAgIC7PM1atRwuN60adP0l7/8RQMHDpS/v79iYmIUGRl5w3rX1/ZTtWrVsk8HBgbqwoUL\n5dZWluzsbD3wwAOljnn9F9kCAwPt015eXiopKbml4wCVHeENVKCCggKNGDFC8+bN05NPPqkrV64o\nNDTU4boBAQG6dOmSfT4zM9M+HRwcrB49eigmJsbpY9eoUaPUt93PnTvncD2r1aoJEyZowoQJ2rp1\nq0aOHKkdO3Y4fRzp6geF66dr1qxpvxx+LWCdCfQ6dero/PnzpWquXbv2TdUCuAMumwMVKDc3VwUF\nBWrevLkMw9CyZcvk6+tbKqSvefjhh5WXl2f/86zExET7sqefflrJycn2AN6wYYMWL14sSfL19XUY\njA0aNFBJSYl9f47uQxcUFKh///72L4s9+uij8vb2lre3d5n7dWTr1q26cOGCioqK9OWXX6pVq1by\n8vJSnTp1dPDgQUnSxx9/bA90Hx8fXb58udS9f0lq166dkpOTdf78eRmGocTERLVv396pGgB3wpk3\nUIGCgoL00ksv6dlnn1Xt2rU1dOhQdezYUYMHD9bf//73UutWqVJFcXFxGjVqlGrUqKGXX35ZkmSx\nWNSiRQsNGjRIffv2lWEYqlOnjiZPnizp6p+njRo1SidPntSf//xn+/78/Pw0efJkjRo1SlWrVlWP\nHj1UtWrVUsf08/PT888/r4EDB8owDHl7eysuLk5+fn6l9tuzZ89y++zQoYNef/11nTx5UqGhoXru\nueckSSNHjlRsbKyCgoLUt29f+/GbNWumatWqKTw8XB9//LF9P2FhYXrppZfUp08flZSUKCQkRKNH\nj77Fdx8wLwvP8wbM6eLFi2rVqpX27dsnf3//ii4HwF3EZXPARJ577jklJydLktatW6fGjRsT3IAH\n4swbMJHdu3drypQpKigoUGBgoCZOnKjmzZtXdFkA7jLCGwAAk+GyOQAAJkN4AwBgMqb5U7GiomKd\nO3e5osu4q2rV8qdnN+dp/Ur07Ak8rV/JdT1brYEOXzfNmbePj3dFl3DX0bP787R+JXr2BJ7Wr3T3\nezZNeAMAgKsIbwAATIbwBgDAZAhvAABMhvAGAMBkCG8AAEyG8AYAwGQIbwAATMal4X3o0CFFRETo\nww8/vGHZjh071KNHD/Xq1Uvz5s1zZRkAALgVl4X35cuXNWXKFLVp08bh8rfffltz5szRqlWrtH37\ndh0+fNhVpQAA4FZcFt5+fn5atGiRgoODb1h24sQJ1axZU/fdd5+8vLzUrl07paSkuKoUAADcisse\nTOLj4yMfH8e7t9lsCgoKss8HBQXpxIkT5e/QYpH1ThZoEh7Xs2GU+UP87srT+pXo2RN4Wr/S3e3Z\nNE8Vg+ew2S5WdAl3jdUa6FH9SvTsCTytX8l1PVeqp4oFBwcrKyvLPp+RkeHw8joAALhRhYR3/fr1\nlZubq/T0dBUVFWnz5s0KDw+viFIAADAdl102P3DggKZPn66TJ0/Kx8dHycnJ6tixo+rXr6/IyEhN\nnDhRb731liSpS5cuatCggatKAQDArVgMwzAquginWCwVXQHuBsPwqHtl3Bv0DJ7Ws6f1K3nIPW8A\nAHDrCG8AAEyG8AYAwGQIbwAATIbwBgDAZAhvAABMhvAGAMBkCG8AAEyG8AYAwGQIbwAATIbwBgDA\nZAhvAABMhvAGAMBkCG8AAEyG8AYAwGQIbwAATIbwBgDAZAhvAABMhvAGAMBkCG8AAEyG8AYAwGQI\nbwAATManogtwmmHIZrtY0VXcVVZroOf1XNEFAIAJcOYNAIDJEN4AAJgM4Q0AgMkQ3gAAmAzhDQCA\nyRDeAACYDOENAIDJEN4AAJgM4Q0AgMkQ3gAAmAzhDQCAyRDeAACYDOENAIDJEN4AAJgM4Q0AgMkQ\n3gAAmAzhDQCAyRDeAACYDOENAIDJEN4AAJgM4Q0AgMkQ3gAAmIyPK3c+depU7d+/XxaLRePGjVOL\nFi3sy1asWKHPPvtMXl5eat68ucaPH+/KUgAAcBsuO/PevXu3jh07psTERMXHxys+Pt6+LDc3V4sX\nL9aKFSu0atUqHTlyRN9++62rSgEAwK24LLxTUlIUEREhSWrYsKFycnKUm5srSfL19ZWvr68uX76s\noqIi5eXlqWbNmq4qBQAAt+Ky8M7KylKtWrXs80FBQbLZbJKkKlWq6PXXX1dERIQ6dOig0NBQNWjQ\nwFWlAADgVlx6z/t6hmHYp3Nzc7VgwQKtX79eAQEBGjhwoA4ePKimTZuWuw+rNdDVZVY69Oz+PK1f\niZ49gaf1K93dnl0W3sHBwcrKyrLPZ2Zmymq1SpKOHDmiBx54QEFBQZKkVq1a6cCBAz8b3jbbRVeV\nWylZrYH07OY8rV+Jnj2Bp/Urua7nsj4QuOyyeXh4uJKTkyVJaWlpCg4OVkBAgCSpXr16OnLkiK5c\nuSJJOnDggB566CFXlQIAgFtx2Zl3WFiYQkJCFB0dLYvFori4OCUlJSkwMFCRkZEaNGiQBgwYIG9v\nb7Vs2VKtWrVyVSkAALgVi3H9zehKjssw7s/Teva0fiV69gSe1q/kRpfNAQCAaxDeAACYDOENAIDJ\nEN4AAJgM4Q0AgMkQ3gAAmAzhDQCAyRDeAACYDOENAIDJEN4AAJgM4Q0AgMkQ3gAAmAzhDQCAyRDe\nAACYDOENAIDJEN4AAJgM4Q0AgMkQ3gAAmAzhDQCAyRDeAACYDOENAIDJEN4AAJgM4Q0AgMkQ3gAA\nmAzhDQCAyRDeAACYDOENAIDJEN4AAJgM4Q0AgMkQ3gAAmAzhDQCAyRDeAACYDOENAIDJEN4AAJgM\n4Q0AgMkQ3gAAmAzhDQCAyRDeAACYDOENAIDJEN4AAJgM4Q0AgMkQ3gAAmAzhDQCAyRDeAACYDOEN\nAIDJEN4AAJiM0+F97tw5paamSpJKSkqc2mbq1Knq1auXoqOj9d1335Vadvr0afXu3Vs9evTQhAkT\nbqJkAAA8m1Ph/fnnn6tXr14aO3asJGnKlClas2ZNudvs3r1bx44dU2JiouLj4xUfH19q+bRp0/Ty\nyy9r7dq18vb21qlTp26xBQAAPItT4b106VL97W9/U61atSRJo0eP1kcffVTuNikpKYqIiJAkNWzY\nUDk5OcrNzZV09cz9m2++UceOHSVJcXFxuv/++2+5CQAAPImPMysFBgaqWrVq9vmqVavK19e33G2y\nsrIUEhJinw8KCpLNZlNAQICys7NVvXp1JSQkKC0tTa1atdJbb731s3VYrYHOlOtW6Nn9eVq/Ej17\nAk/rV7q7PTsV3rVq1dInn3yi/Px8paWlad26dQoKCrqpAxmGUWo6IyNDAwYMUL169fTqq69qy5Yt\nat++fbn7sNku3tQxzc5qDaRnN+dp/Ur07Ak8rV/JdT2X9YHAqcvmkyZNUmpqqi5duqTY2Fjl5+fr\n7bffLneb4OBgZWVl2eczMzNltVolXf0wcP/99+vBBx+Ut7e32rRpo//85z/O9gIAgEdz6sy7Ro0a\nN/2N8PDwcM2ZM0fR0dFKS0tTcHCwAgICrh7Ux0cPPPCAfvzxRz300ENKS0tT165db756AAA8kFPh\n3a5dO1kslhte37JlS5nbhIWFKSQkRNHR0bJYLIqLi1NSUpICAwMVGRmpcePGacyYMTIMQ40bN7Z/\neQ0AAJTPqfBeuXKlfbqwsFApKSnKz8//2e1iYmJKzTdt2tQ+/Ytf/EKrVq1ytk4AAPD/ORXe9erV\nKzX/0EMPadCgQXrxxRddURMAACiHU+GdkpJSav7MmTM6fvy4SwoCAADlcyq858+fb5+2WCwKCAjQ\npEmTXFYUAAAom1PhvXz5clfXAQAAnFRuePfp08fht8yvWbFixR0vCAAAlK/c8B45cmSZy8oLdQAA\n4Drlhvfjjz9un7506ZJycnIkSQUFBYqJidHatWtdWx0AALiBU/e8Fy1apAULFqigoED+/v7Kz89X\n9+7dXV0bAABwwKnfNk9OTtaOHTsUGhqqnTt3aubMmWrUqJGrawMAAA44Fd7Vq1eXn5+fCgsLJUlP\nP/20vvrqK5cWBgAAHHPqsnnNmjX12WefqXHjxho7dqwaNmyozMxMV9cGAAAccCq8p0+frrNnzyoy\nMlIffPCBzpw5o1mzZrm6NgAA4IBT4T1+/Hg9++yzuv/++zVkyBBX1wQAAMrh1D3v9u3ba9WqVerY\nsaPefvttpaamurouAABQBqfOvJ955hk988wzunjxojZu3Ki//OUvOn78uD7//HNX1wcAAH7CqTNv\nSTIMQ//+97+Vmpqqo0ePlno2NwAAuHucOvOeMGGCtm7dqmbNmqlr164aNWqUqlWr5uraAACAA06F\nd5MmTTRy5EgFBQXdsOzTTz/Vc889d8cLAwAAjjl12bxv374Og1uSkpKS7mhBAACgfE7f8y6LYRh3\nog4AAOCk2w5vHg0KAMDdddvhDQAA7i7CGwAAk7nt8A4ICLgTdQAAACc5Fd45OTmaPn26YmJiJEmb\nNm1Sdna2JGn+/Pmuqw4AANzAqfCOjY3Vfffdp/T0dElSQUGBRo8e7dLCAACAY06Fd3Z2tgYMGCBf\nX19JUlRUlK5cueLSwgAAgGNO3/MuLCy0/1lYVlaWLl++7LKiAABA2Zz6edS+ffuqR48estlsGjJk\niFJTUzV+/HhX1wYAABxwKry7dOmisLAw7du3T35+fpo8ebKCg4NdXRsAAHDAqfBeu3atffrSpUv6\n5z//KUnq0aOHa6oCAABlciq8v/nmG/t0QUGBvvvuO4WFhRHeAABUAKfCOyEhodR8Xl6exo4d65KC\nAABA+W7pF9aqVaum48eP3+laAACAE5w68+7Tp0+pp4dlZGSoSZMmLisKAACUzanwHjlypH3aYrEo\nICBATZs2dVlRAACgbE6Fd3Fxcan58+fPa+fOnfb5Nm3a3NmqAABAmZwK77lz5yotLU2//OUvZbFY\n9L//+7965JFH5OvrK4vFQngDAHAXORXe9erV06xZs1S3bl1J0smTJ/Xee+9pxowZLi0OAADcyKlv\nm6enp9uDW7oa5idOnHBZUQAAoGxOnXn7+Pho+vTpevzxxyVJe/bskZfXLf2VGQAAuE1OJfC7776r\nKlWqKDExUYmJifLy8tK7777r6toAAIAD5Z55G4Yhi8Wie+65R2+88cbdqgkAAJSj3PAeOHCgli1b\npkceeaTUj7RcC/Xvv//e5QUCAIDSyg3vZcuWSZIOHjx4V4oBAAA/z6kvrNlsNq1bt045OTkyDMP+\n+ogRI8rdburUqdq/f78sFovGjRunFi1a3LDOn/70J3377bdavnz5TZYOAIBncuoLa3/4wx908OBB\neXl5ydvb2/5PeXbv3q1jx44pMTFR8fHxio+Pv2Gdw4cP61//+tetVQ4AgIdy6szb39//hseC/pyU\nlBRFRERIkho2bKicnBzl5uYqICDAvs60adP05ptvau7cuTe1bwAAPJlT4d2iRQsdOXJEDRs2dHrH\nWVlZCgkJsc8HBQXJZrPZwzspKUmPP/646tWr5/Q+rdZAp9d1F/Ts/jytX4mePYGn9Svd3Z6dCu+v\nv/5ay5Yt0z333CMfn//bZMuWLU4f6Pp75efPn1dSUpKWLl2qjIwMp/dhs110el13YLUG0rOb87R+\nJXr2BJ7Wr+S6nsv6QOBUePfv3/+mDxgcHKysrCz7fGZmpqxWqyRp586dys7OVt++fVVQUKDjx49r\n6tSpGjdu3E0fBwAAT+NUeO/du9c+XVBQoO+++05hYWHq2bNnmduEh4drzpw5io6OVlpamoKDg+2X\nzKOiohQVFSXp6u+mjx07luAGAMBJToX3T7+slpeXp7Fjx5a7TVhYmEJCQhQdHS2LxaK4uDglJSUp\nMDBQkZGRt14xAAAezqnw/qlq1arp+PHjP7teTExMqfmmTZvesE79+vX5G28AAG6CU+Hdp0+fUj+P\nmpGRoSZNmrisKAAAUDanwnvkyJH2aYvFooCAAIdn0QAAwPWcCu9rz/EGAAAVz6mfRwUAAJUH4Q0A\ngMkQ3gAAmAzhDQCAyRDeAACYDOENAIDJEN4AAJgM4Q0AgMkQ3gAAmAzhDQCAyRDeAACYDOENAIDJ\nEN4AAJgM4Q0AgMkQ3gAAmAzhDQCAyRDeAACYDOENAIDJEN4AAJgM4Q0AgMkQ3gAAmAzhDQCAyRDe\nAACYDOENAIDJEN4AAJgM4Q0AgMkQ3gAAmAzhDQCAyRDeAACYDOENAIDJEN4AAJgM4Q0AgMkQ3gAA\nmAzhDQCAyRDeAACYDOENAIDJEN4AAJgM4Q0AgMkQ3gAAmAzhDQCAyRDeAACYDOENAIDJ+Lhy51On\nTtX+/ftlsVg0btw4tWjRwr5s586dmjVrlry8vNSgQQPFx8fLy4vPEgAA/ByXpeXu3bt17NgxJSYm\nKj4+XvHx8aWWT5gwQbNnz9bq1at16dIlbdu2zVWlAADgVlwW3ikpKYqIiJAkNWzYUDk5OcrNzbUv\nT0pK0r333itJCgoK0rlz51xVCgAAbsVl4Z2VlaVatWrZ54OCgmSz2ezzAQEBkqTMzExt375d7dq1\nc1UpAAC4FZfe876eYRg3vHb27FkNGTJEcXFxpYK+LFZroCtKq9To2f15Wr8SPXsCT+tXurs9uyy8\ng4ODlZWVZZ/PzMyU1Wq1z+fm5mrw4MEaOXKk2rZt69Q+bbaLd7zOysxqDaRnN+dp/Ur07Ak8rV/J\ndT2X9YHAZZfNw8PDlZycLElKS0tTcHCw/VK5JE2bNk0DBw7UU0895aoSAABwSy478w4LC1NISIii\no6NlsVgUFxenpKQkBQYGqm3btvr000917NgxrV27VpLUrVs39erVy1XlAADgNlx6zzsmJqbUfNOm\nTe3TBw4ccOWhAQBwW/wqCgAAJkN4AwBgMoQ3AAAmQ3gDAGAyhDcAACZDeAMAYDKENwAAJkN4AwBg\nMoQ3AAAmQ3gDAGAyhDcAACZDeAMAYDKENwAAJkN4AwBgMoQ3AAAmQ3gDAGAyhDcAACZDeAMAYDKE\nNwAAJkN4AwBgMoQ3AAAmQ3gDAGAyFsMwjIouwikWS0VXAACAY4Yhm+3iHd+t1Rro8HXOvAEAMBnC\nGwAAkyG8AQAwGcIbAACTIbwBADAZwhsAAJMhvAEAMBnCGwAAkyG8AQAwGcIbAACTIbwBADAZwhsA\nAJMhvAEAMBnCGwAAkyG8AQAwGcIbAACTIbwBADAZwhsAAJMhvAEAMBnCGwAAkyG8AQAwGcIbAACT\nIbwBADAZl4b31KlT1atXL0VHR+u7774rtWzHjh3q0aOHevXqpXnz5rmyDAAA3IrLwnv37t06duyY\nEhMTFR8fr/j4+FLL3377bc2ZM0erVq3S9u3bdfjwYVeVAgCAW3FZeKekpCgiIkKS1LBhQ+Xk5Cg3\nN1eSdOLECdWsWVP33XefvLy81K5dO6WkpLiqFAAA3IqPq3aclZWlkJAQ+3xQUJBsNpsCAgJks9kU\nFBRUatmJEyfK36FhuKpUAABum9UaeNeO5bLw/injDoSvzXbxDlRiHlZrID27OU/rV6JnT+Bp/Uqu\n67msDwQuu2weHBysrKws+3xmZqasVqvDZRkZGQoODnZVKQAAuBWXhXd4eLiSk5MlSWlpaQoODlZA\nQIAkqX79+srNzVV6erqKioq0efNmhYeHu6oUAADcissum4eFhSkkJETR0dGyWCyKi4tTUlKSAgMD\nFRkZqYkTJ+qtt96SJHXp0kUNGjRwVSkAALgVi3EnbkbfJdxDcX+e1rOn9SvRsyfwtH4lN7rnDQAA\nXIPwBgDAZAhvAABMhvAGAMBkCG8AAEyG8AYAwGQIbwAATIbwBgDAZEz1Iy0AAIAzbwAATIfwBgDA\nZAhvAABMhvAGAMBkCG8AAEyG8AYAwGR8KroAZ0ydOlX79++XxWLRuHHj1KJFi4ou6Zbt2rVLI0aM\nUKNGjSRJjRs31iuvvKJRo0apuLhYVqtV77zzjvz8/PTZZ5/pgw8+kJeXl1544QX17NlThYWFGjNm\njE6dOiVvb28lJCTogQceqOCuHDt06JCGDh2qF198Uf369dPp06dvu8+DBw9q4sSJkqQmTZpo0qRJ\nFdvkT/y05zFjxigtLU333HOPJGnQoEFq37692/Q8Y8YMffPNNyoqKtIf/vAHPfroo24/xj/tedOm\nTW49xnl5eRozZozOnj2r/Px8DR06VE2bNnXbcXbUb3JycuUbY6OS27Vrl/Hqq68ahmEYhw8fNl54\n4YUKruj27Ny50xg+fHip18aMGWOsW7fOMAzD+NOf/mSsWLHCuHTpktGpUyfjwoULRl5entG1a1fj\n3LlzRlJSkjFx4kTDMAxj27ZtxogRI+56D864dOmS0a9fPyM2NtZYvny5YRh3ps9+/foZ+/fvNwzD\nMP74xz8aW7ZsqYDuHHPU8+jRo41NmzbdsJ479JySkmK88sorhmEYRnZ2ttGuXTu3H2NHPbvzGBuG\nYfzjH/8wFi5caBiGYaSnpxudOnVy63F21G9lHONKf9k8JSVFERERkqSGDRsqJydHubm5FVzVnbVr\n1y49/fTTkqQOHTooJSVF+/fv16OPPqrAwEBVrVpVYWFh2rt3r1JSUhQZGSlJeuKJJ7R3796KLL1M\nfn5+WrRokYKDg+2v3W6fBQUFOnnypP3Ky7V9VBaOenbEXXpu3bq13nvvPUlSjRo1lJeX5/Zj7Kjn\n4uLiG9Zzp567dOmiwYMHS5JOnz6tunXruvU4O+rXkYrut9KHd1ZWlmrVqmWfDwoKks1mq8CKbt/h\nw4c1ZMgQ9e7dW9u3b1deXp78/PwkSbVr15bNZlNWVpaCgoLs21zr+/rXvby8ZLFYVFBQUCF9lMfH\nx0dVq1Yt9drt9pmVlaUaNWrY1722j8rCUc+S9OGHH2rAgAF68803lZ2d7TY9e3t7y9/fX5K0du1a\nPfXUU24/xo569vb2dtsxvl50dLRiYmI0btw4tx9nqXS/UuX779gU97yvZ5j811wfeughDRs2TJ07\nd9aJEyc0YMCAUp/cy+rvZl+v7O5En2bo/dlnn9U999yjZs2aaeHChZo7d65atmxZah2z9/zll19q\n7dq1WrJkiTp16mR/3Z3H+PqeDxw44PZjLEmrV6/W999/r//6r/8qVaO7jvP1/Y4bN67SjXGlP/MO\nDg5WVlaWfT4zM1NWq7UCK7o9devWVZcuXWSxWPTggw+qTp06ysnJ0ZUrVyRJGRkZCg4Odtj3tdev\nfWIrLCyUYRj2T8CVnb+//231abVadf78efu61/ZRmbVp00bNmjWTJHXs2FGHDh1yq563bdum//mf\n/9GiRYsUGBjoEWP8057dfYwPHDig06dPS5KaNWum4uJiVa9e3W3H2VG/jRs3rnRjXOnDOzw8XMnJ\nyZKktLQ0BQcHKyAgoIKrunWfffaZFi9eLEmy2Ww6e/asnn/+eXuPGzZs0JNPPqnQ0FClpqbqwoUL\nunTpkvbu3atWrVopPDxc69evlyRt3rxZv/71ryusl5v1xBNP3Fafvr6+evjhh7Vnz55S+6jMhg8f\nrhMnTkjveZeUAAAI/UlEQVS6es+/UaNGbtPzxYsXNWPGDC1YsMD+LVx3H2NHPbvzGEvSnj17tGTJ\nEklXb2NevnzZrcfZUb8TJkyodGNsiqeKzZw5U3v27JHFYlFcXJyaNm1a0SXdstzcXMXExOjChQsq\nLCzUsGHD1KxZM40ePVr5+fm6//77lZCQIF9fX61fv16LFy+WxWJRv3799Mwzz6i4uFixsbH68ccf\n5efnp2nTpum+++6r6LZucODAAU2fPl0nT56Uj4+P6tatq5kzZ2rMmDG31efhw4c1YcIElZSUKDQ0\nVGPHjq3oVu0c9dyvXz8tXLhQ1apVk7+/vxISElS7dm236DkxMVFz5sxRgwYN7K9NmzZNsbGxbjvG\njnp+/vnn9eGHH7rlGEvSlStXNH78eJ0+fVpXrlzRsGHD1Lx589v+f1Zl7dlRv/7+/nrnnXcq1Rib\nIrwBAMD/qfSXzQEAQGmENwAAJkN4AwBgMoQ3AAAmQ3gDAGAyhDcAACZDeAOVQP/+/bVjx467drwL\nFy6oW7duGjp06E1vm56erqeeesoFVd2crVu32n+16s0331RGRkYFVwTcPYQ34IEOHTqkatWqaf78\n+RVdyi17//33lZOTI0n685//XObTnwB3xI+0ADdp165dWrhwoe69914dPnxYPj4+mjRpkl5++WX9\n85//lCTNmTNHRUVFevPNN9WyZUu99tpr2rRpkwoLCzVkyBB99NFHOnr0qCZOnKi2bduqf//+atKk\niX744QdlZGRo6NCh6tq1q3JychQXF6fs7Gzl5ubqpZdeUvfu3TVnzhylp6fr1KlTGj16tJo3b+6w\n1qysLI0fP16XL19WQUGBXnnlFT3xxBPq06eP0tPT1aZNG82dO7fMXufPn68tW7bIx8dHjRo1Umxs\nrDIyMtSnTx/99re/1YEDB2QYht577z3Vrl1bsbGxOnr0qCwWi5o1a6a4uDgVFBRo8uTJOnbsmC5d\nuqRu3brp5ZdfVlJSkrZs2aKcnBx16tRJy5Yts//k5unTp/XCCy9oy5Ytmjt3rv3xiffee6/eeecd\nrVmzRgkJCWratKkSEhL06quvaunSpapfv76mTp2qtLQ0SdJvfvMbjRw50uGY/fWvf1VJSYneeust\nXbhwQUVFRerQoYNee+21O/mvC+ASnHkDt+Dbb7/VH//4RyUmJsrLy0tff/11metevnxZzZs31+rV\nq+Xv769NmzZp0aJFGjp0qFauXGlfr7i4WEuWLNH8+fMVHx+vkpISvfvuu3ryySe1bNkyffjhh5o9\ne7ays7MlXb18vWzZsjKDW5Jmz56t1q1ba/ny5Zo/f74mTpwowzA0btw4NW7cuNzg3rdvnzZs2KAV\nK1Zo5cqVOnfunD7//HNJVx+s0L17d61atUq/+c1v9P777+vQoUPav3+/EhMTtXr1ajVr1kwXL17U\nsmXLFBwcrOXLl2vNmjX6xz/+oYMHD0qSvv/+ey1atEh9+/ZV1apV7a9/8cUX6tatmwzDULVq1bRy\n5UqtXr1aFy9e1Ndff60+ffrIarVq5syZ+uUvf2mv+YsvvlB6erpWrVqlFStWaPv27dq9e3eZY7Zj\nxw4VFRXZ9+/v76+SkpKfG36gwpnukaBAZdCwYUPVrl1bklSvXj1Vr1693PUfe+wxSVefKhcWFibp\n6lnkxYsX7euEh4dLkn7xi19IkrKzs7Vr1y6lpqbq008/lXT1meHp6emSpNDQUFkslnKPu3//fvXu\n3VvS1WcI161bV0ePHnWqx/3796t169by9fWVJD3++ONKTU1V69atFRgYqBYtWkiSWrZsqeXLl6th\nw4aqVauWBg8erA4dOqhz584KDAzUrl27dObMGf3rX/+SJBUUFOj48eOSpEceecT+VLzu3bsrOTlZ\nTZs21bp16zRlyhT5+PjIy8tLffr0kY+Pj3744QedO3eu3JrbtGkji8Uib29vtWrVSqmpqWrevPkN\nY3b+/Hl17NhRs2fP1ogRI9SuXTv17NlTXl6c06DyI7yBW+Dt7V1q/qdfliosLCwVrNev/9Ntr7l+\nfcMwZLFY5Ofnp7i4OD366KOl1t26das9VMvjKNx/LvDLWu9aTZJuCDiLxaIqVapo5cqVSktL0+bN\nm9WjRw+tWrVKfn5+ev311xUVFVVqm6SkpFI9dOvWTa+88oqef/555efnq1mzZvrmm2/08ccf6+OP\nP5a/v7/eeOONW67Z0fteu3Zt/e1vf9O+ffv01Vdf6fe//70++eQTVa1a9WfeHaBi8RETuAOqVq2q\nnJwc5eXlqbi42H6WeTOu3dc9evSovL29FRQUpMcee0xffPGFpKtPO5o4caKKioqc3mdoaKi2bdsm\n6eoHjMzMzFJPxCrPr371K+3atUuFhYX2+kJDQyVJOTk59vvKe/fuVePGjZWamqpPPvlEISEhGjZs\nmEJCQvTjjz+W6qGkpEQJCQmlnm18zb333qtatWpp8eLFeuaZZyRJZ8+eVb169eTv76+TJ0/q22+/\nVUFBgaSrQf3T9+JXv/qVduzYIcMwVFRUpN27d9trduTrr7/Wli1b9Nhjj2nUqFHy9/fX2bNnnXp/\ngIrEmTdwB9SsWVO/+93v9Pvf/14PPvigHnnkkZveh4+Pj1577TUdP35csbGxslgsGjZsmGJjY9W7\nd28VFBSoV69e8vFx/j/bN954Q+PHj1f//v2Vn5+vKVOm/Owl/mtCQ0PVtWtX9e3bV15eXgoJCVG3\nbt106tQp1a9fX59++qlmzJihgoICzZ49W35+fpo3b54SExPl5+enBx98UGFhYQoNDdV//vMf9erV\nS8XFxWrfvr39Wdg/1b17d02ePFlffvmlpKu3EpYsWaLevXurUaNGGj58uObNm6df//rXatu2rYYM\nGaLp06fbt4+KitLevXvVu3dvlZSUKCIiQo899ph27drl8HgNGjTQmDFj9Ne//lXe3t5q27at6tWr\n5/T7C1QUvm0OAIDJcOYNmNzs2bMdXqZv2rSpxo8fX+62+/bt06xZsxwumzVrlqxW6x2pEcCdxZk3\nAAAmwxfWAAAwGcIbAACTIbwBADAZwhsAAJMhvAEAMJn/BwttXwqSPQRDAAAAAElFTkSuQmCC\n",
      "text/plain": [
       "<matplotlib.figure.Figure at 0x7f1b9a9e2fd0>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "## Посмотрим на распределение классов в зависимой переменной\n",
    "\n",
    "ax =data['SeriousDlqin2yrs'].hist(orientation='horizontal', color='red')\n",
    "ax.set_xlabel(\"number_of_observations\")\n",
    "ax.set_ylabel(\"unique_value\")\n",
    "ax.set_title(\"Target distribution\")\n",
    "\n",
    "print('Distribution of target')\n",
    "data['SeriousDlqin2yrs'].value_counts()/data.shape[0]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['age',\n",
       " 'NumberOfTime30-59DaysPastDueNotWorse',\n",
       " 'DebtRatio',\n",
       " 'NumberOfTimes90DaysLate',\n",
       " 'NumberOfTime60-89DaysPastDueNotWorse',\n",
       " 'MonthlyIncome',\n",
       " 'NumberOfDependents']"
      ]
     },
     "execution_count": 8,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "## Выберем названия всех признаков из таблицы, кроме прогнозируемого\n",
    "\n",
    "independent_columns_names = data.columns.values\n",
    "independent_columns_names = [x for x in data if x != 'SeriousDlqin2yrs']\n",
    "independent_columns_names\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "## Применяем функцию, заменяющую все NaN значения на медианное значение соответствующего столбца\n",
    "table =delete_nan(data)\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "## Разделяем таргет и признаки \n",
    "X =table[independent_columns_names]\n",
    "y = table['SeriousDlqin2yrs']\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Бутстрэп"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**Задание 2.** Сделайте интервальную оценку среднего возраста (age) для клиентов, которые просрочили выплату кредита, с 90% \"уверенностью\". (используйте пример из статьи. Поставьте np.random.seed(0) как это сделано в статье)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Bums' ages:  mean interval [ 45.71379414  46.12700479]\n"
     ]
    }
   ],
   "source": [
    "def get_bootstrap_samples(data, n_samples):\n",
    "    # функция для генерации подвыборок с помощью бутстрэпа\n",
    "    indices = np.random.randint(0, len(data), (n_samples, len(data)))\n",
    "    samples = data[indices]\n",
    "    return samples\n",
    "def stat_intervals(stat, alpha):\n",
    "    # функция для интервальной оценки\n",
    "    boundaries = np.percentile(stat, [100 * alpha / 2., 100 * (1 - alpha / 2.)])\n",
    "    return boundaries\n",
    "\n",
    "# сохранение в отдельные numpy массивы данных по бомжам\n",
    "bum_age = data[data['SeriousDlqin2yrs'] == 1]['age'].values\n",
    "\n",
    "# ставим seed для воспроизводимости результатов\n",
    "np.random.seed(0)\n",
    "\n",
    "# генерируем выборки с помощью бутстрэра и сразу считаем по каждой из них среднее\n",
    "bum_mean_scores = [np.mean(sample) \n",
    "                       for sample in get_bootstrap_samples(bum_age, 1000)]\n",
    "\n",
    "#  выводим интервальную оценку среднего\n",
    "print(\"Bums' ages:  mean interval\",  stat_intervals(bum_mean_scores, 0.1))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Подбор параметров для модели логистической регрессии "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Одной из важных метрик качества модели является значение площади под ROC-кривой. Значение ROC-AUC лежит от 0  до 1.   Чем ближе начение метрики ROC-AUC к 1, тем качественнее происходит классификация моделью."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 24,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "from sklearn.linear_model import LogisticRegression\n",
    "from sklearn.model_selection import GridSearchCV, StratifiedKFold\n",
    "\n",
    "## Используем модуль LogisticRegression для построения логистической регрессии.\n",
    "## Из-за несбалансированности классов  в таргете добавляем параметр балансировки.\n",
    "## Используем также параметр random_state=5 для воспроизводимости результатов\n",
    "lr = LogisticRegression(random_state=5, class_weight= 'balanced')\n",
    "\n",
    "## Попробуем подобрать лучший коэффициент регуляризации (коэффициент C в логистической регрессии) для модели лог.регрессии.\n",
    "## Этот параметр необходим для того, чтобы подобрать оптимальную модель, которая не будет переобучена, с одной стороны, \n",
    "## и будет хорошо предсказывать значения таргета, с другой.\n",
    "## Остальные параметры оставляем по умолчанию.\n",
    "parameters = {'C': (0.0001, 0.001, 0.01, 0.1, 1, 10)}\n",
    "\n",
    "## Для того, чтобы подобрать коэффициент регуляризации, попробуем для каждого его возможного значения посмотреть \n",
    "## значения roc-auc на стрэтифайд кросс-валидации из 5 фолдов с помощью функции StratifiedKFold\n",
    "\n",
    "skf = StratifiedKFold(n_splits=5, shuffle=True, random_state=5)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**Задание 3.**\n",
    "Сделайте GridSearch с метрикой \"roc-auc\" по параметру C. Какое оптимальное значение параметра С?"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 25,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "0.796087918146 {'C': 0.001}\n"
     ]
    }
   ],
   "source": [
    "grid = GridSearchCV(estimator=lr, cv=skf, param_grid=parameters, n_jobs=-1, scoring='roc_auc')\n",
    "grid.fit(X, y)\n",
    "print(grid.best_score_, grid.best_params_)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**Задание 4.** \n",
    "Можно ли считать лучшую модель устойчивой? (модель считаем устойчивой, если стандартное отклонение на валидации меньше 0.5%) Сохраните точность лучшей модели, она вам приходится для следующих заданий"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {
    "collapsed": false,
    "scrolled": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "0.37\n"
     ]
    }
   ],
   "source": [
    "print(round(100*clf.\n",
    "            \n",
    "            cv_results_['std_test_score'][clf.best_index_],2))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Определение влияния признаков"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**Задание 5.**\n",
    "Определите самый важный признак. Важность признака определяется абсолютным значением его коэффициента. Так же нужно нормализировать все признаки, что бы можно их было корректно сравнить."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "['age', 'NumberOfTime30-59DaysPastDueNotWorse', 'DebtRatio', 'NumberOfTimes90DaysLate', 'NumberOfTime60-89DaysPastDueNotWorse', 'MonthlyIncome', 'NumberOfDependents']\n",
      "[[-0.41630368  0.72400432 -0.02408186  0.51767292  0.19473217 -0.16286353\n",
      "   0.10132603]]\n",
      "Тут видно, что  самым сильным признаком является 30-59\n"
     ]
    }
   ],
   "source": [
    "from sklearn.preprocessing import StandardScaler\n",
    "X_scaled = StandardScaler().fit_transform(X)\n",
    "clf = LogisticRegression(C=0.001, random_state=5, class_weight= 'balanced')\n",
    "clf.fit(X_scaled, y)\n",
    "print(independent_columns_names)\n",
    "print(clf.coef_)\n",
    "print('Тут видно, что  самым сильным признаком является 30-59')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**Задание 6.** Посчитайте долю влияния `DebtRatio` на предсказание. (Воспользуйтесь функцией [softmax](https://en.wikipedia.org/wiki/Softmax_function))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[[ 0.07715192  0.2413105   0.11420537  0.19632139  0.14213998  0.09940641\n",
      "   0.12946443]]\n"
     ]
    }
   ],
   "source": [
    "def softmax(x):\n",
    "    \"\"\"Compute softmax values for each sets of scores in x.\"\"\"\n",
    "    e_x = np.exp(x - np.max(x))\n",
    "    return e_x / e_x.sum()\n",
    "print(softmax(clf.coef_))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**Задание 7.** \n",
    "Давайте посмотрим как можно интерпретировать влияние наших признаков. Для этого заного оценим логистическую регрессию в абсолютных величинах. После этого посчитайте во сколько раз увеличатся шансы, что клиент не выплатит кредит, если увеличить возраст на 20 лет при всех остальных равных значениях признаков. (теоретический расчет можно посмотреть [здесь](https://www.unm.edu/~schrader/biostat/bio2/Spr06/lec11.pdf))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "0.821591900371\n",
      "0.597690086622\n",
      "0.553236725788\n",
      "0.880192027479\n",
      "1.00274497456\n",
      "0.951684311838\n"
     ]
    }
   ],
   "source": [
    "X_20 = X.copy()\n",
    "X_20['age'] = X_20['age']+20\n",
    "clf = LogisticRegression(C=0.001, random_state=5, class_weight= 'balanced')\n",
    "clf.fit(X, y)\n",
    "old_y = clf.predict_proba(X)[:,1]\n",
    "new_y = clf.predict_proba(X_20)[:,1]\n",
    "print(new_y.sum()/old_y.sum())\n",
    "told_y = clf.predict(X)\n",
    "tnew_y= clf.predict(X_20)\n",
    "print(tnew_y.sum()/told_y.sum())\n",
    "clf.fit(X_20, y)\n",
    "print(clf.predict(X_20).sum()/clf.predict(X).sum())\n",
    "print(clf.predict_proba(X_20)[:,1].sum()/clf.predict_proba(X)[:,1].sum())\n",
    "print(clf.predict_proba(X_20)[:,1].sum()/old_y.sum())\n",
    "print(clf.predict(X_20).sum()/told_y.sum())"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[ 0.43512047]\n",
      "-0.0131666239738 -0.0181852816323 0.724026398929\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "array([ 0.4200819])"
      ]
     },
     "execution_count": 18,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "clf.fit(X_20, y)\n",
    "print(clf.intercept_)\n",
    "a = clf.coef_[0][0]\n",
    "clf.fit(X, y)\n",
    "b = clf.coef_[0][0]\n",
    "print(a, b, a/b)\n",
    "clf.intercept_"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 19,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "1.4333294145603401"
      ]
     },
     "execution_count": 19,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "math.exp(0.36)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 44,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "0.6950957781347274"
      ]
     },
     "execution_count": 44,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "clf = LogisticRegression(C=0.001, random_state=5, class_weight= 'balanced')\n",
    "clf.fit(X, y)\n",
    "a = 20 * clf.coef_[0, 0]\n",
    "math.exp(a)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Случайный лес"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "metadata": {
    "collapsed": false
   },
   "outputs": [],
   "source": [
    "from sklearn.ensemble import RandomForestClassifier\n",
    "\n",
    "# Инициализируем случайный лес с 100 деревьями и сбалансированными классами \n",
    "rf = RandomForestClassifier(n_estimators=100, n_jobs=-1, random_state=42, oob_score=True, class_weight='balanced')\n",
    "\n",
    "## Будем искать лучшие параметры среди следующего набора\n",
    "parameters = {'max_features': [1, 2, 4], 'min_samples_leaf': [3, 5, 7, 9], 'max_depth': [5,10,15]}\n",
    "\n",
    "## Делаем опять же стрэтифайд k-fold валидацию. Инициализация которой должна у вас продолжать храниться в skf"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**Задание 8.** На сколько точность лучшей модели случайного леса выше точности логистической регрессии на валидации?"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 22,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "0.835631448211 {'max_features': 2, 'min_samples_leaf': 9, 'max_depth': 10}\n",
      "CPU times: user 8.2 s, sys: 160 ms, total: 8.36 s\n",
      "Wall time: 5min 22s\n"
     ]
    }
   ],
   "source": [
    "%%time\n",
    "gsc = GridSearchCV(estimator=rf, cv=skf, param_grid=parameters, n_jobs=-1, scoring='roc_auc')\n",
    "gsc.fit(X, y)\n",
    "print(gsc.best_score_, gsc.best_params_)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 26,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "0.039543530065170751"
      ]
     },
     "execution_count": 26,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "gsc.best_score_ - grid.best_score_"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**Задание 9.** Определите какой признак имеет самое слабое влияние."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 32,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "['age', 'NumberOfTime30-59DaysPastDueNotWorse', 'DebtRatio', 'NumberOfTimes90DaysLate', 'NumberOfTime60-89DaysPastDueNotWorse', 'MonthlyIncome', 'NumberOfDependents']\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "array([ 0.11695037,  0.30141858,  0.0761897 ,  0.27886218,  0.15358594,\n",
       "        0.05853629,  0.01445693])"
      ]
     },
     "execution_count": 32,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "clf = RandomForestClassifier(n_estimators=100, n_jobs=-1, random_state=42, oob_score=True,\n",
    "                             class_weight='balanced', max_features=2, min_samples_leaf=9, max_depth=10)\n",
    "clf.fit(X, y)\n",
    "print(independent_columns_names)\n",
    "clf.feature_importances_"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "** Задание 10.** Какое наиболее существенное примущество логистической регрессии перед случайным лесом для нашей бизнес-задачи?\n",
    "\n",
    "- меньше тратится времени для тренировки модели;\n",
    "- меньше параметров для перебора;\n",
    "- интепретируемость признаков;\n",
    "- линейные свойства алгоритма."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "collapsed": true
   },
   "source": [
    "Раз качество логистической регрессии заметно ниже, то тогда наверное основное её достоинство - меньше времени"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Бэггинг"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 30,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "from sklearn.ensemble import BaggingClassifier\n",
    "from sklearn.model_selection import RandomizedSearchCV\n",
    "parameters = {'max_features': [2, 3, 4], 'max_samples': [0.5, 0.7, 0.9], \"base_estimator__C\": [0.0001, 0.001, 0.01, 1, 10, 100]}"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**Задание 11.** Следующая задача обучить бэггинг классификатор. В качестве базовых классификаторов возьмите 100 логистических регрессий и на этот раз используйте не GridSearchCV, а RandomizedSearchCV. Так как перебирать все 54 варианта комбинаций долго, то поставьте максимальное число итераций 20 для RandomizedSearchCV. Так же не забудьте передать параметр валидации cv и `random_state=1`. Какая лучшая точность получилась?"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 40,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "0.80746778723 {'max_features': 2, 'base_estimator__C': 0.001, 'max_samples': 0.7}\n",
      "CPU times: user 1.75 s, sys: 264 ms, total: 2.01 s\n",
      "Wall time: 11min 47s\n"
     ]
    }
   ],
   "source": [
    "%%time\n",
    "bc = BaggingClassifier(base_estimator=lr, n_estimators=100, n_jobs=-1, random_state=42)\n",
    "rsb = RandomizedSearchCV(estimator=bc, cv=skf, param_distributions=parameters, scoring='roc_auc', n_jobs=-1, \n",
    "                         n_iter=20, random_state=1)\n",
    "rsb.fit(X, y)\n",
    "print(rsb.best_score_, rsb.best_params_)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**Задача 12.** Дайте интерпретацию лучших параметров для бэггинга. Почему именно такие значения оказались лучшими?\n",
    "\n",
    "- для бэггинга важно использовать как можно меньше признаков\n",
    "- бэггинг лучше работает на небольших выборках\n",
    "- меньше корреляция между одиночными моделями\n",
    "- чем больше признаков, тем меньше теряется информации"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "collapsed": true
   },
   "source": [
    "Тут всё просто - у нас лучший результат получился на 2 признаков, в наибольшим количеством самплов.... "
   ]
  }
 ],
 "metadata": {
  "anaconda-cloud": {},
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.5.2"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 0
}