Part 4 - Fashion-MNIST.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Ταξινόμηση του Fashion-MNIST\n",
    "\n",
    "Τώρα ήρθε η ώρα να εκπαιδεύσουμε ένα νευρωνικό δίκτυο σε ένα άλλο dataset. Θα χρησιμοποιήσουμε το [Fashion-MNIST dataset](https://github.com/zalandoresearch/fashion-mnist), αντί του κλασσικού MNIST dataset. Το κλασσικό MNIST για την ακρίβεια είναι ενα πολυ απλό dataset στο οποίο μπορούμε εύκολα να επιτύχουμε με τη βοήθεια των νευρωνικών δικτύων ακρίβεια πανω απο 97%. Το Fashion-MNIST είναι ένα σετ απο 28x28 εικόνες, απόχρωσης του γκρι, οι οποίες απεικονίζουν ρούχα. Είναι ένα πιο πολύπλοκο σετ απο το κλασσικό MNIST, με αποτέλεσμα να ειναι και πιο εμφανής η πραγματική απόδοση ενός δικτύου, αλλά είναι επίσης και μία καλύτερη εκδοχή των δεδομένων εκπαίδευσης που θα χρησιμοποιήσετε σε πραγματικές εφαρμογές.\n",
    "\n",
    "<img src='assets/fashion-mnist-sprite.png' width=500px>\n",
    "\n",
    "Σε αυτό το notebook, θα δημιουργήσετε το δικό σας νευρωνικό δίκτυο. Τα περισσότερα μέρη του κώδικα ειναι ίδια με αυτά που χρησιμοποιήσαμε στην προηγούμενη ενότητα, αλλά σκοπός είναι να γράψουμε το κώδικα απο μόνοι μας για να μάθουμε. Φυσικά, μπορείτε να συμβουλευτείτε όλα τα προηγούμενα notebooks καθώς προχωράτε στο κώδικα.\n",
    "\n",
    "Πρώτα, φορτώνουμε το dataset μεσω της torchvision."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "import torch\n",
    "from torchvision import datasets, transforms\n",
    "import helper\n",
    "\n",
    "# Καθόρισε ένα μετασχηματισμό για να κανονικοποιήσεις τα δεδομένα \n",
    "transform = transforms.Compose([transforms.ToTensor(),\n",
    "                                transforms.Normalize((0.5,), (0.5,))])\n",
    "# Κατέβασε και φόρτωσε τα δεδομένα εκπαίδευσης\n",
    "trainset = datasets.FashionMNIST('~/.pytorch/F_MNIST_data/', download=True, train=True, transform=transform)\n",
    "trainloader = torch.utils.data.DataLoader(trainset, batch_size=64, shuffle=True)\n",
    "\n",
    "# Κατέβασε και φόρτωσε τα δεδομένα ελέγχου\n",
    "testset = datasets.FashionMNIST('~/.pytorch/F_MNIST_data/', download=True, train=False, transform=transform)\n",
    "testloader = torch.utils.data.DataLoader(testset, batch_size=64, shuffle=True)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Εδώ μπορούμε να δούμε μία απο τις εικόνες."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "image, label = next(iter(trainloader))\n",
    "helper.imshow(image[0,:]);"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Χτίζοντας το δίκτυο\n",
    "\n",
    "Σε αυτό το σημείο πρέπει να καθορίσουμε την αρχιτεκτονική του δικτύου μας. Όπως και στο κλασσικό MNIST, κάθε εικόνα έχει ανάλυση 28x28 με συνολικά 784 εικονοστοιχεία, και υπάρχουν 10 κλάσεις. Πρέπει να συμπεριλάβεται τουλάχιστον ένα κρυφό επίπεδο. Προτείνεται η χρήση της συνάρτησης ενεργοποίησης ReLU για τα επίπεδα και να υπολογίζετε τα logits ή το log-softmax απο το κάθε βήμα προσω τροφοδότησης. Απο εσάς εξαρτάται το πόσα επίπεδα θα χρησιμοποιήσετε και το πόσους κόμβους θα έχουν αυτά τα επίπεδα."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "from torch import nn, optim\n",
    "import torch.nn.functional as F"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Συμπληρώστε: Καθορίστε την αρχιτεκτονική του δικτύου σας εδω\n",
    "class Classifier(nn.Module):\n",
    "    def __init__(self):\n",
    "        super().__init__()\n",
    "        self.fc1 = nn.Linear(784, 256)\n",
    "        self.fc2 = nn.Linear(256, 128)\n",
    "        self.fc3 = nn.Linear(128, 64)\n",
    "        self.fc4 = nn.Linear(64, 10)\n",
    "        \n",
    "    def forward(self, x):\n",
    "        # γραμμικοποιήστε το τανυστή εισόδου\n",
    "        x = x.view(x.shape[0], -1)\n",
    "        \n",
    "        x = F.relu(self.fc1(x))\n",
    "        x = F.relu(self.fc2(x))\n",
    "        x = F.relu(self.fc3(x))\n",
    "        x = F.log_softmax(self.fc4(x), dim=1)\n",
    "        \n",
    "        return x"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Εκπαιδεύστε το δίκτυο\n",
    "\n",
    "Τώρα πρέπει να δημιουργήσετε το δίκτυο και να το εκπαιδεύσετε. Πρώτα πρέπει να καθορίσετε το κρίτηριο [the criterion](http://pytorch.org/docs/master/nn.html#loss-functions) (χρήση του `nn.CrossEntropyLoss` ή `nn.NLLLoss`) και του optimizer [the optimizer](http://pytorch.org/docs/master/optim.html) (συνήθως `optim.SGD` ή `optim.Adam`).\n",
    "\n",
    "Μετά γράψτε το κώδικα εκπαίδευσης. Θυμηθείτε οτι η εκπαίδευση είναι μία ξεκάθαρη διεργασία μίας αλληλουχίας βημάτων:\n",
    "\n",
    "* Εκτελώ πρόσω τροφοδότηση και υπολογίζω την έξοδο (logits) \n",
    "* Χρησιμοποιώ την έξδοδο (logits) για να υπολογίσω το σφάλμα/απώλεια (loss)\n",
    "* Εκτελώ ένα βήμα προς τα πίσω (backward pass) στο δίκτυο με `loss.backward()` για να υπολογίσω τις μερικές παραγώγους\n",
    "* Ανανέωση των βαρών και πολώσεων με τον optimizer\n",
    "\n",
    "Καθορίζοντας σωστά τις υπερπαραμέτρους (κρυφά επίπεδα, learning rate, κτλ), μπορείτε να επιτύχετε ένα training loss κάτω απο 0.4."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Συμπληρώστε: Δημιουργήστε το δίκτυο, καθορίστε το κρίτήριο και τον optimizer\n",
    "model = Classifier()\n",
    "criterion = nn.NLLLoss()\n",
    "optimizer = optim.Adam(model.parameters(), lr=0.003)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Συμπληρώστε: Εκπαιδεύστε το δίκτυο σε αυτό το μπλοκ κώδικα\n",
    "epochs = 5\n",
    "\n",
    "for e in range(epochs):\n",
    "    running_loss = 0\n",
    "    for images, labels in trainloader:\n",
    "        log_ps = model(images)\n",
    "        loss = criterion(log_ps, labels)\n",
    "        \n",
    "        optimizer.zero_grad()\n",
    "        loss.backward()\n",
    "        optimizer.step()\n",
    "        \n",
    "        running_loss += loss.item()\n",
    "    else:\n",
    "        print(f\"Σφάλμα εκπαίδευσης: {running_loss/len(trainloader)}\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "%matplotlib inline\n",
    "%config InlineBackend.figure_format = 'retina'\n",
    "\n",
    "import helper\n",
    "\n",
    "# Ελέγξτε το δικτυό σας!\n",
    "\n",
    "dataiter = iter(testloader)\n",
    "images, labels = dataiter.next()\n",
    "img = images[1]\n",
    "\n",
    "# Συμπληρώστε: Υπολογίστε τις πιθανότητες για κάθε κλάση (softmax) για την img\n",
    "ps = torch.exp(model(img))\n",
    "\n",
    "# Απεικόνιστε την εικόνα και τις πιθανότητες\n",
    "helper.view_classify(img, ps, version='Fashion')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "![purple-divider](https://user-images.githubusercontent.com/7065401/52071927-c1cd7100-2562-11e9-908a-dde91ba14e59.png)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Αυτό το notebook 📖 δημιουργήθηκε για το μάθημα ***Υπολογιστική Νοημοσύνη και Μηχανική Μάθηση*** του Τμήματος Μηχανικών Παραγωγής και Διοίκησης, της Πολυτεχνικής Σχολής του Δημοκριτείου Πανεπιστημίου Θράκης.<br>\n",
    "This notebook is made available under the Creative Commons Attribution [(CC-BY)](https://creativecommons.org/licenses/by/4.0/legalcode) license. Code is also made available under the [MIT License](https://opensource.org/licenses/MIT).<br>\n",
    "Author: Asst. Prof. Angelos Amanatiadis\n",
    "<img src=\"assets/cc.png\" style=\"width:55px; float: right; margin: 0px 0px 0px 0px;\"></img>\n",
    "<img src=\"assets/mit.png\" style=\"width:40px; float: right; margin: 0px 10px 0px 0px;\"></img>"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.8.2"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}