Classification_CNNs-v2.ipynb

{
  "nbformat": 4,
  "nbformat_minor": 0,
  "metadata": {
    "accelerator": "GPU",
    "colab": {
      "name": "Classification_CNNs.ipynb",
      "provenance": [],
      "collapsed_sections": [],
      "include_colab_link": true
    },
    "kernelspec": {
      "name": "python3",
      "display_name": "Python 3"
    },
    "language_info": {
      "codemirror_mode": {
        "name": "ipython",
        "version": 3
      },
      "file_extension": ".py",
      "mimetype": "text/x-python",
      "name": "python",
      "nbconvert_exporter": "python",
      "pygments_lexer": "ipython3",
      "version": "3.6.8"
    }
  },
  "cells": [
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "view-in-github",
        "colab_type": "text"
      },
      "source": [
        "<a href=\"https://colab.research.google.com/github/raqueeb/TensorFlow2/blob/master/Classification_CNNs-v2.ipynb\" target=\"_parent\"><img src=\"https://colab.research.google.com/assets/colab-badge.svg\" alt=\"Open In Colab\"/></a>"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "colab_type": "text",
        "id": "jYysdyb-CaWM"
      },
      "source": [
        "# কনভল্যুশনাল নিউরাল নেটওয়ার্ক দিয়ে ইমেজ ক্লাসিফিকেশন "
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "RsBSPVjuwF6A",
        "colab_type": "text"
      },
      "source": [
        "### শুরুতেই বেসিক ধারণা "
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "li1dtIMAwF6B",
        "colab_type": "text"
      },
      "source": [
        "আজকে আমরা আলাপ করছি ‘কনভল্যুশনাল নিউরাল নেটওয়ার্ক’ দিয়ে। একে আমরা সচরাচর ‘সিএনএন’ বলে থাকি। আমাদের এই নতুন ডিপ নিউরাল নেটওয়ার্কের কাজ আগের নেটওয়ার্ক থেকে অনেকটাই দক্ষ, বিশেষ করে ইমেজ প্রসেসিং এ। ব্যাপারটা বোঝার জন্য আমাদেরকে তাকাতে হবে মানুষের মস্তিষ্কের দিকে। আমরা সারাদিন কি করি? সজ্ঞানে অথবা ভুলোমনে হোক, আমরা সারাদিন ধরে নতুন জিনিসপত্র দেখি, সেটা কে চিনে মনে মনে লেবেল করি, এইটা হচ্ছে পাহাড়, এইটা বাঘ - শেষে সবকিছুর একটা প্যাটার্ন বুঝতে পারি। আবার, যেটা জানিনা বা বুঝিনা সেটাই ভূত। \n",
        "\n",
        "ব্যাপারটা কিন্তু এমনিতেই হয়নি। মানুষের প্রায় ৫০ কোটি বছর লেগেছে এই ধরনের জিনিস মাথায় তৈরি হতে। আমাদের চোখ এবং ব্রেনের মধ্যে যে কোঅর্ডিনেশন এবং কোলাবরেশন তার জন্যই কিন্তু আমরা দেখতে পারি পৃথিবীর আশেপাশে। একটা বাচ্চা যেভাবে তার আশেপাশের বিভিন্ন অবজেক্টকে দেখে চিনতে শিখে, সেভাবে আমাদের অ্যালগরিদমকে লক্ষ লক্ষ ছবি দেখাতে হবে যাতে তার একটা 'জেনারেলাইজড' আইডিয়া হয়, কোনটা কি হতে পারে। এরপর একটা ছবি যেটা আগে তাকে দেখানো হয়নি, সেটা দেখে বলতে পারবে ছবিটা কিসের। কম্পিউটার আর মানুষের মধ্যে দেখার পার্থক্য আছে। কম্পিউটার যা দেখে তার সবই সংখ্যা। প্রতিটা ছবি আসলে একটা দুই ডাইমেনশনের সংখ্যার অ্যারে, যেগুলোকে পিক্সেল বলছি আমরা। \n",
        "\n",
        "<img src=\"https://raw.githubusercontent.com/raqueeb/deep_learning_book/master/start-page/neuron.jpg\"> চিত্রঃ মানুষ কিভাবে দেখে? আমাদের কনভল্যুশনাল নিউরাল নেটওয়ার্কের মতো \n",
        "\n",
        "আজকে যে ‘কনভল্যুশনাল নিউরাল নেটওয়ার্ক’ নিয়ে আলাপ করছি সেটা নিয়ে রিসার্চ হয়েছে ১৯৬০ সালের দিকে। বিশেষ করে মানুষ এবং অন্যান্য স্তন্যপায়ী প্রানীরা কিভাবে দেখে। আমাদের ভিজুয়াল কর্টেক্সে নিউরনগুলো কিভাবে কাজ করে তার থেকেই ধারণা নিয়ে তৈরি এই কনভলিউশনাল নেটওয়ার্ক। সাধারণ নিউরাল নেটওয়ার্ক থেকে এ কারণে এই নেটওয়ার্কের আর্কিটেকচার ভিন্ন। একে অনেকে ডিপ নিউরাল নেটওয়ার্ক বলতে নারাজ। সাধারণ নিউরাল নেটওয়ার্ক এবং কনভল্যুশনাল নিউরাল নেটওয়ার্কের প্রাথমিক পার্থক্য হচ্ছে এদের কাজের ধারা, এবং একটা কানেক্টেড, আরেকটা অতোটা কানেক্টেড না। কনভলিউশন শব্দটা এসেছে অংক থেকে যার মানে হচ্ছে দুটো ফাংশনের একটা ম্যাথমেটিক্যাল কম্বিনেশন যেটার আউটকাম তৃতীয় একটা ফাংশন। ইনপুট থেকে পাওয়া দুটো সেটকে এক জায়গায় নিয়ে আসাকে কনভলিউশন বলে।\n",
        "\n",
        "<img src=\"https://raw.githubusercontent.com/raqueeb/deep_learning_book/master/start-page/cnn2.png\"> চিত্রঃ কনভল্যুশনাল নিউরাল নেটওয়ার্কের একটা এন্ড টু এন্ড ডায়াগ্রাম "
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "YyE4uqh6wF6C",
        "colab_type": "text"
      },
      "source": [
        "### ফিচার এক্সট্রাকশন এবং ক্লাসিফিকেশন "
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "sIdmW8UVwF6D",
        "colab_type": "text"
      },
      "source": [
        "কনভল্যুশনাল নিউরাল নেটওয়ার্কের দুটো ভাগ\n",
        "\n",
        "১. ফিচার এক্সট্রাকশন/হিডেন লেয়ার পার্ট: এখানে কনভল্যূশন এবং পুলিং (পরে বলছি) এর মাধ্যমে ফিচার এক্সট্রাকশন মানে মানুষের মুখ হলে তার নাক চোখ, মুখ এগুলোকে ডিটেক্ট করে আগে লেয়ার বাই  লেয়ার। এর কাজ শেষ হলে পরেরটা শুরু হয়। \n",
        "\n",
        "<img src=\"https://raw.githubusercontent.com/raqueeb/deep_learning_book/master/assets/cnn7.jpeg\"> চিত্রঃ কনভল্যুশনাল নিউরাল নেটওয়ার্কের শুরুর অংশ \n",
        "\n",
        "২. এটা ফুলি কানেক্টেড লেয়ার, যা কাজ করে ফিচার এক্সট্রাক্ট করার হয়ে গেলে - ক্লাসিফাইয়ার তার প্রোবাবিলিটি ডিস্ট্রিবিউশন থেকে যার ভোটিং বেশি হয় সেই ছবিকে বলে দেয়। \n",
        "\n",
        "<img src=\"https://raw.githubusercontent.com/raqueeb/deep_learning_book/master/assets/neural_net2.jpeg\"> চিত্রঃ সাধারণ নিউরাল নেটওয়ার্কের শেষের অংশ \n",
        "\n",
        "সাধারণ নিউরাল নেটওয়ার্কের ইনপুট এ যা দেয়া হয় সেটাকে সে ট্রান্সফরম করতে থাকে তারপরের হিডেন লেয়ারের সিরিজ থেকে। প্রতিটা লেয়ারে অনেকগুলো নিউরন থাকে, আবার প্রতিটা লেয়ার একটা আরেকটার সাথে 'ফুলি কানেক্টেড'। সেখানে কনভল্যুশনাল নিউরাল নেটওয়ার্কগুলো একটু ভিন্ন। তাদের লেয়ারগুলোকে আমরা অরগানাইজ করি তিন ডাইমেনশনে মানে দৈর্ঘ্য প্রস্থ এবং উচ্চতায় (ছবি হলে তিন রঙয়ের চ্যানেল)। ভয় পাবেন না, সামনে আমরা সেগুলো ছবি দিয়ে বুঝিয়ে দেব। এখানে সব নিউরনগুলো একটা আরেকটার সাথে কানেক্টেড না, তবে ছোট ছোট রিজিয়ন দিয়ে কানেক্টেড। এটাই সিএনএনের বড় প্লাস পয়েন্ট। \n",
        "\n",
        "সাধারণ নিউরাল নেটওয়ার্ক এ আমরা পুরো ছবিকেই প্রসেস করতাম। এখানে একটা ছবি অনেকগুলো ফিল্টারের মধ্যে দিয়ে যাবে। শুরুতে আমাদের এখানে ইনপুট ডাটা ছোট একটা ফিল্টার এর মধ্যে যাবে, এখানে ফিল্টার অথবা কার্নাল এই দুটো আসল ইনপুট ইমেজ থেকে ছোট তাই এর দক্ষতা অনেক ভালো। এই ফিল্টারগুলোর আউটপুট জমা হয় ফিচার ম্যাপে। বড় একটা ছবিকে তার ছোট পিক্সেল সাইজ ফিল্টার দিয়ে যেই ম্যাথমেটিক্যাল অপারেশন করবো তার আউটপুট এসে জমা হবে ফিচার ম্যাপে। এই ফিল্টারগুলো স্লাইডিং করবে পুরো ইমেজ জুড়ে। ইমেজ এবং ফিল্টারের মাট্রিক্স মালটিপ্লিকেশন হবার পর সেটার যোগফল এসে জমা হয় ফিচার ম্যাপে। আবারো বলছি কনভলিউশন হচ্ছে অরিজিনাল ছবির ডাটা সাথে ফিল্টারের মাট্রিক্স মালটিপ্লিকেশন এবং তার রেজাল্ট এসে ধুঁকছে ফিচার ম্যাপে। এর পাশাপাশি এই আউটপুটকে আমরা বলছি ডাউন স্যাম্পলিং, যেটাকে সবাই বলছে 'ম্যাক্স পুলিং' যার কাজ হচ্ছে আমরা যখন একটা রিজিওন সিলেক্ট করি তখন সেখান থেকে সর্বোচ্চ ভ্যালুটাকে আমরা সেই রিজিওনের জন্য নতুন ভ্যালু হিসেবে ডিক্লেয়ার করি। আসুন ছবি দেখে হিসেব মিলাই। এখানে একটা ছবি থেকে বিড়ালকে আমরা ক্লাসিফাই করব। এই মজার ছবি আর কনটেন্ট এর জন্য হ্যারিসনকে ধন্যবাদ। উনার সাইট হচ্ছে pythonprogramming.net ।"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "Y-j3T3cVwF6E",
        "colab_type": "text"
      },
      "source": [
        "## ছবিতে বিড়ালের ফিচার এক্সট্রাকশন এবং ক্লাসিফিকেশন\n",
        "\n",
        "<img src=\"https://raw.githubusercontent.com/raqueeb/deep_learning_book/master/assets/cat1.png\"> চিত্রঃ একটা বেড়াল, বেড়াল মনে হচ্ছে না? \n",
        "\n",
        "১. এক নাম্বার ছবিতে আমরা ধরে নিচ্ছি একটা বিড়াল আছে। বিড়ালটার আঁকাটা যতই খারাপ হোক না কেন আমার মনে হয় বোঝা যাচ্ছে এটা যে একটা বিড়াল। \n",
        "\n",
        "<img src=\"https://raw.githubusercontent.com/raqueeb/deep_learning_book/master/assets/cat2.png\"> চিত্রঃ ৫ X ৪ পিক্সেল ছবি \n",
        "\n",
        "২. মেশিনের বোঝার সুবিধার জন্য এই চারকোনা ঘরগুলো মানে একেকটা পিক্সেল দিয়ে ভাগ করে ফেলেছি। একটা ছবিতে মিলিয়ন পিক্সেল থাকতে পারে তবে আমরা বোঝার সুবিধার জন্য এখানে কমিয়ে দিয়েছি ৫ X ৪ পিক্সেলে।\n",
        "\n",
        "<img src=\"https://raw.githubusercontent.com/raqueeb/deep_learning_book/master/assets/cat3.png\"> চিত্র:৫ X ৪ পিক্সেলের ছবি \n",
        "\n",
        "৩. কনভল্যুশন এর সময় আমরা এই বিড়ালের ছবিটার পুরো অংশ না নিয়ে একটা অংশ নেব। এখানে আপনারা দেখছেন একটা ৩ X ৩ একটা উইন্ডো নিয়েছি এই ফিল্টার বানানোর জন্য। আমরা এই ৩ X ৩ পিক্সেলের রিজিওন এর মধ্যেই আমাদের ফিচার খুজবো। এই ৩ X ৩ পিক্সেলের আউটপুট আমরা নিয়ে আসব ১ (এক) পিক্সেলের ফিচার ম্যাপে। এখানে আমরা একটা পিক্সেলের ফিচার ম্যাপ দেখাচ্ছি, আসল সময় এখানে অনেকগুলো ফিচার ম্যাপ আসবে।\n",
        "\n",
        "<img src=\"https://raw.githubusercontent.com/raqueeb/deep_learning_book/master/assets/cat4.png\"> চিত্রঃ একটা পিক্সেলের ফিচার ম্যাপ\n",
        "\n",
        "৪. এখন আমাদের ৩ X ৩ যে কার্নাল বা ফিল্টার ব্যবহার করেছি, সেটাকে ডানে ১ পিক্সেল করে স্লাইড করব। এরপর আরো ১ পিক্সেল করে স্লাইড করবো। এর অর্থ ২ পিক্সেলের স্ট্রাইড। মনে রাখতে হবে যাতে আমরা কোন পিক্সেল এই ফিল্টার থেকে হাতছাড়া না হয়ে পড়ে। এইজন্য অনেক পিক্সেল ওভারল্যাপ হবে, কিন্তু এতে কোন পিক্সেল বাদ পড়বে না। \n",
        "\n",
        "<img src=\"https://raw.githubusercontent.com/raqueeb/deep_learning_book/master/assets/cat5.png\"> চিত্রঃ ২ পিক্সেলের স্ট্রাইড\n",
        "\n",
        "৫. এইভাবে আমরা ডানে বামে উপরে নিচে সবজায়গায় স্লাইডিং করব, যাতে পুরো ইমেজটাকে কাভার করতে পারি। আমাদের এই ৩ X ৩ ফিল্টার দিয়ে যে ফিচার ম্যাপ তৈরি করছি সেটা ৩ X ৩ ফিল্টার থেকে একটা একটা করে ইনপুট নিয়ে ফিচার ম্যাপ তৈরি করেছে। অনেকগুলো পিকচার থেকে আমরা এখন কমিয়ে নিয়ে এলাম মাত্র চারটা পিক্সেল ভ্যালুর ফিচার ম্যাপ।\n",
        "\n",
        "<img src=\"https://raw.githubusercontent.com/raqueeb/deep_learning_book/master/assets/cat6.png\"> চিত্রঃ চারটা পিক্সেল ভ্যালুর ফিচার ম্যাপ\n",
        "\n",
        "৬. এখন আমরা পুলিং এর কাজ করব। আমরা ধরে নিচ্ছি আমাদের কনভলিউশন ছবির বদলে এই সংখ্যাগুলো দিয়েছে। এই সংখ্যাগুলো এসেছে পিক্সএল ভ্যালু এবং ফিল্টার ভ্যালু এর মাট্রিক্স মালটিপ্লিকেশন থেকে।\n",
        "\n",
        "<img src=\"https://raw.githubusercontent.com/raqueeb/deep_learning_book/master/assets/cat7.png\"> চিত্রঃ পুলিং এর কাজ\n",
        "\n",
        "৭. এখানে আমরা আবার একটা ৩ X ৩ পুলিং উইন্ডো নিচ্ছি। \n",
        "\n",
        "<img src=\"https://raw.githubusercontent.com/raqueeb/deep_learning_book/master/assets/cat8.png\"> চিত্রঃ ৩ X ৩ পুলিং উইন্ডো\n",
        "\n",
        "৮. এই পুলিং এর সবচেয়ে বেশি ব্যবহৃত ফর্ম হচ্ছে 'ম্যাক্স পুলিং', যার কাজ হচ্ছে ওই উইন্ডোর মধ্যে থেকে সবচেয়ে বেশি ভ্যালুকে বের করে আনা। ওই উইন্ডো বা রিজিওনের জন্য সেটাই নতুন ভ্যালু। আপনি দেখুন প্রথম উইন্ডোতে ৩ X ৩ পুলিং ৪ হচ্ছে সর্বোচ্চ সংখ্যা। \n",
        "\n",
        "<img src=\"https://raw.githubusercontent.com/raqueeb/deep_learning_book/master/assets/cat9.png\"> চিত্রঃ সবগুলো পিক্সেল থেকে নতুন চারটা ভ্যালু\n",
        "\n",
        "৯. দুই পিক্সেল ডানে নতুন যে উইন্ডো হল তার সর্বোচ্চ ভ্যালু হচ্ছে ৩। উপর থেকে নিচের দিকে ১ পিক্সেল স্লাইড করলে যে ৩ X ৩ উইন্ডো পাওয়া যায় তার সর্বোচ্চ ভ্যালু হচ্ছে ৪। হিসেবে নিচের উইন্ডোকে আরো দুই পিক্সেল ডানে নিলে যে ম্যাক্স পুলিং উইন্ডো হবে সেটার সর্বোচ্চ ভ্যালু হচ্ছে ৩। আমরা সবদিকে স্লাইডিং করে পুরনো ছবি তে সবগুলো পিক্সেল কাভার করলে আমরা নতুন চারটা ভ্যালু পাব যা রিপ্রেজেন্ট করবে বিড়ালের পুরো ছবিটাকে।"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "mqd_yq67wF6F",
        "colab_type": "text"
      },
      "source": [
        "বেশি ঝামেলার মনে হচ্ছে? আচ্ছা, আপাততঃ কনভল্যুশনাল নিউরাল নেটওয়ার্ক দিয়ে ইমেজ ক্লাসিফিকেশন না করে কিভাবে সেই ডেটাসেট সহজে ব্যবহার করা যায় সেটার একটা পন্থা বের করছি। এরপর ফিরে যাবো কনভল্যুশনাল নিউরাল নেটওয়ার্ক দিয়ে কাজে। "
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "colab_type": "text",
        "id": "H0tMfX2vR0uD"
      },
      "source": [
        "## ইনস্টল এবং ইমপোর্ট করে নেই দরকারি লাইব্রেরি "
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "NA2ZzURQwF6G",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "import math\n",
        "import numpy as np\n",
        "import pandas as pd\n",
        "import matplotlib.pyplot as plt"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab_type": "code",
        "id": "5HDhfftMGc_i",
        "outputId": "81dd7d80-3758-4b0a-dcdb-ff808e47fe50",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 34
        }
      },
      "source": [
        "try:\n",
        "  # শুধুমাত্র টেন্সর-ফ্লো ২.x ব্যবহার করবো \n",
        "  %tensorflow_version 2.x\n",
        "except Exception:\n",
        "  pass\n",
        "\n",
        "import tensorflow as tf"
      ],
      "execution_count": 2,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "TensorFlow 2.x selected.\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "qtvAGEwUwF6N",
        "colab_type": "text"
      },
      "source": [
        "## টেন্সর-ফ্লো ডেটাসেট এপিআই ব্যবহার\n",
        "\n",
        "মনে আছে সাইকিট লার্নের কথা? এর ভেতরের ডেটাসেট নিয়ে কাজ করেছিলাম আমরা। আলাদা করে ডাউনলোড করতে হয়নি। আমরা সেভাবেই টেন্সর-ফ্লো ডেটাসেট এপিআই [TensorFlow Datasets](https://www.tensorflow.org/datasets/), ব্যবহার করবো যাতে এই বিশ্বখ্যাত সব ডেটাসেটে আমরা এক্সেস পাই সহজে, ঝামেলাপূর্ণ ডাউনলোড ছাড়াই - শুধু জানতে হবে সেটার কনভেনশন। "
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "AGzIIZolwF6P",
        "colab_type": "text"
      },
      "source": [
        "### আমাদের সব ডেটাসেট এক্সপোজ করা আছে tf.data.Datasets এ \n",
        "কিছু টেস্ট চালাই এখানে "
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "_md9NvmrwF6Q",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "# টেন্সর-ফ্লো ডেটাসেট tfds\n",
        "import tensorflow_datasets as tfds"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "cIwTb6xcwF6S",
        "colab_type": "code",
        "outputId": "06d8a02e-eefe-4242-ecce-8a019056e3e7",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 54
        }
      },
      "source": [
        "# আপনি দেখুন কতো কতো রিসার্চ ডেটাসেট এখানে \n",
        "# প্রতিটা ডেটাসেট ইমপ্লিমেন্ট করা আছে  tfds.core.DatasetBuilder হিসেবে \n",
        "# তার আগে লিস্ট দেখি \n",
        "print(tfds.list_builders())"
      ],
      "execution_count": 4,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "['abstract_reasoning', 'aflw2k3d', 'amazon_us_reviews', 'bair_robot_pushing_small', 'bigearthnet', 'binarized_mnist', 'binary_alpha_digits', 'caltech101', 'caltech_birds2010', 'caltech_birds2011', 'cats_vs_dogs', 'celeb_a', 'celeb_a_hq', 'chexpert', 'cifar10', 'cifar100', 'cifar10_corrupted', 'clevr', 'cnn_dailymail', 'coco', 'coco2014', 'coil100', 'colorectal_histology', 'colorectal_histology_large', 'curated_breast_imaging_ddsm', 'cycle_gan', 'deep_weeds', 'definite_pronoun_resolution', 'diabetic_retinopathy_detection', 'downsampled_imagenet', 'dsprites', 'dtd', 'dummy_dataset_shared_generator', 'dummy_mnist', 'emnist', 'eurosat', 'fashion_mnist', 'flores', 'food101', 'gap', 'glue', 'groove', 'higgs', 'horses_or_humans', 'image_label_folder', 'imagenet2012', 'imagenet2012_corrupted', 'imdb_reviews', 'iris', 'kitti', 'kmnist', 'lfw', 'lm1b', 'lsun', 'mnist', 'mnist_corrupted', 'moving_mnist', 'multi_nli', 'nsynth', 'omniglot', 'open_images_v4', 'oxford_flowers102', 'oxford_iiit_pet', 'para_crawl', 'patch_camelyon', 'pet_finder', 'quickdraw_bitmap', 'resisc45', 'rock_paper_scissors', 'rock_you', 'scene_parse150', 'shapes3d', 'smallnorb', 'snli', 'so2sat', 'squad', 'stanford_dogs', 'stanford_online_products', 'starcraft_video', 'sun397', 'super_glue', 'svhn_cropped', 'ted_hrlr_translate', 'ted_multi_translate', 'tf_flowers', 'titanic', 'trivia_qa', 'uc_merced', 'ucf101', 'visual_domain_decathlon', 'voc2007', 'wikipedia', 'wmt14_translate', 'wmt15_translate', 'wmt16_translate', 'wmt17_translate', 'wmt18_translate', 'wmt19_translate', 'wmt_t2t_translate', 'wmt_translate', 'xnli']\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "TzuLj-bzwF6V",
        "colab_type": "text"
      },
      "source": [
        "## আমরা একটু দেখি tfds.load এবং DatasetBuilder এর কাজ "
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "B33RzDB0wF6W",
        "colab_type": "text"
      },
      "source": [
        "### `tfds.load`: যাকে আমরা বলছি এক লাইনে এক ডেটাসেট \n",
        "\n",
        "`tfds.load` দিয়ে খুব সহজে একটা ডেটাসেট বিল্ড এবং লোড করা যায়। `tf.data.Dataset` হচ্ছে স্ট্যান্ডার্ড টেন্সর-ফ্লো এপিআই বিশেষ করে ইনপুট পাইপলাইন তৈরি করতে। আমরা ডাউনলোড করে নিতে পারি `data_dir=`তে বলে। আর তা না হলে ডিফল্ট হচ্ছে `~/tensorflow_datasets/`)."
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "Qcaz5_ebwF6X",
        "colab_type": "code",
        "outputId": "b7742172-821d-4b6a-cc8b-a657b7ade69c",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 51
        }
      },
      "source": [
        "# এই mnist কিন্তু হাতে লেখা সংখ্যাকে চেনার ডেটাসেট, ফ্যাশন নয় \n",
        "# একঘেঁয়েমি কাটানোর জন্য নতুন জিনিস \n",
        "mnist_train = tfds.load(name=\"mnist\", split=\"train\")\n",
        "assert isinstance(mnist_train, tf.data.Dataset)\n",
        "print(mnist_train)"
      ],
      "execution_count": 5,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "WARNING:absl:Warning: Setting shuffle_files=True because split=TRAIN and shuffle_files=None. This behavior will be deprecated on 2019-08-06, at which point shuffle_files=False will be the default for all splits.\n"
          ],
          "name": "stderr"
        },
        {
          "output_type": "stream",
          "text": [
            "<_OptionsDataset shapes: {image: (28, 28, 1), label: ()}, types: {image: tf.uint8, label: tf.int64}>\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "5_3I9kbQwF6a",
        "colab_type": "text"
      },
      "source": [
        "### কোন ভার্সনের ডেটাসেট দরকার?"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "RL1UlFrCwF6b",
        "colab_type": "code",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 34
        },
        "outputId": "bd357c4d-9bb8-4540-a4b5-5358576e34f1"
      },
      "source": [
        "mnist = tfds.load(\"mnist:1.*.*\")"
      ],
      "execution_count": 6,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "WARNING:absl:Warning: Setting shuffle_files=True because split=TRAIN and shuffle_files=None. This behavior will be deprecated on 2019-08-06, at which point shuffle_files=False will be the default for all splits.\n"
          ],
          "name": "stderr"
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "DEG8p0WGwF6e",
        "colab_type": "text"
      },
      "source": [
        "### ফিচার ডিকশনারি \n",
        "\n",
        "আমাদের সাইকিট লার্নের মতো এখানে টেন্সর-ফ্লো ডেটাসেট tfds এর ফিচার ডিকশনারির সব ফিচারকে ম্যাপ করা হয়েছে টেন্সর ভ্যালুতে। যেমন, আমাদের ডেটাসেট MNIST, এর দুটো কী আছে: \"image\" এবং \"label\"। আমরা একটা রেকর্ড মানে ফুল এক্সাম্প্ল দেখি। "
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "SrCzbzyfwF6f",
        "colab_type": "code",
        "outputId": "3c0e82cf-8d73-4127-f0ca-916d0d102f25",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 286
        }
      },
      "source": [
        "for mnist_example in mnist_train.take(1):  # একটা উদাহরণ নেই (একটা জোড়া)\n",
        "  image, label = mnist_example[\"image\"], mnist_example[\"label\"]\n",
        "\n",
        "  plt.imshow(image.numpy()[:, :, 0].astype(np.float32), cmap=plt.get_cmap(\"gray\"))\n",
        "  print(\"Label: %d\" % label.numpy())"
      ],
      "execution_count": 7,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "Label: 8\n"
          ],
          "name": "stdout"
        },
        {
          "output_type": "display_data",
          "data": {
            "image/png": "iVBORw0KGgoAAAANSUhEUgAAAP8AAAD8CAYAAAC4nHJkAAAABHNCSVQICAgIfAhkiAAAAAlwSFlz\nAAALEgAACxIB0t1+/AAAADl0RVh0U29mdHdhcmUAbWF0cGxvdGxpYiB2ZXJzaW9uIDMuMC4zLCBo\ndHRwOi8vbWF0cGxvdGxpYi5vcmcvnQurowAADiJJREFUeJzt3X+MVfWZx/HPs9L6CyK4teNAyYKN\nrhITRSe6cclawkpcQsQmauofBrPYqVLIYtSorD9IDAlRW9OEhGSaQgdDpZqRQIgRkNTq4qYRiTuK\n2uoSSJkgU38kpf4xFHn2j3tmM9U53zPce+49d3jer2Qy957nnnufnMxnzrn3e8/5mrsLQDx/V3UD\nAKpB+IGgCD8QFOEHgiL8QFCEHwiK8ANBEX4gKMIPBDWhlS9mZnydEGgyd7exPK6hPb+Z3Whmvzez\nj8zsoUaeC0BrWb3f7TezMyT9QdINkg5LelPS7e7+XmId9vxAk7Viz3+NpI/c/YC7H5e0WdKiBp4P\nQAs1Ev5pkv444v7hbNnfMLNuM9trZnsbeC0AJWv6B37u3iOpR+KwH2gnjez5ByRNH3H/O9kyAONA\nI+F/U9LFZjbTzL4p6QeStpXTFoBmq/uw391PmNkySTsknSFpvbvvL60zAE1V91BfXS/Ge36g6Vry\nJR8A4xfhB4Ii/EBQhB8IivADQRF+ICjCDwRF+IGgCD8QFOEHgiL8QFCEHwiK8ANBEX4gKMIPBEX4\ngaAIPxAU4QeCIvxAUIQfCIrwA0ERfiAowg8ERfiBoAg/EBThB4Ii/EBQhB8IivADQdU9RbckmdlB\nScckfSnphLt3ldEUTs3cuXNza3feeWdy3alTpybr8+bNS9a3b9+erPf19eXWent7k+uiuRoKf2au\nu39SwvMAaCEO+4GgGg2/S9ppZm+ZWXcZDQFojUYP++e4+4CZfVvSLjP7wN1fG/mA7J8C/xiANtPQ\nnt/dB7Lfg5K2SLpmlMf0uHsXHwYC7aXu8JvZuWY2afi2pPmS3i2rMQDN1chhf4ekLWY2/Dy/cveX\nS+kKQNOZu7fuxcxa92LjyKRJk5L1u+66K1lfs2ZNbm3ChPT/9/7+/mT9wIEDyfr8+fOT9XPOOSe3\nds899yTX7enpSdYxOne3sTyOoT4gKMIPBEX4gaAIPxAU4QeCIvxAUGWc1YcGpU7JlaSnn346Wf/i\niy9yazfddFNy3R07diTrRS655JJkfdmyZbm1p556Krnu0NBQss4pwY1hzw8ERfiBoAg/EBThB4Ii\n/EBQhB8IivADQXFKbxt4/fXXk/XLLrssWV+yZElubevWrXX11Ao7d+5M1k+cOJGsP/DAA8n65MmT\nc2t79uxJrjuecUovgCTCDwRF+IGgCD8QFOEHgiL8QFCEHwiKcf4WuOOOO5L1jRs3Jutr165N1pcv\nX37KPbWDounB9+/fn6yfd955yfqTTz6ZWzt58mRy3ZUrVybr7YxxfgBJhB8IivADQRF+ICjCDwRF\n+IGgCD8QVOF1+81svaSFkgbd/fJs2fmSfi1phqSDkm5z98+b1+b4Nnv27GS96LsWfX19ZbbTNu6+\n++5kfeLEicn6oUOHkvV169bVvW4EY9nz/1LSjV9Z9pCk3e5+saTd2X0A40hh+N39NUmffWXxIknD\n06X0Srq55L4ANFm97/k73P1IdvtjSR0l9QOgRRqeq8/dPfWdfTPrltTd6OsAKFe9e/6jZtYpSdnv\nwbwHunuPu3e5e1edrwWgCeoN/zZJi7PbiyW17yViAYyqMPxm9pyk/5b0j2Z22MyWSFoj6QYz+1DS\nv2b3AYwjhe/53f32nNK8kns5bV100UUNrW82ptOz29KDDz6YW3vkkUeS6x4/fjxZ37BhQ7LOWH4a\n3/ADgiL8QFCEHwiK8ANBEX4gKMIPBMWlu1ug6NLdvb29yfrLL7+crC9YsOCUeypLaihPku67777c\n2tDQUHLdxx57LFkvGuqLikt3A0gi/EBQhB8IivADQRF+ICjCDwRF+IGgGOdvAwMDA8l6Z2dnsv7E\nE0/k1h5//PG6ehp27bXXJusvvfRSsj5lypTcWtGlu3t6epJ1jI5xfgBJhB8IivADQRF+ICjCDwRF\n+IGgCD8QFOP8beDSSy9N1ovO5582bVpubfPmzcl1N23alKw/++yzyfqkSZOS9XvvvTe3lppCG/Vj\nnB9AEuEHgiL8QFCEHwiK8ANBEX4gKMIPBFU4zm9m6yUtlDTo7pdny1ZJ+qGkP2UPW+nu6RO7xTh/\nvWbNmpWsr127Nrd2/fXXJ9ctmv676O/j/vvvT9afeeaZZB3lK3Oc/5eSbhxl+TPufmX2Uxh8AO2l\nMPzu/pqkz1rQC4AWauQ9/zIz6zez9WaWf60mAG2p3vCvk/RdSVdKOiLpJ3kPNLNuM9trZnvrfC0A\nTVBX+N39qLt/6e4nJf1c0jWJx/a4e5e7d9XbJIDy1RV+Mxt5OdnvS3q3nHYAtMqEogeY2XOSvifp\nW2Z2WNLjkr5nZldKckkHJf2oiT0CaALO5z8NpK4HsGvXruS6qWsBSMXj/LNnz07W+/v7k3WUj/P5\nASQRfiAowg8ERfiBoAg/EBThB4JiqO80cOaZZ+bW9uzZk1z3qquuaui1X3jhhWR96dKlubVPP/20\nodfG6BjqA5BE+IGgCD8QFOEHgiL8QFCEHwiK8ANBMc5/GrjwwgtzawMDA8l1iy7dvWLFimR99erV\nyfoHH3yQW5s/f35y3c8//zxZx+gY5weQRPiBoAg/EBThB4Ii/EBQhB8IivADQTHOfxqYO3dubu2V\nV15Jrnvo0KFk/YorrkjWZ86cmaxv2bIltzY4OJhcd+HChck61wMYHeP8AJIIPxAU4QeCIvxAUIQf\nCIrwA0ERfiCoCUUPMLPpkjZK6pDkknrc/Wdmdr6kX0uaIemgpNvcnROwK3D11VfXve6OHTuS9WPH\njiXrRVNw33rrrbm1559/PrnuqlWrkvXly5cn60gby57/hKT73H2WpH+S9GMzmyXpIUm73f1iSbuz\n+wDGicLwu/sRd9+X3T4m6X1J0yQtktSbPaxX0s3NahJA+U7pPb+ZzZA0W9LvJHW4+5Gs9LFqbwsA\njBOF7/mHmdlESX2SVrj7n0de+83dPe97+2bWLam70UYBlGtMe34z+4Zqwd/k7i9mi4+aWWdW75Q0\n6lka7t7j7l3u3lVGwwDKURh+q+3ifyHpfXf/6YjSNkmLs9uLJW0tvz0AzTKWw/5/lnSHpHfM7O1s\n2UpJayQ9b2ZLJB2SdFtzWkQjii7N/cYbbzT19fft25dbO/vss5Przpkzp+x2MEJh+N39vyTl/QXN\nK7cdAK3CN/yAoAg/EBThB4Ii/EBQhB8IivADQY35671oX6mprIsuzf7www8n66+++mqyPjQ0lKxf\nd911ubXJkycn1z1+/HiyPmXKlGSdKb7T2PMDQRF+ICjCDwRF+IGgCD8QFOEHgiL8QFBM0X0auOCC\nC3JrRVNwn3XWWcn6wMBAXT0Nmzp1am6t6FoDjz76aLK+evXquno63TFFN4Akwg8ERfiBoAg/EBTh\nB4Ii/EBQhB8IinH+09wtt9ySrHd3p2dSmzeveVdnX7p0abK+YcOGZL3ofP+oGOcHkET4gaAIPxAU\n4QeCIvxAUIQfCIrwA0EVjvOb2XRJGyV1SHJJPe7+MzNbJemHkv6UPXSlu79U8FyM8wNNNtZx/rGE\nv1NSp7vvM7NJkt6SdLOk2yT9xd2fHmtThB9ovrGGv3DGHnc/IulIdvuYmb0vaVpj7QGo2im95zez\nGZJmS/pdtmiZmfWb2XozG3XuJDPrNrO9Zra3oU4BlGrM3+03s4mSfitptbu/aGYdkj5R7XOAJ1R7\na/DvBc/BYT/QZKW955ckM/uGpO2Sdrj7T0epz5C03d0vL3gewg80WWkn9ljtEqu/kPT+yOBnHwQO\n+76kd0+1SQDVGcun/XMkvS7pHUkns8UrJd0u6UrVDvsPSvpR9uFg6rnY8wNNVuphf1kIP9B8nM8P\nIInwA0ERfiAowg8ERfiBoAg/EBThB4Ii/EBQhB8IivADQRF+ICjCDwRF+IGgCD8QVOEFPEv2iaRD\nI+5/K1vWjtq1t3btS6K3epXZ2z+M9YEtPZ//ay9uttfduyprIKFde2vXviR6q1dVvXHYDwRF+IGg\nqg5/T8Wvn9KuvbVrXxK91auS3ip9zw+gOlXv+QFUpJLwm9mNZvZ7M/vIzB6qooc8ZnbQzN4xs7er\nnmIsmwZt0MzeHbHsfDPbZWYfZr9HnSatot5WmdlAtu3eNrMFFfU23cx+Y2bvmdl+M/uPbHml2y7R\nVyXbreWH/WZ2hqQ/SLpB0mFJb0q63d3fa2kjOczsoKQud698TNjM/kXSXyRtHJ4NycyelPSZu6/J\n/nFOcfcH26S3VTrFmZub1FvezNJ3qsJtV+aM12WoYs9/jaSP3P2Aux+XtFnSogr6aHvu/pqkz76y\neJGk3ux2r2p/PC2X01tbcPcj7r4vu31M0vDM0pVuu0Rflagi/NMk/XHE/cNqrym/XdJOM3vLzLqr\nbmYUHSNmRvpYUkeVzYyicObmVvrKzNJts+3qmfG6bHzg93Vz3P0qSf8m6cfZ4W1b8tp7tnYarlkn\n6buqTeN2RNJPqmwmm1m6T9IKd//zyFqV226UvirZblWEf0DS9BH3v5MtawvuPpD9HpS0RbW3Ke3k\n6PAkqdnvwYr7+X/uftTdv3T3k5J+rgq3XTazdJ+kTe7+Yra48m03Wl9Vbbcqwv+mpIvNbKaZfVPS\nDyRtq6CPrzGzc7MPYmRm50qar/abfXibpMXZ7cWStlbYy99ol5mb82aWVsXbru1mvHb3lv9IWqDa\nJ/7/K+k/q+ghp6+LJP1P9rO/6t4kPafaYeBfVftsZImkv5e0W9KHkl6RdH4b9fasarM596sWtM6K\nepuj2iF9v6S3s58FVW+7RF+VbDe+4QcExQd+QFCEHwiK8ANBEX4gKMIPBEX4gaAIPxAU4QeC+j+F\npLXgIIayvwAAAABJRU5ErkJggg==\n",
            "text/plain": [
              "<Figure size 432x288 with 1 Axes>"
            ]
          },
          "metadata": {
            "tags": []
          }
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "zSYcEB44wF6i",
        "colab_type": "text"
      },
      "source": [
        "## DatasetBuilder এর কাজ \n",
        "\n",
        "DatasetBuilder আসলে tfds.load কে সাহায্য করে অন্যভাবে, একই ধরণের কাজ কিছুটা। আমরা আগের কাজটা করে দেখি MNIST DatasetBuilder দিয়ে। "
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "drR0MJpDwF6j",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "mnist_builder = tfds.builder(\"mnist\")"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "pe5rRFlowF6m",
        "colab_type": "text"
      },
      "source": [
        "### ইনফো এট্রিবিউট দেখি, সব তথ্য আছে এখানে "
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "qYwcaldxwF6n",
        "colab_type": "code",
        "outputId": "2d75ba4c-9645-4ac4-bcf9-2e370a5f8363",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 442
        }
      },
      "source": [
        "print(mnist_builder.info)"
      ],
      "execution_count": 9,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "tfds.core.DatasetInfo(\n",
            "    name='mnist',\n",
            "    version=1.0.0,\n",
            "    description='The MNIST database of handwritten digits.',\n",
            "    urls=['https://storage.googleapis.com/cvdf-datasets/mnist/'],\n",
            "    features=FeaturesDict({\n",
            "        'image': Image(shape=(28, 28, 1), dtype=tf.uint8),\n",
            "        'label': ClassLabel(shape=(), dtype=tf.int64, num_classes=10),\n",
            "    }),\n",
            "    total_num_examples=70000,\n",
            "    splits={\n",
            "        'test': 10000,\n",
            "        'train': 60000,\n",
            "    },\n",
            "    supervised_keys=('image', 'label'),\n",
            "    citation=\"\"\"@article{lecun2010mnist,\n",
            "      title={MNIST handwritten digit database},\n",
            "      author={LeCun, Yann and Cortes, Corinna and Burges, CJ},\n",
            "      journal={ATT Labs [Online]. Available: http://yann. lecun. com/exdb/mnist},\n",
            "      volume={2},\n",
            "      year={2010}\n",
            "    }\"\"\",\n",
            "    redistribution_info=,\n",
            ")\n",
            "\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "Gcj4uAhTwF6q",
        "colab_type": "text"
      },
      "source": [
        "### ডেটাসেট.ইনফো এর মধ্যে ফিচার নিয়ে অনেক তথ্য আছে "
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "PUswaC9ewF6q",
        "colab_type": "code",
        "outputId": "82b24103-20f2-4172-8ab6-1655280b8b48",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 119
        }
      },
      "source": [
        "test = mnist_builder.info\n",
        "print(test.features)\n",
        "print(test.features[\"label\"].num_classes)\n",
        "print(test.features[\"label\"].names)"
      ],
      "execution_count": 10,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "FeaturesDict({\n",
            "    'image': Image(shape=(28, 28, 1), dtype=tf.uint8),\n",
            "    'label': ClassLabel(shape=(), dtype=tf.int64, num_classes=10),\n",
            "})\n",
            "10\n",
            "['0', '1', '2', '3', '4', '5', '6', '7', '8', '9']\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "o-60vVMkwF6t",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "# যদি আমরা ডাউনলোড এবং সেটাকে তৈরি করতে চাই \n",
        "# mnist_builder.download_and_prepare()"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "-LES3H6SwF6w",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "# পরীক্ষা করে দেখুন \n",
        "# mnist_train = mnist_builder.as_dataset(split=\"train\")\n",
        "# mnist_train"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "_YTuBNPmwF6y",
        "colab_type": "text"
      },
      "source": [
        "### সরাসরি লোড করে দেখি \n",
        "DatasetInfo লোড করি tfds.load দিয়ে with_info=True সহ। "
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "jbdvT5ZCwF6z",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "# mnist_train, info = tfds.load(\"mnist\", split=\"train\", with_info=True)\n",
        "mnist_test, info = tfds.load(\"mnist\", split=\"test\", with_info=True)\n",
        "\n",
        "# imdb, info = tfds.load(\"mnist\", with_info=True, as_supervised=True)\n",
        "# train_data, test_data = imdb['train'], imdb['test']"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "kQAJss1TwF62",
        "colab_type": "code",
        "outputId": "3e24720d-ea8b-4439-a544-b303c5056745",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 538
        }
      },
      "source": [
        "fig = tfds.show_examples(info, mnist_test)"
      ],
      "execution_count": 14,
      "outputs": [
        {
          "output_type": "display_data",
          "data": {
            "image/png": "iVBORw0KGgoAAAANSUhEUgAAAggAAAIJCAYAAADAoMXGAAAABHNCSVQICAgIfAhkiAAAAAlwSFlz\nAAALEgAACxIB0t1+/AAAADl0RVh0U29mdHdhcmUAbWF0cGxvdGxpYiB2ZXJzaW9uIDMuMC4zLCBo\ndHRwOi8vbWF0cGxvdGxpYi5vcmcvnQurowAAIABJREFUeJzt3XmUVdWZ/vF3IyACIqAEGeLIZBvF\nGSIiggyigkwGfx0xAirGFrW7DSFxSIsYRaONYjshYjTpqKioOCGxCQRQWosgytCCdjE5gTYgAiKy\nf3/U1dxznk3V4da9de+t+n7Wcq3aT+1z2CS7ipdTL/s4770BAACkq5XvBQAAgMJDgQAAAAQFAgAA\nEBQIAABAUCAAAABBgQAAAAQFAgAAEBQIAABAUCAAAABBgQAAAETtvZnsnONcZgjvvcv3GiqDfY09\n2Oi9b5bvRVQGexshSb9n8wQBAMJW53sBQD5RIAAAAEGBAAAABAUCAAAQFAgAAEBQIAAAAEGBAAAA\nBAUCAAAQe3VQEv6uTZs2kt17772SffPNN5Fxv379crYmAACyhScIAABAUCAAAABBgQAAAAQ9CAnU\nr19fskceeUSyrl27SjZ+/PicrAkAgFziCQIAABAUCAAAQFAgAAAAQYEAAAAETYoJTJw4UbJQQ+L/\n/M//SPb888/nZE1AZXXo0EGyBx54QLJu3bpJ9uGHH0bG//iP/yhzFi5cWInVoboI7Z9jjz1WsqOO\nOkqyUaNGVXj/WrX077m7d++WLLS3V6xYIdmSJUsi4zlz5lS4huqKJwgAAEBQIAAAAEGBAAAABAUC\nAAAQznuffLJzyScXqUsuuUSyhx56SDLnnGRDhw6V7KmnnsrOwgqY917/xygiNWFfd+7cWbKXXnpJ\nsiZNmmR0/5UrV0rWo0cPydavX5/R/fOkxHt/Ur4XURm53tvNmjWTbPLkyZFxqKH7gAMOyNoaQt+L\n9+bPtbgtW7ZExqEmxcsuu0yyDRs2ZPxrVrWk37N5ggAAAAQFAgAAEBQIAABAUCAAAABR45sU69at\nGxm/++67Mqddu3aSLVq0SLJTTz1Vsq+//roSqysONCkWnkaNGkXGoVM+43PMzJ555hnJ7rzzTsn6\n9+8fGd90000yJ3RK3SmnnCLZ1q1bJSsQNClWIHRK4gsvvBAZb9u2TeZs2rRJsvHjx0u2cePGCteQ\ntEnx8ssvlyx0mmi8Ufeggw6SOSUlJZKF1nrOOedIVghoUgQAABmjQAAAAIICAQAAiBr/NseBAwdG\nxqF+g5DQz1xrQr8BisPYsWMj4+bNm8ucn/70p5L96U9/SnT/+BvvjjjiCJkzbNgwyUaMGCHZPffc\nk+jXROEJHSIU//+9tLRU5sT3T1WYOXNmonkdO3as8LoTTzwx0b2GDBkSGYd6fCpzqFOu8QQBAAAI\nCgQAACAoEAAAgKBAAAAAokYdlHTggQdKtmbNmsi4fv36Mife8GVmdvvtt0tWyM0mucRBSYUn/ra8\n3r17y5z4gTZm2W20XbBggWQtW7aU7LjjjouMQ4fo5AkHJSEo9CbUPn36SBY/xCn0tuCpU6dmb2EJ\ncVASAADIGAUCAAAQFAgAAEBQIAAAAFGjTlK85pprJIs3Je7YsUPmzJgxQ7Ka2pCI4rB58+bIeNq0\naVW+hilTpkg2efJkyeLNwwXUpAhYs2bNJAu94TGJZcuWVXY5VYonCAAAQFAgAAAAQYEAAAAEBQIA\nABDVtkmxSZMmko0aNarC60JNJMXWWAIUgtWrV+d7CcD36tatK9khhxwiWbdu3SLjyy67TOYkfd3z\nOeecExm/++67ia4rFDxBAAAAggIBAAAICgQAACAoEAAAgKi2TYr16tWTLHQiVtzIkSNzsZxyhdbV\nqFEjyT744IOqWA6QFZ07d5YsdEri9u3bq2I5KHD/8A//IFmoQTAu/kpls/BJt40bN5bswgsvrPB+\noXtt2LBBsltuuUWyV199VbJiwhMEAAAgKBAAAICgQAAAAKLa9iAMGTIk0bxvv/02Mg69zbEy6tSp\nExk/+OCDMqdXr16SHXDAAZINHDgwMn799dcruTogd04++WTJ3n//fck++uijqlgO8iTUI/DUU09J\nNmjQoIzuX6uW/j139+7dGd3LTA8zeuCBB2ROKKuOeIIAAAAEBQIAABAUCAAAQFAgAAAAUS2aFJs2\nbSrZ2LFjE127aNGiyHjFihUZryPekGhm9vjjj0fGQ4cOzfj+jz32WGR8zDHHyJwvvvgi4/sDmTr6\n6KMl69u3r2RTp06tiuWgwL388suS9enTR7L69etXeK9QQ2LocKOkSktLI+O3334743sVO54gAAAA\nQYEAAAAEBQIAABAUCAAAQFSLJsUOHTpI1rJly0TXht4ul6lrr71WsiRNiaE1hN48Fv89tWvXTua8\n+eabFf56QGXFT8cLNQWvW7dOsnHjxuVsTShMoYbBULNq6G21++23X4X3v+eeeyQLNS6G/kxo0KCB\nZP369YuMO3XqJHNmzpwp2fjx4yVbtWqVZMWEJwgAAEBQIAAAAEGBAAAABAUCAAAQ1aJJsTKmT5+e\n0XW//OUvJbvhhhsqvG758uWSXXfddZI9++yzksWbfSpzWhhqllAz1imnnJIoO/fccyVbu3ZtZHzB\nBRfInFDj4vr168tdJ2quuXPnZnRd+/btE83r37+/ZNdcc41k3bp1i4ybNWsmcy688MJEWe3axf1H\nLE8QAACAoEAAAACCAgEAAAgKBAAAIIq7gyIldBLhtm3bJAu9OrR79+6R8f333y9zDj74YMl+85vf\nSBY69aukpCQyDr3SNOnpcrNnz46MFy5cmOg6VB/xEwzNzM444wzJzj///Mj47LPPljmHHHJI1tYV\n0rZtW8lCX4Ohr1Ug21544YVEWbxJ8Z//+Z9lTvy0xT35y1/+Ehmfd955Mmfz5s2J7pUPPEEAAACC\nAgEAAAgKBAAAINzeHLbjnCuak3neeustyU466STJdu3aFRmHDoW5+uqrJevbt2+idUyaNCkyDv0M\nduTIkYnudfjhh0fGpaWlia7LNe+9/mC8iBTTvh4+fLhkU6ZMyeheS5cuTTTv6KOPliz+tryPP/5Y\n5rRq1Uqyp59+WrKf/OQnidaRByXee/2mUUSKaW8XqtD37H/7t3+TbPDgwZIddthhkfHLL78sc0aM\nGCHZhg0bki8wA0m/Z/MEAQAACAoEAAAgKBAAAICgQAAAAKLaNikee+yxkr3zzjt5WElmHn30UclG\njRoVGe/cubOKVlM+mhRzo127dpK9/vrrkoWaAeMNiKHmxlWrVkk2bdo0yc4880zJ7rzzzsg49EbS\n0AEzrVu3lmz06NGSFQiaFHOkcePGkoWaAT/66KOqWE5WdOjQQbL412Hoz9tzzjlHspkzZ2ZvYQE0\nKQIAgIxRIAAAAEGBAAAABAUCAAAQ1eJtjiErV66U7IYbbpDspptuioxr1cptzbR161bJfvWrX0l2\n77335nQdKHyTJ0+WLNSQGGpcjL81bp999pE5t99+u2SnnXaaZKE3l06YMCEyDjXMxuegZhoyZIhk\n//RP/yRZ6Htj0rcmFoIVK1bkewlZxxMEAAAgKBAAAICgQAAAAIICAQAAiGrbpLh9+3bJxo8fL1m8\nseTXv/61zGnfvr1koVO/knj88ccloyERIfXq1ZPs888/l+zKK6+ULN5s+9RTT8mcPn36SDZjxgzJ\nbr755nLXCZSna9eukp1++umSLVu2TLKLLrpIssceeyw7C6uEeBOwmdkhhxwiWfzr8H//939lzurV\nq7O3sCzjCQIAABAUCAAAQFAgAAAAUW17EJJ6+umnyx2bhd+2dccdd0jWpk0byW677bbImJ/nImT/\n/feXrGnTppLNmjVLsiZNmkg2adKkyLhnz54y54UXXpDsiiuuKHedwN4KvcEwlB111FGSPfjgg5LF\n3xz617/+VeY888wzkg0aNEiyZ599VrK77767wrW2aNFCslBf2u7duyPj+NsdzQr7gCWeIAAAAEGB\nAAAABAUCAAAQFAgAAEC4UAPGHic7l3wyagzvvcv3GiqjUPf1woULJTv55JMTXbtr167IONSMNWbM\nGMnWrFmTcHU1Qon3/qR8L6IyCmFvd+jQQbJhw4YlyurUqSNZs2bNImPn9NvP3vy5Fhe/X9J7bdiw\nQbL4wWOhpsuSkpK9WF12JP2ezRMEAAAgKBAAAICgQAAAAIICAQAACJoUUWk0KebGuHHjJLvkkksk\ne//99yUbO3ZsZPzmm29mb2E1B02KVejQQw+V7IADDpAs9CbIuOuvv16ygw46SLLQybnz5s2r8P4h\nc+fOlWzJkiUZ3SvXaFIEAAAZo0AAAACCAgEAAAgKBAAAIGhSRKXRpIhqiiZFVEs0KQIAgIxRIAAA\nAEGBAAAABAUCAAAQFAgAAEBQIAAAAEGBAAAABAUCAAAQFAgAAEBQIAAAAEGBAAAABAUCAAAQFAgA\nAEBQIAAAAEGBAAAABAUCAAAQFAgAAEBQIAAAAFF7L+dvNLPVuVgIitah+V5AFrCvEcLeRnWUeF87\n730uFwIAAIoQP2IAAACCAgEAAAgKBAAAICgQ0jjnGjvnnnbOrXDOLXfO/XgP865xzl2UNh6dumap\nc+72VHaMc+7RKlo6EOSc+6FzbrZzbllqf15dztzv97Vz7o7Unl7inJvunGucytnXKAjOuXrOuf92\nzr2T2ts3lTN3onPu9NTHU1LXLEl9v2+Yyq90zo2oqvUXA5oU0zjnfm9mf/XeP+ycq2tm9b33m2Jz\napvZIjM7wXu/yznX3cyuM7NzvPdfO+d+4L3/LDX3z2Y2wnu/pop/K4CZmTnnWphZC+/9Iufc/mZW\nYmYDvPfLYvPi+7q3mf1X6uMJZmbe+1+m5rKvkXfOOWdmDbz3W51zdcxsnpld7b1/MzbvQDN7yXvf\nOTVu5L3fkvr4LjP7zHt/m3OuvpnN994fX7W/k8LFE4QU59wBZna6mU0xM/Pe74wXByk9zGyR935X\navxzM7vNe/916rrP0ubOMLMLcrdqoHze+4+994tSH39pZsvNrFVgamRfe+9fS9vjb5pZ67S57Gvk\nnS+zNTWsk/ov9DfewWb2atp13xUHzsz2++4a7/02Myt1zp2Sy3UXEwqEvzvczDaY2VTn3N+ccw87\n5xoE5nWxsr+FfaedmXV1zi10zs1xzp2c9rm3zaxr7pYMJOecO8zMjjezhYFPx/d1uhFm9kramH2N\nguCc28c5t9jMPjOzWd77RHvbOTfVzD4xsw5mNintU+ztNBQIf1fbzE4ws/tTj5i+MrOxgXktrKyQ\nSL+uqZl1NrNfmNlTqcrUrGzTtszZioGEUj9nfcbMrvnub1Ax8X393XXXmdkuM/tjWsy+RkHw3n/r\nvT/Oyp5wneKc+1Fgmuxt7/1wK9vDy81saNqn2NtpKBD+bp2ZrUurQJ+2soIhbruZ1Ytd92zqcdd/\nm9luMzso9bl6qflA3qR+PvuMmf3Re//sHqbF97U55y42s3PN7Kc+2qzEvkZBSf04eLaZnRX4tOzt\n1DXfmtkTVvYjiO+wt9NQIKR47z8xs7XOufap6EwzWxaYutzM2qSNnzOz7mZmzrl2ZlbXyo43NSv7\n8cN7OVkwkEDqadYUM1vuvb+rnKmRfe2cO8vMxphZ/9TPZtOxr5F3zrlmaf+6Zj8z62VmKwJTv9/b\nrsz3H5tZ/9g17O00FAhRo83sj865JWZ2nJn9NjDnFStrZvzOI2Z2hHPuPSurRn+W9ret7mb2Ug7X\nC1Ski5kNM7MezrnFqf/ODsyL7+t7zWx/M5uVuuaBtM+xr1EIWpjZ7NT367esrAfhxcC8l8zsjNTH\nzsx+75x718zeTd1jXNrcLmY2K2crLjL8M8cMOOemm9kY7/3Kcubsa2ZzzOy0tG5woGCxr1FdOefm\nmdm5e/iXad/NOd7M/sV7P6zqVlbYKBAykPoxRHPv/dxy5rQ1s1be+79U2cKASmBfo7pyznUys+3e\n+yXlzOllZiu996VVtrACR4EAAAAEPQgAAEBQIAAAAEGBAAAABAUCAAAQFAgAAEBQIAAAAEGBAAAA\nBAUCAAAQFAgAAEBQIAAAAEGBAAAABAUCAAAQFAgAAEBQIAAAAEGBAAAABAUCAAAQFAgAAEBQIAAA\nAEGBAAAABAUCAAAQFAgAAEBQIAAAAEGBAAAABAUCAAAQFAgAAEBQIAAAAEGBAAAABAUCAAAQtfdm\nsnPO52ohKF7ee5fvNVQG+xp7sNF73yzfi6gM9jZCkn7P5gkCAIStzvcCgHyiQAAAAIICAQAACAoE\nAAAgKBAAAICgQAAAAIICAQAACAoEAAAgKBAAAIDYq5MUAQAoJMuWLZPsqKOOSnTtuHHjJLv99tsj\n46+++iqzhVUDPEEAAACCAgEAAAgKBAAAIJz3yV/2xZvBEMLbHFFNlXjvT8r3IiqjJuzt0aNHS3b3\n3XcnutY5/da1devWyHjAgAEy5/XXX0+4usLE2xwBAEDGKBAAAICgQAAAAIICAQAACJoUUWk0KaKa\nokmxCKxcuVKyI488MtG1oSbF+J+JX375pcw588wzJXv77bcT/ZqFgCZFAACQMQoEAAAgKBAAAICg\nQAAAAIK3OQIAitbDDz8s2RFHHCHZrFmzJLvhhhskO+aYYyLj/fffX+Z07txZsmJqUkyKJwgAAEBQ\nIAAAAEGBAAAABAUCAAAQnKSISuMkxfzq3bu3ZK+99lpkPHz4cJlTv359yR544AHJvv3220qsrqhx\nkmI1F/oaiL/KuVOnTjIndLrixRdfLNn06dMzX1wOcZIiAADIGAUCAAAQFAgAAEDQg4BKowdh7+2z\nzz6R8Q9/+EOZ07x5c8nuuusuydq0aSPZqlWrIuMTTzxR5tSpU0eyhQsXSrZz507Jzj///Mh4w4YN\nMqcaoAehBmratGlk/M4778icVq1aSTZv3jzJTj/99OwtLIvoQQAAABmjQAAAAIICAQAACAoEAAAg\n8takeN5550m2bt06yUpKSiq812mnnSZZ6ACMkHgz14cffpjoOvwdTYp7r0mTJpHxxo0bq3oJlRL/\nuvzP//xPmTNx4sSqWk6u0KQIGzNmjGS33XabZF999ZVkXbt2jYwXL16cvYVVAk2KAAAgYxQIAABA\nUCAAAABBgQAAAETtqvhFVq5cKdnhhx8uWahhMtT4ERd625xz2oNxwAEHSLZr166M7vX+++9LtmLF\nCslefvnlyHjOnDkyp7S0VDJUH8uXL5cstKfivv76a8mWLVsmWejrJn7/JHPMzBo3bixZ6Gs1fjJj\nx44dZU7opMY77rhDMqCQffrpp4nmffHFF5Jt2rQp28upUjxBAAAAggIBAAAICgQAACAoEAAAgKiS\nJsWhQ4dK1rp1a8lCTR7x18iGmgjjpyGamdWqpbXPqaeeWu46zcz69OkjWaNGjSTr1auXZKHTIYcM\nGRIZb9u2TeZceumlkj3xxBPlrhPFo0OHDpLt3r07Mp4/f77M+f3vfy/ZlClTsrewgNCrowcPHizZ\nb3/728i4dm39VtKsWbPsLQzIk3ijuVn4z5zQ186AAQMi42I7XZQnCAAAQFAgAAAAQYEAAAAEBQIA\nABBV0qS4aNGiRFk2xZvAzMzmzZtX4XVJ5uzJtddeK9mECRMi49BrqFu1apXxr4nC9/rrr0sWP1Hw\njTfekDlbtmzJ2Zr2JNR89bvf/U6y+OmKoUZboDqIN8qbhV/bHGpSjDez06QIAACKHgUCAAAQFAgA\nAEBUSQ9CTbHPPvtUOCf0Vr1c92Mgv3r27JnvJVRK3bp1JaPnADVF6NC90JtKQ29H/eabb3KypqrC\nEwQAACAoEAAAgKBAAAAAggIBAAAImhSzKMmBR++//75ks2fPzsVyAACV9POf/1yy0Jt7Q4eMXXHF\nFTlZU1XhCQIAABAUCAAAQFAgAAAAQYEAAAAETYoZCr2VMf7mrpBNmzblYjkAUDRatGghWYcOHSQb\nNmyYZI888khk/MknnyT6NT/88EPJGjduLFn8RNzu3bsnun/t2vrHaZLTdQsZTxAAAICgQAAAAIIC\nAQAACAoEAAAgaFJMoF69epJdcsklkrVr167Ce4WaGx966KHMFhYQati58cYbs3Z/1DxnnHFGvpeA\nIhJvNhw3bpzM+fGPfyxZkpNozcwuvvjijNb13HPPSda2bVvJ4t/vjzzyyET3X7t2baKsmPAEAQAA\nCAoEAAAgKBAAAICgQAAAAKLaNikeccQRkv3617+WrFmzZpFx7969ZU6oSdF7n9G6Qg0vS5cuTTRv\nyZIlFd4/yRxUf40aNYqM69SpI3M+//xzyfr37y9ZkibaDz74QLIHH3ywwutQ3EInBY4fPz4yHjRo\nUFUtp1wDBgyQzDknWabf2+Nfc2ZmP/rRjyLj9957L6N75wtPEAAAgKBAAAAAggIBAACIatuD8OWX\nX0r20UcfVZg9/vjjMmfNmjWSdenSRbLf/e53Fa5rwoQJksV/ZgfsjebNm0v2xBNPRMYtW7aUOZMn\nT5bslltukSz0lrq4UaNGSRbqS0D1ctlll0mWpOdgy5Ytks2fPz+jNZx++umSNWjQIKN7Vcaxxx4r\nWfzNk6H/vRYvXpyzNVUWTxAAAICgQAAAAIICAQAACAoEAAAg3N4cCuGcy+wEiWqoY8eOki1atKjC\n67p16ybZvHnzsrKmfPHe62kjRaTY9/UJJ5wg2VtvvVWla1i1apVkTz75pGTx5smqsGzZskwvLfHe\nn5TNtVS1XO/t0IFuK1eurPC60tJSycaOHZvRGoYOHSrZwIEDE12b5KCk0NfS5s2bJevZs2eFv96m\nTZskmzRpkmS/+c1vKrxXZST9ns0TBAAAICgQAACAoEAAAACCAgEAAAiaFDM0fPhwyR5++OEKr6NJ\nsfAU+74++OCDJYvvz1ADWMOGDXO2pkISeuNgQjQpVqBWLf075tSpUyPjYcOG5XIJlRJqUvzzn/8c\nGQ8ePFjmfP3115KdeuqpksW/7nr16iVzQqf+hk7lvfnmmyXLFE2KAAAgYxQIAABAUCAAAABBgQAA\nAES1fd1zrrVq1Sqj61q0aJHllaCm++STTyS79dZbI+M//OEPMifUvHfyySdLdtVVV1VidVH169eX\n7LjjjouMS0pKZE6oKSzkvvvuy2xhyMju3bsle+WVVyLjQmlSfOCBBySbNWuWZDNnzoyMt23bluj+\ns2fPlmzBggUVruFnP/uZZGeddZZkEyZMkGznzp2J1pYpniAAAABBgQAAAAQFAgAAEPQgVLGPP/44\n30tADbR27dpE80Jv2Zs2bVrW1tG0aVPJ4m/jC/VLhA6TQWF67bXXIuPQz90vv/zyRPd6/PHHJVu3\nbl2F1919992SbdiwQbK9OSgwE/HemUsvvVTmLF26VLLrrrtOsjp16khGDwIAAKhyFAgAAEBQIAAA\nAEGBAAAABG9zzND1118v2U033STZjh07IuMTTzxR5qxYsSJ7C8sD3uaIaoq3OaJa4m2OAAAgYxQI\nAABAUCAAAABBgQAAAAQnKWboxRdflMw57fuYPn16ZFzsDYkAgJqBJwgAAEBQIAAAAEGBAAAABAUC\nAAAQnKSISuMkRVRTnKSIaomTFAEAQMYoEAAAgKBAAAAAggIBAAAICgQAACAoEAAAgKBAAAAAggIB\nAAAICgQAACAoEAAAgKBAAAAAggIBAAAICgQAACAoEAAAgKBAAAAAggIBAAAICgQAACAoEAAAgKi9\nl/M3mtnqXCwERevQfC8gC9jXCGFvozpKvK+d9z6XCwEAAEWIHzEAAABBgQAAAAQFAgAAEBQIKc65\n9s65xWn/bXHOXbOHudc45y5Kffxk2jWlzrnFqfwY59yjVfhbAIRz7ofOudnOuWXOuaXOuavLmZu+\nr+9wzq1wzi1xzk13zjVO5exrFAT2du7RpBjgnNvHzNabWSfv/erY52qb2SIzO8F7vyv2uTvNbLP3\nflxq/GczG+G9X1M1KweinHMtzKyF936Rc25/MysxswHe+2WxeZF97ZzrbWb/lfp4gpmZ9/6Xqbns\na+Qdezv3eIIQdqaZfRAvDlJ6mNmiQHHgzOwnZvantHiGmV2Qs1UCFfDef+y9X5T6+EszW25mrQJT\nI/vae/9a2h5/08xap81lXyPv2Nu5R4EQdoFF/6BP18XKKtW4rmb2qfd+ZVr2dioH8s45d5iZHW9m\nCwOf3tO+NjMbYWavpI3Z1ygo7O3coECIcc7VNbP+ZjZtD1NamNmGQP7/TIuKz8ysZfZWB2TGOdfQ\nzJ4xs2u891sCU4L72jl3nZntMrM/psXsaxQM9nbu7O1JijVBXyt7HPXpHj6/3czqpQepn3ENMrMT\nY3PrpeYDeeOcq2Nl30D/6L1/dg/TQvv6YjM718zO9NFmJfY1CgJ7O7coEFToSUC65WbWJpb1NLMV\n3vt1sbydmb2XxbUBeyXVGzPFzJZ77+8qZ2pkXzvnzjKzMWbWzXu/LTaXfY28Y2/nHj9iSOOca2Bm\nvcxsT5WoWdnPq06PZXvqWehuZi9lZ3VARrqY2TAz65H2z3HPDsyL7+t7zWx/M5uVuuaBtM+xr1EI\n2Ns5xj9zzIBzbrqZjYk1JMbn7Gtmc8zstPi/eAAKEfsa1RV7OzMUCBlwzrU3s+be+7nlzGlrZq28\n93+psoUBlcC+RnXF3s4MBQIAABD0IAAAAEGBAAAABAUCAAAQFAgAAEBQIAAAAEGBAAAABAUCAAAQ\nFAgAAEBQIAAAAEGBAAAABAUCAAAQFAgAAEBQIAAAAEGBAAAABAUCAAAQFAgAAEBQIAAAAEGBAAAA\nBAUCAAAQFAgAAEBQIAAAAEGBAAAABAUCAAAQFAgAAEBQIAAAAEGBAAAABAUCAAAQFAgAAEDU3pvJ\nzjmfq4WgeHnvXb7XUBnsa+zBRu99s3wvojLY2whJ+j2bJwgAELY63wsA8okCAQAACAoEAAAgKBAA\nAICgQAAAAIICAQAACAoEAAAgKBAAAICgQAAAAIICAQAACAoEAAAgKBAAAICgQAAAAIICAQAACAoE\nAAAgKBAAAICgQAAAAIICAQAACAoEAAAgKBAAAICgQAAAAIICAQAACAoEAAAgaud7AbnivZds9+7d\nGd3r4YcfluyNN95IdO3ixYvrkr+pAAANvElEQVTLHQN7o379+pLt3LlTsl27duV0Hfvuu29kPGnS\nJJkzcuRIyc477zzJXnzxxewtDEDW8AQBAAAICgQAACAoEAAAgKBAAAAAwoWa+fY42bnkk6vQ2LFj\nJbvlllsky7RJMaRWLa2tQvdfvXp1ZLxmzZpE958/f75k8d/Tjh07Et0r17z3Lt9rqIxC3dchV111\nlWQ9e/aUrH///jldx8CBAyPjadOmJbpu/fr1kh166KFZWVMOlHjvT8r3IiqjmPY2qk7S79k8QQAA\nAIICAQAACAoEAAAgqsVBScuXL8/3EvYo/vPVpD9v7datm2SzZs2KjOfOnZv5wlDw4j/nNzMbN26c\nZA0bNqyK5WRF6KCn1q1bR8br1q2rquUAKAdPEAAAgKBAAAAAggIBAAAICgQAACCqRZPi888/L9kR\nRxyR0b3at28v2ZgxYyRr0aKFZO3atcvo10wq/nY8mhSrj/3331+yG264QbJCaUj829/+Fhl//PHH\nMif0NRI63Ovzzz/P3sKQd/Hm2h49esicvn37SrZgwQLJMm1AnzNnjmShxu8kZs+eLVn37t0l6927\nt2SjR4+OjN97772M1pAvPEEAAACCAgEAAAgKBAAAICgQAACAqBZNiiHxtyhW5rrXXntNsosvvliy\nyZMnZ/RrJjVlypSc3h/5c95550nWsWPHRNfefPPN2V5OhUpLSyPjtWvXypyWLVtKFnp77Pbt27O2\nLuRf586dI+Mrrrgi0XWHH3541tbwzTffSFanTp2M7rVz507J6tatm+ja5557LjJu06ZNRmvIF54g\nAAAAQYEAAAAEBQIAABAUCAAAQFTbJsVMHXzwwZI99dRTknXt2lWy3bt3Z20djz32mGSffvpp1u6P\nwnL99ddLFmroe+ONNySbMGFCTta0N0JrTZqheunXr1++l2D77ruvZJl+f07akJjtawsBTxAAAICg\nQAAAAIICAQAACAoEAAAgalSTYu3a+tu98sorI+Nhw4bJnGOPPVayUMNLKNu0aVNkvHnzZpkTOiHx\n1ltvlQzVV9u2bSULNfStX79eMk4iRL4MGDBAskxPRFy4cKFkodeIJ3HddddJFj/h0SzzhsouXbpI\n1qxZs4zuVch4ggAAAAQFAgAAEBQIAABA1KgehNatW0t2xx13ZHSvxYsXS/b8889LNmfOnHLHqJku\nvfTSfC8BqLRGjRpJluRwoBdeeEGyESNGSPZ///d/mS0sYMWKFZI9+uijGd1r1qxZkvXo0SOjexUy\nniAAAABBgQAAAAQFAgAAEBQIAABA1KgmxWy66qqrJJs/f34eVoJi1LBhw8i4Vi2t1UMHb02cODFn\na9obvXv3joxDh9CEOOdysRzkyciRIzO67rnnnpMsmw2J2XTCCSdIdvzxx+dhJVWPJwgAAEBQIAAA\nAEGBAAAABAUCAAAQNClmaOrUqZKFGm/GjBlTFctBkQs1JIbe5nj22WdL9uabb+ZkTeWJN6eF1hqS\ndB6KQ2jfxk8sXLVqlcwpLS3N1ZKyrmnTppI1adIk0bUzZ87M9nKqFE8QAACAoEAAAACCAgEAAAgK\nBAAAIGpUk+LWrVsle/fddyPjjh07JrpX27ZtJfvXf/3XCrNrr71W5syYMUOyUGMPilO7du0kO/jg\ngzO61+WXXy7ZmWeeKVmSExfXrl0rWajhccGCBZK1adOmwvuj+uvevXu+l5BzQ4YMyfjaPn36ZHEl\nVY8nCAAAQFAgAAAAQYEAAAAEBQIAABBub042c85Vu2PQDjvssMg4/hpbs/BpiIcffrhkoVPFkoif\nPGZm1q9fP8k++eSTyHjHjh0Z/XrZ5r0v6nf4FsK+HjVqlGT/8R//kfH94q9VDn2db9++XbIvvvhC\nstatW0uW6YmIoYbcgQMHZnSvKlDivT8p34uojELY28Um3qj+6quvypwf/OAHie513333RcajR4/O\nfGFZlPR7Nk8QAACAoEAAAACCAgEAAIga34OQqRtvvFGyiy66SLJDDz00o/vXqqW1W/xQkrlz52Z0\n72yjByE3zj33XMlCb3O85JJLJKtdO3oGWmXeohjvZ6jM/UIHhf37v/97RveqAvQg1ED3339/ZHzZ\nZZclum7Dhg2S9ezZMzJ+7733Ml9YFtGDAAAAMkaBAAAABAUCAAAQFAgAAEDQpJhFzZs3lyx+yNJV\nV12V6F6hJsW33347Mu7UqdNerC53aFLMr3POOUey+EEuI0aMyPj+ob0Yf5tp06ZNE93rF7/4hWQ0\nKeZOse/tfFi+fHlk3L59+0TXDRo0SLLnnnsuK2vKNpoUAQBAxigQAACAoEAAAACCAgEAAIjaFU9B\nUsOHD5fsjDPOyNr9DzzwwKzdC9XHSy+9VOGcqVOnZvXXfPLJJyPjwYMHJ7pu5cqVWV0HUBkdOnSQ\nrHHjxpFxqJG/pKREshdffDF7CysQPEEAAACCAgEAAAgKBAAAICgQAACAqFFNig0bNpRsyJAhFV4X\nOoWua9euku3evTuzhQWETq8bOXJk1u4P5EN1bORC8Ro1apRk8VNIQ+Kn2pqZ7dq1KytrKiQ8QQAA\nAIICAQAACAoEAAAgiq4HoXXr1pKFfo502mmnSVa3bl3JTjnllIzWEeo3SNKDsGPHDsk+/fRTyUL9\nBu+8807C1QG59de//jUyTtLLY2Z24403SjZu3LisrAkoz5FHHinZsGHDKrxuwYIFkoXeSlod8QQB\nAAAICgQAACAoEAAAgKBAAAAAouiaFOfMmSPZIYccIlnooKFsHmQUsmnTJskmTZoUGZeWlsqcxx57\nLFdLAnIiflBM6I13IWeffbZkNCmiKvTt21eyJk2aVHjd9u3bJfvqq6+ysqZCxxMEAAAgKBAAAICg\nQAAAAIICAQAAiKJrUqyM0CmGCxcuzOhe8+fPl+yhhx6SbP369RndHyhkS5cuLXdsZnb00UdL9uST\nT+ZsTUB5WrVqldF1jzzySJZXUjx4ggAAAAQFAgAAEBQIAABAUCAAAABRdE2KY8aMkaxBgwaSdenS\nRbLQKYa33nprVtYF1CRffvllZDxx4kSZM3ny5KpaDlChK664IqPrVq1aleWVFA+eIAAAAEGBAAAA\nBAUCAAAQFAgAAEC4pK9pNTNzziWfjBrDe+/yvYbKYF9jD0q89yflexGVUVP3dr9+/SR7+umnJatd\nW/v0S0pKIuPQK8o3btxYidXlX9Lv2TxBAAAAggIBAAAICgQAACCK7qAkAADKc+KJJ0oW6jcIue++\n+yLjYu83qAyeIAAAAEGBAAAABAUCAAAQFAgAAEDQpAgAqFY6deqUaN6iRYskmzFjRraXU7R4ggAA\nAAQFAgAAEBQIAABAUCAAAACxt29z3GBmq3O3HBShQ733zfK9iMpgX2MP2NuojhLv670qEAAAQM3A\njxgAAICgQAAAAIICIcU5V88599/OuXecc0udczeVM3eic+701MdTUtcscc497ZxrmMqvdM6NqKr1\nA+Vxzu3jnPubc+7FcuZ8v6/Tsnucc1vTxuxrFATnXHvn3OK0/7Y4567Zw9xrnHMXpT5+Mu2aUufc\n4lR+jHPu0Sr8LRQ8ehBSnHPOzBp477c65+qY2Twzu9p7/2Zs3oFm9pL3vnNq3Mh7vyX18V1m9pn3\n/jbnXH0zm++9P75qfyeAcs79i5mdZGaNvPfnBj4f2dep7CQzu9rMBnrvvyt82dcoOM65fcxsvZl1\n8t6vjn2utpktMrMTvPe7Yp+708w2e+/HpcZ/NrMR3vs1VbPywsYThBRf5ru/KdVJ/Reqngab2atp\n131XHDgz2++7a7z328ys1Dl3Si7XDVTEOdfazM4xs4fLmRbZ16lvuHeY2Zj0SexrFKgzzeyDeHGQ\n0sPMFgWKA2dmPzGzP6XFM8zsgpytsshQIKRJPYZdbGafmdks7/3CwLQuZlYSu26qmX1iZh3MbFLa\np942s645Wi6Q1EQr+4N+dzlz4vv6SjN7wXv/cWAu+xqF5gKL/kGfTr5np3Q1s0+99yvTMvZ2GgqE\nNN77b733x5lZazM7xTn3o8C0Fma2IXbdcDNraWbLzWxo2qc+S+VAXjjnzrWyH3uFvkGm+35fO+da\nmtn5Fi1207GvUTCcc3XNrL+ZTdvDFPmenfL/TIsK9nYaCoQA7/0mM5ttZmcFPr3dzOoFrvnWzJ6w\nske136mXmg/kSxcz6++cK7Wy/dnDOfeHwLz0fX28mbUxs1Wp6+o751alzWVfo5D0tbIfIXy6h8/L\n9+xUX8IgM3syNpe9nYYCIcU518w51zj18X5m1svMVgSmLreyb57mynz/sZVVsenXtDOz93K5bqA8\n3vtfee9be+8Ps7LHsP/lvb8wMPX7fe29f8l7f7D3/rDUddu8923S5rKvUUhCTwLSfb+30/Q0sxXe\n+3WxnL2dhgLh71qY2Wzn3BIze8vKehBC/yTsJTM7I/WxM7PfO+feNbN3U/cYlza3i5nNytmKgexJ\n39cVYV+jIDjnGljZX+aeLWfaK2Z2eizbU89Cdyv7WoDxzxwz4pybZ2bnpn4Usac5x5vZv3jvh1Xd\nyoDMsa9RXTnnppvZmFhDYnzOvmY2x8xOi/+Lh5qKAiEDzrlOZrbde7+knDm9zGyl9760yhYGVAL7\nGtWVc669mTX33s8tZ05bM2vlvf9LlS2swFEgAAAAQQ8CAAAQFAgAAEBQIAAAAEGBAAAABAUCAAAQ\nFAgAAED8f3jf9UOBp5KVAAAAAElFTkSuQmCC\n",
            "text/plain": [
              "<Figure size 648x648 with 9 Axes>"
            ]
          },
          "metadata": {
            "tags": []
          }
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "g3dYgdLUwF64",
        "colab_type": "text"
      },
      "source": [
        "অনেক গল্প হলো, ফিরে আসি কনভল্যুশনাল নিউরাল নেটওয়ার্ক দিয়ে ইমেজ ক্লাসিফিকেশন নিয়ে। কোনটা করবো MNIST না ফ্যাশন MNIST? আমরা নতুন যুগের ফ্যাশনেবল মানুষ। "
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "colab_type": "text",
        "id": "yR0EdgrLCaWR"
      },
      "source": [
        "##  টেন্সর-ফ্লো ডেটাসেট এপিআই ব্যবহার করে নিয়ে আসি Fashion MNIST\n",
        "\n",
        "মনে রাখি একটা কথা। আমরা এই এক্সারসাইজ করেছি সাধারণ নিউরাল নেটওয়ার্ক দিয়ে। আর সেকারণে এটার কনভল্যুশনাল নিউরাল নেটওয়ার্ক নিয়ে আলাপ করবো এখানে। আগের এক্সারসাইজের কোড চলবে এখানে। তাই, ডুপ্লিকেশন করছি না। "
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab_type": "code",
        "id": "uusvhUp9Gg37",
        "colab": {}
      },
      "source": [
        "# আর বলতে হবে? টেন্সর-ফ্লো ডেটাসেট এপিআই\n",
        "import tensorflow_datasets as tfds\n",
        "tfds.disable_progress_bar()"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "Q47uwxnzwF6_",
        "colab_type": "text"
      },
      "source": [
        "### আমাদের দরকার train_dataset এবং test_dataset, ব্যবহার করছি tfds.load"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab_type": "code",
        "id": "7MqDQO0KCaWS",
        "outputId": "241cb553-35ce-4f9e-c2fd-c5aa3fed7dc7",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 204
        }
      },
      "source": [
        "dataset, metadata = tfds.load('fashion_mnist', as_supervised=True, with_info=True)\n",
        "train_dataset, test_dataset = dataset['train'], dataset['test']"
      ],
      "execution_count": 16,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "\u001b[1mDownloading and preparing dataset fashion_mnist (29.45 MiB) to /root/tensorflow_datasets/fashion_mnist/1.0.0...\u001b[0m\n",
            "WARNING:tensorflow:From /usr/local/lib/python3.6/dist-packages/tensorflow_datasets/core/file_format_adapter.py:209: tf_record_iterator (from tensorflow.python.lib.io.tf_record) is deprecated and will be removed in a future version.\n",
            "Instructions for updating:\n",
            "Use eager execution and: \n",
            "`tf.data.TFRecordDataset(path)`\n"
          ],
          "name": "stdout"
        },
        {
          "output_type": "stream",
          "text": [
            "WARNING:tensorflow:From /usr/local/lib/python3.6/dist-packages/tensorflow_datasets/core/file_format_adapter.py:209: tf_record_iterator (from tensorflow.python.lib.io.tf_record) is deprecated and will be removed in a future version.\n",
            "Instructions for updating:\n",
            "Use eager execution and: \n",
            "`tf.data.TFRecordDataset(path)`\n",
            "WARNING:absl:Warning: Setting shuffle_files=True because split=TRAIN and shuffle_files=None. This behavior will be deprecated on 2019-08-06, at which point shuffle_files=False will be the default for all splits.\n"
          ],
          "name": "stderr"
        },
        {
          "output_type": "stream",
          "text": [
            "\u001b[1mDataset fashion_mnist downloaded and prepared to /root/tensorflow_datasets/fashion_mnist/1.0.0. Subsequent calls will reuse this data.\u001b[0m\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "SpYmMmH8wF7E",
        "colab_type": "text"
      },
      "source": [
        "### আমরা একটু মেটাডেটা দেখি, কি বলছে ডেটাসেট সম্পর্কে?"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "WGg3nFUmwF7F",
        "colab_type": "code",
        "outputId": "53ebc325-e33f-44c8-d6e2-dc398f6be4dd",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 615
        }
      },
      "source": [
        "print(metadata)"
      ],
      "execution_count": 17,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "tfds.core.DatasetInfo(\n",
            "    name='fashion_mnist',\n",
            "    version=1.0.0,\n",
            "    description='Fashion-MNIST is a dataset of Zalando's article images consisting of a training set of 60,000 examples and a test set of 10,000 examples. Each example is a 28x28 grayscale image, associated with a label from 10 classes.',\n",
            "    urls=['https://github.com/zalandoresearch/fashion-mnist'],\n",
            "    features=FeaturesDict({\n",
            "        'image': Image(shape=(28, 28, 1), dtype=tf.uint8),\n",
            "        'label': ClassLabel(shape=(), dtype=tf.int64, num_classes=10),\n",
            "    }),\n",
            "    total_num_examples=70000,\n",
            "    splits={\n",
            "        'test': 10000,\n",
            "        'train': 60000,\n",
            "    },\n",
            "    supervised_keys=('image', 'label'),\n",
            "    citation=\"\"\"@article{DBLP:journals/corr/abs-1708-07747,\n",
            "      author    = {Han Xiao and\n",
            "                   Kashif Rasul and\n",
            "                   Roland Vollgraf},\n",
            "      title     = {Fashion-MNIST: a Novel Image Dataset for Benchmarking Machine Learning\n",
            "                   Algorithms},\n",
            "      journal   = {CoRR},\n",
            "      volume    = {abs/1708.07747},\n",
            "      year      = {2017},\n",
            "      url       = {http://arxiv.org/abs/1708.07747},\n",
            "      archivePrefix = {arXiv},\n",
            "      eprint    = {1708.07747},\n",
            "      timestamp = {Mon, 13 Aug 2018 16:47:27 +0200},\n",
            "      biburl    = {https://dblp.org/rec/bib/journals/corr/abs-1708-07747},\n",
            "      bibsource = {dblp computer science bibliography, https://dblp.org}\n",
            "    }\"\"\",\n",
            "    redistribution_info=,\n",
            ")\n",
            "\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "colab_type": "text",
        "id": "t9FDsUlxCaWW"
      },
      "source": [
        "আমাদের এপিআই ফেরৎ দিচ্ছে train_dataset` এবং test_dataset`, আর আগের মেটাডেটা। \n",
        "\n",
        "* মডেলকে ট্রেনিং করবো `train_dataset` দিয়ে। \n",
        "* মডেলকে টেস্ট করবো `test_dataset` দিয়ে। \n",
        "\n",
        "আগেও বলেছি - আমাদের ছবিগুলো ২৮x২৮ পিক্সেলের নামপাই অ্যারে যার গ্রেস্কেলের কালার ইনটেনসিটি ভ্যালু ০ থেকে ২৫৫ এর মধ্যে। এখানে লেবেলগুলো, মানে যাদেরকে আমরা প্রেডিক্ট করবো তাদের ইন্টেজারের অ্যারে, ০ থেকে ৯ পর্যন্ত।"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab_type": "code",
        "id": "IjnLH5S2CaWx",
        "colab": {}
      },
      "source": [
        "class_names = ['T-shirt/top', 'Trouser', 'Pullover', 'Dress', 'Coat',\n",
        "               'Sandal',      'Shirt',   'Sneaker',  'Bag',   'Ankle boot']"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "colab_type": "text",
        "id": "Brm0b_KACaWX"
      },
      "source": [
        "### আমাদের ডেটাগুলোকে এক্সপ্লোর করি\n",
        "\n",
        "এর আগেও আমরা ডাটাগুলোকে এক্সপ্লোর করেছি, তবে এবার আমরা জানতে চাচ্ছি একটু ভিন্নভাবে। একই জিনিস যে কয়েকভাবে করা যায় সেটার একটা উদাহরণ টানছি এখানে। আগের মতো আমরা ৬০,০০০ ছবি ট্রেনিংসেটে এবং ১০,০০০ ছবি টেস্টসেটে আছে সেটাই দেখানোর চেষ্টা করছি।"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab_type": "code",
        "id": "MaOTZxFzi48X",
        "outputId": "0642f7c2-bccf-4dc2-e353-4ba74102d78e",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 51
        }
      },
      "source": [
        "num_train_examples = metadata.splits['train'].num_examples\n",
        "num_test_examples = metadata.splits['test'].num_examples\n",
        "print(\"Number of training examples: {}\".format(num_train_examples))\n",
        "print(\"Number of test examples:     {}\".format(num_test_examples))"
      ],
      "execution_count": 19,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "Number of training examples: 60000\n",
            "Number of test examples:     10000\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "colab_type": "text",
        "id": "ES6uQoLKCaWr"
      },
      "source": [
        "## আমাদের ডাটাকে নর্মালাইজ করছি\n",
        "\n",
        "যেহেতু ছবির ডাটা, সে কারণে ছবির গ্রেস্কেলে ইনটেনসিটি ০ থেকে ২৫৫ ভ্যালুকে আমরা ০ থেকে ১ এর মধ্যে নিয়ে আসব যাতে মেশিন লার্নিং মডেল ঠিকমতো কাজ করতে পারে। এই নর্মালাইজ ফাংশনকে আমরা টেস্ট এবং ট্রেনিং দুটো ডাটা সেটেই ব্যবহার করব।"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab_type": "code",
        "id": "nAsH3Zm-76pB",
        "colab": {}
      },
      "source": [
        "# এখানে ম্যাপ ফাংশনকে ব্যবহার করছি দুটো ডেটাসেটে\n",
        "# শুরুতেই একটা ফাংশন ডিফাইন করি \n",
        "def normalize(images, labels):\n",
        "  images = tf.cast(images, tf.float32)\n",
        "  images /= 255\n",
        "  return images, labels\n",
        "\n",
        "train_dataset =  train_dataset.map(normalize)\n",
        "test_dataset  =  test_dataset.map(normalize)"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "colab_type": "text",
        "id": "59veuiEZCaW4"
      },
      "source": [
        "## তৈরি করছি কনভল্যুশনাল নিউরাল নেটওয়ার্ক \n",
        "\n",
        "শুরুতেই নেটওয়ার্ক আর লেয়ারের কনফিগারশন, তারপর মডেল কম্পাইলেশন। "
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "colab_type": "text",
        "id": "Gxg1XGm0eOBy"
      },
      "source": [
        "### লেয়ারের সেটআপ\n",
        "\n",
        "যেহেতু একেকটার লেয়ার আরেকটা লেয়ারের সাথে সিকুয়েন্সিয়াল, সে কারণেই শুরুতেই tf.keras.Sequential ব্যবহার করছি। বাকিটা আগের মতো। নিচের কোডকে যদি আমরা ছবি দিয়ে আঁকি, তাহলে এমন হতে পারে। <img src=\"https://raw.githubusercontent.com/raqueeb/deep_learning_book/master/assets/cnn3.1.png\"> চিত্রঃ মডেল বেসড সিএনএন আর্কিটেকচার "
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab_type": "code",
        "id": "9ODch-OFCaW4",
        "colab": {}
      },
      "source": [
        "model = tf.keras.Sequential([\n",
        "    tf.keras.layers.Conv2D(32, (3,3), padding='same', activation=tf.nn.relu,\n",
        "                           input_shape=(28, 28, 1)),\n",
        "    tf.keras.layers.MaxPooling2D((2, 2), strides=2),\n",
        "    tf.keras.layers.Conv2D(64, (3,3), padding='same', activation=tf.nn.relu),\n",
        "    tf.keras.layers.MaxPooling2D((2, 2), strides=2),\n",
        "    tf.keras.layers.Flatten(),\n",
        "    tf.keras.layers.Dense(128, activation=tf.nn.relu),\n",
        "    tf.keras.layers.Dense(10,  activation=tf.nn.softmax)\n",
        "])"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "colab_type": "text",
        "id": "gut8A_7rCaW6"
      },
      "source": [
        "এখন নেটওয়ার্ক লেয়ারের গল্প:\n",
        "\n",
        "২টা  লেয়ার।\n",
        "\n",
        "* **\"কনভল্যুশন\"** `tf.keras.layers.Conv2D এবং MaxPooling2D`— আমাদের নেটওয়ার্ক শুরু হয়েছে দুই জোড়া কনভল্যুশন/ম্যাক্সপুল এলিমেন্ট দিয়ে। প্রথম লেয়ার হচ্ছে একটা Conv2D (৩, ৩) ফিল্টার, কার্নাল বলতে পারেন। এই কার্নাল বসানো হচ্ছে ইনপুট ইমেজের ওপর। আসল যেই ছবিটা আছে সেটার রেজল্যুশনকে দরকারি প্যাডিং দিয়ে ৩২টা আউটপুট ইমেজ যা কনভল্যুশন হয়ে গেছে ইতিমধ্যে। আমাদেরকে বুঝতে হবে এই লেয়ারটা ৩২টা কনভলিউশন ইমেজ তৈরি করে যা ৩২টা ইনপুট ইমেজের সমান। এই কনভলিউশন (কনভলিউটেড) ইমেজ যা আসলে এসেছে কার্নাল/ফিল্টারের আউটপুট থেকে। আবারো বলছি - ইনপুট থেকে একটা ইমেজের আউটপুট হিসেবে ৩২টা কনভলিউশন ইমেজ তৈরি হয়েছে ইনপুটের সাইজে। এখন এই ৩২টা আউটপুট ইমেজকে ছোট করার পালা। সে জিনিসটা আমরা করছি ম্যাক্সপুলিং২ডি, MaxPooling2D (২,২ পিক্সেল গ্রিড), যার স্ট্রাইড সংখ্যা হচ্ছে ২। মানে দুটো পিক্সেল করে স্লাইড করছে ডানে অথবা বামে। \n",
        "\n",
        "\n",
        "* এরপরের লেয়ারটা হচ্ছে Conv2D (৩, ৩) ফিল্টার। বুঝতেই পারছেন এই ফিল্টারটা হচ্ছে (৩, ৩) কার্নাল, যা আগের ৩২টা ইমেজকে নিচ্ছে ইনপুট হিসেবে। এই ৩২টা ইমেজকে ইনপুট হিসেবে নিয়ে আউটপুট হিসেবে বের করে দিয়েছে ৬৪টা ইমেজ। এখন এই ৬৪টা ইমেজকে আমরা আবার ছোট করে নিয়ে আসবো ম্যাক্সপুলিং২ডি, MaxPooling2D (২,২ পিক্সেল গ্রিড) লেয়ার দিয়ে। এই ম্যাক্সপুলিং২ডি লেয়ারের গ্রিড হচ্ছে ২,২। এটার স্ট্রাইড হচ্ছে ২ তার মানে ২ পিক্সেল করে স্লাইডিং করছে। \n",
        "\n",
        "\n",
        "* এখানে একটা জিনিস বুঝতে পারছি এই কনভলিউশন এবং ম্যাক্সপুলিং এই দুটো জিনিস বারবার চেইন হিসেবে কাজ করছে। একটার আউটপুট আরেকটা ইনপুট - এভাবে একটা চেইন ইফেক্ট তৈরি করছে যতক্ষণ না আমাদের কাজ হচ্ছে। কয়বার ব্যবহার করবো? সেটা নির্ভর করছে আমাদের ট্রায়ালের ওপর। এই চেইন আরো ভালো কাজ করবে যখন আমরা গ্রেস্কেল ইমেজ থেকে রঙ্গিন ছবিতে চলে যাব। \n",
        "\n",
        "\n",
        "* **ক্লাসিফায়ার আউটপুট** `tf.keras.layers.Dense` — এই সাধারন নিউরাল নেটওয়ার্কের শুরুতেই আমরা ‘ফ্ল্যাটেনিং’ করে নিচ্ছি ইনপুটে। একদম আগের গল্প। ছবি যাই হোক না কেন সেটাকে এক লাইনে দাড়া করাচ্ছি আমাদের ইনপুটের জন্য। এরপর আমরা এখানে ১২৮টা নিউরন দিয়ে একটা ‘ডেন্স’ (পাশাপাশি কানেক্টেড) লেয়ার তৈরি করেছি। এটার অ্যাক্টিভেশন ফাংশন হচ্ছে ‘রেল্যু’, এটাই ভালো এই কাজে। \n",
        "\n",
        "\n",
        "* আর শেষ লেয়ারটা কি হবে? ঠিক ধরেছেন, আমাদের যেহেতু দশটা অবজেক্ট মানে কাপড়চোপড়, জুতা, স্নিকার ইত্যাদি ইত্যাদি জিনিসকে ঠিকমতো ক্লাসিফাই করতে হবে - সেজন্য দরকার ১০টা নোডের একটা লেয়ার। প্রতিটা নোড ‘রিপ্রেজেন্ট’ করছে একটা করে কাপড়চোপড়ের ক্লাস। আমাদের এই সর্বশেষ লেয়ার ইনপুট নিচ্ছে ১২৮টা নোড থেকে, আর সেটার আউটপুট পাঠাচ্ছে ০ আর ১ এর মধ্যে। ০ এবং ১ সংখ্যার মধ্যে প্রোবাবিলিটি ডিস্ট্রিবিউশন যেটার সবচেয়ে বেশি হবে সেদিকেই সেই ক্লাসটাকে আইডেন্টিফাই করবে। আগেও বলেছি এই দশটা নোডের যোগফল হচ্ছে ১। \n",
        "\n",
        "<img src=\"https://raw.githubusercontent.com/raqueeb/deep_learning_book/master/assets/cnn2.jpg\"> চিত্রঃ ছবিটা কিছুটা এরকম হতে পারে\n",
        "\n",
        "### মডেল কম্পাইলেশন \n",
        "\n",
        "আলাপ করেছি আগের নিউরাল নেটওয়ার্কে। "
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab_type": "code",
        "id": "Lhan11blCaW7",
        "colab": {}
      },
      "source": [
        "model.compile(optimizer='adam',\n",
        "              loss='sparse_categorical_crossentropy',\n",
        "              metrics=['accuracy'])"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "colab_type": "text",
        "id": "qKF6uW-BCaW-"
      },
      "source": [
        "## মডেলকে ট্রেইন করি \n",
        "\n",
        "এতো ডেটা, এবার আমরা একটু অন্যভাবে মডেল ট্রেইন করি। এই ব্যাপারটা আগের মডেলেও চলবে। ট্রেইন ডেটাসেটের কিছু নতুন ধারণা - ব্যাচ নিয়ে। ব্যাচে ট্রেনিং। \n",
        "\n",
        "১. BATCH_SIZE = 32 অথবা `dataset.batch(32)` মানে হচ্ছে কতগুলো ইমেজ সে প্রসেস করবে ১ ব্যাচে `model.fit` ব্যবহার করার সময়। এই ফাঁকে মডেলের ভ্যারিয়েবলগুলো আপডেট হবে। \n",
        "\n",
        "২. `dataset.repeat()` মানে এই প্রসেস বারবার হবে শেষ না হওয়া পর্যন্ত। `epochs` বলছে পুরো ডেটাসেট কতোবার পুরোটাই 'আইটারেট' করবে। \n",
        "\n",
        "৩. shuffle(num_train_examples) মানে `dataset.shuffle(60000)` পুরো ডেটাসেটকে দৈবচয়নের ভিত্তিতে এমনভাবে ঘুটিয়ে দেবে যাতে সে আর শিখতে না পারে।  "
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab_type": "code",
        "id": "o_Dp8971McQ1",
        "colab": {}
      },
      "source": [
        "BATCH_SIZE = 32\n",
        "train_dataset = train_dataset.repeat().shuffle(num_train_examples).batch(BATCH_SIZE)\n",
        "test_dataset = test_dataset.batch(BATCH_SIZE)"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "RSTMftEqwF7l",
        "colab_type": "text"
      },
      "source": [
        "আমরা `model.fit` মেথড কল করলে এই কাজগুলো হবে:\n",
        "\n",
        "১. মডেলে ফিড হচ্ছে ট্রেনিং ডেটা, `train_dataset`।\n",
        "2. মডেল শিখছে তার ইমেজ আর সেটার লেবেল থেকে। `train_dataset` এর মধ্যে ইমেজ এবং লেবেল দুটোই আছে। \n",
        "৩. ৫ * ৬০,০০০ = ৩০,০০০০ এক্সাম্পল এর সাথে দরকারি স্টেপ।  "
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab_type": "code",
        "id": "xvwvpA64CaW_",
        "outputId": "eec216ab-5162-456f-fabc-8181575c5a00",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 391
        }
      },
      "source": [
        "model.fit(train_dataset, epochs=10, steps_per_epoch=math.ceil(num_train_examples/BATCH_SIZE))"
      ],
      "execution_count": 24,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "Train for 1875 steps\n",
            "Epoch 1/10\n",
            "1875/1875 [==============================] - 46s 25ms/step - loss: 0.3998 - accuracy: 0.8587\n",
            "Epoch 2/10\n",
            "1875/1875 [==============================] - 27s 15ms/step - loss: 0.2624 - accuracy: 0.9045\n",
            "Epoch 3/10\n",
            "1875/1875 [==============================] - 28s 15ms/step - loss: 0.2165 - accuracy: 0.9220\n",
            "Epoch 4/10\n",
            "1875/1875 [==============================] - 29s 15ms/step - loss: 0.1843 - accuracy: 0.9317\n",
            "Epoch 5/10\n",
            "1875/1875 [==============================] - 28s 15ms/step - loss: 0.1565 - accuracy: 0.9421\n",
            "Epoch 6/10\n",
            "1875/1875 [==============================] - 28s 15ms/step - loss: 0.1348 - accuracy: 0.9495\n",
            "Epoch 7/10\n",
            "1875/1875 [==============================] - 28s 15ms/step - loss: 0.1121 - accuracy: 0.9584\n",
            "Epoch 8/10\n",
            "1875/1875 [==============================] - 29s 15ms/step - loss: 0.0924 - accuracy: 0.9657\n",
            "Epoch 9/10\n",
            "1875/1875 [==============================] - 28s 15ms/step - loss: 0.0805 - accuracy: 0.9696\n",
            "Epoch 10/10\n",
            "1875/1875 [==============================] - 28s 15ms/step - loss: 0.0650 - accuracy: 0.9764\n"
          ],
          "name": "stdout"
        },
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "<tensorflow.python.keras.callbacks.History at 0x7f16634928d0>"
            ]
          },
          "metadata": {
            "tags": []
          },
          "execution_count": 24
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "colab_type": "text",
        "id": "W3ZVOhugCaXA"
      },
      "source": [
        "মডেল ট্রেনিং এর সময় সেটার লস এবং অ্যাক্যুরেসি ম্যাট্রিক্স দেখলে বোঝা যায় ট্রেনিং ডেটার ওপর মডেল ভালো করেছে। এটাই স্বাভাবিক। "
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "colab_type": "text",
        "id": "oEw4bZgGCaXB"
      },
      "source": [
        "## এখন আমরা অ্যাক্যুরেসি বের করবো কিভাবে?\n",
        "\n",
        "অবশ্যই টেস্ট ডেটাসেট দিয়ে দিয়ে। তার সবগুলো এক্সাম্পল দিয়ে। "
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab_type": "code",
        "id": "VflXLEeECaXC",
        "outputId": "4eb90db4-e96e-4f39-8807-64aba826b36c",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 51
        }
      },
      "source": [
        "test_loss, test_accuracy = model.evaluate(test_dataset, steps=math.ceil(num_test_examples/32))\n",
        "print('Accuracy on test dataset:', test_accuracy)"
      ],
      "execution_count": 25,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "313/313 [==============================] - 4s 12ms/step - loss: 0.3336 - accuracy: 0.9175\n",
            "Accuracy on test dataset: 0.9175\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "colab_type": "text",
        "id": "yWfgsmVXCaXG"
      },
      "source": [
        "সাধারণতঃ `train_dataset` থেকে `test_dataset` এর অ্যাক্যুরেসি কিছুটা কম হয়। এটাই স্বাভাবিক। কারণে সেতো ট্রেনিং করেছে `train_dataset` এর ওপর। এদিকে `test_dataset` তার কাছে অজানা ডেটা। এটাকে ওভারফিটিং বলে। "
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "colab_type": "text",
        "id": "xsoS7CPDCaXH"
      },
      "source": [
        "## মডেল থেকে কিছু প্রেডিকশন করি "
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab_type": "code",
        "id": "Ccoz4conNCpl",
        "colab": {}
      },
      "source": [
        "for test_images, test_labels in test_dataset.take(1):\n",
        "  test_images = test_images.numpy()\n",
        "  test_labels = test_labels.numpy()\n",
        "  predictions = model.predict(test_images)"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab_type": "code",
        "id": "Gl91RPhdCaXI",
        "outputId": "4530e3ee-f356-4407-c6c9-5c82043c4ea8",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 34
        }
      },
      "source": [
        "predictions.shape"
      ],
      "execution_count": 27,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "(32, 10)"
            ]
          },
          "metadata": {
            "tags": []
          },
          "execution_count": 27
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "colab_type": "text",
        "id": "x9Kk1voUCaXJ"
      },
      "source": [
        "টেস্টসেট থেকে মডেল কিছু প্রেডিকশন করেছে। শুরুর ইমেজটা দেখি। "
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab_type": "code",
        "id": "3DmJEUinCaXK",
        "outputId": "fc8d0fc4-d696-4c48-c589-95351d62403e",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 68
        }
      },
      "source": [
        "predictions[0]"
      ],
      "execution_count": 28,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "array([8.0618525e-09, 9.0714196e-15, 8.8524193e-06, 6.9981121e-10,\n",
              "       6.8139896e-02, 1.1065558e-12, 9.3185115e-01, 4.6377526e-16,\n",
              "       2.9567674e-14, 5.5041184e-12], dtype=float32)"
            ]
          },
          "metadata": {
            "tags": []
          },
          "execution_count": 28
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "colab_type": "text",
        "id": "-hw1hgeSCaXN"
      },
      "source": [
        "আমরা জানি যে আমাদের প্রেডিকশন অ্যারে কিন্তু ১০টা সংখ্যায় আসবে। কারণ আমাদের আউটপুট অবজেক্ট হচ্ছে ১০টা। তবে ১০টার আউটপুট তার 'করেসপন্ডিং' কনফিডেন্স লেভেল, কাপড়চোপড়, স্নিকার, জুতা ইত্যাদির জন্য। আমাদেরকে বের করতে হবে সবচেয়ে বেশি কনফিডেন্ট কোথায়? সবচেয়ে বড় ভ্যালুতে।  "
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab_type": "code",
        "id": "qsqenuPnCaXO",
        "outputId": "6ed81722-8a26-46c4-fec7-cd83b60bb21e",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 34
        }
      },
      "source": [
        "np.argmax(predictions[0])"
      ],
      "execution_count": 29,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "6"
            ]
          },
          "metadata": {
            "tags": []
          },
          "execution_count": 29
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "colab_type": "text",
        "id": "E51yS7iCCaXO"
      },
      "source": [
        "আমরা বুঝতে পারছি, মডেল কনফিডেন্ট একটা শার্টের ব্যাপারে মানে `class_names[6]`। তাহলে আমাদের টেস্ট লেবেলটা দেখি ছবিতে। "
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab_type": "code",
        "id": "Sd7Pgsu6CaXP",
        "outputId": "5770a8d4-e92e-410e-85f5-95fedf407d3c",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 34
        }
      },
      "source": [
        "test_labels[0]"
      ],
      "execution_count": 30,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "6"
            ]
          },
          "metadata": {
            "tags": []
          },
          "execution_count": 30
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "colab_type": "text",
        "id": "ygh2yYC972ne"
      },
      "source": [
        "## মডেল সামারি দেখি  "
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "Qo_e3CS_zg2V",
        "colab_type": "code",
        "outputId": "3ed4f585-1b97-4a9d-9261-246bb0d99cd0",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 391
        }
      },
      "source": [
        "# pd.DataFrame(model.history).plot(ylim=(-0.05, 1.05))\n",
        "model.summary()"
      ],
      "execution_count": 31,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "Model: \"sequential\"\n",
            "_________________________________________________________________\n",
            "Layer (type)                 Output Shape              Param #   \n",
            "=================================================================\n",
            "conv2d (Conv2D)              (None, 28, 28, 32)        320       \n",
            "_________________________________________________________________\n",
            "max_pooling2d (MaxPooling2D) (None, 14, 14, 32)        0         \n",
            "_________________________________________________________________\n",
            "conv2d_1 (Conv2D)            (None, 14, 14, 64)        18496     \n",
            "_________________________________________________________________\n",
            "max_pooling2d_1 (MaxPooling2 (None, 7, 7, 64)          0         \n",
            "_________________________________________________________________\n",
            "flatten (Flatten)            (None, 3136)              0         \n",
            "_________________________________________________________________\n",
            "dense (Dense)                (None, 128)               401536    \n",
            "_________________________________________________________________\n",
            "dense_1 (Dense)              (None, 10)                1290      \n",
            "=================================================================\n",
            "Total params: 421,642\n",
            "Trainable params: 421,642\n",
            "Non-trainable params: 0\n",
            "_________________________________________________________________\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "a7Ei3rq-Qt3U",
        "colab_type": "text"
      },
      "source": [
        "## আমরা মডেলকে হার্ডড্রাইভে \"সেভ\" করি\n",
        "\n",
        "মডেলকে 'সেভ' করার সুবিধা হচ্ছে সেটাকে আমরা পরে ব্যবহার করতে পারি। আবার লোড করতে পারি নতুন করে ট্রেনিং করানো ছাড়াই। মডেল 'সেভ' হবে কেরাসের HDF5 ফাইল ফরম্যাটে। এর এক্সটেনশন হচ্ছে '.h5', পাশাপাশি মডেল যাতে ভুলে ওভাররাইট না হয়ে যায় এজন্য় টাইমস্ট্যাম্প দিয়ে ফাইল নাম। "
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "1n-dXi8gRbcj",
        "colab_type": "code",
        "outputId": "2fdbb8f3-b021-45b9-d8d3-6435168cc145",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 34
        }
      },
      "source": [
        "# মডেলকে সেভ করছি\n",
        "# model.save('path_to_my_model.h5')\n",
        "import time\n",
        "t = time.time()\n",
        "\n",
        "out_path = \"./{}.h5\".format(int(t))\n",
        "print(out_path)\n",
        "\n",
        "model.save(out_path)"
      ],
      "execution_count": 32,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "./1571546095.h5\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "sM2TS1ctTHRe",
        "colab_type": "text"
      },
      "source": [
        "## মডেলকে দেখি হার্ডড্রাইভে, মানে ক্লাউডে"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "iFRzvoFRU5kc",
        "colab_type": "code",
        "outputId": "2ab6277a-4c7d-419c-f964-a63f9295154d",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 34
        }
      },
      "source": [
        "!ls"
      ],
      "execution_count": 33,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "1571546095.h5  sample_data\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "vBRoCzvhVyuP",
        "colab_type": "text"
      },
      "source": [
        "## আবার মডেলকে লোড করতে চাই নতুন জায়গায়"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "tnTqwbBMXoOO",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "from tensorflow import keras\n",
        "new_model = keras.models.load_model('1571546095.h5')"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "dhPLf-2EYG29",
        "colab_type": "code",
        "outputId": "44e39cde-b192-4e30-fef2-11ebdc95ac11",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 391
        }
      },
      "source": [
        "# দেখি নতুন মডেল\n",
        "\n",
        "new_model.summary()"
      ],
      "execution_count": 36,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "Model: \"sequential\"\n",
            "_________________________________________________________________\n",
            "Layer (type)                 Output Shape              Param #   \n",
            "=================================================================\n",
            "conv2d (Conv2D)              (None, 28, 28, 32)        320       \n",
            "_________________________________________________________________\n",
            "max_pooling2d (MaxPooling2D) (None, 14, 14, 32)        0         \n",
            "_________________________________________________________________\n",
            "conv2d_1 (Conv2D)            (None, 14, 14, 64)        18496     \n",
            "_________________________________________________________________\n",
            "max_pooling2d_1 (MaxPooling2 (None, 7, 7, 64)          0         \n",
            "_________________________________________________________________\n",
            "flatten (Flatten)            (None, 3136)              0         \n",
            "_________________________________________________________________\n",
            "dense (Dense)                (None, 128)               401536    \n",
            "_________________________________________________________________\n",
            "dense_1 (Dense)              (None, 10)                1290      \n",
            "=================================================================\n",
            "Total params: 421,642\n",
            "Trainable params: 421,642\n",
            "Non-trainable params: 0\n",
            "_________________________________________________________________\n"
          ],
          "name": "stdout"
        }
      ]
    }
  ]
}