Nepali_summerizer_tfidf.ipynb

{
  "nbformat": 4,
  "nbformat_minor": 0,
  "metadata": {
    "colab": {
      "name": "Nepali summerizer_tfidf.ipynb",
      "version": "0.3.2",
      "provenance": [],
      "include_colab_link": true
    },
    "kernelspec": {
      "name": "python3",
      "display_name": "Python 3"
    },
    "accelerator": "GPU"
  },
  "cells": [
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "view-in-github",
        "colab_type": "text"
      },
      "source": [
        "<a href=\"https://colab.research.google.com/github/sushil79g/Nepali_text_summarizer/blob/master/Nepali_summerizer_tfidf.ipynb\" target=\"_parent\"><img src=\"https://colab.research.google.com/assets/colab-badge.svg\" alt=\"Open In Colab\"/></a>"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "6TmHl9SAx5HX",
        "colab_type": "code",
        "outputId": "f4cb7f2b-e653-4e0d-bcd5-15d6a2632332",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 123
        }
      },
      "source": [
        "#if you are using colab\n",
        "!git clone https://github.com/sushil79g/Nepali_text_summerizer\n",
        "from Nepali_text_summerizer.loadembedding import load_vector"
      ],
      "execution_count": 1,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "Cloning into 'Nepali_text_summerizer'...\n",
            "remote: Enumerating objects: 41, done.\u001b[K\n",
            "remote: Counting objects: 100% (41/41), done.\u001b[K\n",
            "remote: Compressing objects: 100% (39/39), done.\u001b[K\n",
            "remote: Total 41 (delta 20), reused 0 (delta 0), pack-reused 0\u001b[K\n",
            "Unpacking objects: 100% (41/41), done.\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "Tsid1yScyNK5",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "#if you are at local\n",
        "# from loadembedding import load_vector"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "CJXphV8k0QJz",
        "colab_type": "code",
        "outputId": "4e0ccf57-a767-4de6-a216-c78012e5e844",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 161
        }
      },
      "source": [
        "word_vec = load_vector()"
      ],
      "execution_count": 2,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "Go to this URL in a browser: https://accounts.google.com/o/oauth2/auth?client_id=947318989803-6bn6qk8qdgf4n4g3pfee6491hc0brc4i.apps.googleusercontent.com&redirect_uri=urn%3Aietf%3Awg%3Aoauth%3A2.0%3Aoob&scope=email%20https%3A%2F%2Fwww.googleapis.com%2Fauth%2Fdocs.test%20https%3A%2F%2Fwww.googleapis.com%2Fauth%2Fdrive%20https%3A%2F%2Fwww.googleapis.com%2Fauth%2Fdrive.photos.readonly%20https%3A%2F%2Fwww.googleapis.com%2Fauth%2Fpeopleapi.readonly&response_type=code\n",
            "\n",
            "Enter your authorization code:\n",
            "··········\n",
            "Mounted at /content/drive\n"
          ],
          "name": "stdout"
        },
        {
          "output_type": "stream",
          "text": [
            "/usr/local/lib/python3.6/dist-packages/smart_open/smart_open_lib.py:398: UserWarning: This function is deprecated, use smart_open.open instead. See the migration notes for details: https://github.com/RaRe-Technologies/smart_open/blob/master/README.rst#migrating-to-the-new-open-function\n",
            "  'See the migration notes for details: %s' % _MIGRATION_NOTES_URL\n"
          ],
          "name": "stderr"
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "kjodXJ-7rPaM",
        "colab_type": "code",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 250
        },
        "outputId": "cde3f51e-c5e5-4348-e3f5-3137b09fd58c"
      },
      "source": [
        "word_vec.most_similar('राजा')"
      ],
      "execution_count": 20,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "/usr/local/lib/python3.6/dist-packages/gensim/matutils.py:737: FutureWarning: Conversion of the second argument of issubdtype from `int` to `np.signedinteger` is deprecated. In future, it will be treated as `np.int64 == np.dtype(int).type`.\n",
            "  if np.issubdtype(vec.dtype, np.int):\n"
          ],
          "name": "stderr"
        },
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "[('राजाले', 0.4030272364616394),\n",
              " ('राजाको', 0.3892509937286377),\n",
              " ('राजकुमार', 0.3865813612937927),\n",
              " ('राजाका', 0.3686913251876831),\n",
              " ('राजाहरू', 0.33847329020500183),\n",
              " ('प्रधानमन्त्री', 0.33842289447784424),\n",
              " ('सम्राट', 0.31141313910484314),\n",
              " ('महाराज', 0.3000769019126892),\n",
              " ('राष्ट्रपति', 0.29776474833488464),\n",
              " ('शासक', 0.2973383963108063)]"
            ]
          },
          "metadata": {
            "tags": []
          },
          "execution_count": 20
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "cgHaiNwQBugZ",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "import string\n",
        "def preprocess(text):\n",
        "    sentences = text.split(u\"।\")\n",
        "#     abc = text.translate(str.maketrans('', '', string.punctuation))\n",
        "    sentences = [sentence.translate(str.maketrans('', '', string.punctuation)) for sentence in sentences]\n",
        "    return sentences "
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "56C1hi5U3lKO",
        "colab_type": "code",
        "outputId": "22641e76-afc2-47a5-e272-ae3d5240ea5b",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 34
        }
      },
      "source": [
        "# (list(word_vec.vocab)) सिद्धान्त\n",
        "word_vec.vector_size"
      ],
      "execution_count": 4,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "400"
            ]
          },
          "metadata": {
            "tags": []
          },
          "execution_count": 4
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "jNZ7qcvA5cfB",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "#using TFIDF"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "_ccVDoJc5sIZ",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "from sklearn.feature_extraction.text import TfidfVectorizer\n",
        "import numpy as np\n",
        "def generate_centroif_tfidf(sentence):\n",
        "    tf = TfidfVectorizer()\n",
        "    tfidf = tf.fit_transform(sentence).toarray().sum(0)\n",
        "    tfidf = np.divide(tfidf, tfidf.max())\n",
        "    words = tf.get_feature_names()\n",
        "    similar_term = []\n",
        "    for i in range(len(tfidf)):\n",
        "        if words[i] in vocab:\n",
        "            if tfidf[i] >= 0.2:\n",
        "                similar_term.append(words[i])\n",
        "    res = [word_vec[term] for term in similar_term]\n",
        "    return sum(res)/len(res)"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "_bBvuFO32giK",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "vocab = word_vec.vocab\n",
        "def sentence_vectorizer(sentence,size,word_vec,vocab):\n",
        "    dic = {}\n",
        "    for i in range(len(sentence)):\n",
        "        sum_vec = np.zeros(size)\n",
        "        try:\n",
        "            sentence_word = sentence[i].split()\n",
        "        except:\n",
        "            pass\n",
        "        sentence = [word for word in sentence_word if word in vocab]\n",
        "        if sentence:\n",
        "            for word in sentence:\n",
        "                word_vec_ = word_vec[word]\n",
        "                sum_vec = np.add(sum_vec, word_vec_)\n",
        "                \n",
        "            dic[i] = sum_vec/len(sentence)\n",
        "    return dic\n"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "Q1V3FqU8g9Gi",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "def sentence_selection(centroid, sentences_dict, summary_length):\n",
        "    from scipy.spatial.distance import cosine\n",
        "    sentence_retriever = []\n",
        "    record = []\n",
        "    for sentence_id in sentences_dict:\n",
        "        vector = sentences_dict[sentence_id]\n",
        "        similarity = (1 - cosine(centroid, vector))\n",
        "        record.append((sentence_id, vector, similarity))\n",
        "\n",
        "    rank = list(reversed(sorted(record, key=lambda tup: tup[2])))\n",
        "    sentence_ids = []\n",
        "    summary_char_num = 0\n",
        "    stop = False\n",
        "    i = 0\n",
        "    text_length = sum([len(x) for x in sentence_retriever])\n",
        "\n",
        "    if summary_length < 1:\n",
        "        limit = int(text_length * float(summary_length))\n",
        "\n",
        "        while not stop and i < len(rank):\n",
        "            sentence_id = rank[i][0]\n",
        "            new_vector = sentences_dict[sentence_id]\n",
        "            sent_char_num = len(sentence_retriever[sentence_id])\n",
        "            redundancy = [sentences_dict[k] for k in sentence_ids\n",
        "                            if (1 - cosine(new_vector, sentences_dict[k]) > 0.95)]\n",
        "\n",
        "            if not redundancy:\n",
        "                summary_char_num += sent_char_num\n",
        "                sentence_ids.append(sentence_id)\n",
        "            i += 1\n",
        "\n",
        "            if summary_char_num > limit:\n",
        "                stop = True\n",
        "    else: \n",
        "        sentences_number = int(summary_length)\n",
        "        sentence_ids = rank[:sentences_number]\n",
        "        sentence_ids = map(lambda t: t[0], sentence_ids)\n",
        "\n",
        "    sentence_ids = sorted(sentence_ids)\n",
        "    \n",
        "    return sentence_ids"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "nqn8sYhLhBdu",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "def summary(centroid_tfidf,sent,sent_dict,length):\n",
        "    ids = sentence_selection(centroid_tfidf,sent_dict,length)\n",
        "    whole_summary = []\n",
        "    for inde in ids:\n",
        "        whole_summary.append(sent[inde])\n",
        "    return '।'.join(whole_summary)\n"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "yH6Y_F788NGd",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "sample_text = '''१७ साउन, काठमाडौं । स्थानीय राजनीतिकर्मी र स्वार्थ समूहको पेलाइका कारण चिनियाँ हुवाजिन कम्पनीले नेपालमा भित्र्याएको १४ अर्ब ४० करोड प्रत्यक्ष वैदेशिक लगानी संकटमा परेको छ । यही स्थिति जारी रहे सिमेन्ट उद्योगका लागि गरिएको सो लगानी फिर्ता लैजाने विषयमा समेत सो कम्पनीका अधिकारीहरु छलफलमा छन् ।चिनियाँ सरकारी स्वामित्वको कम्पनीले धादिङको बेनिघाट रोराङ गाउँपालिका-२ ताल्तीमा सिमेन्ट उद्योग निर्माणको काम गरिरहेको छ । तर, अनेक बहानामा काम प्रभावित भएपछि कम्पनी नेपालबाट फिर्ता हुन सक्ने अवस्था पैदा भएको स्रोतले बतायो । गत वर्ष असारमा प्रधानमन्त्री केपी शर्मा ओलीको चीन भ्रमणका क्रममा लगानी बोर्ड र हुवाजिनले सिमेन्ट उद्योगमा लगानी गर्ने सम्झौतामा हस्ताक्षर गरेका थिए ।कारखानासम्म जाने सडकको विषयमा सबैभन्दा ठूलो विवाद छ । शिलान्यास भएको ९ महिनामा उत्पादन थाल्ने लक्ष्य राखेको उद्योगले बेनीघाटबाट ११.५ किलोमिटर दुरीमा १२ मिटर चौडाइको सडक खन्न थालेको थियो । तर, यसमा छिमेकी गजुरी गाउँपालिकाका स्थानीयवासीले विरोध जनाए । कारखाना जाने बाटो र विद्युतसमेत आफ्नै गाउँबाट लैजानुपर्ने स्थानीयको माग छ । सोही गाउँपालिकाका प्रदेश सभा सांसद राजेन्द्र पाण्डेले असन्तुष्ट स्थानीयवासीको नेतृत्व गरेका छन् । गजुरीमा आयोजित एक कार्यक्रममा सांसद पाण्डेले सिमेन्ट उद्योगको डोजरमाथि आगो लगाइदिने सार्वजनिक भाषण गरेको बेनीघाट रोराङका स्थानीयले बताए । जबकी उद्योग शिलान्यासमा पाण्डे आफैं सहभागी थिए । उनै पाण्डे हालै स्थानीयवासीले बनाएको संघर्ष समितिको कार्यक्रममा सहभागी भएका थिए । यता, उद्योगले बनाइरहेको सडकले जैविक विविधता मासिएको तथा उद्योग सञ्चालनपछि वातावरण प्रदुषण फैलिने भन्दै एक संस्थाले विभिन्न निकायमा उजुरी गरेको छ । गजुरीका स्थानीय भूमि कंडेलकाे संयोजकत्वमा बनेको ‘वातावरण बचाउ अभियान’को उजुरीपछि वातावरण संरक्षणका क्षेत्रका कार्यरत विभिन्न संस्थाबाट स्थानीय सरकारलाई पत्र आएको बेनिघाट रोराङ गाउँपालिका-२ का वडा अध्यक्ष टंकबहादुर थापाले बताए । थापाका अनुसार वन मास्न नदिनू, खोला, कुलेसोमा सडक बनाउन नदिनू भन्ने खालका पत्रहरु वडामा आएका छन् । ओली गुटले धादिङमा पाण्डेलाई साइजमा राख्न मुख्यमन्त्रीको आश्वासनसहित प्रदेशसभामा पठाएर त्रिपाठीलाई प्रतिनिधिसभामा उम्मेदवार बनायो । त्यसयता पाण्डे समूह त्रिपाठी गुटविरुद्ध लागेको जनाकारहरु बताउँछन् । त्यसमाथि प्रदेश ३ को मुख्यमन्त्री बन्नबाट समेत पाण्डे बञ्चित गरिएपछि धादिङमा पाण्डेको राजनीतिक पकड त्रिपाठीतर्फ सरेको चर्चा व्यापक छ । प्रधानमन्त्री आफैंले भित्र्याएको चिनियाँ परियोजनामा त्रिपाठीले समन्वय गरिरहेका छन् भने व्यावसायी सुरज वैद्यले पनि १५ प्रतिशत लगानी गरेका छन् ।'''"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "-C8b3D8UmJpg",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "def show_summary(sample_text,length_sentence_predict):\n",
        "    sent = preprocess(sample_text)\n",
        "    centroid_tfidf = generate_centroif_tfidf(sent)\n",
        "    size = word_vec.vector_size\n",
        "    sent_dict = sentence_vectorizer(sent,size,word_vec,vocab)\n",
        "    return summary(centroid_tfidf,sent,sent_dict,length_sentence_predict)"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "FMRqOOuyhEtE",
        "colab_type": "code",
        "outputId": "5d601ba8-5fe4-4f00-fa61-d56b8d98a7a7",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 798
        }
      },
      "source": [
        "#TEST\n",
        "from pprint import pprint\n",
        "pprint('original')\n",
        "pprint(sample_text)\n",
        "print('\\n\\n')\n",
        "pprint('summerized')\n",
        "pprint(show_summary(sample_text,6))"
      ],
      "execution_count": 11,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "'original'\n",
            "('१७ साउन, काठमाडौं । स्थानीय राजनीतिकर्मी र स्वार्थ समूहको पेलाइका कारण '\n",
            " 'चिनियाँ हुवाजिन कम्पनीले नेपालमा भित्र्याएको १४ अर्ब ४० करोड प्रत्यक्ष '\n",
            " 'वैदेशिक लगानी संकटमा परेको छ । यही स्थिति जारी रहे सिमेन्ट उद्योगका लागि '\n",
            " 'गरिएको सो लगानी फिर्ता लैजाने विषयमा समेत सो कम्पनीका अधिकारीहरु छलफलमा छन् '\n",
            " '।चिनियाँ सरकारी स्वामित्वको कम्पनीले धादिङको बेनिघाट रोराङ गाउँपालिका-२ '\n",
            " 'ताल्तीमा सिमेन्ट उद्योग निर्माणको काम गरिरहेको छ । तर, अनेक बहानामा काम '\n",
            " 'प्रभावित भएपछि कम्पनी नेपालबाट फिर्ता हुन सक्ने अवस्था पैदा भएको स्रोतले '\n",
            " 'बतायो । गत वर्ष असारमा प्रधानमन्त्री केपी शर्मा ओलीको चीन भ्रमणका क्रममा '\n",
            " 'लगानी बोर्ड र हुवाजिनले सिमेन्ट उद्योगमा लगानी गर्ने सम्झौतामा हस्ताक्षर '\n",
            " 'गरेका थिए ।कारखानासम्म जाने सडकको विषयमा सबैभन्दा ठूलो विवाद छ । शिलान्यास '\n",
            " 'भएको ९ महिनामा उत्पादन थाल्ने लक्ष्य राखेको उद्योगले बेनीघाटबाट ११.५ '\n",
            " 'किलोमिटर दुरीमा १२ मिटर चौडाइको सडक खन्न थालेको थियो । तर, यसमा छिमेकी गजुरी '\n",
            " 'गाउँपालिकाका स्थानीयवासीले विरोध जनाए । कारखाना जाने बाटो र विद्युतसमेत '\n",
            " 'आफ्नै गाउँबाट लैजानुपर्ने स्थानीयको माग छ । सोही गाउँपालिकाका प्रदेश सभा '\n",
            " 'सांसद राजेन्द्र पाण्डेले असन्तुष्ट स्थानीयवासीको नेतृत्व गरेका छन् । गजुरीमा '\n",
            " 'आयोजित एक कार्यक्रममा सांसद पाण्डेले सिमेन्ट उद्योगको डोजरमाथि आगो लगाइदिने '\n",
            " 'सार्वजनिक भाषण गरेको बेनीघाट रोराङका स्थानीयले बताए । जबकी उद्योग '\n",
            " 'शिलान्यासमा पाण्डे आफैं सहभागी थिए । उनै पाण्डे हालै स्थानीयवासीले बनाएको '\n",
            " 'संघर्ष समितिको कार्यक्रममा सहभागी भएका थिए । यता, उद्योगले बनाइरहेको सडकले '\n",
            " 'जैविक विविधता मासिएको तथा उद्योग सञ्चालनपछि वातावरण प्रदुषण फैलिने भन्दै एक '\n",
            " 'संस्थाले विभिन्न निकायमा उजुरी गरेको छ । गजुरीका स्थानीय भूमि कंडेलकाे '\n",
            " 'संयोजकत्वमा बनेको ‘वातावरण बचाउ अभियान’को उजुरीपछि वातावरण संरक्षणका '\n",
            " 'क्षेत्रका कार्यरत विभिन्न संस्थाबाट स्थानीय सरकारलाई पत्र आएको बेनिघाट रोराङ '\n",
            " 'गाउँपालिका-२ का वडा अध्यक्ष टंकबहादुर थापाले बताए । थापाका अनुसार वन मास्न '\n",
            " 'नदिनू, खोला, कुलेसोमा सडक बनाउन नदिनू भन्ने खालका पत्रहरु वडामा आएका छन् । '\n",
            " 'ओली गुटले धादिङमा पाण्डेलाई साइजमा राख्न मुख्यमन्त्रीको आश्वासनसहित '\n",
            " 'प्रदेशसभामा पठाएर त्रिपाठीलाई प्रतिनिधिसभामा उम्मेदवार बनायो । त्यसयता '\n",
            " 'पाण्डे समूह त्रिपाठी गुटविरुद्ध लागेको जनाकारहरु बताउँछन् । त्यसमाथि प्रदेश '\n",
            " '३ को मुख्यमन्त्री बन्नबाट समेत पाण्डे बञ्चित गरिएपछि धादिङमा पाण्डेको '\n",
            " 'राजनीतिक पकड त्रिपाठीतर्फ सरेको चर्चा व्यापक छ । प्रधानमन्त्री आफैंले '\n",
            " 'भित्र्याएको चिनियाँ परियोजनामा त्रिपाठीले समन्वय गरिरहेका छन् भने व्यावसायी '\n",
            " 'सुरज वैद्यले पनि १५ प्रतिशत लगानी गरेका छन् ।')\n",
            "\n",
            "\n",
            "\n",
            "'summerized'\n",
            "('१७ साउन काठमाडौं । ओली गुटले धादिङमा पाण्डेलाई साइजमा राख्न मुख्यमन्त्रीको '\n",
            " 'आश्वासनसहित प्रदेशसभामा पठाएर त्रिपाठीलाई प्रतिनिधिसभामा उम्मेदवार बनायो । '\n",
            " 'त्यसयता पाण्डे समूह त्रिपाठी गुटविरुद्ध लागेको जनाकारहरु बताउँछन् । त्यसमाथि '\n",
            " 'प्रदेश ३ को मुख्यमन्त्री बन्नबाट समेत पाण्डे बञ्चित गरिएपछि धादिङमा पाण्डेको '\n",
            " 'राजनीतिक पकड त्रिपाठीतर्फ सरेको चर्चा व्यापक छ । प्रधानमन्त्री आफैंले '\n",
            " 'भित्र्याएको चिनियाँ परियोजनामा त्रिपाठीले समन्वय गरिरहेका छन् भने व्यावसायी '\n",
            " 'सुरज वैद्यले पनि १५ प्रतिशत लगानी गरेका छन् ।')\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "fMiUJ-0_rBpw",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "!pip3 install news-please \n",
        "from newsplease import NewsPlease"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "xSuN0wv4jp8b",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "from bs4 import BeautifulSoup\n",
        "import urllib\n",
        "import re\n",
        "from urllib.request import Request, urlopen\n",
        "def get_content_onlinekhabar(link):\n",
        "  req = Request(link, headers={'User-Agent': 'Mozilla/5.0'})\n",
        "  webpage = urlopen(req).read()\n",
        "  soup = BeautifulSoup(webpage)\n",
        "  text =''\n",
        "  for tex_ in soup.find_all(\"p\")[:-1]:\n",
        "    text = text + \" \" + tex_.getText()\n",
        "  return ''.join(text)\n",
        "# sample_text = get_content('https://www.onlinekhabar.com/2019/08/789991')\n",
        "# sample_text"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "k3vrm0skrJFx",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "from bs4 import BeautifulSoup\n",
        "import urllib\n",
        "import re\n",
        "from urllib.request import Request, urlopen\n",
        "def get_content_ekantipur(link):\n",
        "  req = Request(link, headers={'User-Agent': 'Mozilla/5.0'})\n",
        "  webpage = urlopen(req).read()\n",
        "  soup = BeautifulSoup(webpage)\n",
        "  try:\n",
        "    for text_ in soup.find_all(attrs={'class' : 'description'}):\n",
        "        return text_.text[:text_.text.find('प्रकाशित ')]\n",
        "  except:\n",
        "      raise ValueError('Unable to extract from the link given')\n"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "xRd5KXqXpsY1",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "def print_result(link):\n",
        "    if 'onlinekhabar.com' in link:\n",
        "        sample_text = get_content_onlinekhabar(link)\n",
        "    elif 'ekantipur.com' in link:\n",
        "        sample_text = get_content_ekantipur(link)\n",
        "    else:\n",
        "        ValueError('We work with onlinekhabar and ekantipur at the moment: other site comming soon')\n",
        "\n",
        "    article = NewsPlease.from_url(link)\n",
        "    print('Title:',article.title)\n",
        "    pprint('summarized')\n",
        "    pprint(show_summary(sample_text,6))"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "CVlsqJxGxkqX",
        "colab_type": "text"
      },
      "source": [
        "##### Testing with Onlinekhabar.com"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "kxH4REmJqSOP",
        "colab_type": "code",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 212
        },
        "outputId": "d1029f86-7755-4bcf-ba59-1b938eeff2e6"
      },
      "source": [
        "print_result('https://www.onlinekhabar.com/2019/08/790282')"
      ],
      "execution_count": 61,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "Title: भक्तपुर नगरपालिका र क्यान्सर अस्पतालवीच अधिकारक्षेत्रको विवाद\n",
            "'summarized'\n",
            "(' ६ भदौ काठमाडौं । गैरसरकारी संस्थाको अनियमितता र भ्रष्टाचार रोक्न '\n",
            " 'नगरपालिकाले अस्पतालमा कुनै हस्तक्षेप नगरिकन व्यवस्थापनमा सहयोग मात्र गरेको '\n",
            " 'प्रजापतिको तर्क छ । संघीयताले स्थानीय तहलाई ‘सरकार’कै रुपमा मान्यता दिइएको '\n",
            " 'अवस्थामा आफ्नो नगरपालिकाभित्रको अस्पतालको व्यवस्थापनमाथि नगरपालिकाले '\n",
            " 'हस्तक्षेप गर्न पाउँछ कि पाउँदैन  योचाहिँ संघीयताका विज्ञहरुले जान्ने कुरा हो '\n",
            " '। आफ्नो नगरपालिकाभित्र भएको भ्रष्टाचार टुलुटुलु हेरेर बस्न नसकिने भन्ने '\n",
            " 'खालको तर्क मेयरले गरेका छन् भने अस्पताल प्रशासनचाहिँ यो घटनालाई गैरकानूनी '\n",
            " 'हस्तक्षेप बताउँछ । क्यान्सर अस्पताल र भक्तपुर नगरपालिकावीचको अधिकारको यो '\n",
            " 'लडाइँ पक्कै पनि अन्य स्थानीय तहका लागि समेत रोचक सन्दर्भ हुन सक्छ ।')\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "uhHhtnQWxqtQ",
        "colab_type": "text"
      },
      "source": [
        "###### Testing with Ekantipur.com"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "O-ba3DSpsF-E",
        "colab_type": "code",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 194
        },
        "outputId": "64754e56-1813-41f5-c90a-03ebdd688fc1"
      },
      "source": [
        "print_result('https://ekantipur.com/news/2019/08/23/156653063339217898.html')"
      ],
      "execution_count": 62,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "Title: राप्ती स्वास्थ्य प्रतिष्ठानका चिकित्सकद्वारा सामूहिक राजीनामा\n",
            "'summarized'\n",
            "('दाङ — राप्ती स्वास्थ्य विज्ञान प्रतिष्ठान घोराहीमा कार्यरत २२ चिकित्सकले '\n",
            " 'बिहीबार सामूहिक राजीनामा दिएका छन्\\xa0।उपकुलपति डा संगिता भण्डारीले ज्यादती '\n",
            " 'गरेको अभद्र व्यवहार गरेको र मानसिक तथा भौतिकरूपमा काम गर्ने वातावरण सिर्जना '\n",
            " 'नगरेकाले राजीनामा दिएको चिकित्सकहरूले बताएका छन्\\xa0।  भण्डारीले केही '\n",
            " 'चिकित्सकलाई अनावश्यक दबाव दिएको हटाउन खोजेको र पटकपटक अनुरोध गर्दा पनि '\n",
            " 'सुनुवाइ नगरेको उनीहरूको गुनासाे छ\\xa0।  लामो समयदेखि विवाद हुँदा '\n",
            " 'प्रतिष्ठानले गति लिन सकेको छैन\\xa0। चिकित्सकहरूले राजीनामा दिएपछि स्वास्थ्य '\n",
            " 'सेवा अवरुद्ध भएको छ\\xa0। ')\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "VebpNzs2yruy",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        ""
      ],
      "execution_count": 0,
      "outputs": []
    }
  ]
}