queries-graphframes.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "id": "affecting-auction",
   "metadata": {},
   "source": [
    "## Carregando um arquivo csv"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "hispanic-trading",
   "metadata": {},
   "outputs": [],
   "source": [
    "import os\n",
    "os.environ['PYSPARK_SUBMIT_ARGS'] = '--packages graphframes:graphframes:0.8.1-spark3.0-s_2.12 pyspark-shell'\n",
    "\n",
    "# from pyspark import SparkContext\n",
    "from pyspark.sql import SQLContext, SparkSession\n",
    "spark = SparkSession.builder.master(\"local[1]\").appName(\"gboaviagemApp\").getOrCreate()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "hollywood-plenty",
   "metadata": {},
   "outputs": [],
   "source": [
    "sqlc = SQLContext(spark.sparkContext)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "bearing-sampling",
   "metadata": {},
   "source": [
    "#### Arquivos:\n",
    "```sh\n",
    "(base) jovyan@7d6e9fae894c:~/work/Neo4jData$ ls\n",
    "neo4j_edge_list-COMPROU.csv  neo4j_node_list-Produto.csv  neo4j_node_list-Usuario.csv\n",
    "(base) jovyan@7d6e9fae894c:~/work/Neo4jData$ pwd\n",
    "/home/jovyan/work/Neo4jData\n",
    "```"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "id": "frank-harmony",
   "metadata": {},
   "outputs": [],
   "source": [
    "wdir = \"/home/jovyan/work/neo4jdata-200/\"\n",
    "\n",
    "n_users = spark.read.csv(wdir + \"neo4j_node_list-Usuario.csv\", header=True, inferSchema=True)\n",
    "n_prods = spark.read.csv(wdir + \"neo4j_node_list-Produto.csv\", header=True, inferSchema=True)\n",
    "e_comprou = spark.read.csv(wdir + \"neo4j_edge_list-COMPROU.csv\", header=True, inferSchema=True)\\\n",
    "    .select('email', 'produto_id', 'valor_pago', 'quando')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 21,
   "id": "diagnostic-metadata",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "+-----------------+---+\n",
      "|            email| uf|\n",
      "+-----------------+---+\n",
      "|user010@gmail.com| CE|\n",
      "|user007@gmail.com| AM|\n",
      "|user008@gmail.com| MS|\n",
      "|user003@gmail.com| MA|\n",
      "|user001@gmail.com| PB|\n",
      "|user004@gmail.com| MS|\n",
      "|user002@gmail.com| PR|\n",
      "|user006@gmail.com| AP|\n",
      "|user005@gmail.com| PE|\n",
      "|user009@gmail.com| SE|\n",
      "+-----------------+---+\n",
      "\n"
     ]
    }
   ],
   "source": [
    "n_users.show()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 22,
   "id": "modular-classroom",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "root\n",
      " |-- email: string (nullable = true)\n",
      " |-- uf: string (nullable = true)\n",
      "\n"
     ]
    }
   ],
   "source": [
    "n_users.printSchema()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 23,
   "id": "fourth-steam",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "root\n",
      " |-- produto_id: string (nullable = true)\n",
      "\n"
     ]
    }
   ],
   "source": [
    "n_prods.printSchema()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 24,
   "id": "final-intake",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "root\n",
      " |-- email: string (nullable = true)\n",
      " |-- produto_id: string (nullable = true)\n",
      " |-- valor_pago: double (nullable = true)\n",
      " |-- quando: string (nullable = true)\n",
      "\n"
     ]
    }
   ],
   "source": [
    "e_comprou.printSchema()"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "medical-kitty",
   "metadata": {},
   "source": [
    "## Casting para Timestamp"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 25,
   "id": "changing-affairs",
   "metadata": {},
   "outputs": [],
   "source": [
    "from pyspark.sql import functions as F\n",
    "\n",
    "e_comprou = e_comprou.withColumn('quando', F.current_timestamp())"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 26,
   "id": "equivalent-seven",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "root\n",
      " |-- email: string (nullable = true)\n",
      " |-- produto_id: string (nullable = true)\n",
      " |-- valor_pago: double (nullable = true)\n",
      " |-- quando: timestamp (nullable = false)\n",
      "\n"
     ]
    }
   ],
   "source": [
    "e_comprou.printSchema()"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "graphic-address",
   "metadata": {},
   "source": [
    "## Criando o GraphFrame"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 27,
   "id": "finite-idaho",
   "metadata": {},
   "outputs": [],
   "source": [
    "nodes1 = n_users.\\\n",
    "    drop_duplicates(subset=['email']).\\\n",
    "    withColumnRenamed('email', 'id').\\\n",
    "    withColumn('tipo', F.lit('Usuario'))\n",
    "\n",
    "nodes2 = n_prods.\\\n",
    "    drop_duplicates().\\\n",
    "    withColumnRenamed('produto_id', 'id').\\\n",
    "    withColumn('tipo', F.lit('Produto'))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 28,
   "id": "liable-palace",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "10"
      ]
     },
     "execution_count": 28,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "nodes1.count()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 29,
   "id": "special-driver",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "50"
      ]
     },
     "execution_count": 29,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "nodes2.count()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 30,
   "id": "tired-kingdom",
   "metadata": {},
   "outputs": [],
   "source": [
    "nodes = nodes1.join(nodes2, ['id', 'tipo'], 'outer')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 31,
   "id": "complimentary-cleaner",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "root\n",
      " |-- id: string (nullable = true)\n",
      " |-- tipo: string (nullable = true)\n",
      " |-- uf: string (nullable = true)\n",
      "\n"
     ]
    }
   ],
   "source": [
    "nodes.printSchema()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 32,
   "id": "durable-shock",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "60"
      ]
     },
     "execution_count": 32,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "nodes.count()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 33,
   "id": "deluxe-richards",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "+---------+-------+----+\n",
      "|       id|   tipo|  uf|\n",
      "+---------+-------+----+\n",
      "|Produto38|Produto|null|\n",
      "| Produto9|Produto|null|\n",
      "|Produto36|Produto|null|\n",
      "| Produto8|Produto|null|\n",
      "|Produto30|Produto|null|\n",
      "+---------+-------+----+\n",
      "\n"
     ]
    }
   ],
   "source": [
    "nodes.limit(5).show()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 34,
   "id": "quick-option",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "169"
      ]
     },
     "execution_count": 34,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "e_comprou.count()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 35,
   "id": "billion-madonna",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "root\n",
      " |-- email: string (nullable = true)\n",
      " |-- produto_id: string (nullable = true)\n",
      " |-- valor_pago: double (nullable = true)\n",
      " |-- quando: timestamp (nullable = false)\n",
      "\n"
     ]
    }
   ],
   "source": [
    "e_comprou.printSchema()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 36,
   "id": "independent-outside",
   "metadata": {},
   "outputs": [],
   "source": [
    "edges = e_comprou.\\\n",
    "    withColumnRenamed('email', 'src').\\\n",
    "    withColumnRenamed('produto_id', 'dst').\\\n",
    "    withColumn('tipo', F.lit('COMPROU'))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 37,
   "id": "incomplete-nomination",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "+-----------------+---------+----------+--------------------+-------+\n",
      "|              src|      dst|valor_pago|              quando|   tipo|\n",
      "+-----------------+---------+----------+--------------------+-------+\n",
      "|user010@gmail.com|Produto30|     148.0|2021-03-26 01:17:...|COMPROU|\n",
      "|user007@gmail.com|Produto14|     165.0|2021-03-26 01:17:...|COMPROU|\n",
      "|user010@gmail.com|Produto44|     153.0|2021-03-26 01:17:...|COMPROU|\n",
      "|user008@gmail.com|Produto48|     196.0|2021-03-26 01:17:...|COMPROU|\n",
      "|user003@gmail.com|Produto22|      89.0|2021-03-26 01:17:...|COMPROU|\n",
      "|user001@gmail.com|Produto30|     148.0|2021-03-26 01:17:...|COMPROU|\n",
      "|user004@gmail.com|Produto34|     108.0|2021-03-26 01:17:...|COMPROU|\n",
      "|user001@gmail.com|Produto49|     182.0|2021-03-26 01:17:...|COMPROU|\n",
      "|user002@gmail.com|Produto28|     172.0|2021-03-26 01:17:...|COMPROU|\n",
      "|user007@gmail.com|Produto36|     130.0|2021-03-26 01:17:...|COMPROU|\n",
      "|user006@gmail.com|Produto22|      89.0|2021-03-26 01:17:...|COMPROU|\n",
      "|user005@gmail.com| Produto3|     182.0|2021-03-26 01:17:...|COMPROU|\n",
      "|user006@gmail.com|Produto42|     185.0|2021-03-26 01:17:...|COMPROU|\n",
      "|user006@gmail.com|Produto31|     162.0|2021-03-26 01:17:...|COMPROU|\n",
      "|user002@gmail.com|Produto18|     131.0|2021-03-26 01:17:...|COMPROU|\n",
      "|user003@gmail.com|Produto21|      83.0|2021-03-26 01:17:...|COMPROU|\n",
      "|user007@gmail.com|Produto18|     131.0|2021-03-26 01:17:...|COMPROU|\n",
      "|user007@gmail.com|Produto50|     130.0|2021-03-26 01:17:...|COMPROU|\n",
      "|user005@gmail.com|Produto20|     199.0|2021-03-26 01:17:...|COMPROU|\n",
      "|user006@gmail.com| Produto7|      98.0|2021-03-26 01:17:...|COMPROU|\n",
      "+-----------------+---------+----------+--------------------+-------+\n",
      "only showing top 20 rows\n",
      "\n"
     ]
    }
   ],
   "source": [
    "edges.show()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 38,
   "id": "formal-gothic",
   "metadata": {},
   "outputs": [],
   "source": [
    "from graphframes import GraphFrame\n",
    "\n",
    "g = GraphFrame(nodes, edges)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 39,
   "id": "invalid-purpose",
   "metadata": {},
   "outputs": [],
   "source": [
    "q = g.find(\"(usuario)-[]->(prod)\").withColumn('usuario', F.col('usuario').id)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 40,
   "id": "amended-jerusalem",
   "metadata": {},
   "outputs": [],
   "source": [
    "# Top compradores\n",
    "# q.groupBy('user').count().sort(F.col('count').desc(), 'user').show()\n",
    "q = q.groupBy('usuario')\\\n",
    "    .agg(F.count('prod').alias('qtd_produtos'))\\\n",
    "    .sort(F.col('qtd_produtos').desc(), 'usuario')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 41,
   "id": "comprehensive-huntington",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "+-----------------+------------+\n",
      "|          usuario|qtd_produtos|\n",
      "+-----------------+------------+\n",
      "|user003@gmail.com|          20|\n",
      "|user005@gmail.com|          20|\n",
      "|user007@gmail.com|          20|\n",
      "|user002@gmail.com|          19|\n",
      "|user004@gmail.com|          17|\n",
      "|user006@gmail.com|          16|\n",
      "|user008@gmail.com|          16|\n",
      "|user009@gmail.com|          15|\n",
      "|user010@gmail.com|          14|\n",
      "|user001@gmail.com|          12|\n",
      "+-----------------+------------+\n",
      "\n"
     ]
    }
   ],
   "source": [
    "q.show()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "suburban-darwin",
   "metadata": {},
   "outputs": [],
   "source": [
    "q.write.csv(\"top_compradores\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 42,
   "id": "cardiovascular-brunswick",
   "metadata": {},
   "outputs": [],
   "source": [
    "# Top produtos\n",
    "q = g.find(\"(u)-[e]->(produto)\") #.withColumn('user', F.col('user').id)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 43,
   "id": "organizational-binding",
   "metadata": {},
   "outputs": [],
   "source": [
    "q = q.withColumn('valor_pago', F.col('e').valor_pago)\\\n",
    "    .groupBy(\"produto\")\\\n",
    "    .agg(\n",
    "        F.count(\"u\").alias(\"qtd_compradores\"),\n",
    "        F.avg(\"valor_pago\").alias(\"preco_medio\"))\\\n",
    "    .withColumn('produto', F.col('produto').id)\\\n",
    "    .sort(F.col('qtd_compradores').desc(), 'produto')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 44,
   "id": "compressed-right",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "+---------+---------------+-----------+\n",
      "|  produto|qtd_compradores|preco_medio|\n",
      "+---------+---------------+-----------+\n",
      "| Produto1|              6|      153.0|\n",
      "|Produto16|              6|      191.0|\n",
      "|Produto18|              6|      131.0|\n",
      "|Produto36|              6|      130.0|\n",
      "|Produto13|              5|      166.0|\n",
      "| Produto2|              5|      140.0|\n",
      "|Produto20|              5|      199.0|\n",
      "|Produto24|              5|       87.0|\n",
      "|Produto29|              5|      157.0|\n",
      "| Produto3|              5|      182.0|\n",
      "|Produto33|              5|      147.0|\n",
      "|Produto34|              5|      108.0|\n",
      "| Produto5|              5|      124.0|\n",
      "|Produto50|              5|      130.0|\n",
      "|Produto10|              4|      126.0|\n",
      "|Produto12|              4|      130.0|\n",
      "|Produto22|              4|       89.0|\n",
      "|Produto28|              4|      172.0|\n",
      "|Produto38|              4|       94.0|\n",
      "| Produto4|              4|      171.0|\n",
      "+---------+---------------+-----------+\n",
      "only showing top 20 rows\n",
      "\n"
     ]
    }
   ],
   "source": [
    "q.show()"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "sudden-growth",
   "metadata": {},
   "source": [
    "### Recomendação em grão usuário (offline)\n",
    "\n",
    "Dado um usuário A, quais os produtos comprados por usuários B que compraram os mesmos produtos que A?"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 54,
   "id": "certified-windsor",
   "metadata": {},
   "outputs": [],
   "source": [
    "q = g.find(\"(u1)-[]->(p1); (u2)-[]->(p1); (u2)-[]->(p2); !(u1)-[]->(p2)\")\\\n",
    "    .withColumn('u1', F.col('u1').id)\\\n",
    "    .withColumn('u2', F.col('u2').id)\\\n",
    "    .withColumn('p1', F.col('p1').id)\\\n",
    "    .withColumn('p2', F.col('p2').id)\\\n",
    "    .where(\n",
    "        (F.col('u1') == 'user003@gmail.com') &\n",
    "        (F.col('u1') != F.col('u2')))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 55,
   "id": "decent-clinic",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "+-----------------+---------+-----------------+---------+\n",
      "|               u1|       p1|               u2|       p2|\n",
      "+-----------------+---------+-----------------+---------+\n",
      "|user003@gmail.com|Produto22|user007@gmail.com|Produto36|\n",
      "|user003@gmail.com| Produto1|user010@gmail.com|Produto30|\n",
      "|user003@gmail.com| Produto2|user005@gmail.com| Produto6|\n",
      "|user003@gmail.com|Produto11|user004@gmail.com|Produto17|\n",
      "|user003@gmail.com|Produto24|user010@gmail.com|Produto18|\n",
      "+-----------------+---------+-----------------+---------+\n",
      "\n"
     ]
    }
   ],
   "source": [
    "q.limit(5).show()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 56,
   "id": "cultural-blocking",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "+-----------------+---------+-----------------+---------+\n",
      "|               u1|       p1|               u2|       p2|\n",
      "+-----------------+---------+-----------------+---------+\n",
      "|user003@gmail.com|Produto20|user005@gmail.com|Produto15|\n",
      "|user003@gmail.com|Produto20|user005@gmail.com|Produto23|\n",
      "|user003@gmail.com|Produto13|user005@gmail.com|Produto28|\n",
      "|user003@gmail.com|Produto12|user005@gmail.com| Produto3|\n",
      "|user003@gmail.com|Produto34|user005@gmail.com|Produto36|\n",
      "|user003@gmail.com|Produto20|user005@gmail.com| Produto4|\n",
      "|user003@gmail.com| Produto1|user005@gmail.com|Produto43|\n",
      "|user003@gmail.com| Produto1|user005@gmail.com|Produto48|\n",
      "|user003@gmail.com| Produto2|user005@gmail.com|Produto49|\n",
      "|user003@gmail.com| Produto2|user005@gmail.com| Produto6|\n",
      "|user003@gmail.com|Produto16|user005@gmail.com| Produto8|\n",
      "|user003@gmail.com|Produto24|user005@gmail.com| Produto9|\n",
      "+-----------------+---------+-----------------+---------+\n",
      "\n"
     ]
    }
   ],
   "source": [
    "# Recomendações para user003 apenas a partir das compras de user005 (comparar com query Neo4j)\n",
    "q.where(q.u2 == \"user005@gmail.com\")\\\n",
    "    .drop_duplicates(subset=['p2'])\\\n",
    "    .sort(F.col('p2'))\\\n",
    "    .show()"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "rising-corruption",
   "metadata": {},
   "source": [
    "#### Recomendações numa lista Python"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 66,
   "id": "circular-official",
   "metadata": {},
   "outputs": [],
   "source": [
    "rec = q.select(\"p2\").drop_duplicates()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 69,
   "id": "pleasant-number",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['Produto38',\n",
       " 'Produto9',\n",
       " 'Produto36',\n",
       " 'Produto8',\n",
       " 'Produto30',\n",
       " 'Produto15',\n",
       " 'Produto7',\n",
       " 'Produto3',\n",
       " 'Produto6',\n",
       " 'Produto39',\n",
       " 'Produto32',\n",
       " 'Produto19',\n",
       " 'Produto23',\n",
       " 'Produto43',\n",
       " 'Produto17',\n",
       " 'Produto18',\n",
       " 'Produto50',\n",
       " 'Produto47',\n",
       " 'Produto45',\n",
       " 'Produto28',\n",
       " 'Produto35',\n",
       " 'Produto49',\n",
       " 'Produto41',\n",
       " 'Produto4',\n",
       " 'Produto26',\n",
       " 'Produto31',\n",
       " 'Produto40',\n",
       " 'Produto48',\n",
       " 'Produto14',\n",
       " 'Produto44']"
      ]
     },
     "execution_count": 69,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "rec_list = [row['p2'] for row in rec.collect()]\n",
    "rec_list.sort()\n",
    "print(rec_list"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 62,
   "id": "excellent-straight",
   "metadata": {},
   "outputs": [],
   "source": [
    "rec_per_buyer = q.select(\"u2\", \"p2\")\\\n",
    "    .groupBy(\"u2\")\\\n",
    "    .agg(\n",
    "        F.collect_set(\"p2\"))\\\n",
    "    .withColumnRenamed(\"u2\", \"compradores\")\\\n",
    "    .withColumnRenamed(\"collect_set(p2)\", \"tambem_compraram\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 63,
   "id": "conservative-updating",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>compradores</th>\n",
       "      <th>tambem_compraram</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>user005@gmail.com</td>\n",
       "      <td>[Produto3, Produto36, Produto8, Produto49, Pro...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>user004@gmail.com</td>\n",
       "      <td>[Produto18, Produto17, Produto3, Produto8, Pro...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>user007@gmail.com</td>\n",
       "      <td>[Produto18, Produto17, Produto50, Produto36, P...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>user002@gmail.com</td>\n",
       "      <td>[Produto18, Produto3, Produto47, Produto19, Pr...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>user006@gmail.com</td>\n",
       "      <td>[Produto45, Produto18, Produto3, Produto50, Pr...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5</th>\n",
       "      <td>user010@gmail.com</td>\n",
       "      <td>[Produto18, Produto50, Produto41, Produto36, P...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>6</th>\n",
       "      <td>user008@gmail.com</td>\n",
       "      <td>[Produto47, Produto50, Produto8, Produto49, Pr...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>7</th>\n",
       "      <td>user009@gmail.com</td>\n",
       "      <td>[Produto18, Produto50, Produto36, Produto47, P...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8</th>\n",
       "      <td>user001@gmail.com</td>\n",
       "      <td>[Produto3, Produto47, Produto8, Produto49, Pro...</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "         compradores                                   tambem_compraram\n",
       "0  user005@gmail.com  [Produto3, Produto36, Produto8, Produto49, Pro...\n",
       "1  user004@gmail.com  [Produto18, Produto17, Produto3, Produto8, Pro...\n",
       "2  user007@gmail.com  [Produto18, Produto17, Produto50, Produto36, P...\n",
       "3  user002@gmail.com  [Produto18, Produto3, Produto47, Produto19, Pr...\n",
       "4  user006@gmail.com  [Produto45, Produto18, Produto3, Produto50, Pr...\n",
       "5  user010@gmail.com  [Produto18, Produto50, Produto41, Produto36, P...\n",
       "6  user008@gmail.com  [Produto47, Produto50, Produto8, Produto49, Pr...\n",
       "7  user009@gmail.com  [Produto18, Produto50, Produto36, Produto47, P...\n",
       "8  user001@gmail.com  [Produto3, Produto47, Produto8, Produto49, Pro..."
      ]
     },
     "execution_count": 63,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "rec.toPandas()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 57,
   "id": "faced-penetration",
   "metadata": {},
   "outputs": [],
   "source": [
    "q.write.csv('graph_recomendacao_usuario003.csv')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "appointed-mystery",
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.8.8"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}