Linkedin - Aqui você consegue checar meu linkedin 📑
UFO Data Analysis - Análise de Dataset usando Pandas, Matplotlib e Seaborn 📉
NASA Web Scraping - Projeto de estudo usando Python e Beautiful Soup para técnicas de Web Scraping 🐍
Olá! Sou Ian, moro no Rio de Janeiro e estudo Análise e Desenvolvimento de Sistemas na UNICESUMAR, atualmente no segundo período. Estudo programação há 1 ano, onde me dediquei principalmente à estudos de front-end (HTML, CSS, Javascript e React), algoritmos e estrutura de dados.
Atualmente venho me interessado pela área de dados. Por conta disso, tenho estudado bastante Python e bibliotecas de ETL, técnicas de web scraping, além da parte conceitual de arquitetura de ambiente Cloud (Data Lake e Data Warehouse) e um breve contato com Databricks.
Busco desafios diários para me tornar o melhor programador possível. Conseguir solucionar problemas, desvendar respostas, fazer as perguntas certas e ajudar o máximo de pessoas possível através da tecnologia.
- Git
Aqui pude consolidar bases importantes para o dia-a-dia de trabalho de um desenvolvedor profissional. Apesar de já ter tido contato com Github, existiam lacunas sobre o uso do mesmo no terminal. No curso pude ter uma base prática e real de versionamento e sua importância.
- GNU/Linux
Aqui descobri novas formas de manipular arquivos e lidar com dados. Otimizando bastante o tempo para tarefas que no Windows demandaria muito mais. Foquei bastante em Regex, permissões, comandos básicos e, pessoalmente, me interessei muito pelo ambiente de tiling window manager e tenho usado o Xmonad para fixar os conceitos e comandos Linux.
- SQL
Foi muito interessante lidar com os Datasets da Biblioteca e Loja ao longo dessa Sprint. Além de consolidar os conhecimentos técnicos de SQL na prática, eu também pude perceber a infinita gama de possibilidades através da interação e manipulação de tabelas em bancos de dados relacionais. A parte de export da Querie em CSV no final da Sprint foi importante, pois eu já havia consumido dados de arquivos CSV anteriormente, mas estar realizando o processo inverso de gerar o CSV partindo de uma Querie SQL foi uma experiência bem empolgante.
- Big Data Fundamentos 3.0
A prática com um SGBD no módulo anterior foi essencial para absorver o conteúdo desse curso e construir uma boa base teórica sobre Big Data e sua arquitetura de forma menos abstrata. Aqui pude compreender a diferença e usabilidade de bancos de dados relacionais e bancos NoSQL, entendendo a importância da gestão Cluster dentro do universo Big Data e desmistificando o processo de ETL no ambiente horizontal de Cluster. As demonstrações no ambiente AWS Glue para ETL foram bem legais, os conceitos de Data Lake e DW ficam bem claros. A estrutura do curso foi muito bem arquitetada didaticamente.
- Python
O desafio de ETL partindo do CSV dos atores sem o uso de bibliotecas externas ou do módulo CSV foi bem interessante. Deu pra consolidar bases bem essencias de Python como iteração, condicionais e principalmente dicionário que foi de extrema importância na parte de limpeza e transformação. Entender como essas bibliotecas operam "por trás dos panos" se faz um diferencial na hora de usa-las futuramente para solucionar novos desafios.
- Programação funcional
O repositório https://github.com/dunossauro/python-funcional foi essencial para compreensão de paradigmas de programação. É um assunto que não é comumente falado, mas sinto que não é possível absorção completa de assuntos como otimização de código, processamento de dados e refratoração sem compreender esses paradigmas. Foi muito interessante ter o conhecimento e perspectiva a ponto de funcionalidade e benefícios de outros paradigmas além do orientado a objetos que eu sou mais acostumado. O fato do Python ser uma linguagem de múltiplos paradigmas tornou a aprendizagem bem dinâmica e isso ficou bem visível com os exercícios usando lambda no lugar de funções convencionais. Essa parte do processo de aprendizado me abriu aos olhos para conceitos como "Clean Code" e "Big O".
- Docker
Similar à sensação que tive ao estudar mais profundamente o Git aqui no programa de bolsas, o Docker abriu os olhos para como um dev profissional opera em ambiente empresarial e coletivo. Os containers são tão essenciais à modo de que não imagino como seria possível administrar ambientes, bibliotecas e suas versões em projetos à nível empresarial antes dele.
- AWS | Game Cloud Quest
O primeiro contato com a AWS foi incrível, principalmente com a proposta "gameficada" que foi adotada para o ensino de ferramentas essencias como o S3 e EC2. Aqui foi possível aprender como criar instâncias de máquinas virtuais EC2, configurar servidores web e bancos de dados, gerenciar e armazenar dados de forma eficiente e segura, além de aprender estratégias e soluções de escalabilidade usando a AWS no lugar de servidores físicos. O jogo proporcionou uma oportunidade única de aprender e praticar habilidades essenciais da computação em nuvem de maneira interativa e eficaz.
- Laboratórios de AWS S3, Athena e Lambda
O AWS S3 se mostrou como a espinha dorsal de todos os laboratórios, permitindo a segurança, a escalabilidade e a disponibilidade de que precisávamos para gerir grandes volumes de dados de forma eficiente, como o arquivo CSV de nomes que usamos aqui. Seu design simples e confiável nos permitiu focar no desenvolvimento de funcionalidades importantes, em vez de preocupar-nos com a infraestrutura.
O AWS Lambda, com sua capacidade de execução de código sem servidor, nos permitiu implementar funcionalidades de back-end de forma bem rápida e eficiente e o AWS Athena nos proporcionou a capacidade de realizar consultas SQL diretamente nos nossos dados armazenados no S3. Isso simplificou significativamente nosso pipeline de análise de dados, permitindo-nos extrair insights valiosos de forma rápida.