M↗O MESTRE DOS DADOS ← Portal

Projetos reproduzíveis · dados e código

Git, Docker
& Ambiente

Organizar ambiente é o que permite sair do improviso: versionar código, instalar dependências certas, compartilhar projetos e executar tudo de forma previsível.

3 bases 20+ comandos 1 projeto replicável

Por que importa

Ambiente bom evita retrabalho invisível

Em dados, o projeto quase sempre mistura código, base, consulta, notebook, dependência, credencial, gráfico e documentação. Sem organização, tudo vira um arquivo final_v3_agora_vai.ipynb perdido.

Git

Memória do projeto

Registra mudanças, permite voltar versões, colaborar e mostrar evolução do trabalho.

Ambiente virtual

Dependências isoladas

Evita conflito entre bibliotecas de projetos diferentes. Cada projeto carrega o que precisa.

Docker

Execução reproduzível

Empacota serviços e configurações para rodar de forma parecida em outras máquinas.

Documentação

Como usar depois

README e comandos claros reduzem a dependência de memória e ajudam alunos, times e clientes.

Comandos copiáveis

Escolha o cenário e copie o caminho

Os comandos abaixo foram escritos para iniciantes. Antes de rodar, ajuste nomes de pastas, versões e arquivos conforme seu projeto.

Git básico

Estrutura

Um projeto de dados precisa ser encontrável

Essa estrutura é simples e funciona para estudos, portfólio e pequenos projetos de análise. Ela separa dados, notebooks, scripts, documentação e configuração.

meu-projeto-dados/
├── data/
│   ├── raw/
│   └── processed/
├── notebooks/
├── src/
├── reports/
├── .gitignore
├── README.md
├── requirements.txt
└── docker-compose.yml
data/raw

Dados originais. Evite editar manualmente essa camada.

data/processed

Dados tratados e prontos para análise, relatório ou modelo.

notebooks

Exploração, estudo e protótipos. Notebook bom conta uma história, não só executa célula.

src

Scripts reutilizáveis: leitura, limpeza, métricas, conexão e funções auxiliares.

README.md

Explica objetivo, como instalar, como executar e onde estão os resultados.

Docker sem trauma

Quando usar Docker em dados?

Docker ajuda quando o projeto depende de serviços, versões específicas ou precisa rodar igual em outra máquina. Para estudo simples em Python, venv já resolve muita coisa.

Use venv quando...

Você está estudando Python, Pandas, notebooks e bibliotecas simples em um projeto local.

Use Docker quando...

Você precisa subir PostgreSQL, Airflow, APIs, jobs, serviços ou garantir execução padronizada.

Use Compose quando...

O projeto tem mais de um serviço: banco, aplicação, notebook, fila, cache ou ferramenta de ETL.

Exemplo com PostgreSQL
services:
  postgres:
    image: postgres:16
    container_name: lab_postgres
    environment:
      POSTGRES_USER: aluno
      POSTGRES_PASSWORD: senha
      POSTGRES_DB: dados
    ports:
      - "5432:5432"
    volumes:
      - postgres_data:/var/lib/postgresql/data

volumes:
  postgres_data:

Checklist

Antes de publicar no GitHub

Um projeto de portfólio precisa rodar, explicar seu objetivo e proteger informações sensíveis.

.gitignore

Não envie `.venv`, arquivos grandes, senhas, tokens, bases privadas ou saídas temporárias.

README

Explique objetivo, dados, como instalar, como executar e principais resultados.

requirements

Registre bibliotecas usadas para outra pessoa conseguir reproduzir o ambiente.

Dados

Use amostras públicas ou sintéticas quando não puder compartilhar a base original.

Organização

Evite arquivos soltos com nomes confusos. Nome bom reduz suporte.

Resultado

Mostre prints, relatório, notebook final ou link de dashboard para facilitar a leitura.

Referências

Documentação oficial para continuar

Essas fontes ajudam a aprofundar os fundamentos e comandos usados na página.