Data + AI Platform
Um ambiente de nuvem que conecta armazenamento, processamento, governança, notebooks, SQL, pipelines, Machine Learning, modelos generativos, agentes e aplicações.
Plataforma de dados · analytics · IA
Databricks.
Do dado bruto à decisão.
Uma plataforma unificada para engenharia de dados, análise, inteligência artificial e aplicações — construída sobre a arquitetura Lakehouse.
01 · Conceito
Uma plataforma. Várias cargas de trabalho. Uma base governada.
A Databricks define seu produto como uma plataforma aberta e unificada para criar, implantar, compartilhar e manter soluções corporativas de dados, analytics e IA em escala.
AWS, Azure e Google Cloud
A plataforma usa serviços de armazenamento, identidade, rede e computação da nuvem escolhida. A experiência é semelhante, mas nomes, integrações e responsabilidades variam.
Dados, negócio e tecnologia
Engenheiros de dados, analistas, cientistas de dados, engenheiros de ML, desenvolvedores, administradores, times de segurança e usuários de negócio trabalham sobre ativos compartilhados.
02 · Para que serve
Transformar dados dispersos em produtos confiáveis.
O benefício aparece quando a plataforma reduz cópias, silos, ferramentas desconectadas e regras de segurança repetidas.
ETL e ELT
Ingestão em lote ou streaming, transformação com SQL, Python ou Scala e execução agendada de pipelines.
SQL e BI
Consultas, modelos semânticos, dashboards, métricas compartilhadas e exploração em linguagem natural.
ML e experimentos
Preparação de atributos, treinamento distribuído, rastreamento de experimentos, registro e implantação de modelos.
Streaming
Processamento incremental de eventos, telemetria, transações e mudanças em sistemas operacionais.
RAG e agentes
Preparação de documentos, busca vetorial, avaliação, monitoramento e aplicações fundamentadas em dados corporativos.
Dados e IA
Catálogo, permissões, linhagem, auditoria, descoberta e políticas para tabelas, arquivos, modelos e outros ativos.
03 · Como funciona
Lakehouse combina a flexibilidade do lake com controles de warehouse.
Os dados permanecem em armazenamento de objetos na nuvem. Formatos abertos e uma camada transacional adicionam confiabilidade, enquanto diferentes motores de computação acessam a mesma base.
ConsumoBI · SQL · ML · IA · Apps · Compartilhamento
ComputaçãoApache SparkPhotonSQL WarehousesModel Serving
GovernançaUnity CatalogPermissõesLinhagemAuditoria
DadosDelta LakeParquetBatchStreaming
NuvemObject Storage + identidade + rede + segurança
Fontes
ERP, CRM, banco de dados, APIs, arquivos, eventos, documentos e parceiros.
Ingestão
Lakeflow Connect, Auto Loader, streaming ou conectores de terceiros.
Transformação
Pipelines aplicam qualidade, regras de negócio, deduplicação e enriquecimento.
Consumo
SQL, dashboards, modelos, APIs, agentes e compartilhamento seguro.
O que chegou
Dados próximos da origem, preservados para rastreabilidade e reprocessamento.
O que é confiável
Dados limpos, tipados, deduplicados, relacionados e validados.
O que o negócio usa
Produtos de dados, métricas, agregações e estruturas prontas para consumo.
Medallion Architecture é um padrão útil, não uma obrigação universal. O número de camadas deve acompanhar qualidade, reutilização, governança e necessidades reais do produto.
04 · Componentes
O serviço certo depende da etapa do fluxo.
Clique em cada componente para abrir a documentação oficial e estudar seus conceitos, limites e exemplos.
Desenvolvimento
Notebooks
SQL, Python, Scala e R com colaboração, visualizações e computação conectada.
Documentação ↗ ArmazenamentoDelta Lake
Transações ACID, evolução de esquema, histórico e processamento batch/streaming.
Documentação ↗ IngestãoLakeflow Connect
Conectores gerenciados para trazer dados de aplicações, bancos e arquivos.
Documentação ↗ PipelinesLakeflow Pipelines
Dependências declarativas, qualidade, processamento incremental e operação de ETL.
Documentação ↗ OrquestraçãoLakeflow Jobs
Agendamento, dependências, parâmetros, alertas e execução de tarefas.
Documentação ↗ AnalyticsSQL Warehouses
Computação otimizada para consultas, dashboards, ferramentas de BI e usuários SQL.
Documentação ↗ GovernançaUnity Catalog
Catálogo, descoberta, permissões, auditoria e linhagem para ativos de dados e IA.
Documentação ↗ Machine LearningMLflow
Experimentos, avaliações, modelos, rastreamento e ciclo de vida de ML e IA generativa.
Documentação ↗ Inteligência ArtificialMosaic AI
Modelos, RAG, agentes, avaliação, endpoints e monitoramento de aplicações de IA.
Documentação ↗ Business IntelligenceAI/BI e Genie
Dashboards e exploração conversacional fundamentada na semântica dos dados.
Documentação ↗ CompartilhamentoDelta Sharing
Compartilhamento de dados e ativos entre organizações sem cópias desnecessárias.
Documentação ↗ ExecuçãoCompute
Recursos serverless ou clássicos dimensionados para notebooks, jobs, SQL e modelos.
Documentação ↗05 · Responsabilidades
Ser gerenciado não significa operar sozinho.
A Databricks gerencia partes da plataforma, mas arquitetura, acesso, qualidade, custos e resultados continuam exigindo decisões da organização.
TemaDatabricks e provedor de nuvemSua organização
Infraestrutura
Disponibilidade do serviço, runtime gerenciado, controles da plataforma e opções de computação.
Região, rede, identidade, políticas, configuração e continuidade coerentes com o risco.
Dados
Recursos para armazenamento, catálogo, linhagem, permissões e criptografia.
Classificação, qualidade, retenção, acesso, contratos, finalidade e responsáveis pelos dados.
Custos
Métricas de uso, preços, serverless, otimizações e ferramentas de observabilidade.
Orçamentos, políticas de cluster, desligamento, tamanho, frequência e custo por produto.
Produção
Jobs, pipelines, alertas, logs, APIs e mecanismos de implantação.
Testes, SLAs, monitoramento, resposta a incidentes, rollback e suporte aos consumidores.
IA e modelos
Ferramentas de treinamento, avaliação, serving, guardrails e monitoramento.
Dados autorizados, métricas, revisão humana, risco, explicação, segurança e impacto do uso.
06 · Interativo
Monte um fluxo Lakehouse para um cenário real.
Escolha um caso e acompanhe como fonte, ingestão, camadas, consumo e governança mudam. O desenho é didático; a arquitetura final depende de volume, latência, segurança e custo.
O que muda?
Os nomes de serviços são sugestões de estudo, não uma prescrição comercial.
Bronze → Silver → Gold
07 · Demonstrações
Veja a plataforma e depois coloque a mão na massa.
Os dois vídeos foram produzidos pelo canal O Mestre dos Dados e podem ser assistidos aqui ou diretamente no YouTube.
Assistir demonstração01 · Visão geral
Databricks Free Edition
Conheça o ambiente, a proposta da edição gratuita e os primeiros elementos da interface.
Assistir no YouTube ↗
Assistir demonstração02 · Prática
Databricks — Mão na massa
Acompanhe uma demonstração prática para conectar os conceitos à experiência real da plataforma.
Assistir no YouTube ↗08 · Visualização
Leve os dados do Databricks para o Power BI.
Depois de preparar e consultar as tabelas no Databricks, conecte o Power BI ao SQL Warehouse para criar relatórios. O guia mostra o caminho da conexão até a escolha das tabelas, com capturas de tela e um arquivo PBIX de exemplo para estudar os visuais.
09 · Próximos passos
Uma sequência para estudar sem se perder.
Comece pelo fluxo completo. Depois aprofunde cada componente conforme a função que deseja exercer.
- 1FundamentosData lake, data warehouse, Lakehouse, arquivos colunares, SQL e computação distribuída.
- 2Dados confiáveisDelta Lake, transações, esquema, qualidade, camadas Bronze/Silver/Gold e modelagem.
- 3OperaçãoLakeflow, Jobs, streaming, testes, observabilidade, custos e CI/CD.
- 4GovernançaUnity Catalog, identidade, privilégios, linhagem, classificação e compartilhamento.
- 5ConsumoSQL, BI, MLflow, Mosaic AI, RAG, agentes e aplicações.
Leitura complementar