Transformations
São os fluxos de dados. Neles você usa steps para ler, limpar, enriquecer, unir, validar e gravar linhas.
ETL · Pentaho Data Integration
Pentaho
Steps
Entenda o que cada step faz, quando usar, onde consultar a documentação e como pensar jobs e agendamentos no PDI.
0 transformation steps
0 job entries
0 itens consultáveis
Antes dos steps
O que é Pentaho Data Integration?
Pentaho Data Integration, também chamado de PDI ou Kettle, é uma ferramenta de integração de dados usada para criar fluxos de ETL/ELT: extrair dados de várias fontes, transformar, validar, cruzar informações e carregar o resultado em arquivos, bancos, APIs ou plataformas analíticas.
Steps
São os blocos de trabalho dentro de uma transformação. Um step pode ler CSV, calcular campos, fazer join, chamar API ou gravar em tabela.
Jobs
São orquestrações. Um job baixa arquivos, verifica condições, roda transformations, envia e-mail, move arquivos e controla sucesso ou falha.
Mapa mental
Como escolher um step sem decorar tudo
Comece pela pergunta certa: estou lendo dados, transformando, procurando referência, juntando bases, validando qualidade, controlando fluxo ou gravando resultado?
Não pode faltar
Inputs e outputs mais usados
Esses são os steps que normalmente aparecem primeiro em aula, projeto ou rotina corporativa. Use como atalho antes de mergulhar no catálogo completo.
Catálogo interativo
Steps e job entries filtráveis
A lista abaixo foi montada a partir das páginas oficiais de transformation steps e job entries da documentação Pentaho. Use busca livre, tipo e função para localizar rápido.
0 itens encontrados
Nenhum item encontrado com este filtro.
Jobs no PDI
Quando usar jobs em vez de transformation?
Use transformation para processar linhas de dados. Use job para comandar o processo: verificar pré-condições, organizar arquivos, chamar transformations, tratar erro, enviar notificações e registrar execução.
Start
Ponto de início do job. Todo job precisa de um início claro para controlar a sequência.
Condições
Verifique se arquivo existe, tabela existe, conexão está ativa ou se uma pasta está vazia antes de executar.
Execução
Rode transformations, outros jobs, SQL, shell scripts, cargas em cloud ou transferências por FTP/SFTP.
Tratamento
Controle sucesso/falha, escreva log, mova arquivos processados e envie e-mail para acompanhamento.
Agendamento
Como agendar jobs no Pentaho
Existem duas formas comuns: pelo Scheduler do Pentaho, quando o ambiente usa repositório/servidor, ou por linha de comando com Kitchen integrado ao agendador do sistema operacional.
Scheduler do Pentaho
Conecte ao Pentaho Repository, abra o job ou transformation, acesse Action > Schedule, defina início, repetição, término, parâmetros e nível de log.
Ver documentação de agendamento ↗Kitchen + cron/Task Scheduler
Use Kitchen para executar arquivos .kjb pela linha de comando. Depois, agende o comando no Windows Task Scheduler, cron, Jenkins, Control-M ou outro orquestrador.
kitchen.bat /file:"C:\etl\carga_diaria.kjb" /level:Basic /logfile:"C:\etl\logs\carga.log"Pan executa KTR
Para rodar uma transformation isolada, use Pan. Para orquestrar várias etapas, prefira chamar a transformation dentro de um job e agendar o job.
pan.bat /file:"C:\etl\prepara_base.ktr" /level:BasicFontes