Data Factory no Fabric: como montar pipelines de dados

O dado chega no Fabric, mas alguém precisa orquestrar a chegada#

Quando uma empresa adota o Microsoft Fabric, a primeira frustração raramente é o Power BI ou o Lakehouse. É a pergunta banal e inevitável: como faço o dado entrar aqui de forma confiável, no horário certo, sem alguém rodando script na mão toda manhã. É esse buraco que o Data Factory no Fabric preenche. Ele é a camada de ingestão e orquestração da plataforma, o mecanismo que puxa dados de um banco SQL, de uma API ou de um blob no Azure e os coloca dentro do OneLake, sem intervenção humana e com tratamento de erro decente.

Neste artigo eu vou direto ao que importa para quem vai colocar a mão na massa: a atividade Copy Data para ingestão, os Dataflows Gen2 para transformar, o controle de fluxo com condições e loops, como agendar e disparar por gatilho, e a diferença prática entre pipeline e dataflow, que é a dúvida que mais trava projeto no início. Se você ainda está avaliando a plataforma como um todo, vale ler antes o nosso guia sobre o que é o Microsoft Fabric e quando vale a pena. Aqui o foco é a execução.

Data Factory no Fabric não é o Azure Data Factory, e isso muda coisas#

Vale começar desfazendo uma confusão que gera decisão errada. O Data Factory dentro do Fabric herda a linguagem visual do Azure Data Factory e do Power Query, mas ele roda dentro da capacidade do Fabric, grava naturalmente no OneLake e conversa nativamente com Lakehouse, Warehouse e os modelos semânticos do Power BI. Não é um serviço separado que você contrata à parte: faz parte do mesmo workspace onde vivem seus relatórios.

Na prática, ele entrega dois artefatos principais. O primeiro é o pipeline de dados, que orquestra: define a sequência de atividades, o que roda antes, o que roda depois, o que fazer quando algo falha. O segundo é o Dataflow Gen2, que transforma: usa o Power Query para limpar, tipar, juntar e reformatar os dados. Confundir os dois papéis é o erro mais comum de quem vem de outro ecossistema.

A atividade Copy Data resolve 80% da ingestão#

Se existe uma atividade que você vai usar em quase todo pipeline, é a Copy Data. Ela faz uma coisa só, e faz bem: move dados de uma origem para um destino. A origem pode ser um banco relacional (SQL Server, PostgreSQL, Oracle), um serviço em nuvem, uma API REST, arquivos em blob storage ou planilhas. O destino tipicamente é um Lakehouse ou um Warehouse dentro do Fabric.

O fluxo de configuração é direto:

1. Defina a conexão de origem. Você cria ou reaproveita uma conexão com credenciais para o sistema de onde o dado vem. Aqui entram os cuidados de segurança e o gateway, quando a fonte é on-premises.
2. Escolha o que copiar. Uma tabela inteira, uma query específica ou arquivos por padrão de nome. Para cargas incrementais, você parametriza um filtro por data ou por um identificador crescente.
3. Defina o destino. Lakehouse para dados em formato de arquivo e Delta, Warehouse quando você quer uma tabela SQL relacional consultável.
4. Ajuste o mapeamento. O Fabric tenta inferir o esquema, mas em cargas sérias você revisa tipos e nomes de coluna manualmente.

O ponto honesto: a Copy Data é ingestão bruta, não transformação. Ela move o dado como ele é. Tentar fazer regra de negócio complexa dentro dela é forçar a ferramenta. Copie primeiro, transforme depois. Essa separação é o que mantém o pipeline legível quando ele cresce de três para trinta atividades, e é uma disciplina de engenharia de dados que evita retrabalho seis meses à frente.

Dataflows Gen2 são o Power Query fazendo o trabalho pesado#

Depois que o dado bruto chegou, alguém precisa limpar. É aí que entram os Dataflows Gen2. Se você já usou o Power Query no Power BI ou no Excel, a interface vai ser familiar de imediato: as mesmas etapas aplicadas, a mesma linguagem M por baixo, a mesma lógica de ir transformando passo a passo e vendo o resultado.

A diferença é o destino e a escala. Um Dataflow Gen2 não termina alimentando só um relatório: ele grava o resultado transformado em um destino de dados, como uma tabela no Lakehouse ou no Warehouse, para qualquer workload consumir. É reutilizável e centraliza a lógica de transformação num lugar só, em vez de espalhar a mesma limpeza em cada relatório do Power BI.

Onde o Dataflow Gen2 brilha:

• Limpeza e padronização: remover linhas inválidas, corrigir tipos, padronizar texto, tratar nulos.
• Junções e combinações: unir tabelas de origens diferentes com merge e append.
• Colunas derivadas: cálculos, categorizações e chaves compostas antes de o dado chegar ao modelo.
• Transformação acessível: um analista que domina Power Query consegue construir sem escrever código, o que reduz a fila do time de engenharia.

O ponto de atenção que eu sempre levanto: o Power Query é ótimo para produtividade e ruim quando usado como motor de processamento distribuído para volumes gigantes. Para transformar milhões de linhas com lógica pesada, um notebook Spark no Lakehouse costuma ser mais eficiente. O Dataflow Gen2 é a ferramenta certa para a maioria dos casos de médio porte, não para todos.

Pipeline orquestra, dataflow transforma: a distinção que organiza tudo#

Essa é a frase que eu repito em todo kickoff no Fabric, porque resolve metade das dúvidas de arquitetura. O pipeline é o maestro. O dataflow é o instrumentista. Um comanda a ordem e o momento. O outro molda o dado.

Na prática, os dois vivem juntos: um pipeline frequentemente chama um Dataflow Gen2 como uma de suas atividades, no meio de uma sequência maior. O pipeline diz "primeiro copie os dados da origem, depois rode este dataflow de limpeza, depois atualize o modelo semântico, e se qualquer passo falhar, me avise". O dataflow apenas executa a limpeza quando chamado.

A tabela abaixo resume a diferença de papéis:

Aspecto	Pipeline de dados	Dataflow Gen2
Função principal	Orquestrar e sequenciar	Transformar e limpar
Tecnologia base	Atividades e controle de fluxo	Power Query / linguagem M
Move dados brutos	Sim, via Copy Data	Não é o foco
Aplica regra de negócio	Não, delega	Sim, é o forte
Controle de fluxo (loop, condição)	Sim	Não
Agendamento próprio	Sim	Sim, mas normalmente orquestrado pelo pipeline
Quem costuma construir	Engenheiro de dados	Analista ou engenheiro

A regra prática: se a pergunta é "quando e em que ordem", é pipeline. Se a pergunta é "como o dado deve ficar", é dataflow.

Controle de fluxo é o que separa um script de um pipeline de verdade#

Copiar dados qualquer um faz. O que torna o Data Factory no Fabric uma ferramenta de orquestração séria é o controle de fluxo: a capacidade de o pipeline tomar decisões e repetir tarefas sem você duplicar atividade manualmente.

As construções que você mais vai usar:

• Atividades em sequência ou paralelo: você liga uma atividade à outra por setas de dependência, definindo o que roda em sucesso, em falha, ao completar ou ao pular.
• Condição (If): a atividade If Condition avalia uma expressão e ramifica o fluxo. Se a contagem de linhas copiadas for zero, dispare um alerta; caso contrário, siga para a transformação.
• Loop sobre itens (ForEach): itera sobre uma lista de tabelas, arquivos ou datas, executando o mesmo bloco para cada item. É o que permite copiar cinquenta tabelas com um pipeline parametrizado em vez de cinquenta pipelines.
• Loop condicional (Until): repete um bloco até uma condição ser satisfeita, útil para esperar um arquivo aparecer ou um processo externo terminar.
• Parâmetros e variáveis: deixam o pipeline genérico e reutilizável, alimentando filtros de data, nomes de tabela e caminhos dinamicamente.

Um exemplo que aparece em quase todo projeto: um pipeline lê uma lista de tabelas de origem, entra num ForEach e, para cada tabela, roda uma Copy Data incremental filtrando pela data da última carga. Cinco atividades resolvem a ingestão de dezenas de tabelas. Isso diferencia orquestração de gambiarra agendada.

Agendamento e gatilhos: o pipeline roda sozinho ou espera o mundo#

Um pipeline que só roda quando alguém clica em "executar" não é automação. O Data Factory no Fabric oferece dois modos de disparo que cobrem a maioria dos cenários.

O primeiro é o agendamento por tempo. Você define uma programação: todo dia às 6h, de hora em hora, toda segunda-feira. É o modelo mais comum para cargas batch, que consolidam o dia anterior de madrugada para o relatório estar pronto quando a diretoria abrir o Power BI. Se o seu contexto é entregar dashboards confiáveis para a operação, o nosso guia de Power BI para empresas no Brasil mostra como esse ritmo de atualização se conecta à experiência do usuário final.

O segundo é o disparo por gatilho de evento. Em vez de esperar um horário, o pipeline reage a algo, tipicamente a chegada ou alteração de um arquivo em um storage. O dado aterrissou, o pipeline acorda e processa. Isso aproxima a arquitetura de um comportamento quase em tempo real sem manter um processo rodando o dia inteiro.

A tabela resume os modos e quando usar cada um:

Modo de disparo	Quando usar	Exemplo típico
Agendamento por tempo	Cargas batch previsíveis	Consolidação diária às 5h da manhã
Agendamento frequente	Dados que mudam ao longo do dia	Atualização de estoque a cada hora
Gatilho por evento	Reação à chegada de dados	Arquivo cai no storage e dispara o processamento
Execução manual	Desenvolvimento e reprocessamento	Testar mudança ou recarregar um período

O conselho de consultor: comece simples. A maioria dos clientes acha que precisa de tempo real e, ao medir, descobre que uma carga a cada hora resolve o problema com uma fração da complexidade e do custo de capacidade. Automatize pelo requisito real.

Um passo a passo mínimo para o primeiro pipeline#

Para materializar tudo, veja como fica a construção de um pipeline de ingestão simples do zero:

1. Crie o pipeline dentro do workspace do Fabric, no experience de Data Factory.
2. Adicione uma atividade Copy Data e configure a conexão de origem, por exemplo um banco SQL de produção.
3. Aponte o destino para uma tabela no Lakehouse, na camada bronze, guardando o dado bruto.
4. Adicione um Dataflow Gen2 como próxima atividade, ligado por dependência de sucesso, para limpar e padronizar, gravando na camada silver.
5. Insira uma condição que verifica se a carga trouxe linhas, ramificando para um alerta se vier vazio.
6. Publique e agende o pipeline para rodar diariamente no horário desejado.
7. Monitore as execuções pela aba de histórico, que mostra duração, status e onde falhou.

Esse esqueleto, Copy Data para trazer, Dataflow Gen2 para tratar, condição para validar e agendamento para automatizar, é o coração da maioria dos pipelines de ingestão que a gente entrega. O resto é volume, variação de origem e regras de negócio específicas, que é onde a experiência de engenharia de dados e de analytics avançado faz a diferença entre um pipeline que sobrevive e um que quebra no primeiro feriado.

Perguntas frequentes#

Qual a diferença essencial entre pipeline e dataflow no Data Factory do Fabric? O pipeline orquestra e o dataflow transforma. O pipeline define a ordem das tarefas, o controle de fluxo com condições e loops, o agendamento e o tratamento de falha. O Dataflow Gen2 usa o Power Query para limpar e moldar o dado. Na prática eles trabalham juntos: o pipeline chama o dataflow como uma de suas atividades.

A atividade Copy Data pode transformar os dados durante a cópia? A Copy Data faz mapeamento de colunas e conversão básica de tipos, mas ela é projetada para mover o dado, não para aplicar regra de negócio. Transformação de verdade é papel do Dataflow Gen2 ou de um notebook. Copiar primeiro e transformar depois deixa o pipeline mais legível e fácil de manter.

Preciso de um gateway para ingerir dados de sistemas on-premises? Sim. Quando a origem está na rede local da empresa, um banco SQL Server interno, por exemplo, você precisa de um gateway de dados que faz a ponte segura entre o Fabric e o ambiente on-premises. Para fontes já em nuvem, a conexão é direta, sem gateway.

Dataflow Gen2 aguenta grandes volumes de dados? Aguenta volumes de médio porte com folga e produtividade alta. Para volumes muito grandes com lógica pesada, muitas vezes um notebook Spark no Lakehouse é mais eficiente do que o Power Query. A escolha depende do volume e da complexidade da transformação, e essa é uma decisão de arquitetura que vale discutir caso a caso.

Posso disparar um pipeline quando um arquivo chega, sem depender de horário? Pode. Além do agendamento por tempo, o Data Factory no Fabric permite gatilhos por evento, que reagem à chegada ou alteração de arquivos em um storage. É o caminho para processamento próximo de tempo real sem manter um processo rodando continuamente.

O Data Factory no Fabric substitui o Azure Data Factory? Para cargas já dentro do ecossistema Fabric, ele cumpre o papel com integração nativa ao OneLake, ao Lakehouse e ao Power BI. Cenários legados no Azure ainda podem justificar o Azure Data Factory tradicional, mas para novos projetos no Fabric o Data Factory nativo é o ponto de partida natural.

Onde isso te leva#

Montar pipeline no Data Factory do Fabric não é difícil de começar e é fácil de fazer mal. O que separa um projeto que escala de um que vira dívida técnica é a disciplina de separar orquestração de transformação, parametrizar em vez de duplicar, e automatizar pelo requisito real de negócio. A ferramenta entrega o Copy Data, os Dataflows Gen2, o controle de fluxo e os gatilhos. A arquitetura que amarra tudo isso de forma sustentável é decisão de engenharia, não de clique.

Se você está estruturando a ingestão de dados no Fabric e quer fazer certo desde o primeiro pipeline, fale com a gente. A gente ajuda a desenhar a arquitetura, construir os pipelines e deixar o time autônomo para operar.