O que aconteceu
A notícia mostra que a organização física dos dados num lakehouse pode influenciar de forma decisiva o desempenho das consultas. Em quatro cargas de trabalho sobre Delta Lake, o autor compara Liquid Clustering, ZOrdering e partitioning e conclui que a melhor opção varia com o padrão de consulta, sem existir uma regra única.
Liquid Clustering registou a menor latência em três dos quatro cenários, sobretudo quando as consultas são diversas ou mudam ao longo do tempo. O ZOrdering só se destacou quando os filtros coincidiam com grande precisão com um conjunto estável de colunas. O texto chama ainda a atenção para dois riscos em produção: consultas por intervalo de datas podem degradar quando a data não é a primeira chave no ZOrdering, e consultas muito seletivas podem perder eficiência com Liquid Clustering.
A recomendação é testar as três abordagens com as principais consultas da organização antes de escolher. A decisão deve ter em conta o tipo de carga, a estabilidade dos filtros e o equilíbrio entre menos dados lidos e melhor localidade de leitura nos ficheiros.
Pontos principais
- Liquid Clustering teve melhor desempenho em três dos quatro cenários.
- ZOrdering só foi superior em filtros multicoluna estáveis e muito seletivos.
- A posição da data na chave de ZOrdering pode afetar consultas por intervalo.
- A escolha do layout deve ser testada com as consultas reais da organização.
Porque importa para a sua organização
Para equipas de dados, a decisão sobre o layout físico pode influenciar latência, custo de computação e esforço operacional. O texto mostra que uma escolha feita apenas por regra geral pode degradar consultas importantes sem ser óbvio à primeira vista.