Entendendo e utilizando o DEDUP

Com o aumento do volume de dados das organizações cada vez mais em pauta, várias equipes enfrentam a problemática de aumenta espaço daqui, diminui um pouco dali. Visto isso, empresas tendem a investir em storages para ampliar seus armazenamentos, porém tem uma grande questão a ser analisada além de custos.

Na maioria dos casos esses dados que estão ocupando espaços em seu armazenamento, sejam eles: HD, SSD, STORAGE, NAS entre outros, esses dados podem estar duplicados! Isso que mesmo que você acabou de ler, estão duplicados em seu armazenamento e ocupando um espaço que poderia estar disponível.

Suponha o seguinte cenário: a empresa tem uma reunião semanal e nessa reunião são apresentados(vídeos, slides, músicas, balanços) entre outros, e pós reunião foi realizada uma ata e disparada por e-mail para cada colaborador participante. Seguindo o cenário cada participante decide armazenar alguns desses arquivos, o e-mail com a ata e assim sucessivamente. Já pensou a quantidade de dados duplicados em seu ambiente, visando esse cenário utilizamos uma ferramenta bastante poderosa DEDUP já nativa a partir do Windows Server 2012.

Leia Mais:

Como inserir um Windows Server Core no Domínio
Conectar Dispositivo USB em uma VM Hyper-V
Microsoft lança atualização urgente do Windows para corrigir duas falhas críticas
Como inserir um Windows Server Core no Domínio
O que é a GDPR, a lei de proteção de dados europeia

O QUE É O DEDUP OU DATA DEDUPLICATION

Um recurso disponibilizado nativamente pela Microsoft no Windows Server a partir da versão 2012 em diante. A ferramenta foi criada com os princípios de:

  • otimização não interferir as gravações no disco: dados gravados de forma não otimizada e otimizados posteriormente pela deduplicação.
  • otimização não deve alterar a semântica de acesso: usuários não tem a menor ideia de que esses dados acessador foram otimizados.

Quando habilitada a opção de Eliminação de Deduplicação de Dados, o volume para o qual foi selecionado é otimizado com a procura de dados duplicados. Esses dados duplicados são compactados para economizar espaço, esse processo não compromete a fidelidade ou integridade dos dados.

#DicaProfissa: Faça um curso profissionalizante!
Garanta um curso certificado na área de TI e Software pela plataforma de estudos online Udemy.
Clique aqui e confira todos os cursos mais recentes em tecnologia!

COMO FUNCIONA E QUANDO USAR A DEDUPLICAÇÃO

Grandes conjuntos de dados armazenados tendem a ter muita duplicação de dados, o recurso ajuda os administradores a manter seu ambiente enxuto.

Segundo a tabela da Microsoft, os dados com altas taxas de duplicação podem ter uma otimização de até 95% ou uma redução bastante significativa cerca de 20x a utilização do armazenamento.

Pode ser utilizado para servidores de arquivos de uso geral, que podem conter qualquer um dos seguintes tipos compartilhamento:

  • compartilhamento de equipe
  • pastas base de usuários
  • pastas de trabalhos
  • compartilhamentos de desenvolvimento de software

Servidores de compartilhamento de arquivos são excelentes candidatos para aplicação do Dedup, pois costumam ter muitas cópias do mesmos dados em locais diferentes.

Passos da otimização

1 – Verificação de arquivos que atendam á politica de otimização.

2 – Divisão dos arquivos em partes de tamanho variável.

3 – Identificação de partes exclusivas.

4 – Inserção das partes no repositório de partes e, opcionalmente, compactação.

5 – Substituição do fluxo de arquivos original dos arquivos agora otimizados com um ponto de nova análise para o repositório de partes.

Essas são as etapas que o Dedup efetua para identificar os padrões repetidos em arquivos no volume e mover continuamente esses fragmentos, com ponteiros que apontam para uma cópia única.

#DicaProfissa: Faça um curso profissionalizante!
Garanta um curso certificado na área de TI e Software pela plataforma de estudos online Udemy.
Clique aqui e confira todos os cursos mais recentes em tecnologia!

VAMOS PARA IMPLEMENTAÇÃO

Primeira coisa é executar a instalação da função de Data Deduplication, após esse primeira instalação é necessário reinicializar o host para Windows Server 2012 no Server 2016 não foi preciso. Porém vamos realizar os procedimentos no Windows 2016.

Figura 1 – Instalando a role Data deduplication

Só seguir dando next até a finalização da instalação.

Figura 2 – Vá ate Server Manager -> Files -> Volumes, selecione o volume(E) qual deseja habilitar e configurar o Dedup.

Figura 3 – Escolhemos as configurações para Eliminação de Deduplicação de Dados, nesse caso será utilizado para servidor de arquivos em geral, foi escolhido para arquivos recentes em 0 dias anteriores, nenhuma exceção de extensão de arquivos e pastas.

Informação importante: o primeiro DEDUP realizado tem que ser agendado com cuidado, pois será utilizado muito recurso da máquina dependendo do armazenamento.

Figura 4 – No caso pode-se criar um agendamento para um melhor horário ser realizado o Dedup(vária dependendo o ambiente), no caso deixei para ser realizado em background quando o sistema estiver ocioso.

A primeira execução sempre é mais demorada que as demais.

Figura 5 – Nota que temos dois arquivos duplicado em diferentes repositórios, o espaço em disco antes do Dedup tem somente 5.39GB livres.

#DicaProfissa: Faça um curso profissionalizante!
Garanta um curso certificado na área de TI e Software pela plataforma de estudos online Udemy.
Clique aqui e confira todos os cursos mais recentes em tecnologia!

Figura 6 – Será realizado o processo de deduplicação via PowerShell com privilégios administrativos, esse é o mesmo processo que o da agendamento, no entanto posso força-lo manualmente.

Forçar começo da tarefa (Start-DedupJob), volume desejado (E:) e o tipo otimizado(-Type:Optimization)

Start-DedupJob E: -Type:Optimization

Monitorar o progresso da tarefa, lembrando que não atualiza sozinho, quando quiser visualizar necessita efetuar o comando.

Get-DedupJob

Mostrar status da quantidade de arquivos otimizados, espaço livre e espaço recuperado.

Get-DedupStatus

Figura 7 – Após a execução podemos visualizar o ganho de espaço, quantidade de arquivos otimizados, e que a tarefa acabou de ser executada. Anteriormente o volume E: tinha apenas 5.39GB livres, com a deduplicação aumentou para 7.85GB livres.

Nesse caso mostra que foram otimizados quatro arquivos, pois tinham mais pastas na unidade com arquivos duplicados.

Figura 8 -Se verificar na pasta mostra que os arquivos estão lá conforme foram colocados pelos usuários, porém os apontamentos estão sendo feitos, como explicado no item “COMO FUNCIONA E QUANDO USAR”.

Bom pessoal, era esse conhecimento que gostaria de compartilhar, faça bom aproveito do conteúdo!

Referência: https://www.linkedin.com/pulse/entendendo-e-utilizando-o-dedup-mateus-henrique-tremonte-coimbra

Este artigo foi útil?

Para manter um padrão de qualidade para vocês, investimos em um ótimo plano de hospedagem, CDN Pago, Plugins de Otimização para o Site, etc…

Ajude-nos a manter o projeto ativo! 

Acompanhe as novidades em tempo real. Siga nosso perfil no Instagram.

Felipe Santos
Felipe Santos é Arquiteto de Cloud e Segurança, com vivência em Administração de Ambientes Windows Server, Cluster, Storages, Backups Veeam e Office 365.
pt_BRPortuguese

ATÉ 90% DE DESCONTO

DECOLE SUA CARREIRA!!

Quer dar um upgrade na sua carreira? 

Invista em você e saia na frente! Conquiste aquele emprego dos sonhos em 2021!