Solutions Architect

Custos de armazenamento

Manter cada byte na camada mais barata que seu padrão de acesso permite, e levá-lo até lá automaticamente. Este é o Domínio 4: Design Cost-Optimized Architectures, 20% do conteúdo pontuado.

Classes do S3

Amazon S3 storage classes

Página oficial

Classes mais baratas trocam preço de armazenamento por taxas de recuperação, duração mínima e tamanho mínimo cobrado. Essas cobranças escondidas decidem a maioria das respostas.

Pontos-chave

  • Duração mínima: 30 dias para Standard-IA e One Zone-IA, 90 dias para Glacier Instant Retrieval e Glacier Flexible Retrieval, 180 dias para Glacier Deep Archive. Apagar antes é cobrado como se tivesse ficado.
  • Tamanho mínimo cobrado: 128 KB para Standard-IA, One Zone-IA e Glacier Instant Retrieval. Glacier Flexible Retrieval e Deep Archive somam 40 KB de metadados por objeto.
  • Taxa de recuperação: por GB nas classes IA e Glacier. Standard e Intelligent-Tiering não têm.
  • One Zone-IA: uma AZ e mais barata que a Standard-IA, para dados que dá para recriar, como réplicas ou arquivos derivados.
  • Express One Zone: acesso em milissegundos de um dígito em uma AZ, com custo de requisição 50% menor que o Standard. É classe de desempenho, não de arquivo.

Na prova

"Milhões de objetos de 20 KB, raramente lidos" -> mantenha no Standard ou agrupe, o mínimo de 128 KB deixa a IA mais cara. "Miniaturas que podem ser recriadas, raramente lidas" -> One Zone-IA.

Classes do S3 e suas cobranças escondidas

ClasseMínimos e taxas
StandardSem duração ou tamanho mínimo, sem taxa de recuperação. 3 ou mais AZs.
Intelligent-TieringSem duração mínima, sem taxa de recuperação, com taxa de monitoramento por objeto.
Standard-IA30 dias, 128 KB, recuperação por GB. 3 ou mais AZs.
One Zone-IA30 dias, 128 KB, recuperação por GB. 1 AZ.
Glacier Instant Retrieval90 dias, 128 KB, recuperação por GB. Milissegundos, para dados lidos cerca de uma vez por trimestre.
Glacier Flexible Retrieval90 dias, 40 KB extras por objeto, restauração de minutos a horas.
Glacier Deep Archive180 dias, 40 KB extras por objeto, restauração de 12 a 48 horas.

S3 Lifecycle

Amazon S3 Lifecycle

Página oficial

Regras de ciclo de vida descem os objetos pela cascata de classes ou os apagam por agenda, sem código. A agenda precisa respeitar o mínimo de cada classe.

Pontos-chave

  • Ações de transição: movem objetos por idade, prefixo, tag ou tamanho, do Standard para IA, Intelligent-Tiering, Glacier e Deep Archive. O Deep Archive é caminho sem volta.
  • Ações de expiração: apagam versões atuais, removem de vez versões não atuais com NoncurrentVersionExpiration e limpam delete markers expirados.
  • Objetos pequenos: por padrão objetos abaixo de 128 KB não são transicionados, porque a requisição de transição por objeto pode custar mais do que economiza. Um filtro de tamanho muda isso.
  • Duração mínima: sair de uma classe antes cobra o restante do mínimo. Uma regra não pode ir para Glacier Instant Retrieval no dia 4 e para Deep Archive no dia 20, o segundo passo precisa esperar até o dia 94.
  • Data da cobrança: transições para Glacier Flexible Retrieval e Deep Archive cobram a nova tarifa a partir do dia em que a regra é atendida. No Intelligent-Tiering, só depois da movimentação física.

Na prova

"Logs lidos por 30 dias e guardados 7 anos para auditoria, menor custo" -> transições do Lifecycle até o Deep Archive e expiração em 7 anos. Uma Lambda agendada copiando objetos é o distrator.

Intelligent-Tiering

Amazon S3 Intelligent-Tiering

Página oficial

A classe para padrões de acesso desconhecidos ou que mudam. Move cada objeto entre camadas pelo próprio histórico de acesso, sem taxa de recuperação.

Pontos-chave

  • Camadas automáticas: Frequent Access, Infrequent Access após 30 dias sem acesso e Archive Instant Access após 90 dias. Qualquer acesso devolve o objeto ao Frequent Access.
  • Camadas de arquivo opcionais: Archive Access a partir de 90 dias e Deep Archive Access a partir de 180 dias, configuráveis até 730 dias. Objetos nelas precisam ser restaurados antes da leitura.
  • Custos: pequena taxa mensal de monitoramento e automação por objeto, sem taxa de recuperação e sem duração mínima.
  • Objetos pequenos: abaixo de 128 KB não são monitorados e ficam sempre no Frequent Access.
  • Adoção: defina como classe no upload ou leve objetos existentes para ela com uma regra de Lifecycle.

Na prova

"Padrão de acesso desconhecido ou imprevisível, sem esforço operacional" -> Intelligent-Tiering. "Padrão conhecido, quente por 30 dias e depois frio" -> uma regra de Lifecycle, que evita a taxa de monitoramento por objeto.

Visibilidade no S3

S3 Storage Lens, Storage Class Analysis and Requester Pays

Página oficial

Storage Lens e Storage Class Analysis mostram onde estão os bytes e o desperdício. Requester Pays passa o custo de download para quem lê os dados.

Pontos-chave

  • S3 Storage Lens: visão da organização inteira até conta, Region, classe, bucket e prefixo. Aponta buckets sem regra de lifecycle para multipart uploads incompletos com mais de 7 dias. Métricas gratuitas e uma camada avançada paga.
  • Storage Class Analysis: observa um bucket, prefixo ou tag por 30 dias ou mais e indica quando mover objetos do Standard para o Standard-IA. Não recomenda nenhuma outra classe.
  • Requester Pays: quem faz a requisição paga requisições e download, o dono do bucket continua pagando o armazenamento. As requisições precisam ser autenticadas e enviar x-amz-request-payer, acesso anônimo não é permitido.

Na prova

"Compartilhar um dataset grande, quem consome paga o download" -> Requester Pays. "Descobrir com que idade os objetos esfriam para ajustar o lifecycle" -> Storage Class Analysis. "Visão de armazenamento e desperdício da organização toda" -> Storage Lens.

Página oficial

Armazenamento em bloco é cobrado pelo que você provisiona, não pelo que usa. Escolha o tipo mais barato que atende IOPS e throughput e arquive snapshots antigos.

Pontos-chave

  • gp2 para gp3: o gp3 custa 20% menos por GiB, inclui 3.000 IOPS e 125 MiB/s em qualquer tamanho e escala IOPS e throughput separados do tamanho. A troca é feita no lugar com Elastic Volumes, sem parada.
  • Armadilha do gp2: o IOPS cresce 3 por GiB, então equipes compram capacidade só para ganhar IOPS. O gp3 acaba com isso.
  • Tipos HDD: st1 para throughput sequencial grande e frequente (EMR, ETL, logs), sc1 o de menor custo para dados frios sequenciais. Nenhum dos dois pode ser volume de boot.
  • Snapshots Archive: até 75% menos no custo de armazenamento de snapshots mantidos por 90 dias ou mais. Guardados como snapshots completos, mínimo de 90 dias, restauração em até 72 horas.
  • Faxina: volumes desanexados e snapshots velhos continuam cobrando. Compute Optimizer e Trusted Advisor apontam volumes subutilizados.

Na prova

"Reduzir custo de EBS, mesmo desempenho, sem parada" -> modificar gp2 para gp3. "Guardar snapshots anuais por compliance, raramente restaurados" -> EBS Snapshots Archive.

EFS e FSx

Amazon EFS and Amazon FSx

Página oficial

Armazenamento de arquivos fica bem mais barato quando arquivos frios saem da camada principal. O EFS faz isso com políticas de lifecycle, o FSx com tipo de armazenamento e redução de dados.

Pontos-chave

  • Classes do EFS: Standard (abaixo de 1 milissegundo), Infrequent Access (até 95% mais barata) e Archive (até 50% mais barata que a IA, mínimo de 90 dias). IA e Archive cobram no mínimo 128 KiB por arquivo.
  • Lifecycle management do EFS: por padrão move arquivos sem acesso há 30 dias para IA e há 90 dias para Archive. Pode devolver o arquivo ao Standard no primeiro acesso.
  • EFS One Zone: dados em uma única AZ, para o que não precisa de resiliência multi-AZ. Acessar de outra AZ paga US$ 0,01 por GB de transferência entre AZs. O Archive exige file system Regional com Elastic Throughput.
  • FSx for Windows File Server: HDD para diretórios pessoais e compartilhamentos, SSD para cargas sensíveis a latência. O Data Deduplication costuma economizar de 50 a 60% em compartilhamentos gerais.
  • FSx for Lustre: file systems scratch para processamento curto e temporário, sem replicação, e persistentes para dados de longo prazo. A classe Intelligent-Tiering leva dados frios para camadas mais baratas.

Na prova

"Arquivos Linux compartilhados, a maioria intocada depois de um mês" -> lifecycle management do EFS para IA ou Archive. "Espaço de trabalho temporário de HPC pelo menor custo" -> FSx for Lustre scratch, não persistente.

Recuperação de arquivo

S3 Glacier storage classes

Página oficial

Quanto mais barato o arquivo, mais lento e caro é o caminho de volta. Escolha a classe pelo prazo que a restauração precisa cumprir, não só pelo preço por GB.

Pontos-chave

  • Glacier Instant Retrieval: leitura em milissegundos, sem etapa de restauração, para arquivos lidos cerca de uma vez por trimestre.
  • Bulk é grátis: recuperações Bulk não custam nada no Glacier Flexible Retrieval e no Intelligent-Tiering. Expedited é a opção premium.
  • Provisioned capacity: garante recuperações Expedited no Glacier Flexible Retrieval em períodos de alta demanda.
  • Cópia restaurada: a cópia temporária é cobrada na tarifa do Standard enquanto o objeto arquivado continua cobrando a sua.
  • Restaurações grandes: até 1 a 2 PB por dia por conta, e S3 Batch Operations para restaurar muitos objetos com uma única requisição.

Na prova

"Arquivo que às vezes precisa voltar em minutos" -> Glacier Flexible Retrieval com Expedited. "Guardado por 10 anos, 48 horas é aceitável, menor custo" -> Glacier Deep Archive. "Raramente lido, mas precisa abrir em milissegundos" -> Glacier Instant Retrieval.

Tempos de restauração

Classe ou camadaOpções de recuperação
Glacier Instant RetrievalMilissegundos, sem restauração.
Glacier Flexible RetrievalExpedited de 1 a 5 minutos. Standard de 3 a 5 horas. Bulk de 5 a 12 horas.
Glacier Deep ArchiveSem Expedited. Standard em até 12 horas. Bulk em até 48 horas.
Intelligent-Tiering Archive AccessIgual ao Glacier Flexible Retrieval.
Intelligent-Tiering Deep Archive AccessIgual ao Glacier Deep Archive.

Trazendo dados

AWS DataSync and AWS Transfer Family

Página oficial

Transferência da internet para a AWS é gratuita, então o custo está na ferramenta, no link e no tempo. Escolha pelo volume, pela banda e pelo prazo.

Pontos-chave

  • AWS DataSync: transferência online gerenciada de NFS, SMB, HDFS, object storage e outras nuvens para S3, EFS e FSx, ou direto para classes Glacier. Incremental, comprimida, validada e criptografada, e uma tarefa consegue ocupar 10 Gbps.
  • Links lentos: numa migração grande, rode o DataSync sobre uma conexão hosted do Direct Connect contratada só para o projeto.
  • Snowball Edge: não está mais disponível para novos clientes. A AWS indica o DataSync, o AWS Data Transfer Terminal para uploads físicos e o Outposts para computação na borda.
  • AWS Transfer Family: SFTP, FTPS, FTP, AS2 e transferência pelo navegador gerenciados, gravando em S3 ou EFS, para parceiros manterem seus clientes sem você operar servidores.
  • Uploads em lote: menos objetos e maiores reduzem cobranças por requisição e custos de transição de lifecycle.

Na prova

"Parceiros enviam por SFTP, aposentar o servidor próprio" -> Transfer Family. "Migrar centenas de TB de NFS com sincronização contínua e verificação de integridade" -> DataSync. Questões antigas ainda podem trazer o Snowball Edge como opção offline para datasets enormes com pouca banda.