Custos de armazenamento
Manter cada byte na camada mais barata que seu padrão de acesso permite, e levá-lo até lá automaticamente. Este é o Domínio 4: Design Cost-Optimized Architectures, 20% do conteúdo pontuado.
Classes do S3
Amazon S3 storage classes
Classes mais baratas trocam preço de armazenamento por taxas de recuperação, duração mínima e tamanho mínimo cobrado. Essas cobranças escondidas decidem a maioria das respostas.
Pontos-chave
- Duração mínima: 30 dias para Standard-IA e One Zone-IA, 90 dias para Glacier Instant Retrieval e Glacier Flexible Retrieval, 180 dias para Glacier Deep Archive. Apagar antes é cobrado como se tivesse ficado.
- Tamanho mínimo cobrado: 128 KB para Standard-IA, One Zone-IA e Glacier Instant Retrieval. Glacier Flexible Retrieval e Deep Archive somam 40 KB de metadados por objeto.
- Taxa de recuperação: por GB nas classes IA e Glacier. Standard e Intelligent-Tiering não têm.
- One Zone-IA: uma AZ e mais barata que a Standard-IA, para dados que dá para recriar, como réplicas ou arquivos derivados.
- Express One Zone: acesso em milissegundos de um dígito em uma AZ, com custo de requisição 50% menor que o Standard. É classe de desempenho, não de arquivo.
Na prova
"Milhões de objetos de 20 KB, raramente lidos" -> mantenha no Standard ou agrupe, o mínimo de 128 KB deixa a IA mais cara. "Miniaturas que podem ser recriadas, raramente lidas" -> One Zone-IA.
Classes do S3 e suas cobranças escondidas
| Classe | Mínimos e taxas |
|---|---|
| Standard | Sem duração ou tamanho mínimo, sem taxa de recuperação. 3 ou mais AZs. |
| Intelligent-Tiering | Sem duração mínima, sem taxa de recuperação, com taxa de monitoramento por objeto. |
| Standard-IA | 30 dias, 128 KB, recuperação por GB. 3 ou mais AZs. |
| One Zone-IA | 30 dias, 128 KB, recuperação por GB. 1 AZ. |
| Glacier Instant Retrieval | 90 dias, 128 KB, recuperação por GB. Milissegundos, para dados lidos cerca de uma vez por trimestre. |
| Glacier Flexible Retrieval | 90 dias, 40 KB extras por objeto, restauração de minutos a horas. |
| Glacier Deep Archive | 180 dias, 40 KB extras por objeto, restauração de 12 a 48 horas. |
S3 Lifecycle
Amazon S3 Lifecycle
Regras de ciclo de vida descem os objetos pela cascata de classes ou os apagam por agenda, sem código. A agenda precisa respeitar o mínimo de cada classe.
Pontos-chave
- Ações de transição: movem objetos por idade, prefixo, tag ou tamanho, do Standard para IA, Intelligent-Tiering, Glacier e Deep Archive. O Deep Archive é caminho sem volta.
- Ações de expiração: apagam versões atuais, removem de vez versões não atuais com
NoncurrentVersionExpiratione limpam delete markers expirados. - Objetos pequenos: por padrão objetos abaixo de 128 KB não são transicionados, porque a requisição de transição por objeto pode custar mais do que economiza. Um filtro de tamanho muda isso.
- Duração mínima: sair de uma classe antes cobra o restante do mínimo. Uma regra não pode ir para Glacier Instant Retrieval no dia 4 e para Deep Archive no dia 20, o segundo passo precisa esperar até o dia 94.
- Data da cobrança: transições para Glacier Flexible Retrieval e Deep Archive cobram a nova tarifa a partir do dia em que a regra é atendida. No Intelligent-Tiering, só depois da movimentação física.
Na prova
"Logs lidos por 30 dias e guardados 7 anos para auditoria, menor custo" -> transições do Lifecycle até o Deep Archive e expiração em 7 anos. Uma Lambda agendada copiando objetos é o distrator.
Intelligent-Tiering
Amazon S3 Intelligent-Tiering
A classe para padrões de acesso desconhecidos ou que mudam. Move cada objeto entre camadas pelo próprio histórico de acesso, sem taxa de recuperação.
Pontos-chave
- Camadas automáticas: Frequent Access, Infrequent Access após 30 dias sem acesso e Archive Instant Access após 90 dias. Qualquer acesso devolve o objeto ao Frequent Access.
- Camadas de arquivo opcionais: Archive Access a partir de 90 dias e Deep Archive Access a partir de 180 dias, configuráveis até 730 dias. Objetos nelas precisam ser restaurados antes da leitura.
- Custos: pequena taxa mensal de monitoramento e automação por objeto, sem taxa de recuperação e sem duração mínima.
- Objetos pequenos: abaixo de 128 KB não são monitorados e ficam sempre no Frequent Access.
- Adoção: defina como classe no upload ou leve objetos existentes para ela com uma regra de Lifecycle.
Na prova
"Padrão de acesso desconhecido ou imprevisível, sem esforço operacional" -> Intelligent-Tiering. "Padrão conhecido, quente por 30 dias e depois frio" -> uma regra de Lifecycle, que evita a taxa de monitoramento por objeto.
Visibilidade no S3
S3 Storage Lens, Storage Class Analysis and Requester Pays
Storage Lens e Storage Class Analysis mostram onde estão os bytes e o desperdício. Requester Pays passa o custo de download para quem lê os dados.
Pontos-chave
- S3 Storage Lens: visão da organização inteira até conta, Region, classe, bucket e prefixo. Aponta buckets sem regra de lifecycle para multipart uploads incompletos com mais de 7 dias. Métricas gratuitas e uma camada avançada paga.
- Storage Class Analysis: observa um bucket, prefixo ou tag por 30 dias ou mais e indica quando mover objetos do Standard para o Standard-IA. Não recomenda nenhuma outra classe.
- Requester Pays: quem faz a requisição paga requisições e download, o dono do bucket continua pagando o armazenamento. As requisições precisam ser autenticadas e enviar
x-amz-request-payer, acesso anônimo não é permitido.
Na prova
"Compartilhar um dataset grande, quem consome paga o download" -> Requester Pays. "Descobrir com que idade os objetos esfriam para ajustar o lifecycle" -> Storage Class Analysis. "Visão de armazenamento e desperdício da organização toda" -> Storage Lens.
Volumes e snapshots EBS
Amazon EBS
Armazenamento em bloco é cobrado pelo que você provisiona, não pelo que usa. Escolha o tipo mais barato que atende IOPS e throughput e arquive snapshots antigos.
Pontos-chave
- gp2 para gp3: o gp3 custa 20% menos por GiB, inclui 3.000 IOPS e 125 MiB/s em qualquer tamanho e escala IOPS e throughput separados do tamanho. A troca é feita no lugar com Elastic Volumes, sem parada.
- Armadilha do gp2: o IOPS cresce 3 por GiB, então equipes compram capacidade só para ganhar IOPS. O gp3 acaba com isso.
- Tipos HDD:
st1para throughput sequencial grande e frequente (EMR, ETL, logs),sc1o de menor custo para dados frios sequenciais. Nenhum dos dois pode ser volume de boot. - Snapshots Archive: até 75% menos no custo de armazenamento de snapshots mantidos por 90 dias ou mais. Guardados como snapshots completos, mínimo de 90 dias, restauração em até 72 horas.
- Faxina: volumes desanexados e snapshots velhos continuam cobrando. Compute Optimizer e Trusted Advisor apontam volumes subutilizados.
Na prova
"Reduzir custo de EBS, mesmo desempenho, sem parada" -> modificar gp2 para gp3. "Guardar snapshots anuais por compliance, raramente restaurados" -> EBS Snapshots Archive.
EFS e FSx
Amazon EFS and Amazon FSx
Armazenamento de arquivos fica bem mais barato quando arquivos frios saem da camada principal. O EFS faz isso com políticas de lifecycle, o FSx com tipo de armazenamento e redução de dados.
Pontos-chave
- Classes do EFS: Standard (abaixo de 1 milissegundo), Infrequent Access (até 95% mais barata) e Archive (até 50% mais barata que a IA, mínimo de 90 dias). IA e Archive cobram no mínimo 128 KiB por arquivo.
- Lifecycle management do EFS: por padrão move arquivos sem acesso há 30 dias para IA e há 90 dias para Archive. Pode devolver o arquivo ao Standard no primeiro acesso.
- EFS One Zone: dados em uma única AZ, para o que não precisa de resiliência multi-AZ. Acessar de outra AZ paga US$ 0,01 por GB de transferência entre AZs. O Archive exige file system Regional com Elastic Throughput.
- FSx for Windows File Server: HDD para diretórios pessoais e compartilhamentos, SSD para cargas sensíveis a latência. O Data Deduplication costuma economizar de 50 a 60% em compartilhamentos gerais.
- FSx for Lustre: file systems scratch para processamento curto e temporário, sem replicação, e persistentes para dados de longo prazo. A classe Intelligent-Tiering leva dados frios para camadas mais baratas.
Na prova
"Arquivos Linux compartilhados, a maioria intocada depois de um mês" -> lifecycle management do EFS para IA ou Archive. "Espaço de trabalho temporário de HPC pelo menor custo" -> FSx for Lustre scratch, não persistente.
Recuperação de arquivo
S3 Glacier storage classes
Quanto mais barato o arquivo, mais lento e caro é o caminho de volta. Escolha a classe pelo prazo que a restauração precisa cumprir, não só pelo preço por GB.
Pontos-chave
- Glacier Instant Retrieval: leitura em milissegundos, sem etapa de restauração, para arquivos lidos cerca de uma vez por trimestre.
- Bulk é grátis: recuperações Bulk não custam nada no Glacier Flexible Retrieval e no Intelligent-Tiering. Expedited é a opção premium.
- Provisioned capacity: garante recuperações Expedited no Glacier Flexible Retrieval em períodos de alta demanda.
- Cópia restaurada: a cópia temporária é cobrada na tarifa do Standard enquanto o objeto arquivado continua cobrando a sua.
- Restaurações grandes: até 1 a 2 PB por dia por conta, e S3 Batch Operations para restaurar muitos objetos com uma única requisição.
Na prova
"Arquivo que às vezes precisa voltar em minutos" -> Glacier Flexible Retrieval com Expedited. "Guardado por 10 anos, 48 horas é aceitável, menor custo" -> Glacier Deep Archive. "Raramente lido, mas precisa abrir em milissegundos" -> Glacier Instant Retrieval.
Tempos de restauração
| Classe ou camada | Opções de recuperação |
|---|---|
| Glacier Instant Retrieval | Milissegundos, sem restauração. |
| Glacier Flexible Retrieval | Expedited de 1 a 5 minutos. Standard de 3 a 5 horas. Bulk de 5 a 12 horas. |
| Glacier Deep Archive | Sem Expedited. Standard em até 12 horas. Bulk em até 48 horas. |
| Intelligent-Tiering Archive Access | Igual ao Glacier Flexible Retrieval. |
| Intelligent-Tiering Deep Archive Access | Igual ao Glacier Deep Archive. |
Trazendo dados
AWS DataSync and AWS Transfer Family
Transferência da internet para a AWS é gratuita, então o custo está na ferramenta, no link e no tempo. Escolha pelo volume, pela banda e pelo prazo.
Pontos-chave
- AWS DataSync: transferência online gerenciada de NFS, SMB, HDFS, object storage e outras nuvens para S3, EFS e FSx, ou direto para classes Glacier. Incremental, comprimida, validada e criptografada, e uma tarefa consegue ocupar 10 Gbps.
- Links lentos: numa migração grande, rode o DataSync sobre uma conexão hosted do Direct Connect contratada só para o projeto.
- Snowball Edge: não está mais disponível para novos clientes. A AWS indica o DataSync, o AWS Data Transfer Terminal para uploads físicos e o Outposts para computação na borda.
- AWS Transfer Family: SFTP, FTPS, FTP, AS2 e transferência pelo navegador gerenciados, gravando em S3 ou EFS, para parceiros manterem seus clientes sem você operar servidores.
- Uploads em lote: menos objetos e maiores reduzem cobranças por requisição e custos de transição de lifecycle.
Na prova
"Parceiros enviam por SFTP, aposentar o servidor próprio" -> Transfer Family. "Migrar centenas de TB de NFS com sincronização contínua e verificação de integridade" -> DataSync. Questões antigas ainda podem trazer o Snowball Edge como opção offline para datasets enormes com pouca banda.