Ingestão e análise de dados
Ingerir, transformar e analisar dados na velocidade e no volume certos, de streams a data lakes e data warehouses. Faz parte do Domínio 3: Projetar arquiteturas de alto desempenho, 24% do conteúdo pontuado.
Kinesis Data Streams
Amazon Kinesis Data Streams
Stream em tempo real que guarda registros em shards para que vários consumidores leiam, e releiam, em ordem.
Pontos-chave
- Shard: escrita de até 1 MB/s ou 1.000 registros/s, leitura de até 2 MB/s dividida entre os consumidores.
- Enhanced fan-out: cada consumidor registrado ganha 2 MB/s próprios por shard.
- Retenção: 24 horas por padrão, até 365 dias. Os consumidores podem reprocessar os dados.
- Ordem: a chave de partição escolhe o shard, e registros com a mesma chave ficam em ordem.
- Modos de capacidade: on-demand (escala sozinho) ou provisionado (você gerencia os shards).
Na prova
"Tempo real, vários consumidores, reprocessamento, ordem por chave" -> Kinesis Data Streams. Escritas com throttling -> mais shards ou uma chave de partição melhor.
Entrega totalmente gerenciada de dados de streaming para destinos de armazenamento e análise, com buffer, transformação e conversão de formato. Sem shards para gerenciar.
Pontos-chave
- Destinos: S3, Redshift (passa pelo S3 e usa COPY), OpenSearch Service e Serverless, Splunk, Snowflake, tabelas Apache Iceberg e endpoints HTTP.
- Buffer: entrega quando atinge um tamanho (1 a 128 MiB para S3) ou um tempo (0 a 900 s), por isso é quase tempo real.
- Conversão de formato: JSON para Parquet ou ORC com esquema do Glue Data Catalog.
- Transformação: uma função Lambda pode transformar registros, por exemplo CSV para JSON antes da conversão.
- Origens incluem PUT direto e Kinesis data streams.
Na prova
"Carregar dados de streaming no S3 ou no Redshift sem código, quase em tempo real" -> Data Firehose. "Consumidores próprios, reprocessamento, milissegundos" -> Kinesis Data Streams.
MSK e streams de vídeo
Amazon MSK e Amazon Kinesis Video Streams
Apache Kafka gerenciado para quem já usa Kafka, e um serviço dedicado a vídeo vindo de dispositivos.
Pontos-chave
- Amazon MSK: roda Apache Kafka de código aberto, então produtores e consumidores existentes funcionam sem mudar código.
- Opções do MSK: provisionado (brokers Standard ou Express), MSK Serverless, MSK Connect para conectores e MSK Replicator.
- Kinesis Video Streams: ingere, armazena e indexa vídeo de câmeras para reprodução (HLS, MPEG-DASH), análise e ML.
- WebRTC no Kinesis Video Streams permite mídia em tempo real nos dois sentidos.
Na prova
"Migrar um cluster Kafka local com o mínimo de mudanças" -> Amazon MSK, não Kinesis. "Streams de câmeras para análise com Rekognition" -> Kinesis Video Streams.
Glue e Lake Formation
AWS Glue e AWS Lake Formation
O Glue descobre, cataloga e transforma dados, e o Lake Formation controla quem lê cada parte do data lake no S3.
Pontos-chave
- Crawlers inferem esquemas e preenchem o Glue Data Catalog, um catálogo compatível com o Hive metastore usado por Athena, EMR e Redshift Spectrum.
- Glue ETL: jobs Apache Spark serverless (lote ou streaming). Job bookmarks evitam reprocessar dados antigos. Um job típico converte CSV para Parquet.
- AWS Glue DataBrew: preparação visual de dados, sem código.
- Lake Formation: permissões por banco, tabela, coluna, linha e célula, LF-Tags para acesso baseado em tags e compartilhamento entre contas.
Na prova
"Converter CSV do S3 para Parquet com agendamento, sem servidores" -> job de ETL do Glue. "Acesso por coluna ao data lake para equipes diferentes" -> Lake Formation, não políticas de bucket.
Athena e Quick
Amazon Athena e Amazon Quick
O Athena consulta o S3 com SQL sem servidores, e o Amazon Quick transforma os resultados em dashboards.
Pontos-chave
- Athena: SQL serverless sobre o S3, cobrado por TB lido. Usa o Glue Data Catalog para as tabelas.
- Menos custo e tempo: formatos colunares (Parquet, ORC), compressão e particionamento reduzem os dados lidos.
- Federated Query: conectores baseados em Lambda consultam fontes fora do S3 (relacionais, NoSQL).
- Amazon Quick: evoluiu do Amazon QuickSight. Seu recurso de BI, o Amazon Quick Sight, cria dashboards com o motor em memória SPICE e perguntas em linguagem natural.
Na prova
"SQL ad hoc sobre logs no S3, sem infraestrutura" -> Athena. "Athena lento e caro sobre CSV" -> converta para Parquet e particione. "Dashboards de BI interativos" -> Amazon Quick.
Frameworks de big data, o data warehouse e a busca e análise de logs respondem perguntas diferentes sobre os mesmos dados.
Pontos-chave
- Amazon EMR: Spark, Hive, Trino, Flink e Hadoop gerenciados em EC2, EKS ou Serverless. Nós primary, core e task. Spot é comum nos nós task, evite nos nós core (HDFS).
- Amazon Redshift: data warehouse colunar para análise com SQL. O Redshift Serverless cobra pelo uso de RPUs. O Spectrum consulta o S3 sem carregar os dados.
- Recursos do Redshift: concurrency scaling, data sharing e zero-ETL a partir de Aurora, RDS e DynamoDB.
- Amazon OpenSearch Service: busca textual e análise de logs com OpenSearch Dashboards. Camadas UltraWarm e cold, OpenSearch Serverless e Ingestion.
Na prova
"Jobs Spark ou Hadoop existentes, controle total do cluster" -> EMR. "Joins SQL complexos sobre terabytes para BI" -> Redshift. "Busca textual em logs ou num catálogo" -> OpenSearch.
Qual serviço de análise
| Serviço | Melhor para |
|---|---|
| Athena | SQL ad hoc sobre o S3, serverless, paga por consulta. |
| Redshift | BI recorrente e SQL complexo sobre dados estruturados. |
| EMR | Spark, Hadoop e outros frameworks em grande escala. |
| Glue | ETL serverless e o Data Catalog. |
| OpenSearch Service | Busca, análise de logs e dashboards sobre texto. |
| Amazon Quick | Visualização e dashboards de BI. |
Serviços online movem dados pela rede por agendamento ou protocolo, e opções físicas movem quando a rede é lenta demais.
Pontos-chave
- AWS DataSync: cópias online de NFS, SMB, HDFS, armazenamento de objetos e outras nuvens para S3, EFS e FSx, com criptografia, verificação de integridade e agendamento. Precisa de agente para origens locais.
- AWS Transfer Family: endpoints gerenciados SFTP, FTPS, FTP e AS2 para S3 ou EFS, com o seu provedor de identidade. FTP só em endpoints internos de VPC.
- AWS Snowball Edge: desde 7 de novembro de 2025, só para clientes existentes, e o suporte nas Regiões comerciais termina em 31 de dezembro de 2026.
- AWS Data Transfer Terminal: locais físicos onde você leva seus próprios dispositivos de armazenamento e envia os dados por uma conexão de alta banda.
Na prova
"Parceiros enviam arquivos por SFTP para o S3" -> Transfer Family. "Sincronizar um compartilhamento NFS com S3 ou EFS periodicamente" -> DataSync. Questões com petabytes e pouca banda ainda apontam para Snowball Edge.
Opção de transferência por necessidade
| Necessidade | Escolha |
|---|---|
| Cópia online ou sincronização recorrente | DataSync |
| Parceiros com SFTP, FTPS, FTP, AS2 | Transfer Family |
| Offline, pouca banda | Snowball Edge (clientes existentes) ou Data Transfer Terminal |
| Dados de aplicações SaaS | Amazon AppFlow |
| Conjuntos de dados de terceiros | AWS Data Exchange |
AppFlow e Data Exchange
Amazon AppFlow e AWS Data Exchange
Formas gerenciadas de trazer para a AWS dados de aplicações SaaS e de provedores terceiros.
Pontos-chave
- Amazon AppFlow: fluxos sem código entre aplicações SaaS (Salesforce, ServiceNow, Zendesk, Slack) e S3, Redshift ou Snowflake, nos dois sentidos.
- Gatilhos do AppFlow: sob demanda, agendado ou por evento. As transformações incluem filtro, mascaramento, mapeamento e validação. Suporta PrivateLink.
- AWS Data Exchange: encontre, assine e use dados de terceiros entregues como arquivos, APIs, datashares do Redshift ou acesso a dados no S3.
Na prova
"Importar dados do Salesforce para o S3 todo dia sem código" -> AppFlow, não um Lambda próprio. "Assinar um conjunto de dados comercial" -> Data Exchange.