replicando dados para o kafka com o oracle goldengate › db4 › arquivos › palestras ›...

Copyright © 2019, Oracle and/or its affiliates. All rights reserved. | DBA Brasil 4.0 - 04 de maio de 2019

Replicando dados para o Kafka com o Oracle GoldenGate

Murilo NascimentoEngenheiro de SoluçõesOracle Brasil4 de maio de 2019

DBA Brasil 4.0#DB4BRASIL

DBA Brasil 4.0 - 04 de maio de 2019 2

Copyright © 2019, Oracle and/or its affiliates. All rights reserved. |

$whoami


• Murilo Nascimento

– Snr Solutions Engineer


Agenda

Oracle GoldenGate

GoldenGate for Big Data e Apache Kafka

Revisão de Configuração

1

2

3



Oracle GoldenGateVisão Geral



O que é ?


• Solução de Replicação de dados da Oracle

• “Substituto” [$$$] do Oracle Streams

• Não é a mesma coisa que o (Active) Data Guard!

– GG não é Solução de DR (exceto em casos extraordinários!)

– Replicação Lógica, Assíncrona

Captura de dados baseada em log transactional

Diversos modelos de deploy

Integridade Transacional

Heterogêneo

Integração com Java

Oracle GoldenGate


Pra que serve?


Casos de uso

Novo BD/HW/SO/APP

Distribuição de dados

Offload de consultas

Big Data, DW, Data Marts

Message Bus& Data Grid

Data Centers Globais

Streaming de dados

GoldenGate

Databases

Apps

Big Data e NoSQL

Mainframes

Mobile

Streaming & Messaging

Cap

ture

Del

iver

Dis

trib

ute

Re

ceiv

e

Secu

re

Oracle

SQL Server

MySQL

IBM DB2 Z

IBM DB2 i

IBM DB2 LUW

HP NonStop

Informix

Sybase

Messaging

Alta Disponibilidade (HA)

Migração sem paradas

Sincronização de Dados

Ingestão de dados

Query/Report Offloading

Stream

Data Bus (Lambda/Kappa)


Pra que serve?


Casos de uso

Offload de Relatórios/Consultas

Alta Disponibilidade Balanceamento de carga

Hubs Informacionais(Big) Data

WarehousingStreaming


Como funciona ? – Arquitetura Clássica


Bi-Directional

Capture Trail Files Trail Files Delivery

Databases

Apps

Big Data and No SQL

Mainframes

Mobile

Streaming & Messaging

Oracle

SQL Server

MySQL

IBM DB2 Z

IBM DB2 i

IBM DB2 LUW

HP NonStop

Informix

Sybase

Messaging

Binário GoldenGate(“origem”)

Binário GoldenGate(“destino”)


DemoGoldenGate: Oracle -> Oracle



Arquitetura de Microserviços [Apenas Oracle]


Origem Destino

Trail Files

Extract

ManagerGGSCI

Admin Server

Trail Files

Replicat

Pumps

Distribution Server

Collectors

Receiver Server

SourceDatabase

TargetDatabase

HTTPS RESTFulService InterfacesManagerGGSCI

Admin Server

Metrics Server

Service Manager Service

Manager

Metrics Server


Oracle GoldenGate for Big Data e ApacheVisão geral



GoldenGate for Big Data


(Captura)

ExtractTrail Files Trail Files

Entrega)

Replicat

Java

Handler

Oracle

SQL Server

MySQL

IBM DB2 Z

IBM DB2 i

IBM DB2 LUW

HP NonStop

Informix

Sybase

Messaging

Binário GoldenGate(“origem”)

Binário GoldenGate for Big Data(“destino”)

Hadoop

OthersFiles

Streaming

JMS

NoSQL

Oracle Cloud

ParameterFile

Big DataProperties


Apache Kafka

• Sistema distribuído baseado nos conceitos de mensageria em modelo “publish-subscribe”

• Armazena mensagens em tópicos que são particionados e replicados entre brokersem um cluster

• Producers/Produtores enviam mensagens aos tópicos [ex.: GoldenGate for Big Data]

• Consumers/Consumidores consomem mensagens dos tópicos


https://kafka.apache.org/intro

https://kafka.apache.org/intro


OGG for Big Data + Apache Kafka: Motivação

• Streaming, Streaming, Streaming

• Análise de dados em tempo real

• Processamento de Eventos

• Kafka como um “proxy” do Big Data



OGG for Big Data + Apache Kafka: Considerações

• Pode escrever mensagens formatadas em XML, JSON e Avro

• Dois modos de replicação

– TX – transactional

– OP – operation (em muitos casos o mais recomendado)

• A replicação pode ser síncrona (pior performance, garantia de entrega) ou assíncrona (default)

• Em geral, a chave das mensagens será a PK da tabela mas pode ser customizada

• O GoldenGate com Kafka trabalha no modelo de entrega “At least once”– Em casos de falhas pode haver duplicação de mensagens



DemoGoldenGate e GoldenGate for Big Data: Oracle -> Kafka



Revisão da Configuração



Revisão da configuração

• Arquivo de Parâmetros do replicat

– Deve apontar para o arquivo de configuração do handler (.props)

– GROUPTRANSOPS é um bom parâmetro para “tunar” a performance

• REPORTCOUNT é uma boa prática– Persiste no log do processo a quantidade de registros processados a cada intervalo

(1 minute no exemplo)





• Outras classes de Serialization podem ser usadas

• batch.size / linger.ms: These values are highly dependent upon the use case scenario. Typically, higher values result in better throughput, but latency is increased. Smaller values in these properties reduces latency but overall throughput decreases. If you have a high volume of input data from the source trail files, then set the batch.size and linger.ms size as high as possible

– https://docs.oracle.com/en/middleware/goldengate/big-data/12.3.2.1/gadbd/using-kafka-handler.html#GUID-F3170919-9C2F-4C3A-8D51-CA5500C3B7FF

https://docs.oracle.com/en/middleware/goldengate/big-data/12.3.2.1/gadbd/using-kafka-handler.html#GUID-F3170919-9C2F-4C3A-8D51-CA5500C3B7FF


Perguntas

replicando dados para o kafka com o oracle goldengate › db4 › arquivos › palestras ›...

Documents