CDC. Debezium. Przeniesienie danych statycznych na strumień.

0

Stoimy w projekcie przed przejściem z danych statycznych na eventy.
Przed PoCem chce zrobić analizę by ogarnac ile rzeczy nie da się zrobić przez kafka connect Debezium.

Mamy stack: :
AsIs
Baze danych (dajmy, ze to postgres).
ToBe - jako dzwig do przeniesienia danych do nowego swiata
Debezium
KafkaConnect
Kafka

Efekt docelowy jaki chce uzyskać to przemapować tabele na eventy..
Jednakże nie jest to mapowanie 1:1, stuktura per event.

Event czasem bedzie składał sie z kilku tabel. Bedzie inne nazewnictwo.
Chce uniknac pisania kodu i ACLi, czy to jest w ogole mozliwe?

0

Ogólnie to nie wiem, czy da się uniknąć pisania kodu przy takiej migracji. A już ACLe (jeśli dobrze rozumiem i jest to kafkowe Access Control List) to ustawić jakieś będziesz musiał.

Możesz opisać może coś szerzej? Pracowałem przy Debezium chociaż takiej migracji jak twoja nie robiłem. Debezium rozumiem tak, że to po prostu takie rozwiązanie do monitorowania baz danych - i w tym kontekście "przejście z danych statycznych na eventy" raczej nie ma większego sensu bo te dane statyczne ciągle będą musiały być - tyle tylko, że będziesz miał takie nibytriggery na bazie danych, które wygenerują ci wiadomości do Kafki o zmianach.

0

Czy ten producent eventów nie powinien być przed bazą danych? Tak jak piszesz event może dotyczyć kilku tabel ale zapewne jest zapisywany spójnie w transakcji i wyobrażam sobie że prościej byłoby to zrobić w warstwie która robi zapisy do DB

1 użytkowników online, w tym zalogowanych: 0, gości: 1