Bieżące zczytywanie rekordów z wielu baz danych do jednej wspólnej bazy danych

Cześć,
od razu zaznaczę, że moja wiedza na temat baz danych jest dość podstawowa. Niemniej jednak chciałbym zapytać, czy istnieje możliwość bieżącego zczytywania rekordów z wielu baz danych (około 100) i zapisywania ich w jednej bazie danych? Dodam, że każda z tych baz danych ma taką samą strukturę. Jeżeli wiecie w jaki sposób można coś takiego zrobić (o ile w ogóle jest to technicznie możliwe) to byłbym bardzo wdzięczny, gdybyście mnie nakierowali trochę ;)

Szukaj pod hasłem replikacja.

Change data capture, aczkolwiek wydaje się że architektura systemu jest lekko zdupna.

Nie wiem jaki jest case, ale powinieneś tego szukać pod hasłem OLTP vs OLAP. W skrócie OLTP to wykorzystywanie DB w celu typowych biznesowych procesów np. management użytkownikami. OLAP to zazwyczaj Big Data, w celu analizy danych to integruje zazwyczaj wiele baz OLTP
ew. jeżeli chcesz mieć fizycznie odbicie rekordów to hasło do odszukania to: horizontal sharding/partitioning, ale to też nie do końca to samo

@m94: Chodzi o to, że mam około 100 baz danych, do których dane wprowadzają ludzie z całej Polski. Chciałbym utworzyć jedną dużą bazę danych, która zawierałaby rekordy z tych wszystkich baz danych. Ważne dla mnie jest też to, żeby ta baza była na bieżąco aktualizowana

Ale jaki jest cel takiej bazy, cele analityczne czy podpinasz pod nią jakąs aplikacje. Bo może to czego potrzebujesz to "data warehouse"

@m94: Głównym celem tej bazy jest po prostu odczyt wszystkich rekordów, które istnieją w każdej z tych baz danych. Właśnie czytam o data warehouse i chyba to jest to czego szukam. Nie wiem natomiast czy w hurtowniach danych da się odczywywać bieżący stan każdej z tych baz? Pytam, ponieważ bazy danych, które posiadam są aktualizowane praktycznie codziennie i chciałbym aby w mojej hurtowni dane były aktualizowane na bieżąco

To tematyka big data, w której ekspertem nie jestem i jej po prostu nie lubie, może ktoś bardziej Ci pomoże ale
jeżeli jesteś nastawiony na data warehouse to zapoznaj się z "real time data warehouse"
i może niepotrzebujesz data warehouse, tylko wystarczy jakiś OLAP/Spark

Nie. Do hurtowni dane się transformuje. Dokonujesz wyliczenia agregatów, część danych kasujesz, część grupujesz i do hurtowni trafiają dane przetworzone. Pytanie kto i jak będzie korzystał z tej centralnej bazy danych. Jeśli 1-1 ma to być to hurtownia nie jest dobrym pomysłem. Być może nawet replikacja nie jest potrzebna. Jeśli chcesz po prostu móc przeglądać te wszystkie dane na raz i masz określone case, to zrób serwis proxy, który te dane udostępni, a on już pociągnie to z n baz. Replikacja jest robione w celu bezpieczeństwa danych bardziej, a hurtownie w celu analizy tych danych już częściowo agregowanych.

@pragmaticdev: Docelowo z tej centralnej bazy danych będzie korzystać parę osób. Pytanie czy serwis proxy jest stosunkowo bezpiecznym narzędziem? Bezpieczeństwo tych danych to dla mnie kwestia nadrzędna, bo wiecie jakie są kary za złamanie RODO ;/

Wystawienie proxy pod konkretne dane jest 100000% bardziej bezpieczne niż wystawianie bazy, gdzie każdy może zrobić SQL Injection lub po prostu zadać zapytanie.

@pragmaticdev: w takim razie muszę zapoznać się z tym co napisałeś. Dzięki za zaangażowanie i pomoc ;)