Przyszłość ETL/Hurtowni Danych

Hej,

Od 4 lat jestem deweloperem ETL przy hurtowniach danych, pracuję w Informatica PowerCenter. Aktualnie kończy mi się projekt i będę mieć kolejny przy użyciu Azure Synapse. I generalnie to mi się podoba, natomiast dostaje sporo ofert odnośnie Informatica PowerCenter lepiej płatnych. Zastanawiam się czy na dłuższą metę warto brnąć jeszcze w zbieranie doświadczenia w Informatica PowerCenter, narzędzie wydaje się trochę przestażałe... moje obawy są takie że teraz jest jeszcze ok, ale wydaje mi się że Informatica traci udział w rynku na rzecz innych rozwiazań ETL. Technologie/narzędzia od MS zawsze były mi też jakieś bliże/przyjemniejsze

Ma ktoś z was jakąś opinię na ten temat?

Hurtownie danych odchodzą do lamusa na rzecz data lake'ów - idea podobna, ale implementacja całkiem inna. Jeśli chodzi jednak o przyszłość DWH to pewnie długo będzie jeszcze będzie co robić.

Jeśli chodzi o Informatica PowerCenter to nie znam narzędzia zbytnio ani rynku zeń związanym.

Jak masz robić w Synapsie to pewnie będziesz też robił na ADL (azure data lake). Tak jak mówi przedmówca, dl to przyszłość ze względu na brak pewnych ograniczeń, które występują w typowej hurtowni.

Szczerze przyznam że nie znam żadnej sensownej implementacji dl. A nazwie ustruktuktyrozowanj przestrzeni dl nic nie zmienia.
Z puntu widzenia długoterminowego to chyba warto wejść w nowa technologię. Jeśli narzędzie w ktorym pracujesz, jest nadal rozwijane i nadąża za trendami , a ofert cały czas jest dużo to może być ciężka decyzją. Pytanie czy ty chcesz coś zmienić czy chcesz się specjalizować w obecnej technologi.

Informatica PowerCenter jest dla mnie wygodna bo już ją znam, ale boje się że pracując w niej nie będę szedł za duchem czasu i zostanę w tyle, gdzie osoby świeżo po studiach będą bardziej obeznane w temacie i będą tłumaczyć mi co i jak ;) Fakt, że na niszowe i przestarzałe technologie też są całkiem sensowne oferty, ale nie chciałbym być gościem który siedział 20 lat w jednym narzędziu, a później nie będzie potrafił się odnaleźć w nowych rzeczach, jak skończy się aktualny projekt. Patrze na to z perspektywy kiedy sam byłem świeżo po studiach i ogarniałem nowsze technologie/frameworki niż koledzy z kilkudziesięcioletnim stażem, bo np od kilkunastu lat klepali WinFormsy, których nie używało się w nowszych projektach.

Pytanie zasadnicze- ile masz lat. Jeśli 30, to może bym nie szedł dalej w ETL, ale jeśli np. jesteś grubo po 40 i jesteś zadowolony z pracy, to czemu nie. Trochę jeszcze te stare klocki pociągną, więc ja bym stawiał, że pracy na ~20 lat starczy (czyli do emerytury dociągniesz, oczywiście pomijam fakt czy coś takiego będzie istniało, ale nie o tym dyskusja), ofert będzeisz miał niewiele, ale konkurencji praktycznie zero.

micheangelo napisał(a):

Pytanie zasadnicze- ile masz lat. Jeśli 30, to może bym nie szedł dalej w ETL, ale jeśli np. jesteś grubo po 40 i jesteś zadowolony z pracy, to czemu nie. Trochę jeszcze te stare klocki pociągną, więc ja bym stawiał, że pracy na ~20 lat starczy (czyli do emerytury dociągniesz, oczywiście pomijam fakt czy coś takiego będzie istniało, ale nie o tym dyskusja), ofert będzeisz miał niewiele, ale konkurencji praktycznie zero.

Mam 31 lat, zaczynałem od wsparcia aplikacji transakcyjnych z użyciem baz MS SQL i raportach Reporting Services opartych o wspomniane bazy. Los chciał że od 4 lat pracuje z hurtowniami danych i ETL. Teraz mam trochę Azure Synapse, co jakiś czas pojawiają się oferty ale nie wiem w którą stronę iść, tak jak wspomniałem zawsze te technologie od Microsoft były mi bliższe

porschelukas napisał(a):

Mam 31 lat, zaczynałem od wsparcia aplikacji transakcyjnych z użyciem baz MS SQL i raportach Reporting Services opartych o wspomniane bazy. Los chciał że od 4 lat pracuje z hurtowniami danych i ETL. Teraz mam trochę Azure Synapse, co jakiś czas pojawiają się oferty ale nie wiem w którą stronę iść, tak jak wspomniałem zawsze te technologie od Microsoft były mi bliższe

Skoro tak to zapoznaj sie z Azure. Masz tam narzedzia od ETLowych (ADF), przez narzedzia do trzymania danych, a konczac na narzedziach wizualizacji (PBI). Ofert pracy szukaj w szeroko pojetym BI. Tam bedziesz mial pozycje rozbite mniej wiecej na to co napisalem (przynajmniej jesli chodzi o stack MS).