AirFlow - poleci ktoś dobre materiały do tego?

Od prawie roku żyję sobie po sąsiedzku z AirFlow. Ja nie pytam, on nie przeszkadza. Jak coś trzeba zmienić to zwykle metodą kopuj wklej, bo wielcy przedwieczni napisali dość spory zestaw skryptów. No ale czasy się zmieniły i mój LM i TL w jednej osobie stwierdził że pora użyc większej ilości featurów z AirFlow. Rezultat jest tego taki że robię coś co prawdopodobnie jest niewykonalne, a przynajmniej w wersji AirFlow którą mamy. No ale może wiedziałbym to wcześniej jakbym wiedział więcej o AirFlow

TL;DR jak w temacie, poleci ktoś coś dobrego i zrozumiałego o AirFlow dla początkującego?

Materiałów nie polecę bo uczyłem się w trakcie trwania developerki :D na bieżąco z Google, SO oraz Astronomer.io. Co prawda AWS MWAA, ale napisz co chcesz zrobić, może uda się pomóc.

markone_dev napisał(a):

napisz co chcesz zrobić, może uda się pomóc.

Chciałem tak ogólnie poczytać noa co to, po co to. Bo na razie to służy głównie do generowania mi problemów i zmuszania mnie do pisania w pythongu.
A w tym konkretnym zadaniu mam zrobić dynamiczną ilość odpalanych tasków na podstawie tego co przychodzi w dag_run.conf

Brzmi jak zadanie dla mapped tasks https://airflow.apache.org/docs/apache-airflow/2.3.0/concepts/dynamic-task-mapping.html. Jak się pogoogluje na ten temat to jest nawet sporo przykładów jak tego użyć. My tego używamy żeby dynamicznie skalować DAGi w zależności od ilości danych na wejściu. W wyniku generowane są taski, które wołają AWS Lambdy pod spodem, które to robią robotę.