TL; DR
Moim zdaniem ta architektura jest niepotrzebnie zbyt złożona. W ogólności odradzałbym też mieszanie wątków i procesów pythonowych.
Czy taka koncepcja ma sens i czy zastosowanie wątków oraz procesów w takiej formie jest rozsądne?
Na początku odpowiedziałbym sobie na pytanie, czy w ogóle potrzebujesz wątków. Domyślam się, że wiesz, iż w Pythonie jest coś takiego jest GIL (Global Interpreter Lock). Istnienie GIL-a wynika z samego działania pythonowego Garbage Collectora. To co jest istotne to fakt, że GIL nie pozwala uruchamiać kilku wątków na wielu procesorach. Implikuje to, że moduł threading w Pythonie zawsze będzie wykonywał kod tylko na jednym procesorze. Można więc zapytać, jaka jest korzyść z tego modułu w ogóle? Okazuje się, że w przypadku tzw. operacji wejścia-wyjścia (I/O) większość programów spędza czas na oczekiwaniu na przyjście danych. Na przykład wysyłamy żądanie http i czekamy aż strona nam odpowie. Samo wysłanie żądania jest relatywnie dużo krótsze.
System operacyjny komputera, załóżmy z jednym procesorem (chyba już rzadko spotykane), wydaje się wykonywać wiele zadań równolegle. W rzeczywistości tak nie jest. W danym momencie czasu t procesor wykonuje tylko jedną operację na raz. Przykładowo renderuje okno z przeglądarką lub odtwarza muzykę. Wszystkie tego typu zadania są dzielone na kawałki i wykonywane naprzemiennie w bardzo krótkim czasie dt. W przeciwnym razie, gdyby procesor w pętli renderował okno przeglądarki cały czas, to nie moglibyśmy słuchać muzyki. Czas dt jest bardzo krótki, w sieci znalazłem dość duży rozrzut tej wartości od nanosekund po kilkadziesiąt milisekund. Czyli po czasie dt zapisywany jest bieżący stan renderowania okna i procesor przełącza się na odtworzenie fragmentu piosenki. Operacja przeskakiwania nazywa się przełączaniem kontekstu (context switch). Jeśli przełączanie kontekstu rzeczywiście następuje po czasie ~10 ms, to użycie wątków niewiele tu pomoże. Chyba najprościej to sprawdzić, pobierając zapytania z pomocą wątków i bez, i porównując czasy.
Czy jesteśmy w stanie z wątku przesłać dane bezpośrednio do procesu
W teorii tak, przy czym ja tego nigdy nie próbowałem, więc potwierdzić nie mogę. Tworząc nowe procesy za pomocą modułu multiprocessing uruchamiane są kolejne interpretery Pythona. Każdy z nich posiada własny GIL. Z mojego punktu widzenia nic nie stoi na przeszkodzie, aby w obrębie procesu uruchomić wątki. Wszak "główny program" zostaje zawsze uruchomiony w nadrzędnym procesie Pythona. Aby współdzielić dane pomiędzy pythonowymi procesami wykorzystuje się serializację. To implikuje, że pomiędzy procesami można przekazywać obiekty picklowalne. Przykładowo nie da się przekazać wyrażenia lambda.
W jaki sposób najlepiej przesyłać dane między jednym a drugim wątkiem?
W przypadku wątków możesz użyć zmiennych globalnych zdefiniowanych w wątku nadrzędnym (głównym) i wykorzystać je w pochodnych wątkach. Aby uniknąć zjawiska race condition powinieneś także obsłużyć zamek. Lepszym rozwiązaniem będzie jednak wykorzystanie kolejki Queue, które ten mechanizm posiada. Można również definiować swoje własne typy, ważne by panować na takimi rzeczami jak wspomniany race condition lub deadlock.
W jaki sposób najlepiej przesyłać dane między programem głównym a procesem?
Jak pisałem wyżej, program główny to też proces, wykorzystać trzeba serializację. Jeśli używasz starszych wersji Pythona, znajdziesz coś takiego jak SyncManager, który udostępnia obiekty typu AutoProxy (obiekty podlegające serializacji). Od wersji 3.8 możliwe jest używanie SharedMemory, co może być pomocne, jeśli operujesz na dużych zbiorach, np. spore tablice z NumPy.
W jaki sposób najlepiej przesyłać dane między procesem a którymś z wątków (jeśli w ogóle to możliwe)?
To musiałbyś zestawić to, co napisałem w dwóch poprzednich punktach.
Podsumowując, architektura jest zbyt zawiła. Nie mieszałbym procesów i wątków w jednym programie, póki nie miałbym wystarczająco dobrych argumentów, by to robić. Na pierwszy rzut oka ograniczyłbym się do multiprocessingu, chyba że faktycznie wątki znacznie przyspieszają pobieranie. Ale to trzeba sprawdzić, bo brakuje mi tu wiedzy. Co do multiprocessingu to też pewności nie mam. Być może te obliczenia które wykonujesz nie są w ogóle zoptymalizowane i niepotrzebnie spawnujesz dodatkowe procesy. Być może z wykorzystaniem modułu numpy nie potrzebowałbyś w ogóle współbieżności.