Witam,
czy ktoś z Was orientuje się z jakich powodów większa liczba maszyn i wątków nie skraca czasu obliczeń? W czym może leżeć problem?
0
0
Nie szukam rozwiązanie konkretnego problemu, a jedynie zastanawiam się jakie są ogólne przyczyny zawodzenia obliczen rozproszonych.
6
Przy obliczeniach rozproszonych masz dodatkowy narzut który trzeba uwzględnić przy obliczeniu przyspieszenia.
- serializacja danych
- komunikacja
- synchronizacja
- wąskie gardła, np. alokator pamięci, dysk twardy
- psucie cache'a (wątki)
- czas wybudzania węzła obliczeniowego
- dodatkowe procesowanie które nie występuje przy wersji jedno-wątkowej np. łączenie wyników
2
Do tego co napisał @vpiotr dodam tylko:
https://pl.wikipedia.org/wiki/Prawo_Amdahla
https://pl.wikipedia.org/wiki/Prawo_Gustafsona
w szczególności propoinuje zauważyć co się stanie jeśli jeśli cześć "niemożliwa do zrównoleglenia" będzie dominować obliczenia.
0
Częstym tego powodem jest zła sieć: zbyt mały transfer lub/i zbyt duże opóźnienia. W HPC standardem jest Infiniband, lub przynajmniej Ethernet 10 GbE