Locust - intepretacja wyników.

Witam
Wykonałem testy wydajnościowe w Locust. Wyszło świetnie lecz przyłapałem się że patrze na dane i chyba je źle interpretuję. Problem tkwi w RPS. Puściłem 50 użytkowników, Spawn rate = 2. i dostałem 59 RPS. Natomiast jak dałem 400 użytkowników rate na 2 i dalej ten sam RPS.
Teraz pytanie jak mam interpretować ten parametr. To jest tyle ile leci do REST czy raczej mam to odczytywać tyle ile rest jest wstanie odpowiedzieć i nic więcej. Czy może to oznacza coś innego. A jeśli chodzi o response time tyczy się do pojedynczego odpytania ?

Generalnie jak mam interpretować te dane.

Natomiast jak dałem 400 użytkowników rate na 2 i dalej ten sam RPS.
Teraz pytanie jak mam interpretować ten parametr. To jest tyle ile leci do REST czy raczej mam to odczytywać tyle ile rest jest wstanie odpowiedzieć i nic więcej.

RPS raportowany przez Locust to liczba żądań na sekundę obsługiwana przez serwer. Nie mierzysz natężenia ataku DDoS, żeby określać liczbę nadchodzących żądań (lub ich objętość) ;)

Zależy jeszcze w jakim tempie ci użytkownicy strzelają żądaniami. Spawn rate określa, ilu nowych użytkowników Locust ma dorzucać do puli w pewnej jednostce czasu (nie pamiętam, co sekundę czy coś). Jest jeszcze parametr określający częstotliwość wysyłania żądań, a to nie to samo.

No i pytanie, jaki masz czas trwania testów - jeśli test się kończy, zanim Locust zdąży zapełnić pulę symulowanych użytkowników do określonej liczby, to te 59RPS może wcale nie oznaczać, że tylko tyle przetworzy Twój serwer, tylko że akurat taką pulę Locust rozkręcił nim testy dobiegły końca :)

A jeśli chodzi o response time tyczy się do pojedynczego odpytania ?

Zakładam że mówisz o response time z finalnego raportu. To są jakieś-tam statystyki dotyczące czasu odpowiedzi - czas średni, minimalny, maksymalny, percentyle - Locust podaje ich trochę. Nie jest to czas odpowiedzi na jedno konkretne żądanie.

Super dzięki za odpowiedź. Czyli jednym słowem serwis jest wstanie obsłużyć około 60 zapytań na sekundę.
A czy da się w Locust zasymulować taki nawał zapytań jak robi się to w jmeter ?

Zależy co rozumiesz przez "taki nawał".

Generalnie wspólną cechą narzędzi do load testów jest możliwość wygenerowania dużego ruchu, więc bez tego Locust byłby bezużyteczny. Kwestia tego, który tool może wyciągnąć najwięcej na tej samej maszynie i sieci, no ale tego nie powiem, bo nigdy ich nie porównywałem.

Czyli jednym słowem serwis jest wstanie obsłużyć około 60 zapytań na sekundę.

A sprawdziłeś i Locust na pewno dobija do tych iluśset użytkowników? Upewnij się że tak jest i wtedy będziesz mógł na 100% potwierdzić.

No i jeszcze jedno, jak masz na jednej maszynce zarówno narzędzie do perf testów i aplikację, to nie dostaniesz rzetelnych wyników - oba narzędzia będą podbierać sobie nawzajem zasoby.

Tak dobija do odpowiedniej ilości użytkowników i trzymam go tak jeszcze przez 5 minut. Nie przekraczam magicznej granicy 60 RPS. Testy odpalam na swojej maszynie. Procek sieć się wręcz nudzą. Sama usługa jest odpalona w chmurze google.
Jeśli chodzi o nawał danych to tak żeby rzucić np 700 odpytań w ciągu sekundy i patrzeć jak sobie radzi serwer z takim strzałem. Czy już zdechł jaki jest czas odpowiedzi itp.

Myślę, że jeśli nie odpalasz toola na kalkulatorze podpiętego przez modem 56kbps, to dowolny wyciągnie coś rzędu 700 RPS - stukanie żądaniami nie powinno być ciężkie obliczeniowo. Raczej spodziewałbym się, że głównym blokerem byłoby oczekiwanie na odpowiedzi serwera itp. zanim klient ponowi żądanie