Pobieranie wyników wyszukiwania ze stron

Witajcie,

moje pytanie niskich lotów:
ciekawi mnie jak działają aplikacje, które pozwalają na wyszukiwanie lotów na stronach przewoźników, przykładowo taki Azuon: http://azuon.com/pl .
Chciałbym stworzyć cuś takiego na własne potrzeby, tak aby mi przeszukiwało połączenia między konkretnymi dwoma miastami, z możliwością przesiadki i w określonym przedziale czasowym.

Jako, że jestem studentem to zawsze mozolnie przeszukuje stronę Ryanaira, bo szkoda kasy na drogie loty, a siostrę trzeba odwiedzać no i jej też by się ostatecznie przydało :D . Szkoda mi już jednak tego czasu i pomyślałem o jakimś zautomatyzowaniu procesu (co i tak będzie ograniczone kodami captcha pojawiającymi się co jakiś czas), lepiej się czegoś nauczyć niż klikać i klikać.

Od razu zaznaczę, że Azuona nie chcę wykupywać, bo jednak jakoś strasznie często nie latam.
Także jakieś wskazówki jakich narzędzi użyć byłyby pomocne.

Pozdrawiam

Nie określiłeś w jakim języku chcesz to napisać, więc odpowiem dla jedynego jaki znam czyli Delphi. Jeżeli chodzi o pobieranie stron po HTTP to pod Delphi można użyć Synapse, Indy (obsługują HTTPS jakby co - polecam te pierwsze) lub moduł SimpleTCP (tutaj musisz samodzielnie rzeźbić obsługę protokołu). Do parsowania wyników jeśli to konieczne moduł do wyrażeń regularnych i klasa TRegExpr. Do wychwycenia jakie dane należy wysłać POST'em do strony sniffer jak WireShark lub jakiś debugger HTTP. Obrazek captchy pobierzesz z pewnością wyżej wspomnianymi komponentami do HTTP. Jeżeli captcha nie jest w JPEG to wyświetlisz je przy użyciu modułów do innych formatów jak pngimage lub gifimage. Co do środowiska możesz użyć darmowego Lazarusa lub wygooglować sobie Delphi 7 Personal tworzące mniej spuchnięte exeki przy pisaniu z użyciem VCL. Więcej informacji na tym forum jak i na mnóstwie stron w google do znalezienia. Tylko, że Ty tak zadałeś pytanie, iż można zrozumieć po temacie wątku, że szukasz narzędzi i języka do pobierania infromacji ze strony www i ich parsowania, a z treści wynika mi raczej, że Ty chcesz sam stworzyć stronę www, która by takie informacje przejmowała z innych, a do tego pewnie potrzeba przynajmniej PHP, ale w tym już nie pomogę.

Dzięki olesio za nakierowanie. Przynajmniej wiem teraz mniej więcej jak to wygląda i wiem za czym mniej więcej googlować. Najwygodniej byłoby mi chyba w Javie, ewentualnie C++, bo przynajmniej miałem styczność. Będę musiał poszukać odpowiedników ww. narzędzi.
Strony www nie chcę robić. Jako że to na własny użytek, wyniki mogą być choćby w pliku tekstowym. Jakby mi się udało zrobić coś na zasadzie: podaję daty od 1. lipca do 31. sierpnia i zwróciło, by mi dni w których przykładowo są możliwe loty z Poznania do Oslo i później z Oslo do Dublina, to już by było coś. Zawsze to później mniej klikania ręcznego.

@bLAZY ściągnij jakąś bibliotekę do crawlowania (do javy masz np. crawler4j)