Witam
Chciałbym uzyskać trochę informacji na temat tworzenia robota sieciowego a mianowicie w jakim języku go można stworzyć czy raczej to jest zwykły skrypt? Czy potrzeba do tego swojego serwera?
Chodzi o to by robot sieciowy przeglądał strony i wyszukiwał określonych słów kluczowych a jeżeli znajdzie to żeby zapisywał gdzieś link do tej strony.
Każdym który pozwala obsługiwać TCP/IP. Zależy który ci pasuje i jak złożony ma to by robot bo w 15-20 minut można machną w PHP bardzo prosty, albo w Javie wielowątkowy, rozproszony.
Czyli teoretycznie w JavaScript też powinno się dać? Chodzi mi o prostego robota
Przeszukuj np. 10 stron z pierwszej listy Google, szukaj określonej frazy, jeżeli znajdziesz zapisz do pliku.
W praktyce też się da :D Aczkolwiek js nie lubię i ci nie pomogę. Zbyt dziwny język to dla mnie jest.
Dobrze ale przypuśćmy że napisaliśmy już np. w PHP jak i gdzie takiego bota odpalamy?
Zależy co masz dostępne i jak wygląda u ciebie finansowanie. Bo np możesz to postawi u siebie na PC/Lapku na firmowym kompie jeżeli istnieje taka możliwość, czy też użyć darmowego/płatnego hostingu www, bądź VPS.
hosting posiadam z tym że póki co taki bot by służył do testów, nie musiałby działać 24/h bo dopiero będę tworzył projekt, dlatego na tą chwilę najbardziej pasuje mi opcja na własnym PC. To od czego zacząć pisanie takiego bota? Może być w PHP
Zakres jego działań.
No nie wiem czy dobrze to precyzuje jego target ;)
Dobrze rozumujesz, z tym że nie do pliku tylko do bazy danych będzie szybciej i łatwiej, nawet później z obróbką zebranych danych.
Poczytaj sobie troszkę o php curl mysql regex ew. dom xml.
Rozumiem, a potem go odpalamy na zasadzie start / stop czy po prostu on będzie działał wtedy kiedy działa PC i nie mamy nad nim kontroli?
Start/stop, ale można go odpala też z autostartu.
Właśnie bardziej by pasowało jakieś start / stop tylko ciekawe o ile trudniej dodać taką fukcjonalność ;)
pod windows z cmd piszesz php -f <nazwapliku.php> i masz włączone, Ctrl+C i masz ubity skrypt.
Rozumiem to całkiem fajna opcja. A czy gdzieś można znaleźć gotowy prosty kod robota żeby mieć do nauki?
PHP, Python, JavaScript.
Szukaj pod hasłem "crawler", "spider", "web mining".