Robot do wyszukiwania po stronach WWW

0

Chciałbym się dowiedzieć jak zrobić robota w delphi który po wpisaniu np. abc.jpg będzie mi szukał w necie takiego pliku i jak znajdzie to mi go ściągnie.

  1. Jak działa wyszukiwanie np. w google?
  2. czy szuka stron jedynie po linkach?
  3. Czego muszę uŻyć żeby coś takiego zrobić?
    Reszte sobie już znajdę. Z góry dzięki za odpowiedzi.
0

Z tego co wiem to robot googli szuka przeszukując strony i podstrony,
po linkach w nich zawartych.
Robota googli można ustawiać na swojej stronie np tak:
<META name="robots" content="index,follow,all">
<META name="robots" content="all">
i wtedy google przeszukują nasze zasoby w określiny sposób.
Bardzo dobry post i też czekam na odpowiedzi na niego ;-)

0
endrique napisał(a)

Chciałbym się dowiedzieć jak zrobić robota w delphi który po wpisaniu np. abc.jpg będzie mi szukał w necie takiego pliku i jak znajdzie to mi go ściągnie.

  1. Jak działa wyszukiwanie np. w google?
  2. czy szuka stron jedynie po linkach?
  3. Czego muszę uŻyć żeby coś takiego zrobić?
    Reszte sobie już znajdę. Z góry dzięki za odpowiedzi.

Jak działa wyszukiwanie Google? Bardzo prosto. Mamy robota Googlebot, który indeksuje strony i zapisuje w bazie dancyh. A potem klaster około 500 serwerów Linuksowych zajmuje się przeszukiwaniem tej bazy. Czyni to w kilka setnych sekundy zwykle.

Googlebot dokładnie szuka innych istniejących stron po linkach ze stron które już zaindeksował.

Czego musisz użyć? Bazy danych, szybkiego kompa, dobrego połączenia z internetem. Potem napisać crawlera i zindeksować różne strony. I już.

Znacznie prostsze było by pobieranie wyników jakie zwraca Google dla danego zapytania i ich odpowiednie przerabianie w programie.

0

Ale dalej nie wiemy jak to zrobić:/

0

po pierwzze musisz miec jakas inernetowa wyszukiwarke, chyba ze torzysz wlasna :U
nastepnie komponentem http get sciagasz plik np. z googli nie jest to zaawansowane ale co ci szkodzi

procedure TForm1.Button4Click(Sender: TObject);
var
i : integer;
s : string;
begin
s := edit1.text;
for  i:=0 to Length(S) do
begin
   if Pos(' ', s) > 0 then
   begin
       Insert('+', s, Pos(' ',s));
   Delete(s, Pos(' ', s), 1);
    end;
end;
edit1.text := s;
if wyszukiwarka.text = 'Google' then
begin
ShellExecute(Handle, 'open',Pchar('http://www.google.com.pl/search?q='+edit1.text+'&hl=pl'),nil,nil,SW_SHOWDEFAULT);
end;
{
http://www.google.com.pl/search?q=Bios+Update&hl=pl


}
end;

pozniej siagasz http://cezet.host.sk/HTTPdwn.rar i patrzysz co jest w nim tak ciekawego co sprawdza htmele, zawsze mozesz sciagniety plik tak interprertowac ze laiujesz go do memo i dac kod if pos('plik.exe',lowercase(memo1.text)) > 0 then co daje jak znalazl ten ciag znakow to.... na sciagniecie pliku sa rozne spooby zajrzyj do FAQ

1 użytkowników online, w tym zalogowanych: 0, gości: 1