Witam,
Powiedzmy ze konstrukcja serwisu jest taka :
plik main.php:
<?
switch $etap{
case 1:
include("1.html");
break;
case 2:
include("2.html");
break;
itd...
}
?>
Na gorze oczywiscie jakies menu i w zaleznosci od zmiennej etap ( main.php?etap=1) ladowany jets plik html do pliku main.php.
Teraz moje pytanie czy robot zajrzy do plikow wszystkich plikow html?
Oczywiscie kazdy ma metatagi index,follow dla robotow.
Jezeli do wszystkich elementow da sie dotrzec klikajac w linki to tak.
A jezeli menu jest we Flashu ? i przesylana jest zmienna etap w postaci GET ale z flasha?
A drugie pytanie czy jezeli zrobiony jest mod rewrite tzn jezel ktos wpisze strone http://www.serwer.pl/1.html to mod rewrite zamieni to na www.serwer.pl/main.php?etap=1 to co wtedy ?
Z flasha to nie wiem. Ale mod_rewrite nie przeszkadza. Robot dziala tak jak przegladarka - sciaga wszystkie linki ze strony wysyla zapytanie o kolejny i czyta odpowiedz. Jezeli serwer wysle poprawna odpowiedz (a wysle, bo poprawny mod_rewrite nie ma tu znaczenia) to bomba.
Czy z flashem zadziala to pytanie czy roboty potrafia czytac to co we flashu. Nie jest to niemozliwe, ale jakos watpie. W takim wypadku chyba lepiej zrobic wersje alternatywna strony w przypadku wykrycia braku flasha. Cos mi sie kojarzy, ze mozna bylo poinstruowac roboty o tym, ze tresc jest dla nich gdzie indziej, ale to mgliste kojarzenie, wiec nie bede kontynuowal mysli ;)
Czyli jedyną rozsądną rzeczą jezeli np zache nam sie zrobić menu glowne we flashu, gdzies na dole umiescic linki do wszystkich działow normalnie w HTML-u, nawet malymi literkami nie rzucajacymi sie w oczy.
A teraz pytanie na ktory plik wskakuje robot? Bo zeby wskoczyl to albo gdzies musi byc link do mojej strony albo musze strone zglosic do wyszukiwarki, i teraz robot wskakuje na moj adres i do jakiego pierwszego pliku biegnie? Index.html, index.php ? Czy do tego do ktorego jest przekierowanie z danej domeny?
Nie wydaje mi sie to najbardziej rozsadne bo bedzie dziwnie wygladalo. Ale jak inaczej to nie mam pomyslu.
A na jaki plik? Jak ktos daje adres np. 4programmers.net, no to wskakuje na ten adres, bo to na glowie serwera jest, zeby podac poprawny (czyli np. domyslny index.html).
Robot nie zajmuje sie plikami a żądaniami wysylanymi do serwera. Poki serwer daje sobie z nimi rade i robot dostaje odpowiedz - czyt. potencjalna liste kolejnych linkow do odwiedzenia - to jest ok. Jak ktos poda niepoprawny link do Twojej strony, no to robot jej nie znajdzie (tak jak Ty bys nie znalazl gdybys niepoprawny wpisal w przegladarke).
Czyli podsumowywujac jezeli mam adres ktory prowadzi do pliku index.php dalej mam np 100 plikow html ale na stronie index.php nie mam zadnego linku to tych plikow to robot ich nie zindeksuje tak ?
A teraz co sie dzieje jak jest plik robot.txt ? Po pierwsze robot sprawdza czy jest ten plik, jezeli jest to go czyta i teraz jezeli w tym pliku umieszcze wszystkie moje pliki html z parametrem index to pomimo ze w glownym pliku index.php nie bedzie linkow beda zindeksowane? :-) A juz doczytalem tam sa tylko te strony ktorych ma nie odwiedzac :-)
No generalnie nie musi trafic z index.php, tylko skadkolwiek. Jezeli na innej stronie (np. jakism forum) jest link do podstrony i robot sie na niego natknie to pewnie tez przeczyta. Chociaz wypadaloby, zeby z glownej strony dalo sie dostac wszedzie (niekoniecznie bezposrednio of coz), bo i po co taka strona, ktorej polowa jest schowana?
Teoretycznie, jezeli masz np. panel administracyjny, na ktory wchodzi sie poprzez wpisanie jednego konkretnego linku, ale wpisujesz go recznie, to robot na taka podstrone nigdy nie trafi - bo nie ma skad.
Robot to zwykła przeglądarka, jeśli gdzieś sie da wejść to tam wejdzie, jak sie nie da to nie wejdzie, niczego sie nie domyśla tylko idzie po linkach. Proste jak budowa cepa.
A robots.txt tylko google używa, yahoo na przykład go olewa
Co do linków do podstron - najlepiej zrobić coś takiego jak mapa strony. Na dole masz linka do mapy strony i w tej mapie strony masz linki do wszystkich podstron (rzecz jasna posegregowane i opisane, nie taka lista jak leci, najprościej posegregować tak samo, jak są posegregowane podstrony w menu). Przydatne zarówno dla robotów, jak i dziesiątek innych przeglądarek, które flasha nie obsługują oraz osób, które nie zainstalowały/wyłączyły sobie flasha. Brak takiej mapy strony w przypadku menu nie napisanego w czystym HTML jest poważnym naruszeniem dostępności strony.
Rozumiem, a patrzcie wczytuje sobie flasha w ten sposob:
<div id="content" style="width:100%"></div>
<script type="text/javascript">
var so = new SWFObject("gora.swf", "content", "700", "222", "6", "#ffffff");
so.addParam("quality", "high");
so.addParam("wmode", "transparent");
so.addParam("scale", "noscale");
so.addParam("salign", "lt");
so.write("content");
</script>
We flashu oczywiscie jest menu niedostepne dla robota. Teraz gdybym w linię div zmienił na:
<div id="content" style="width:100%"><a href="1.html">1</a><a href="2.html">2</a> itd ...</div>
Wiadomo ze te linki sie nie wyswietla bo diva wypelni flash ale zrodle one beda widniec. Wiem ze to "brzydki" sposob ale da pozytywny rezultat ?
Rezultat da pod warunkiem, ze flash (a dokladniej swfobject) wypelniajac diva nie kasuje starej zawartosci - a mnie sie zdaje, ze tak wlasnie robi...
Po drugie wiadomo dosc powszechnie, ze google jest dosc wrazliwy na wszelkie proby okantowania go co do zawartosci - nie wiem czy takie cos nie bedzie potraktowane podejrzanie. Bo link jest, a na stronie nie widac...
Rozwiazanie Adama jest fajne, profesjonalne i mnie sie osobiscie podoba :) Tym bardziej, ze pod wzgledem uzytecznosci taka mapa tez jest zazwyczaj na wysokim poziomie - nie tylko jako zbedny dodatek.
O to to właśnie co napisał Adam! W googlach to nawet jakoś da się chyba wskazać plik z mapą danej witryny żeby sobie sam wiedział co i jak.
o tutaj ładnie pisze:
http://www.google.pl/support/webmasters/bin/answer.py?answer=34654
johny: nie jestem pewien, ale może nie zadziałać - gdy chcesz poprawić pozycjonowanie np. białym tekstem na białym tle, to robot google to wykryje.
Coldpeer napisał(a)
johny: nie jestem pewien, ale może nie zadziałać - gdy chcesz poprawić pozycjonowanie np. białym tekstem na białym tle, to robot google to wykryje.
Nie bardzo rozumiem nawiazanie do mojej wypowiedzi. Takie kantowanie mialem wlasnie na mysli :)
// pomyłka, post był do Gliny :) - Cold
// [soczek] - johny
Ok kumam, a jeszcze taka kwestia jezeli stronka glowna, powiedzmy index.php zawiera switch-a ktory steruje co ma sie wczytac np.
switch ($etap) {
case 1:
include("1.html");
break;
case 2:
include("2.html");
break;
default:
include("start.html");
}
To czy robot traktuje stronki 1.html i 2.html jako znalezione czy on dziala jak przegladarka ze wejdzie na ten na ktorym bedzie spelniony warunek ?
Czyli jezeli wchodzimy na stronke pierwszy raz to automatycznie spelniony jest warunek default i wtedy robot zczyta tylko plik index.php oraz start.html , dobrze mysle?
Dobrze.
Ale robot wchodzac na default nie ma pojecia o istnieniu 1 i 2.html, bo nie ma ich w zrodle (HTML). Tego kodu, ktory pokazales powyzej robot przeciez nie widzi. Widzi tylko efekt tych dzialan. Tak jak mowilem wczesniej. Jezeli w efekcie tych dzialan, po wyczerpaniu wszystkich mozliwosci 'klikania' robot dojdzie do tych stron, to tak, wtedy je zaindeksuje.
Wyobraz sobie robota jako taki program:
while(!ListaLinkow.Empty())
{
AktualnaStrona = DownloadPage(ListaLinkow.RemoveFirst());
ListaLinkow.AddRange(AktualnaStrona.GetAllLinks());
ListaLinkow -= ListaLinkowPrzejrzanych; //usuwanie linkow, ktore juz przejrzelismy
}
W profesjonalnych robotach dodane sa analizatory strony (slowa kluczowe, tresc, itp), zwalniacze (zeby nie zapychac serwerow) lub odpowiedni scheduler ('zapychamy' strone tylko raz na jakis czas, wszelkie blokady przed oszustwami, itp.
Ale idea zamyka sie w pseudokodzie powyzej.
po co tu zadawać tyle pytań ? przecież to jest proste jak budowa cepa
no ale przy okazji powiem np że google w myśl zasady "dobrego lepiej po troszku", najpierw ściągnie najprawdopodobniej tylko twoją stronę główną, więc się nie martw że nie znajdujesz reszty. Po jakimś czasie zależnym od popularności (choć mi się wydaje że delty popularności) przyjdzie znowu i wejdzie troszkę głębiej, następnym razem jeszcze głębiej i głębiej, ale całej swojej strony w googlach możesz i nie ujrzeć przez rok
dodatkowo np google szybciej wchodzi na strony do których linki gdzieś znalazł, natomiast do tych zgłoszonych stron ręcznie przychodzi dopiero jak mu się nudzi i nie ma żadnych zajęć na popołudnie. tak więc zdecydowanie lepiej żebyś umieścił linka do swojej strony w stopce na forum.4p niż żebyś ręcznie zgłosił swoją witrynę
Temat wyczerpany.
Dziekuje za odpowiedzi :-)