Sat, 2 Jun 2012 10:40:57 +0200, M.G. napisał(a):
>>> A co z "nie pokazuj robotom treści innej niż użytkownikom"?
>>
>> Ależ to zostanie spełnione, treść nie jest różna, ograniczamy tylko
>> dostępność do niej.
> Chwileczkę, jeśli zadaniem robota jest indeksowanie treści, a treść
> dostępna jest publicznie (robot może ją zindeksować, użytkownik zaś
> otworzyć bez przechodzenia przez żadną barierę), to chyba powinna się w
> indeksie znaleźć.
Wszystko się zgadza, ale niekiedy z jakichś przyczyn właściciel treści może
nie chcieć, aby były dostępne w wyszukiwarkach.
Google i inne topowe wyszukiwarki respektują przecież bez problemu
znaczniki noindex i blokady w robots.txt.
To pierwsze nawet nie zabrania robotowi możliwości czytania treści, a
jedynie utrzymywania jej w indeksie :)
Problem jest jednak taki, że jeśli z jakichś powodów nie chcielibyśmy na
pojedynczej podstronie udostępniać wybranych danych dla wyszukiwarek, to
taki gotowy znacznik nie istnieje.
> Przychodzą mi do głowy dwa wyjątki:
>
> 1. Duplikacja treści pomiędzy różnymi URLami, które oznaczają jedynie np.
> wyświetlenie tego samego produktu w dwóch różnych widokach. Ale od tego są
> odpowiednie mechanizmy.
O duplikaty wyszukiwarki dbają same (choć średnio im wychodzi), a webmaster
może rozwiązać problemy z nimi bez blokowania dostępu do samych treści jak
sam zauważasz. W sumie więc nie dotyczy to naszej dyskusji ;)
> 2. Treść dostępna po zalogowaniu (fora, aplikacje webowe). To też nie jest
> problem, bo robot się nie powinien móc zalogować.
Oczywiście :)
Natomiast ten element jest wykorzystywany czasem w sposób niezgodny z
założeniami wyszukiwarek i tu mamy już realny problem gdzie można
"podpaść".
Rzecz tyczy się sytuacji, gdy udostępnimy robotom treści na forum, a
użytkownikom ograniczymy dostęp do nich przez wymóg logowania (często
połączonego z płatnymi kontami). Za to często się leci z indeksu :)