Is the common crawl bot capable of detecting such redirects and follow them correctly?
Thanks!
Sebastian Nagel
okunmadı,
27 Tem 2021 07:42:1927.07.2021
Yazarı yanıtla
Yazara yanıt vermek için oturum açın
Yönlendir
Yönlendirmek için oturum açın
Sil
Bu gruptaki iletileri silme izniniz yok
Bağlantıyı kopyala
İletiyi bildir
Orijinal mesajı göster
Bu grupta e-posta adresleri anonim veya orijinal mesajı görmek için üye e-posta adreslerini görüntüleme iznine ihtiyacınız var
alıcı common...@googlegroups.com
Hi,
good question!
Currently and up to now, the crawler does not interpret JavaScript and is then not redirected.
There is a chance that the link is extracted and followed later if
- if the redirect URL is defined in the JavaScript code embedded in the
HTML page
- or if the URL is found as link somewhere else
If not the crawler will never visit the redirect target.