Homepages: http://www.cs.tu-berlin.de/user/
Benedikt Homann
Hallo,
seit vorgestern (25.07.96) verhindert der
Rechnerbetrieb des Fachbereichs Informatik
der TU Berlin ohne Absprache mit den Anbietern
die automatische Indexierung der persoenlichen
Homepages durch Suchmaschinen und Robots.
Technisch realisiert wird dies durch
Eintraege in die Datei (Standard for Robot
Exclusion):
http://www.cs.tu-berlin.de/robots.txt
Siehe auch:
http://info.webcrawler.com/mak/projects/robots/norobots.html
und
http://www.inf.fu-berlin.de/~bene/ursachen.html
Hierdurch werden viele Seiten unter ihrer
Adresse im WWW nicht mehr auffindbar.
Wie lange dieser Zustand andauern wird,
ist unklar.
Gruesse,
Benedikt.
WWW-Team, Fachbereich Informatik TUB
w...@cs.tu-berlin.de (WWW Team)
Andreas Micklei
Benedikt Homann (be...@cs.tu-berlin.de) wrote:
: seit vorgestern (25.07.96) verhindert der
: Rechnerbetrieb des Fachbereichs Informatik
: der TU Berlin ohne Absprache mit den Anbietern
: die automatische Indexierung der persoenlichen
: Homepages durch Suchmaschinen und Robots.
Die vorherige indexierung der persoenlichen Seiten
war auch nicht abgesprochen. Bei meinem ersten
Kontakt mit Suchmaschinen im Web war ich ziemlich
erstaunt, wie schnell man als Anbieter einer eigenen
Seite auffindbar ist. Ich finde es ausgesprochen angenehm,
das dieses nun unterbunden worden ist.
: Hierdurch werden viele Seiten unter ihrer
: Adresse im WWW nicht mehr auffindbar.
: Wie lange dieser Zustand andauern wird,
: ist unklar.
Ich hoffe, dass es so bleibt.
Wer gerne weltweit auffindbar sein moechte, kann sich
ja in den Internet White Pages oder sonstigen Internet
Directorys eintragen. Technisch stellt dies wirklich
kein Problem dar. Ich persoenlich kann ganz gut damit
leben, nicht von jeder frei laufenden Suchmaschine
automatisch katalogisiert zu werden.
mfG...
Andreas Micklei
Carsten
nur...@cs.tu-berlin.de (Andreas Micklei) wrote:
>Ich hoffe, dass es so bleibt.
>Wer gerne weltweit auffindbar sein moechte, kann sich
>ja in den Internet White Pages oder sonstigen Internet
>Directorys eintragen. Technisch stellt dies wirklich
>kein Problem dar. Ich persoenlich kann ganz gut damit
>leben, nicht von jeder frei laufenden Suchmaschine
>automatisch katalogisiert zu werden.
Na da hab ich ja Glueck, dass das ZRZ gar nicht erst die Moeglichkeit
bietet, eine Homepage anzulegen :o/
Tschoe,
-
Carsten Pfeiffer
mailto:carp...@sp.zrz.tu-berlin.de
http://www.geocities.com/SiliconValley/1632/
http://www.fritz.de/hoerer/carsten/index.htm
Eike Sauer
Benedikt Homann (be...@cs.tu-berlin.de) wrote:
: Hallo,
Hi!
: seit vorgestern (25.07.96) verhindert der
: Rechnerbetrieb des Fachbereichs Informatik
: der TU Berlin ohne Absprache mit den Anbietern
: die automatische Indexierung der persoenlichen
: Homepages durch Suchmaschinen und Robots.
Ups! Warum?
Falls hier die Meinung von Seiten-Anbietern interessiert:
Ich moechte, dass meine Seite fuer jeden lesbar ist.
: Gruesse,
: Benedikt.
Ciao,
Eike
--
Peanuts fuer alle!
http://www.cs.tu-berlin.de/~eikes/
Eike Sauer
Andreas Micklei (nur...@cs.tu-berlin.de) wrote:
: Wer gerne weltweit auffindbar sein moechte, kann sich
: ja in den Internet White Pages oder sonstigen Internet
: Directorys eintragen.
Wer nicht weltweit auffindbar sein moechte, sondern Informationen
nur fuer einige wenige anbietet, der sollte EMails schreiben.
: mfG...
: Andreas Micklei
Jens Dengler
be...@cs.tu-berlin.de wrote:
> seit vorgestern (25.07.96) verhindert der
> Rechnerbetrieb des Fachbereichs Informatik
> der TU Berlin ohne Absprache mit den Anbietern
> die automatische Indexierung der persoenlichen
> Homepages durch Suchmaschinen und Robots.
Das Lustige daran ist: es scheint Roboter zu geben, die gerade
von robots.txt angezogen werden... oder ~* funktioniert nicht.
(*Koennte* es sein, dass auch ~ als regexp wildcard interpretiert
wird?)
Gestern (28.7.) hat ein Roboter (telepath.com) mein Glossar mit
rund 150 Zugriffen beehrt, den ich nie zuvor gesehen habe. Davor
waren eigentlich nur AltaVista (decix.com) und Inktomi (inktomi.com,
ehemals cs.berkeley.edu) Gaeste, wobei gerade Inktomi ein echter Fan
des FB-Netz mit mindestens einem Scan alle drei Monate war. Ich
werde die braven Roboter echt vermissen.
Ich habe allerdings keine Lust, jeden Monat den gerade
hinzugekommenen oder aktualisierten, weltweiten Informationsdiensten
mitzuteilen, dass ich liebend gerne von ihnen mal wieder indiziert
werden moechte. Pfft.
Robert Tolksdorf
nur...@cs.tu-berlin.de (Andreas Micklei) writes:
>In article <4ti08a$l...@news.cs.tu-berlin.de> you wrote:
>: Wer nicht weltweit auffindbar sein moechte, sondern Informationen
>: nur fuer einige wenige anbietet, der sollte EMails schreiben.
>Ich moechte ja, das meine Seiten weltweit abrufbar sind. Ich
>moechte nur nicht automatisch indexiert werden.
...
>anmelden, wenn man auffindbar sein moechte. Die beste Loesung waere
>sicherlich, wenn jeder Anbieter persoenlicher Seiten selber festlegen
>koennte, ob er Robots den Zugang zu seinen Seiten gewaehrt. Solange dies
nachdem ich nun einer derjenigen bin, die unbedingt roboter auf den
seiten haben wollen und inzwischen auch brauchen dazu ein vorschlag:
es gibt ja noch das .ok2list zwecks aufnahme in diese liste
persönlicher seiten.
könnte man nicht ein file .public_html/.ok4robot definieren, dessen
existenz besagt, daß der owner will, daß roboter drüber laufen.
dann ein entsprechendes cron laufen lassen, das daraus ein
entsprechendes robots.txt erzeugt, in dem die url, für die in den
abgebildeten home-directories das .ok4robot steht ein entsprechendes
allow drin ist?
damit könnte man doch beide bedürfnisse befriedigen, der default wäre
ein ausschluß der roboter, ich als owner der seiten kann aber
einsetellen, daß es doch geht.
die alternative, entsprechende eigene server aufzusetzen und die urls
zu ändern ist so schlecht, daß das nicht wirklich in frage kommt.
Ciao Robert
--
Dr.-Ing. Robert Tolksdorf | Technical University Berlin _______ _
mailto:to...@cs.tu-berlin.de | FB 13 - FLP/KIT - FR 6-10 (_ _ | |
http://www.cs.tu-berlin.de/~tolk | Franklinstr. 28/29 | | | | |
tel: +49-30/314-25184 (FR6071) | D-10587 Berlin / Germany `-' `---'
Martin Schwartz
Robert Tolksdorf (to...@cs.tu-berlin.de) wrote:
> könnte man nicht ein file .public_html/.ok4robot definieren, dessen
> existenz besagt, daß der owner will, daß roboter drüber laufen.
Befuerworte ich sehr.
> dann ein entsprechendes cron laufen lassen, das daraus ein entsprechendes
> robots.txt erzeugt, in dem die url, für die in den abgebildeten
> home-directories das .ok4robot steht ein entsprechendes allow drin ist?
Oder ein cgi-Skript, das vom /robots.txt auf die lokalen .ok4robot
multiplext. Einen robotlosen Webdienst finde ich jedenfalls sehr ungelungen.
(Auch wenn das die Attraktivitaet der wbs-Adressierungen ungemein steigern
duerfte) :*)
Gruss,
Martin
--
// http://www.cs.tu-berlin.de/~schwartz/krawumm.html - vote classic
Andreas Micklei
In article <4ti08a$l...@news.cs.tu-berlin.de> you wrote:
: Wer nicht weltweit auffindbar sein moechte, sondern Informationen
: nur fuer einige wenige anbietet, der sollte EMails schreiben.
Ich moechte ja, das meine Seiten weltweit abrufbar sind. Ich
moechte nur nicht automatisch indexiert werden.
Ich seh das analog zum Telefon: Ich kann mir sehr wohl ein Telefon
anschaffen, ohne im Telefonbuch zu erscheinen.
Ich sehe es auch nicht als Einschraenkung, dass nicht mehr automatisch
indexiert wird. Man kann sich ja wie gesagt auch bei Suchmaschinen
anmelden, wenn man auffindbar sein moechte. Die beste Loesung waere
sicherlich, wenn jeder Anbieter persoenlicher Seiten selber festlegen
koennte, ob er Robots den Zugang zu seinen Seiten gewaehrt. Solange dies
nicht moeglich ist, finde ich es besser, Robots generell zu verbieten,
anstatt sie generell zuzulassen.
mfG...
Andreas Micklei
Rolf Carstens
>nur...@cs.tu-berlin.de (Andreas Micklei) wrote:
>>Ich hoffe, dass es so bleibt.
>>Wer gerne weltweit auffindbar sein moechte, kann sich
>>ja in den Internet White Pages oder sonstigen Internet
>>Directorys eintragen. Technisch stellt dies wirklich
>>kein Problem dar. Ich persoenlich kann ganz gut damit
>>leben, nicht von jeder frei laufenden Suchmaschine
>>automatisch katalogisiert zu werden.
>Na da hab ich ja Glueck, dass das ZRZ gar nicht erst die Moeglichkeit
>bietet, eine Homepage anzulegen :o/
>Tschoe,
>-
>Carsten Pfeiffer
>mailto:carp...@sp.zrz.tu-berlin.de
>http://www.geocities.com/SiliconValley/1632/
>http://www.fritz.de/hoerer/carsten/index.htm
Warum hast Du denn eine Home Page when Du niemandem
dieses wissen lassen willst. When niemand Deine Seite kennt, niemand will
diese Seite sehen.
Alles Gute Rolf.
Personalised Gifts Web Page:=====http://www.wave.co.nz/pages/fastprin/
__________ _____ ________ _____ _____
___ ____/______ ___________ /____ __ \___________(_)_______ __ /_
__ /_ _ __ `/__ ___/_ __/__ /_/ /__ ___/__ / __ __ \_ __/
_ __/ / /_/ / _(__ ) / /_ _ ____/ _ / _ / _ / / // /_
/_/ \__,_/ /____/ \__/ /_/ /_/ /_/ /_/ /_/ \__/
Rotorua / New Zealand
National: Phone/Fax (07) 347-0826
Mobile: 025-736-338
International: Phone/Fax: +64-7-347-0826
Oliver Schade
Wilhelm Koehler wrote:
> Du hast einer Indexierung Deiner persoenlichen Seite
> (mindestens implizit) zugestimmt, als Du Dich in die Liste der
> persoenlichen Seiten unter
Mal eine dumme Frage: wieso glaubt ihr, dass Euere Berliner Alltagsprobleme
den Rest Deutschland interessiert? Koennt ihr solche Diskussionen nicht
in einer TU-Newsgruppe machen? Muss es unbedingt hier sein?
Oliver
--
"I40 und I37 latchen das MSB (Bit 16 bis Bit 23) der Adresse Y:FFC8 und legen
es als In0 bis In7 und Out0 bis Out7 an den Sub-Stecker. Die ICs I9, I15D und
I39A fischen die noetigen Adressen in 16er-Haeppchen aus dem Adressumpf."
http://www.phil.uni-passau.de/~schade/ Mi...@mabuse.phil.uni-passau.de
Benedikt Homann
w...@cs.tu-berlin.de (Wilhelm Koehler) writes:
| Du hast einer Indexierung Deiner persoenlichen Seite
| (mindestens implizit) zugestimmt, als Du Dich in die Liste der
| persoenlichen Seiten unter
| "http://wwwwbs.cs.tu-berlin.de/user/" eingetragen hast.
Ich glaube, dies entspricht nicht ganz den
Tatsachen. Wenn ich recht erinnere, hat
Andreas seine Homepage in die Seite
unter
http://www.cs.tu-berlin.de/user/
eingetragen, und zwar vor den Plagiaten und Eingriffen
des Rechnerbetriebs des Fachbereichs Informatik der
TU Berlin in passwortgeschuetzte Bereiche, fuer die der
Dekan des FB Informatik der TU Berlin verantwortlich
war und ist.
| "http://www.cs.tu-berlin.de/robots.txt" wird aktuell fuer
| Lasttests verwendet. Eine dauerhafte Installation in der
| aktuellen Version ist nicht geplant.
Die durch sog. Lasttests gewonnenen Informationen,
sind leicht schon als Informationen aus Referer-Logs
zu extrahieren.
| Beachte bitte, dasz Deine persoenliche Seite auch unter
| weiteren URLS auf verschiedenen Servern erreichbar ist, die
| Roboter uneingeschraenkt zulassen.
Wodurch eine dysfunktionale, bunte Vielfalt von Eintraegen
gleicher Seiten unter verschiedenen WWW-Adressen (URLs) in den
(weltweiten) Suchmaschinen entsteht, was der Rechnerbetrieb
vielleicht nicht intendiert hat. Zu empfehlende Lektuere
in diesem Zusammenhang:
http://www.cnri.reston.va.us/home/cstr/handle-intro.html
Gruesse,
Benedikt.
WWW-Team, Fachbereich Informatik TU Berlin
w...@cs.tu-berlin.de (WWW-Team)
http://www.cs.tu-berlin.de/www/
bzw. nach der Fachbereichszensur unter
http://wwwwbs.cs.tu-berlin.de/www/
Wilhelm Koehler
Andreas,
Du hast einer Indexierung Deiner persoenlichen Seite
(mindestens implizit) zugestimmt, als Du Dich in die Liste der
persoenlichen Seiten unter
"http://wwwwbs.cs.tu-berlin.de/user/" eingetragen hast.
"http://www.cs.tu-berlin.de/robots.txt" wird aktuell fuer
Lasttests verwendet. Eine dauerhafte Installation in der
aktuellen Version ist nicht geplant.
Beachte bitte, dasz Deine persoenliche Seite auch unter
weiteren URLS auf verschiedenen Servern erreichbar ist, die
Roboter uneingeschraenkt zulassen.
Herzliche Gruesze, Willi
------------------------
In article <4tg5pk$f...@news.cs.tu-berlin.de>,
Andreas Micklei <nur...@cs.tu-berlin.de> wrote:
>Benedikt Homann (be...@cs.tu-berlin.de) wrote:
>: seit vorgestern (25.07.96) verhindert der
>: Rechnerbetrieb des Fachbereichs Informatik
>: der TU Berlin ohne Absprache mit den Anbietern
>: die automatische Indexierung der persoenlichen
>: Homepages durch Suchmaschinen und Robots.
>
>Die vorherige indexierung der persoenlichen Seiten
>war auch nicht abgesprochen. Bei meinem ersten
>Kontakt mit Suchmaschinen im Web war ich ziemlich
>erstaunt, wie schnell man als Anbieter einer eigenen
>Seite auffindbar ist. Ich finde es ausgesprochen angenehm,
>das dieses nun unterbunden worden ist.
>
>: Hierdurch werden viele Seiten unter ihrer
>: Adresse im WWW nicht mehr auffindbar.
>: Wie lange dieser Zustand andauern wird,
>: ist unklar.
>
>Ich hoffe, dass es so bleibt.
>Wer gerne weltweit auffindbar sein moechte, kann sich
>ja in den Internet White Pages oder sonstigen Internet
>Directorys eintragen. Technisch stellt dies wirklich
>kein Problem dar. Ich persoenlich kann ganz gut damit
>leben, nicht von jeder frei laufenden Suchmaschine
>automatisch katalogisiert zu werden.
>
> mfG...
> Andreas Micklei
>
>nur...@cs.tu-berlin.de
>
>
--
-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-=-
Wilhelm Koehler (Informatik Rechnerbetrieb - Unix-AG) +49 30 314 24785
Andreas Micklei
Robert Tolksdorf (to...@cs.tu-berlin.de) wrote:
: könnte man nicht ein file .public_html/.ok4robot definieren, dessen
: existenz besagt, daß der owner will, daß roboter drüber laufen.
: dann ein entsprechendes cron laufen lassen, das daraus ein
: entsprechendes robots.txt erzeugt, in dem die url, für die in den
: abgebildeten home-directories das .ok4robot steht ein entsprechendes
: allow drin ist?
Sowas faende ich beispielsweise gut. Klingt auch durchaus machbar.
Ich vermute allerdings, das der Rechnerbetrieb nicht aus den Gruenden,
die nach meiner Meinung fuer eine Sperrung von Robots sprechen so
gehandelt hat, sondern doch eher aus technischen. :(
Villeicht sollte man ihn mal fragen...
Andreas Micklei
Wilhelm Koehler
Oliver,
es war nicht meine Absicht, meine Berliner Alltagsprobleme dem Rest
Deutschlands zu unterbreiten. Da bin ich versehentlich einer Marotte von
Herrn Homann aufgesessen. Ich verspreche zukuenftig bei Followups besser
aufzupassen.
Followup gesetzt.
Herzliche Gruesze, Willi
------------------------
In article <31FE297A...@mabuse.phil.uni-passau.de>,
Oliver Schade <sch...@mabuse.phil.uni-passau.de> wrote:
>Wilhelm Koehler wrote:
>> Du hast einer Indexierung Deiner persoenlichen Seite
>> (mindestens implizit) zugestimmt, als Du Dich in die Liste der
>> persoenlichen Seiten unter
>
>Mal eine dumme Frage: wieso glaubt ihr, dass Euere Berliner Alltagsprobleme
>den Rest Deutschland interessiert? Koennt ihr solche Diskussionen nicht
>in einer TU-Newsgruppe machen? Muss es unbedingt hier sein?
>
>Oliver
>--
> "I40 und I37 latchen das MSB (Bit 16 bis Bit 23) der Adresse Y:FFC8 und legen
> es als In0 bis In7 und Out0 bis Out7 an den Sub-Stecker. Die ICs I9, I15D und
> I39A fischen die noetigen Adressen in 16er-Haeppchen aus dem Adressumpf."
> http://www.phil.uni-passau.de/~schade/ Mi...@mabuse.phil.uni-passau.de
Benedikt Homann
w...@cs.tu-berlin.de (Wilhelm Koehler) schreibt im Artikel:
news:4tn2h7$7...@news.cs.tu-berlin.de
: In article <4tle4m$n...@news.cs.tu-berlin.de> hat Herr Homann
: <be...@cs.tu-berlin.de> in gewohnt ueberheblicher und arroganter
: Form auf einen Artikel von mir reagiert. Er hat dabei die
: ueblichen Verleumdungen gegen mich ausgestoszen. Ich werde auch
: auf diesen Artikel nicht reagieren.
Im Unterschied zum Posting von Herrn Koehler ist mein
Posting (s.u.) nicht ueberheblich und nicht arrogant.
Im Unterschied zu Herrn Koehler vermeide ich *un-
begruendete* Anwuerfe (Koehler: "*uebliche* Ver-
leumdungen").
Im Unterschied zu Herrn Koehler bemuehe ich mich, zur Sache
zu schreiben und nicht zur Person (s.o.).
Im Unterschied zu Herrn Koehler fasse ich Sachargumente
nicht persoenlich auf.
Im Unterschied zu Herrn Koehler bin ich nicht beleidigt,
wenn man mich kritisiert, Fakten nennt und Fragen stellt.
Gruesse,
Bene.
P.S. noch eine Frage zur Sache: wie lange dauern die
sog. Lasttests an, welche die Indexierungen durch
Suchmaschinen und Robots/Agenten am Fachbereich
Informatik der TU Berlin verhindern?
in Artikel news:4tle4m%24...@news.cs.tu-berlin.de hatte
ich geschrieben:
Benedikt Homann
: In article <4tle4m$n...@news.cs.tu-berlin.de> hat Herr Homann
: <be...@cs.tu-berlin.de> in gewohnt ueberheblicher und arroganter
: Form auf einen Artikel von mir reagiert. Er hat dabei die
: ueblichen Verleumdungen gegen mich ausgestoszen. Ich werde auch
: auf diesen Artikel nicht reagieren.
Im Unterschied zum Posting von Herrn Koehler ist mein
Posting (news:4tle4m%24...@news.cs.tu-berlin.de s.u.)
nicht ueberheblich und nicht arrogant gewesen.
Thomas George
Andreas Micklei wrote:
>
> Benedikt Homann (be...@cs.tu-berlin.de) wrote:
> : seit vorgestern (25.07.96) verhindert der
> : Rechnerbetrieb des Fachbereichs Informatik
> : der TU Berlin ohne Absprache mit den Anbietern
> : die automatische Indexierung der persoenlichen
> : Homepages durch Suchmaschinen und Robots.
Das ist natuerlich unerfreulich, wenn man nicht einmal sagen kann, ob
man dies wuenschtoder nicht. Ich persoenlich habe nichts gegen eine
Indexierung meiner Seiten. Leider ist die Problematik der Suchmaschinen
nicht so trivial, so dass ich diesen Entschluss des Rechnerbetriebes
schon nachvollziehen kann.
>
> Die vorherige indexierung der persoenlichen Seiten
> war auch nicht abgesprochen. Bei meinem ersten
> Kontakt mit Suchmaschinen im Web war ich ziemlich
> erstaunt, wie schnell man als Anbieter einer eigenen
> Seite auffindbar ist. Ich finde es ausgesprochen angenehm,
> das dieses nun unterbunden worden ist.
Wozu sind denn die Homepages im WWW da? Wenn Du welche anbietest, dann
musst Du Dir darueber klar sein, dass sie von jedem gelesen werden
koennen. Und das sollen sie meiner Meinung nach auch, oder wilst Du
Gebuehren verlangen fuer das Lesen Deiner HP?
> nur...@cs.tu-berlin.de
^^^^^^
Der Name ist Programm ;-)
--
Gruss, Thomas
---------------------------------------------------------------
mailto:se...@cs.tu-berlin.de
http://www.cs.tu-berlin.de/~segal
---------------------------------------------------------------
Sven Guckes
nur...@cs.tu-berlin.de (Andreas Micklei):
> Wer gerne weltweit auffindbar sein moechte, kann sich ja in den Internet
> White Pages oder sonstigen Internet Directorys eintragen.
Wer gerne seine Daten vor der Welt verstecken will,
der sollte sie nicht per WWW anbieten. *plonk*!
Followup-To: alt.newbie
Sven
Carsten
fast...@wave.co.nz (Rolf Carstens) wrote:
>In article <4tgk6n$m...@news.cs.tu-berlin.de> carp...@sp.zrz.tu-berlin.de (Carsten) writes:
>>Na da hab ich ja Glueck, dass das ZRZ gar nicht erst die Moeglichkeit
>>bietet, eine Homepage anzulegen :o/
>
> Warum hast Du denn eine Home Page when Du niemandem
>dieses wissen lassen willst. When niemand Deine Seite kennt, niemand will
>diese Seite sehen.
I think there's some kind of misunderstanding. I have no account at
*cs.tu-berlin.de, where users can offer homepages. My account is at
*zrz.tu-berlin.de, where it's impossible for me to offer a homepage.
I said _ironically _being lucky not to even get a homepage on my
account so noone could see a page of me at all.
So I got one at geocities and I registered my page myself, cause I
don't know whether it gets scanned by those robots or not.
Never said I don't want people to visit my page.
Regards,
Marcus Meissner
In article <DvH9t...@news.nwu.de>, Stephan Hermann <b...@flirt.de> wrote:
>In article <32008D...@zib-berlin.de>, Thomas George <george@zib-berlin.=
>de> wrote:
>
>: Das ist natuerlich unerfreulich, wenn man nicht einmal sagen kann, ob
>: man dies wuenschtoder nicht.=20
>
>Ich schon....
>
>Irgendwann im laufe des letzten Tages wurden meine Pages von einem=20
>Service namens "www.kobold.com" indeziert.
>Dafuer gab ich keine Einwilligung.
>Weiterhin wurden dann die Seiten wieder von infoseek indeziert, und=20
>schon kam infoseek auf die seiten. *peng*
>
>Da steht jetzt irgendwas von "<dir> ..\n".
>Was soll das frage ich mich da...
>
>Ich werde auf jedem fall, dem typen eine gesalzene Mail schicken...
Wenn Du Deine Webseiten nicht indiziert haben willst, hänge sie nicht ins
Web. So einfach ist das.
Teilweise Abhilfe:
http://info.webcrawler.com/mak/projects/robots/norobots.html
Marcus
--
http://wwwcip.informatik.uni-erlangen.de/user/msmeissn/index.html
Stephan Hermann
: Das ist natuerlich unerfreulich, wenn man nicht einmal sagen kann, ob
: man dies wuenschtoder nicht.=20
Ich schon....
Irgendwann im laufe des letzten Tages wurden meine Pages von einem=20
Service namens "www.kobold.com" indeziert.
Dafuer gab ich keine Einwilligung.
Weiterhin wurden dann die Seiten wieder von infoseek indeziert, und=20
schon kam infoseek auf die seiten. *peng*
Da steht jetzt irgendwas von "<dir> ..\n".
Was soll das frage ich mich da...
Ich werde auf jedem fall, dem typen eine gesalzene Mail schicken...
C ya, =20
sh
Sven Guckes
> w...@cs.tu-berlin.de (Wilhelm Koehler):
>> In article <4tle4m$n...@news.cs.tu-berlin.de> hat Herr Homann ...
be...@cs.tu-berlin.de (Benedikt Homann):
> Im Unterschied zu Herrn Koehler ...
In article <blahfasel> und im Unterschied zu <whocares>
eroeffne ich hiermit eine request for discussion fuer
bln.www.krieg.krieg.krieg
Followup-To: de.soc.recht
Sven
Oliver Schade
Stephan Hermann wrote:
> Irgendwann im laufe des letzten Tages wurden meine Pages von einem
> Dafuer gab ich keine Einwilligung.
In welcher Scheinwelt lebst Du eigentlich?
Ciao, Oliver
--
"Religion bedeutet Unterdrueckung, Religion ist Opium fuer das Volk, Religion
hat Millionen von Menschen getoetet doch die Kirchen sind immer noch voll."
http://www.phil.uni-passau.de/~schade/ Mi...@mabuse.phil.uni-passau.de
[Mitarbeiter am Lehrstuhl fuer Psychologie, Universitaet Passau]
Marcus Meissner
In article <DvHu7...@news.nwu.de>, Stephan Hermann <b...@flirt.de> wrote:
>: Teilweise Abhilfe:
>: http://info.webcrawler.com/mak/projects/robots/norobots.html
>
>Wenn ich nicht indizieren lass will, wird da auch ein robot.txt oder=20
>aehnliches auf den Servern zu finden sein, nur wenn man gerade den=20
>Server einrichtet, ist dies wirklich ein Ding der unmoeglichkeit, vor=20
>allen Dingen dann, wenn die URL noch nirgens auftauchte.
Stimmt schon. Aber man könnte bevor man überhaupt anfängt Seiten zu schreiben
ein robots.txt mit
User-Agent: *
Disallow: /
(oder so ähnlich) für die Dauer der Einrichtung anlegen.
Marcus
--
http://wwwcip.informatik.uni-erlangen.de/user/msmeissn/index.html
Stephan Hermann
In article <4tracu$h...@rznews.rrze.uni-erlangen.de>, msme...@cip.informati=
k.uni-erlangen.de (Marcus Meissner) wrote:
: Wenn Du Deine Webseiten nicht indiziert haben willst, h=E4nge sie nicht i=
ns
: Web. So einfach ist das.
Nein, so einfach ist das nicht. Wenn man gerade ein neues Projekt auf=20
den Server schiebt, und diesen dann austestet, haben Indexmaschinen=20
nichts zu suchen. Die Seiten wurden auch nicht von mir (dem Initiator=20
des Servers) noch von sonst einem Mitarbeiter an irgendwelche=20
Suchmaschinen weitergegeben.
IMHO waere es wesentlich effektiver, wenn nur die Serveradmins bzw.=20
die Initiatoren der Webserver Suchmaschinen anweisen koennten, ihre=20
Aufgabe zu verrichten.
Aber wenn jeder Otto-Normal-Surfer dies machen kann, nur weil er mal=20
kurz irgendwas als Location angegeben hat und "schwupps da kommt ja=20
was auf meinem Browserfenster, da sag ich doch mal eben Infosuch=20
bescheid", dann bringen solche Suchmaschinen echt nix.
: Teilweise Abhilfe:
: http://info.webcrawler.com/mak/projects/robots/norobots.html
Wenn ich nicht indizieren lass will, wird da auch ein robot.txt oder=20
aehnliches auf den Servern zu finden sein, nur wenn man gerade den=20
Server einrichtet, ist dies wirklich ein Ding der unmoeglichkeit, vor=20
allen Dingen dann, wenn die URL noch nirgens auftauchte.
C ya,
sh
Robert Tolksdorf
b...@flirt.de (Stephan Hermann) writes:
>Wenn ich nicht indizieren lass will, wird da auch ein robot.txt oder=20
>aehnliches auf den Servern zu finden sein, nur wenn man gerade den=20
>Server einrichtet,
dann lege doch das robots.txt an, bevor du deinen server startest. wo
ist da bitte das problem??
Stephan Hermann
In article <4tu4p7$5...@news.cs.tu-berlin.de>, schw...@cs.tu-berlin.de (Mar=
tin Schwartz) wrote:
: Stephan Hermann (b...@flirt.de) wrote:
:=20
: > Irgendwann im laufe des letzten Tages wurden meine Pages von einem=3D20
: > Service namens "www.kobold.com" indeziert.
: > Dafuer gab ich keine Einwilligung.
sen,
: dass Du vermutlich ausspioniert wirst: unter der URL
: [ super duper news on www service URL]
: finden sich etliche Dateien von Dir...
*lach* sowas ist wohl etwas anderes. bei news gebe ich automatisch=20
mein einverstaendnis durch das abschicken des postings.
C ya,
sh
Martin Ibert
In article <DvJw2...@news.nwu.de> b...@flirt.de (Stephan Hermann) writes:
: *lach* sowas ist wohl etwas anderes. bei news gebe ich automatisch
: mein einverstaendnis durch das abschicken des postings.
Das ist nix Anderes. Wenn Du Seiten auf einem weltweit zugänglichen
Webserver ablegst, ist das genau dasselbe, als wenn Du News postet.
--
__| |__ | Martin Ibert/Fürstenweg 11/D-13589 Berlin-Spandau/Germany/EU/Terra |
__ __ +--------------------------------------------------------------------+
| | | Jede Glorifizierung eines Menschen, der im Kriege getötet worden |
| | | ist, bedeutet drei Tote im nächsten Krieg. (Kurt Tucholsky 1932) |
PGP key and Geek code available on my home page <http://www.snafu.de/~martini/>
Stephan Hermann
In article <ufenlnw...@livorno.sky.bln.sub.org>, mar...@heaven7.snafu.=
de (Martin Ibert)=0D=0A <4tg5pk$f...@news.cs.tu-berlin.de> <32008D68.=
7F...@zib-berlin.de>=0D=0A <DvH9t...@news.nwu.de> <4tu4p7$5ro@news.=
cs.tu-berlin.de>=0D=0A <DvJw2...@news.nwu.de> wrote:
: In article <DvJw2...@news.nwu.de> b...@flirt.de (Stephan Hermann) writes:
:=20
: : *lach* sowas ist wohl etwas anderes. bei news gebe ich automatisch=20
: : mein einverstaendnis durch das abschicken des postings.
: Das ist nix Anderes. Wenn Du Seiten auf einem weltweit zug=E4nglichen
: Webserver ablegst, ist das genau dasselbe, als wenn Du News postet.
Wirklich ?
Woher bekam denn die Suchengine die Adresse. Sie war noch nie (zwar=20
meine Privat, aber die hat nix mit dem Server zu tun) oeffentlich=20
announced worden, in welcher Form auch immer !
Also, solange diese Adresse nicht oeffentlich ist, kann sie gar nicht=20
gefunden sein, ausser jemand anderes als ich hat sie veroeffentlicht.
Davon abgesehen das es eine Frechheit ist, ist es auch noch ein=20
verstoss IMHO gegen div. Copyrightgesetze. Vielleicht sollte ich mir=20
den Namen schuetzen lassen, dann hab ich wenigstens noch was davon.
Der Witz ist doch, wenn etwas oeffentlich zugaenglich ist, heisst es=20
noch lange nicht, dass man es moechte, dass es oeffentlich announced=20
wird, oder ?
Oder soll ich mein Newsverzeichnis durchgreppen, und alle email=20
adresse inkl. namen und adressen aus signaturen an div. mail-search=20
engines schicken ? ich denke, dass dann hier einige amoklaufen werden.
C ya,
sh
Claus Schotten
> Wirklich ?
> Woher bekam denn die Suchengine die Adresse. Sie war noch nie (zwar=20
> meine Privat, aber die hat nix mit dem Server zu tun) oeffentlich=20
> announced worden, in welcher Form auch immer !
Schau doch mal mit AltaVista nach, wo es Links auf die Seite gibt.
Ciao, Claus scho...@ert.rwth-aachen.de
Martin Schwartz
Stephan Hermann (b...@flirt.de) wrote:
> : [ super duper news on www service URL]
> *lach* sowas ist wohl etwas anderes. bei news gebe ich automatisch=20
> mein einverstaendnis durch das abschicken des postings.
Ebendt ;) Fuer Web-Informationen gilt dasgleiche.
Ich hatte mir uebrigens mal den Spass gemacht, und mir den "Kobold"
angeschaut. Sehr spannend, was der Martin Ebenig da anstellt.
Deine Adresse verteilst Du uebrigens oft, vermutlich ohne es zu merken. Z.B.,
wenn Du von Deinem Server aus "surfst", oder wenn Deine Domain eingetragen
ist und Du Deinen Webserver "www" nennst usw... In einem oeffentlichen Netz
sind Daten eben oeffentlich.
Oberschlaue Gruesse ;-),
Mario Klebsch
b...@flirt.de (Stephan Hermann) writes:
>In article <ufenlnw...@livorno.sky.bln.sub.org>, mar...@heaven7.snafu.=
>de (Martin Ibert)=0D=0A <4tg5pk$f...@news.cs.tu-berlin.de> <32008D68.=
>7F...@zib-berlin.de>=0D=0A <DvH9t...@news.nwu.de> <4tu4p7$5ro@news.=
>cs.tu-berlin.de>=0D=0A <DvJw2...@news.nwu.de> wrote:
>: In article <DvJw2...@news.nwu.de> b...@flirt.de (Stephan Hermann) writes:
>:=20
>: : *lach* sowas ist wohl etwas anderes. bei news gebe ich automatisch=20
>: : mein einverstaendnis durch das abschicken des postings.
>: Das ist nix Anderes. Wenn Du Seiten auf einem weltweit zug=E4nglichen
>: Webserver ablegst, ist das genau dasselbe, als wenn Du News postet.
>Wirklich ?
>Woher bekam denn die Suchengine die Adresse. Sie war noch nie (zwar=20
>meine Privat, aber die hat nix mit dem Server zu tun) oeffentlich=20
>announced worden, in welcher Form auch immer !
>Also, solange diese Adresse nicht oeffentlich ist, kann sie gar nicht=20
>gefunden sein, ausser jemand anderes als ich hat sie veroeffentlicht.
Bist Du denn sicher, dass nieman einen Link auf Deine Seiten in
"seine" Seinten eingebaut hat? Bis Du sicher, dass der Server, dr
Deine Seiten Servt, das Verzeichnis darueber nicht servt? Ausserdem
ist das URL-Raten bei Servern mit ~ Unterstuetzung ziemlich
einfach. Also selbst, wenn Du deine URL niemandem gesagt haettest, sie
aber offensichtlich ist, dann darfst Du dich nicht wundern.
Wenn Du nicht willst, dass Deine Seiten von jedermann gelesen werden
koennen, dann gieb sie doch nur fuer Deine vertrauenswuerdigen Leser
frei.
73, Mario
--
Mario Klebsch, DG1AM, M.Kl...@tu-bs.de +49 531 / 391 - 7457
Institut fuer Robotik und Prozessinformatik der TU Braunschweig
Hamburger Strasse 267, 38114 Braunschweig, Germany
Stephan Hermann
In article <SCHOTTEN.9...@isnix.ert.rwth-aachen.de>, schotten@isnix=
ert.rwth-aachen.de (Claus Schotten)=0D=0A <Dvn10...@news.nwu.de> =
wrote:: > Wirklich ?
: > Woher bekam denn die Suchengine die Adresse. Sie war noch nie (zwar=3D20
: > meine Privat, aber die hat nix mit dem Server zu tun) oeffentlich=3D20
: > announced worden, in welcher Form auch immer !
: Schau doch mal mit AltaVista nach, wo es Links auf die Seite gibt.
Jo, ich weiss..nur hab ich da bis heute noch kein announcement=20
gemacht.
Nur meine b...@flirt.de adresse kam aus den news...doch die kann auch=20
nur eine MX adresse sein...
C ya,
sh
Marcus Mönnig
On Mon, 5 Aug 1996 18:56:52 GMT, b...@flirt.de (Stephan Hermann) wrote:
>: > Woher bekam denn die Suchengine die Adresse. Sie war noch nie (zwar=3D20
>: > meine Privat, aber die hat nix mit dem Server zu tun) oeffentlich=3D20
>: > announced worden, in welcher Form auch immer !
>: Schau doch mal mit AltaVista nach, wo es Links auf die Seite gibt.
>
>Jo, ich weiss..nur hab ich da bis heute noch kein announcement=20
>gemacht.
Wie schon mal hier erwaehnt, ist die Adresse deiner Seite unter
http://wwwwbs.cs.tu-berlin.de/user aufgefuehrt und das mit deiner
Zustimmung. Damit erklaert sich woher die robots sie wissen.
Wenn du eine kontrollierte Veroeffentlichung deiner Daten willst, ist
das WWW nicht das richtige Medium fuer dich, hat aber auch niemand
behauptet, dass es deine Wuensche erfuellt.
Kauf dir einen NICHT vernetzen Rechner und gib den Leuten, die sich
deinen Daten wuerdig erwiesen haben eine Diskette.
Gruss,
Marcus
*~*~*~*~*~*~*~*~*~*~*~*~*~*~*~*~*~*~*~*~*~*~*~*~*~*~*~*~*~*~*~*~*~*~
Marcus Monnig - mini...@cs.tu-berlin.de - PGP Public Key on request
http://www.cs.tu-berlin.de/~minibbjd
*~*~*~*~*~*~*~*~*~*~*~*~*~*~*~*~*~*~*~*~*~*~*~*~*~*~*~*~*~*~*~*~*~*~
Claus Schotten
> : Schau doch mal mit AltaVista nach, wo es Links auf die Seite gibt.
>
> Jo, ich weiss..nur hab ich da bis heute noch kein announcement=20
> gemacht.
Wieso ein Announcement? AltaVista ist eine *Such*maschine!
Die sucht selbstaendig nach den Seiten solange kein robots.txt
sie aussperrt. Die Frage ist hoechstens, ueber welchen Link
sie auf Deine Seiten stoesst (falls sie Deine seiten kennt.)
Ciao, Claus scho...@ert.rwth-aachen.de
Marcus Meissner
In article <DvoIq...@news.nwu.de>, Stephan Hermann <b...@flirt.de> wrote:
>In article <SCHOTTEN.9...@isnix.ert.rwth-aachen.de>, schotten@isnix=
>ert.rwth-aachen.de (Claus Schotten)=0D=0A <Dvn10...@news.nwu.de> =
>wrote:
>: In article <Dvn10...@news.nwu.de> b...@flirt.de (Stephan Hermann) writes:
>:=20
>: > Wirklich ?
>: > meine Privat, aber die hat nix mit dem Server zu tun) oeffentlich=3D20
>: > announced worden, in welcher Form auch immer !
>
>Jo, ich weiss..nur hab ich da bis heute noch kein announcement=20
>gemacht.
>nur eine MX adresse sein...
Wenn du http://www.flirt.de/ gemeint haben solltest, hat ein Robot womöglich
die RIPE database gescanned und www.<domain>.de abgefragt.
Und:
*Asta La AltaVista* http://altavista.digital.com/cgi-bin/query?pg=q&what=web&fmt=.&q=link%3Ahttp%3A%2F%2Fwww.flirt.de%2F
-> http://www.kobold.com/woche-9623.html
"& Kobold: Wer ist neu in .de ? (23/96)"
-> http://rcs1.urz.tu-dresden.de/~winx/deserv.html
"(Fast) Alle deutschen Server"
Marcus
--
http://wwwcip.informatik.uni-erlangen.de/user/msmeissn/index.html
Martin Ibert
: Woher bekam denn die Suchengine die Adresse. Sie war noch nie (zwar
: meine Privat, aber die hat nix mit dem Server zu tun) oeffentlich
: announced worden, in welcher Form auch immer !
Wenn von keiner "announcten" Adresse ein Link auf Deine Seiten zeigt,
ist das merkwürdig. Aber das kann man ja nie wissen. Irgendwer, der
eine URL von Deinen Seiten kennt, könnte sie auf seiner Seite als Link
anlegen. Und schon sind sie öffentlich "announct".
: Der Witz ist doch, wenn etwas oeffentlich zugaenglich ist, heisst es
: noch lange nicht, dass man es moechte, dass es oeffentlich announced
: wird, oder ?
Diese Unterscheidung finde ich überaus künstlich.
: Oder soll ich mein Newsverzeichnis durchgreppen, und alle email
: adresse inkl. namen und adressen aus signaturen an div. mail-search
: engines schicken ? ich denke, dass dann hier einige amoklaufen werden.
Spar's Dir. Das machen die einschlägigen Adressensuchdienste auch ohne
Dein Zutun.
--
__ | Martin Ibert, Fürstenweg 11, D-13589 Berlin-Spandau, Germany, EU
( )__ | mar...@heaven7.snafu.de, Fon: +493037595100, Fax: +493037595101
( )_ |-----------------------------------------------------------------
(_________) | All that we see or seem/is but a dream within a dream. -- E.A.P.
Andreas Micklei
Rolf Carstens (fast...@wave.co.nz) wrote:
: In article <4tgk6n$m...@news.cs.tu-berlin.de> carp...@sp.zrz.tu-berlin.de (Carsten) writes:
: Warum hast Du denn eine Home Page when Du niemandem
: dieses wissen lassen willst. When niemand Deine Seite kennt, niemand will
: diese Seite sehen.
Ich lasse ja Leute, die ich kenne meine WWW Adresse Wissen, genau wie auch
meine Adresse und Telefonnummer. Es gibt aber auch den ein oder anderen,
der das nicht wissen muss. Derzeit haben die Leute, an die ich da denke
eh kein Internet, aber so wie sich das ausbreitet, kann sich das ja
schnell aendern.
ciao...
Andreas Micklei
Marcus Meissner
In article <4utrm0$j...@news.cs.tu-berlin.de>,
Du benutzt Suchmaschinen, nicht? Was denkst Du, wieviele Informationen
die hätten, wenn sie nicht selbsttätig das Web durchgrasen und Seiten
indizieren würden? Um die Antwort vorweg zu nehmen: Fast keine.
Sie wären nämlich gar nicht erst entstanden, da wohl kaum jeder mit
interessanten Informationen sich darum kümmert, daß alle Suchmaschinen
seine Seiten kennen.
Sicher, wir hätten noch Yahoo! und andere directories, aber, IMHO,
Suchmaschinen sind besser.
Und wenn Du Deine Homepage oder was auch immer nicht für Robots zugreifbar
machen lassen willst gibt es einerseits robots.txt[1] für Kontrolle des
Servers und Meta Tags zur Robotkontrolle[2].
Marcus
Lit.:
[1] http://info.webcrawler.com/mak/projects/robots/norobots.html
[2] http://www.w3.org/pub/WWW/Search/9605-Indexing-Workshop/
--
http://wwwcip.informatik.uni-erlangen.de/user/msmeissn/index.html
de-usenet-kook-counter v0.1: K+
Peter Roeglin
msme...@cip.informatik.uni-erlangen.de (Marcus Meissner) writes:
Und ausserdem bietet jede der wenigen Suchmaschinen die Moeglichkeit an,
per einfacher email, bzw. Formularreply die eigenen WWW-Seiten oder
einige davon kuenftig auszuklammern.
Peter
--
roeg...@cs.tu-berlin.de
http://www.cs.tu-berlin.de/~roeglinx