FAQ/VVV: De XS4ALL newsservers
Erik Hensema
Erik Hensema (er...@hensema.xs4all.nl)
v1.3.0, 13 oktober 2002
Deze FAQ behandelt veel gestelde vragen over de newsservers van
XS4ALL: news.xs4all.nl, en newszilla. Speciale aandacht is er voor
newszilla, waarbij apart aandacht is geschonken aan enkele bekende
problemen met deze server.
______________________________________________________________________
Inhoudsopgave
1. Nieuw in deze versie
2. Inleiding
2.1 Beschikbaarheid
3. De newsservers
3.1 news.xs4all.nl
3.2 newszilla.xs4all.nl
3.2.1 newszilla6.xs4all.nl
3.3 news1.news.xs4all.nl
4. Handig om te weten over newszilla
4.1 Maximaal aantal verbindingen
4.2 Maximale snelheid verbindingen
4.3 Beheerder
4.4 Ontbreken van bepaalde binary groepen
4.5 Tyrannewsaurus en rhinewceros
5. Bekende problemen met newszilla
5.1 Ontbrekende berichten
5.1.1 Omschrijving
5.1.2 Status
5.2 Ontbrekende oude berichten
5.2.1 Omschrijving
5.2.2 Status
5.3 Newsreaders op de shell
5.3.1 Omschrijving
5.3.2 Status
5.4 Vreemde Xref headers op newszilla
5.4.1 Omschrijving
5.4.2 Status
5.5 Control messages
5.5.1 Omschrijving
5.5.2 Status
5.6 Snelheid verbinding
5.6.1 Omschrijving
5.6.2 Status
6. Allerlei
6.1 Alteon loadbalancer
6.2 Aantal verbindingen newszilla
6.3 Grootte newsfeed
6.4 Toevoegen nieuwsgroep
6.5 Bereikbaarheid van buiten XS4ALL
6.6 news-only abonnement
6.7 www.newszilla.com
7. Verklaring van termen
8. Links
9. Schrijvers en Copyright
______________________________________________________________________
1. Nieuw in deze versie
1.3.0 (13/10/2002)
- reorganisatie van de hoofdstukken
- vermelding snelheidslimiet
- newszilla heeft 6 readers
- vervanging oude newsserver
- link naar nieuwe foto's
- newszilla ook via IPv6 bereikbaar
- uitleg over mogelijke oorzaken van het ontbreken van binary parts
- veel kleine aanpassingen aan de tekst
1.2.6 (06/08/2002)
- Vermelding van xs1 en xs2
- dreader2 is geen echt onderdeel meer van newszilla
1.2.5 (19/06/2002)
- news.xs4all.be is dezelfde machine als news1.xs4all.nl
- document wordt ook gepost in xs4all.adsl.
- tweede binary-server voor newszilla
1.2.4 (15/04/2002)
- Nieuwe link naar foto van newszilla
- news1 doet geen binaries meer
1.2.3 (08/04/2002)
- vermelding dat news1 waarschijnlijk stopt met binaries
- link naar foto's werkt niet meer
- alt.binaries.movies.divx wordt wel gevoerd op zilla
- toevoeging dat het rechtstreeks benaderen van dreaderN geen
snelheidswinst geeft
1.2.2 (03/01/2002)
- Toevoeging dreader4
- Opnieuw vermelding van tyrannewsaurus en rhinewceros
- Update 'rode kruisen probleem'
- Vermelding mogelijkheid om contact te maken met specifieke reader
1.2.1 (13/12/2001)
- Alle readers hangen nu achter de Alteon
- Verbetering van wat schrijffouten
- Kleine update 'rode kruisen probleem'
2. Inleiding
In de groep xs4all.general, maar ook daarbuiten, worden veel vragen
gesteld over de newsservers van XS4ALL. Omdat veel vragen herhaald
voorkomen en het vervelend is steeds dezelfde antwoorden te moeten
geven heb ik deze FAQ maar geschreven ;-) Hopelijk bevat hij genoeg
informatie voor de gemiddelde gebruiker van de newsservers.
De beheerder van deze FAQ is Erik Hensema (er...@hensema.xs4all.nl). Ik
werk niet voor XS4ALL en heb al deze informatie opgepikt uit
nieuwsgroepen zoals xs4all.general en heb wat eigen onderzoek gedaan.
Verder heb ik hulp gekregen van een aantal bewoners van
xs4all.general, mijn grote dank daarvoor.
XS4ALL is niet verantwoordelijk voor de inhoud van deze FAQ. Ik
daarentegen ben weer niet verantwoordelijk voor de newsservers ;-)
2.1. Beschikbaarheid
Dit document wordt maandelijks gepost in de nieuwsgroepen
xs4all.general en xs4all.adsl. Dit document is ook online in html
formaat beschikbaar op
http://www.hensema.net/newsservers/newsservers.html.
3. De newsservers
XS4ALL heeft op dit moment drie newsservers, te weten:
o news.xs4all.nl: de 'oude', stabiele newsserver
o newszilla.xs4all.nl: de grote newsserver voor binaries. Officieel
nog steeds experimenteel
o news1.news.xs4all.nl: de vervanging voor news.xs4all.nl
In de volgende paragrafen worden de servers in detail behandeld.
3.1. news.xs4all.nl
news.xs4all.nl is de standaard-newsserver van XS4ALL. De server draait
al tijden zonder problemen. De newsspool is te klein om binary-
groepen een redelijke tijd beschikbaar te stellen. Deze server voert
dan ook geen binaries meer, gebruik hiervoor newszilla.
news.xs4all.nl is ook bekend als news1.xs4all.nl, de naam die hij
kreeg toen hij nog proefdraaide naast de nu uit dienst genomen
(stok)oude news.xs4all.nl. news1 is rond augustus 1997 in gebruik
genomen.
news.xs4all.be is een alias voor news1.xs4all.nl. Belgische klanten
van XS4ALL kunnen de servers overigens ook onder de Nederlandse namen
benaderen.
news.xs4all.nl bestaat uit twee servers:
o news1.xs4all.nl: de reader-machine. Dit is de machine waar
gebruikers contact mee maken
o newsfeed.xs4all.nl: de feeder. Deze machine neemt berichten aan van
buiten XS4ALL, dus van andere newsservers
news.xs4all.nl draait als software INN 2.2
(http://www.isc.org/products/INN) onder FreeBSD op een dual P2/400 met
512 MB geheugen en 50 GB diskruimte.
newsfeed.xs4all.nl draait als software Diablo
(http://www.openusenet.org/diablo/). Verdere gegevens over deze
machine heb ik niet.
3.2. newszilla.xs4all.nl
newszilla is de nieuwe, nog experimentele, newsserver van XS4ALL, die
in de loop van 2000 in gebruik is genomen. De server is een van de
grootste van Europa, met een 2.5 TB binary spool en een 600 GB
text spool. Praktisch betekent dit dat berichten in de binary
groepen nu ongeveer tien dagen beschikbaar zijn en berichten in
normale groepen nog langer geraadpleegd kunnen worden.
newszilla is feitelijk niet een server, maar een cluster van een stuk
of vijftien machines. Op http://www.xs4all.nl/~scorpio/news.jpg staat
een schema met de diverse onderdelen van newszilla. In dit schema
staan nog acht machines: op dit moment zijn er echter geen twee
readers, maar zes of zeven, en er zijn twee textspools en binary
spools.
Wanneer je contact maakt met newszilla.xs4all.nl, dan kom je
automatisch terecht op een van de reader-machines. Hier merk je verder
niets van.
Op http://www.xs4all.nl/~donar/pbw/ staat een pagina met foto's van de
apparatuur van XS4ALL. De foto's genummerd 753 t/m 759 geven een
kijkje op newszilla. Deze foto's zijn redelijk oud, inmiddels neemt
newszilla al twee 19 inch kasten in beslag: op
http://www.xs4all.nl/~scorpio/newszilla staan foto's van de huidige
opstelling met de namen van alle machines.
Op http://www.xs4all.nl/foto/ staat een pagina met foto's van de ADSL-
apparatuur van XS4ALL, maar er staat ook een foto van newszilla:
http://www.xs4all.nl/foto/pic22.jpg (dit is ook de 'oude' opstelling).
newszilla draait een experimentele versie van Diablo
(http://www.openusenet.org/diablo/) onder FreeBSD. Alle
oorspronkelijke machines zijn dual P3/700's met 1 GB intern geheugen.
Het schijvenpakket van zo'n 3 TB (dubbel uitgevoerd, dus meer dan 6 TB
in totaal) bestaat uit disks van 72 GB per stuk.
De reader-machines zijn ook direct te bereiken als
dreaderN.news.xs4all.nl, waarbij N = 1 t/m 7. Gewoonlijk zal het niet
nodig zijn om expliciet met een bepaalde reader contact te maken, maar
het kan soms voor probleemoplossing handig zijn. Over het algemeen
geeft het GEEN snelheidswinst wanneer je direct contact maakt met een
van de readers. Zolang je direct contact maakt een van de dreaders heb
je GEEN recht tot klagen over het functioneren van newszilla.
Sinds een aantal maanden heeft dreader2.news.xs4all.nl problemen.
dreader2 is nog wel bereikbaar, maar voor zover ik weet word je er
nooit naar doogeschakeld als je de naam newszilla.xs4all.nl gebruikt.
Maak in principe nooit contact met deze server.
3.2.1. newszilla6.xs4all.nl
Dit is geen aparte server, maar gewoon een reader die bereikbaar is
via IPv6. Ook bekend als newszilla.xs6all.nl.
3.3. news1.news.xs4all.nl
Deze server gaat news.xs4all.nl vervangen als de text-only server.
Hier zul je dus geen binaries op vinden.
Veel gegevens over deze server heb ik nog niet. Hij bestaat in elk
geval uit twee machines, beide quad 2.2 Ghz machines met 4 GB geheugen
elk.
De server is nog in de testfase.
4. Handig om te weten over newszilla
Hier worden wat handige wetenswaardigheden over newszilla behandeld.
Problemen worden in een aparte sectie behandeld.
4.1. Maximaal aantal verbindingen
Er is een maximum van drie gelijktijdige verbindingen per client naar
newszilla. Sommige software heeft de mogelijkheid om meerdere
verbindingen in een keer te openen, maar dit werkt dus niet bij
newszilla.
Wanneer je toch meer dan drie verbindingen probeert te maken, dan
reageert newszilla met 'your host connection limit reached'.
4.2. Maximale snelheid verbindingen
De verbindingen naar newszilla zijn gelimiteerd op maximaal 400
kbit/s, wat neerkomt op ongeveer 50 KB/s. Met drie verbindingen open
zou je dus op 150 KB/s kunnen komen.
4.3. Beheerder
De beheerder van de newszilla is Cor Bosman, je kunt hem mailen, maar
het plaatsen van een bericht in de groep xs4all.general is normaal
gesproken voldoende.
Mail voor 'normale' problemen (bijvoorbeeld het niet bereikbaar zijn
van de server) naar unixb...@xs4all.nl. Ook problemen met
news.xs4all.nl dienen daar gemeld te worden.
4.4. Ontbreken van bepaalde binary groepen
Omdat de stroom berichten in een aantal groepen dusdaning hoog is dat
ze de ruimte voor andere groepen verdringen, voert newszilla een
aantal groepen niet. Deze groepen zijn onder andere:
o alt.binaries.cd.*
o alt.binaries.vcd.*
Crosspostings naar deze groepen worden ook niet geplaatst. Dat heeft
als gevolg dat ook sommige andere groepen `last' hebben van
ontbrekende berichten.
4.5. Tyrannewsaurus en rhinewceros
Tyrannewsaurus en rhinewceros waren testservers voor newszilla, maar
als dusdaning bestaan ze niet meer. Wanneer je contact maakt met een
van die twee servers, dan kom je gewoon op newszilla terecht.
5. Bekende problemen met newszilla
newszilla heeft nog te kampen met een aantal problemen; deze worden
hier behandeld.
5.1. Ontbrekende berichten
5.1.1. Omschrijving
Soms zijn series berichten niet geheel compleet. Dat kan meerdere
oorzaken hebben. Ten eerste kan het voorkomen dat sommige delen nog
eerste en het laatste deel zit.
Het kan ook voorkomen dat de readermachines de verbinding met de
spoolmachines verloren hebben. Op dat moment is het onmogelijk om
berichten op te halen, al zijn de headers nog wel beschikbaar. Probeer
het dan later nog eens.
Dit probleem staat ook wel bekend als het 'rode kruisen probleem'. Na
het ophalen van de headers blijken sommige berichten niet aanwezig
te zijn op de server. Na herhaald opnieuw proberen blijkt het toch
mogelijk zijn het bericht te downloaden. Dit probleem lijkt alleen op
te treden in de binary groepen.
5.1.2. Status
Dit probleem leek te zijn opgelost, maar begin juni 2001 lijkt het
weer terug te zijn.
Eind 2001 lijkt het probleem definitief opgelost te zijn. Mocht je
toch nog problemen hebben, mail Cor dan met de exacte foutmelding (het
gaat voornamelijk om de foutcode, bijvoorbeeld 423.1), de datum en
tijd, nieuwsgroep en artikelnummer.
Volg xs4all.general voor de laaste ontwikkelingen.
5.2. Ontbrekende oude berichten
5.2.1. Omschrijving
Een probleem dat lijkt op het vorige probleem, maar wat toch een ander
probleem is: het is mogelijk om headers op te halen van oude
berichten, terwijl de berichten zelf niet meer op te vragen zijn. Dit
doet zich voornamelijk voor in de tekstgroepen.
Uit een kleine test is gebleken dat van de groep xs4all.general
headers beschikbaar zijn tot ongeveer vier maanden terug, terwijl er
feitelijk berichten beschikbaar zijn tot ongeveer een maand oud.
Dit probleem wordt veroorzaakt door een bug in de newszilla software.
De berichten staan nog wel in de newsspool, maar kunnen niet meer
benaderd worden na een maand.
5.2.2. Status
Dit probleem is niet opgelost.
5.3. Newsreaders op de shell
5.3.1. Omschrijving
XS4ALL biedt de mogelijkheid om te werken op een van hun publieke Unix
machines: xs3.xs4all.nl en xs4.xs4all.nl. Op deze machines is er ook
de mogelijkheid om news te lezen. Overigens worden deze machines
binnenkort vervangen door xs1.xs4all.nl en xs2.xs4all.nl.
Tijdens het ophalen van headers in drukke groepen, kan de
newsclient crashen. Dit wordt veroorzaakt doordat newszilla
zoveel headers levert, dat de newsclient zonder geheugen komt te
zitten, of tegen andere limieten aanloopt. Gezien die limieten op de
shellmachines van XS4ALL nogal strak staan, willen de newsclients
nogal eens crashen.
Er zijn problemen met de volgende software:
o slrn: deze kan tot ongeveer 125.000 headers lezen, daarna crasht
hij
o tin: crasht op de grotere groepen, want tin heeft geen mogelijkheid
om het aantal op te halen headers te beperken
o nn
5.3.2. Status
Ik heb nog geen gegevens over de nieuwe shellmachines en of er daar
nog software is die problemen geeft. Op xs3 en xs4 is dit probleem
gedeeltelijk opgelost.
5.4. Vreemde Xref headers op newszilla
5.4.1. Omschrijving
Wanneer je een artikel aan de hand van zijn Message-Id ophaalt vanaf
newszilla, dan bevat de Xref-header onbetrouwbare artikelnummers. Het
is dan dus niet mogelijk om hetzelfde artikel nogmaals op te halen aan
de hand van het nummer aangegeven in de Xref header.
De Xref header wordt gebruikt door sommige software om crossposts als
gelezen te markeren in alle groepen. De Unix-applicatie trn is hier
een voorbeeld van.
Voor slrn bestaat er een optie `broken_xref'. Met de volgende regel in
.slrnrc is deze optie te activeren:
set broken_xref=1
Overigens is dit feitelijk geen probleem van newszilla, omdat nergens
beschreven staat dat de Xref-header juiste informatie moet bevatten.
Het probleem zit in software die daar wel van uit gaat.
5.4.2. Status
Vrijwel niemand zal last hebben van dit probleem. Het probleem zal ook
niet in Diablo opgelost gaan worden; het moet worden opgelost in de
gebruikerssoftware.
5.5. Control messages
5.5.1. Omschrijving
Control messages (dus berichten met een Control header) die gepost
zijn in control.* lijken foute line-endings te bevatten, waardoor
sommige software (in elk geval suck) de berichten niet goed kan
decoderen. In het geval van suck zorgt dit probleem voor kapotte
bodies, waardoor bijvoorbeeld PGP signatures waardeloos worden.
Dit is een complex probleem waar bijna niemand last van zal hebben.
5.5.2. Status
Dit probleem is niet opgelost. Gebruik voorlopig news.xs4all.nl om
control.* te downloaden.
5.6. Snelheid verbinding
5.6.1. Omschrijving
Voor 24 augustus 2001 was de snelheid van newszilla erg laag. De
snelheidsproblemen horen echter niet meer aan de orde te zijn.
5.6.2. Status
Per 22 juni is newszilla op een ander punt in het netwerk geplaatst,
waardoor de verbinding sneller zou moeten worden.
Per 24 augustus 2001 is een extra 100 mbit kaart bijgeplaatst in de
readermachine, die nu via een eigen netwerk verbinding heeft met de
rest van het cluster. De 100 mbit kaart die verbinding heeft met de
rest van het XS4ALL netwerk wordt hierdoor ontlast. De snelheid is nu
veel hoger dan voorheen.
Per december 2001 heeft newszilla drie reader-machines achter een
Alteon loadbalancer. Hierdoor is de snelheid enorm toegenomen.
Sinds ongeveer half december 2001 heeft de server van de binary
newsspool een 1 gbit verbinding met de readers.
Sinds begin 2002 is er een vierde reader-machine toegevoegd.
Vanaf oktober 2002 zijn er nog eens twee reader-machines toegevoegd en
is de cluster verplaatst in het netwerk.
6. Allerlei
6.1. Alteon loadbalancer
Newszilla hangt achter een Alteon loadbalancer die met een 1
gbit/s verbinding in het XS4ALL netwerk hangt. De Alteon is weer met 1
gbit/s verbonden aan de reader-machines.
6.2. Aantal verbindingen newszilla
Het totaal aantal verbindingen dat newszilla heeft naar clients kan
oplopen tot meer dan duizend tegelijkertijd (dit zijn oude gegevens,
ik schat het nu op rond de 2000 tot 3000 verbindingen minimaal).
6.3. Grootte newsfeed
De newsfeed (hoeveelheid berichten) stijgt nog steeds enorm, maar in
maart 2001 was het volume 2 GB per dag aan tekstberichten en 220 GB
per dag aan binaries.
Nog meer getallen: op 18 mei 2001 bevatte newzilla.xs4all.nl
37.670.143 berichten in 35.286 groepen.
Anno oktober 2002 is de grootte van de feed ongeveer 400 tot 450 GB
per dag, met uitschieters boven de 500 GB.
6.4. Toevoegen nieuwsgroep
Een verzoek om een bestaande, publieke, nieuwsgroep beschikbaar te
krijgen via XS4ALL kan gedaan worden door een mailtje te sturen naar
unixb...@xs4all.nl. Het verzoek kan ook geplaatst worden in
xs4all.general, waar hij vaak ook wel opgepikt wordt door de
systeembeheerders.
6.5. Bereikbaarheid van buiten XS4ALL
De servers news.xs4all.nl en newszilla.xs4all.nl zijn voor XS4ALL-
abonnees bereikbaar van buiten het XS4ALL-netwerk door in te loggen
met hun naam en wachtwoord.
6.6. news-only abonnement
Sommige klanten van andere ISP's dan XS4ALL willen graag voor
newszilla een abonnement afsluiten bij XS4ALL, en hopen op een
korting. Op het moment van schrijven bestaat zo'n abonnement niet en
lijkt de kans dat zo'n abonnement er komt klein.
6.7. www.newszilla.com
De site http://www.newszilla.com is van een bedrijf dat zich
specialiseert in het toeleveren van news aan providers. newszilla.com
levert geen news aan XS4ALL en heeft ook niets te maken met
newszilla.xs4all.nl.
7. Verklaring van termen
newsspool
Diskruimte die gereserveerd is voor het opslaan van de artikelen
en aanverwante informatie.
binary
Een bericht waarvan de inhoud in binair gecodeerde vorm staat
(plaatje, programma, muziek).
binary groepen
Groepen die speciaal bedoeld zijn om binaries in te plaatsen.
Verreweg de meeste van deze groepen vallen onder alt.binaries.*.
headers
Ook wel berichtkop geheten, waarin de vaste informatie van een
bericht, zoals de afzender, het onderwerp en dergelijke is
opgenomen. Deze worden los van de berichten zelf opgeslagen op
de server, waardoor een snellere verwerking mogelijk is.
bodies
De inhoud van de berichten. Bijlagen behoren ook tot de body.
newsclient
In dit geval: de software van de gebruiker. Dit is dus de
software waarmee je contact maakt met de newsserver.
shellmachines
De twee publieke Unix-machines van XS4ALL, xs3.xs4all.nl en
xs4.xs4all.nl. Deze machines worden binnenkort vervangen door
xs1 en xs2.
loadbalancer
Apparaat dat de binnenkomende netwerkverbindingen tussen servers
kan verdelen.
8. Links
Cor Bosmans Diablo FAQ:
http://www.xs4all.nl/~scorpio/diablo/faq.html
Statistieken over de newsfeed:
http://statistix.xs4all.nl/public/diablo/
9. Schrijvers en Copyright
Deze tekst is geschreven door Erik Hensema (er...@hensema.xs4all.nl),
met hulp van velen die ik helaas niet allemaal hier kan noemen.
Aanvullingen en correcties zijn van harte welkom.
Copyright 2001 Erik Hensema. Deze tekst mag vrij verspreid worden,
onder voorwaarde dat hij inhoudelijk niet veranderd wordt.
Aanpassingen ten behoeve van layout zijn toegestaan.
Huub Reuver
>
> 6.3. Grootte newsfeed
>
> De newsfeed (hoeveelheid berichten) stijgt nog steeds enorm, maar in
> maart 2001 was het volume 2 GB per dag aan tekstberichten en 220 GB
> per dag aan binaries.
>
> Nog meer getallen: op 18 mei 2001 bevatte newzilla.xs4all.nl
> 37.670.143 berichten in 35.286 groepen.
>
> Anno oktober 2002 is de grootte van de feed ongeveer 400 tot 450 GB
> per dag, met uitschieters boven de 500 GB.
Hm, is er nog iets te zeggen over de "retention-time" (ik hoop dat het goed
geschreven is). Met de grootte van de newsfeed verandert dit waarschijnlijk
continu. Af en toe is het wel handig per newsgroep een indiatie te hebben
van zowel de totale grootte van de groep (aantal headers/MB) en de tijd
dat de berichten beschikbaar blijven.
Ideaal zou een script zijn dat regelmatig (dagelijks/wekelijks) een
overzicht maakt. En als daarbij het script van de configuratie-files
gebruik kan maken kost dat waarschijnlijk nauwelijks performance van
newszilla.
2 jaar geleden zat de tijd waarin de berichten beschikbaar waren ergens
bij 10 dagen, ik geloof dat de meeste binary-groepen nu op een dag of 4
zitten?
Met vriendelijke groet,
Huub