tips voor postgres import van de BAG

[Reinier Sterkenburg]

Misschien iets om nog op te nemen in de README van BAG-postgis

(http://data.nlextract.nl/bag/postgis/README):

Ik kwam bij het importeren hobbels tegen die als volgt genomen zijn:

1. Maak handmatig een database aan, bijvoorbeeld met de naam "bag"

2. Zorg dat deze de extension "postgis" heeft

3. Maak een "Login role" aan met de naam "kademo"

Na het bovenstaande gedaan te hebben liep bij mij de restores, 

zowel van Amstelveen als van heel Nederland, foutloos.

[Just van den Broecke]

Bedankt Reinier,

Mbt punt 3. Zoals in http://data.nlextract.nl/bag/postgis/README:

"TIP: bij inlezen via PGAdmin III kun je errors zien mbt OWNER en
privileges. Inlezen gaat wel goed. Om deze waarschuwingen te vermijden
kun je onder "Restore options #1" tab de sectie "Don't save" de opties
"Owner" en "Privilege" aanvinken.

TIP: doe je een restore vanaf de commandline dan is deze:

pg_restore --no-owner --no-privileges -d bag bag-laatst.backup"

Werkte dat niet?

Ik probeer nog steeds de optimale pg_dump parameters te vinden zodat de
warnings/errors verdwijnen bij pg_restore (dit commando wordt ook binnen
PGAdminIII import gebruikt). De huidige parameters voor de BAG-dump
download versie zijn als volgt:

pg_dump \
--host <hostnaaam> \
--port 5432 \
--username kademo \
--no-password \
--format custom \
--no-owner \
--compress 7 \
--encoding UTF8 \
--verbose \
--file bag-laatst.backup \
--schema bagactueel \
bag

Ik dacht dat "no-owner" juist vermeed dat een user "kademo" vereist is,
maar blijkbaar niet. Voor optimale compatibiliteit (met verschillende
PG/PostGIS versies) zou ik voor alle dumps (Top10nl etc) eigenlijk
liever een "--format plain" en dan een bzip2/zip compressie doen zoals
voorheen. Echter dat gaf weer problemen bij gebruikers omdat dan psql
(commandline) gedaan moet worden.

Als iemand nog ideeën heeft om punt 3. te vermijden horen we dat graag!

Met vriendelijke groet,

Just

> --
> --
> Dit is een bericht van de Google Groups "nlextract" group.
> Home pagina: http://www.nlextract.nl
> Groep mailen: nlex...@googlegroups.com
> Afmelden: nlextract+...@googlegroups.com
> Meer opties: http://groups.google.com/group/nlextract?hl=en
>
> ---
> Je hebt dit bericht ontvangen omdat je bent geabonneerd op de groep
> "nlextract" van Google Discussiegroepen.
> Als je je wilt afmelden bij deze groep en geen e-mails van de groep meer
> wilt ontvangen, stuur je een e-mail naar
> nlextract+...@googlegroups.com
> <mailto:nlextract+...@googlegroups.com>.
> Ga naar https://groups.google.com/d/optout voor meer opties.

[Reinier Sterkenburg]

Hallo Just,

Het aanzetten van die vinkjes op de "Restore options #1" tab heeft inderdaad het gewenste effect: 

geen foutmeldingen/waarschuwingen meer.

Dus je hebt gelijk dat het niet nodig is om vooraf een user aan te maken.

V.w.b. de restore van de command line:

Daar speelt nog een ander issue:

Mijn Windows username is geen username (login role) in Postgres.

Dus ik moest nog een entry toevoegen aan de command line:

pg_restore --no-owner --no-privileges --username=<NAAM> -d bag bag-laatst.backup

Groet,

Reinier

[leslie buying]

Hi Reinier en Just,

Ik ben bezig met een eerste test om BAG data in mijn PostgreSQL server te importen. Hiervoor wil ik gebruik maken van bag-amstelveen.backup om eerste mee te testen. Nu heb ik mijn PostgreSQL(v9.6) geïnstalleerd en vraag ik me af wat de juiste manier is om deze bag-amstelveen.backup in mijn database te krijgen. Is hier ergens meer informatie over te vinden?

Alvast bedankt voor jullie reacties.

Met vriendelijke groet,

Leslie

Op dinsdag 23 februari 2016 20:34:29 UTC+1 schreef Reinier Sterkenburg:

[Reinier Sterkenburg]

Hallo Leslie,

Je hebt PostgreSQL geïnstalleerd; dat is de database server.

Om databases aan te kunnen maken moet je ofwel de command line tools gebruiken of een client met een user interface, zoals pgAdmin III of pgAdmin 4.

Als ik me niet vergis wordt pgAdmin3 standaard mee-geïnstalleerd als je de server installeert.

De executable pgAdmin3.exe staat dan in de bin directory van PostgreSQL.

Als je pgAdmin runt, moet je daarin eerst een server aankoppelen. In jouw geval zal dat localhost zijn.

Maak vervolgens een database aan (op het icoontje met de naam "Databases" rechts-klikken en "New database" kiezen).

Geef hem een naam (b.v. bag) en voeg er na het aanmaken de extension "postgis" aan toe.

Selecteer vervolgens je net aangemaakte database, rechts-klik, en kies "Restore".

Wat je verder moet doen wijst zich hopelijk vanzelf.

Lees ook de tips van Just.

Ik denk dat je hiermee verder zou moeten kunnen komen.

Groet,  Reinier

Op maandag 12 juni 2017 14:20:14 UTC+2 schreef leslie buying:

[leslie buying]

Hallo Reinier,

Het is gelukt om BAG in PostgreSQL te krijgen. De volgende stap wordt het toevoegen van Centraal Bureau voor Statistiek (CBS) om vervolgens met Open Street Map en Leaflet een map te creëren met verschillende lagen. Het begin is er nu : )

Bedankt voor je reactie.

Groet, Leslie 

Op 12 juni 2017 om 21:52 schreef Reinier Sterkenburg <rpsre...@xs4all.nl>:

--

--
Dit is een bericht van de Google Groups "nlextract" group.
Home pagina: http://www.nlextract.nl
Groep mailen: nlex...@googlegroups.com

Afmelden: nlextract+unsubscribe@googlegroups.com

Meer opties: http://groups.google.com/group/nlextract?hl=en

---

Je hebt dit bericht ontvangen omdat je bent geabonneerd op een onderwerp in de groep "nlextract" van Google-discussiegroepen.
Als je je wilt afmelden bij dit onderwerp, ga je naar https://groups.google.com/d/topic/nlextract/W5msluhjDv8/unsubscribe.
Als je je wilt afmelden bij deze groep en alle onderwerpen van de groep, stuur je een e-mail naar nlextract+unsubscribe@googlegroups.com.