Ciao a tutti,
mi è stato chiesto aiuto nella risoluzione di un problema che si pone con Libreoffice importando file csv. Alcuni colleghi importando dati da un file csv di poco inferiore a 15 MB, con l'intenzione di popolare una tabella, incappano nel blocco della procedura con relativa segnalazione di errore "java null pointer exception" oppure con il congelamento dell'applicazione. Importando invece file csv più piccoli, circa 2 MB, non si presenta alcun problema.
Ho posto il problema nella lista degli utenti di libreoffice e questa è
una prima risposta:
non sarà, invece, un problema di java?
che sistema operativo?
che versione di java?
Risposta veloce: ho incontrato Barbare Demo ieri che insegna basi di
dati a Torino e casualmente
mi ha raccontato che importando con csv basi di dati grandi Base dà
errore.
Il problema a orecchio e occhio mi sembra lo stesso o analogo.
Consiglio per toglierti il dubbio fai un csv più piccolo e vedi che
succede.
Quello descritto potrebbe essere il baco segnalato qui
http://forum.openoffice.org/en/forum/viewtopic.php?f=61&t=62832
--
Hai ricevuto questo messaggio perché sei iscritto al gruppo "wii_libera_la_lavagna" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più i suoi messaggi, invia un'email a wii_libera_la_lavagna+unsub...@googlegroups.com.
Per ulteriori opzioni, visita https://groups.google.com/groups/opt_out.
Propongo di provare a variare la cache.
Ho idea che con i file grandi si crea un collo di bottiglia proprio a
causa del ricalcolo e conseguente cache nell'attesa dello stesso, che in
qualche modo manda in krauti il tutto proprio a causa delle dimensioni
del file, probabilmente la restituzione dei dati per il ricalcolo
cache-->processore è troppo veloce.
Io vedo sul mio, andando su menu strumenti --> opzioni--> voce "memoria
principale", le seguenti voci con valori cache:
- cache grafica:
---uso di Libreoffice: 20 MB --> proverei a portarla a 30 o 40.
---memoria per oggetto 5,2 MB -->proverei a massimizzare a 10MB
-cache per oggetti inseriti:
---numero di oggetti: 20 --> per il momento non toccerei, non credo centri.
Il ragionamento credo sia dovuto al fatto che come i file grafici tipo
vettoriale di grosse dimensioni impegnano parecchio il processore nel
ricalcolo, e debbono avere schede grafiche apposite, tipo quelle che
usano i grafici o i "geometri", così credo che richieda potenza hardware
per quel tipo di file di grosse dimensioni.
Per paradosso, io se apro un file immagine pesante (tipo 20 MB) con un
programma di testo, debbo attendere parecchio tempo, perchè ovviamente
il tutto si deve "tradurre" in testo, viceversa per vederla a monitor ci
mette molto meno tempo, grazie alla compressione dell'estensione del
file utilizzato e dell'hardware programmato appositamente.
Mi spiace per non poter provare direttamente ma non ho file *.csv da
provare.
Comunque resta un'idea sia chiaro.
da cvs > calc > basenon ho seguito bene la discussione ma perchè ostinarsi su cvs?non è ooportuno fare 2 passaggi:
oppureda cvs > mysql > sql > base
Io vedo sul mio, andando su menu strumenti --> opzioni--> voce "memoria
principale", le seguenti voci con valori cache:
- cache grafica:
---uso di Libreoffice: 20 MB --> proverei a portarla a 30 o 40.
---memoria per oggetto 5,2 MB -->proverei a massimizzare a 10MB
-cache per oggetti inseriti:
---numero di oggetti: 20 --> per il momento non toccerei, non credo centri.
Premetto che non lo ho mai fatto ma una volta creata una base di dato
con mysql
con il mysql connector si dovrebbe essere in grado di visualizzare e
modificare il db.
Può essere interessante l'articolo
http://www.claudioromeo.it/Joomla/index.php/informatica/147-libreoffice-e-openoffice-gestire-un-database-mysql.html
e la sezione "Il driver nativo"
Se no c'è http://dev.mysql.com/downloads/tools/workbench/ non è
libreoffice ma non è complicato
e nel bene o nel male per disegnare db spesso si usa quello.
Non so non conoscendo bene open/libre office sono le strade che proverei
a percorrere.
Non so seguendo il tua ipotesi ho provato a usare iconv per cambiare la
codifica
in utf8
iconv -t utf-8 Anagrafica.csv
Inizia a tradurre un pezzo e poi dà un errore
"AO1M475010"|"Scuola secondaria di Iiconv: sequenza di input non
consentita alla posizione 355998
effettivamente quella riga ha quel "prima" con un carattere malvagio
"AO1M475010"|"Scuola secondaria di Iª grado"|"SCUOLA SECONDARIA DI PRIMO
GRADO"|"Via Tornafol,
1"|"CHATILLON"|"11024"|"0166560111"|"0166560236"|"segrete...@istitutosalesianovda.it"||"www.istitutosalesianovda.it"|"AORI47500D"|"PARITARIA"||
--
mgm
--
Hai ricevuto questo messaggio perché sei iscritto al gruppo "wii_libera_la_lavagna" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più i suoi messaggi, invia un'email a wii_libera_la_lavagna+unsub...@googlegroups.com.
Per ulteriori opzioni, visita https://groups.google.com/groups/opt_out.
Il 21/09/2013 16:11, dino moser ha scritto:
c'è qualcosa che non funziona: io scarico tranquillamente i dati in cvs dall'anagrafe unica studenti ma si tratta sempre di pochi kb...
e calc li apre in un baleno...
non so se ti riferisci ai file degli studenti, per ora sto lavorando con le scuole e il file si trova qui (Roberto è stato più preciso di me con il link):se è di 20 mega secondo me ci sono dei dati "blob"...
ma un db non deve essere fatto così : per le immagini ci sono i link ai file....
http://archivio.pubblica.istruzione.it/scuola_in_chiaro/open_data/Anagrafe.zip
--
mgm
--
Hai ricevuto questo messaggio perché sei iscritto al gruppo "wii_libera_la_lavagna" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più i suoi messaggi, invia un'email a wii_libera_la_lavagna+unsub...@googlegroups.com.
Per ulteriori opzioni, visita https://groups.google.com/groups/opt_out.
--
Hai ricevuto questo messaggio perché sei iscritto al gruppo "wii_libera_la_lavagna" di Google Gruppi.
Per annullare l'iscrizione a questo gruppo e non ricevere più i suoi messaggi, invia un'email a wii_libera_la_la...@googlegroups.com.
Non so io non ho bene capito il procedimento che si voleva fare ma prima
di mettere a posto
a mano i caratteri io con libreoffice 4 non ero in grado di importare i
dati nel fogli elettronico
e continuava a dire che caricava il file e non terminava.
Dopo le modifiche che ho fatto riesco subito a vedere i dati nel foglio
di calcolo.
Questo sembra un problema diverso da quello segnalato in precedenza.
Non fosse per questo motivo non mi sarei accorto dei caratteri speciali
e non avrei investito tempo
a correggere.
Forse c'è un problema di memoria a prescindere si vede che si alza a
vista d'occhio con file grandi
e in qualche modo mi aspetterei di vedere scendere l'occupazione di
memoria una volta caricati i dati.
Per apici e caratteri strani credo che alcuni siano presi da internet in
maniera automatica mi è
capitato di cercare indirizzi di scuole sul web e trovare gli stessi
contenuti dai file con caratteri strani.
Mi chiedevo quanto i dati siano aggiornati, corretti e verificati.
In ogni caso non ho capito i passaggi di importazione che si volevano
fare per la base di dati.
Potrei provare a farlo anchio per vedere se si verifica lo stesso
problema o qualcosa di diverso.
Il giorno mercoledì 25 settembre 2013 08:07:03 UTC+2, Pietro Pilolli ha scritto:Non so io non ho bene capito il procedimento che si voleva fare ma prima
di mettere a posto
a mano i caratteri io con libreoffice 4 non ero in grado di importare i
dati nel fogli elettronico
e continuava a dire che caricava il file e non terminava.
Dopo le modifiche che ho fatto riesco subito a vedere i dati nel foglio
di calcolo.
Testando il file che hai corretto, mi risulta che MariaGrazia sia riuscita ad importarlo in Base senza problemi. Esattamente come hai riscontrato tu. In importazioni successive però, utilizzando sempre il file da te "pulito", il problema si è ripresentato. Al T4T (a proposito, molto interessante la proposta didattica di Maria Grazia Maffucci, Flaviano Monge e Barbara Demo). inoltre, mentre sulla versione 4.x di LibreOffice installata sul portatile di Flaviano (non conosco il modello e le caratteristiche) la procedura aveva dato esito positivo, sui PC del laboratorio con LibreOffice 3.6 e sicuramente tanta ram in meno, l'errore si è presentato e non c'è stato verso di bypassarlo. Anche importando il foglio di Calc in due fasi.
Il codice di errore che restituisce la procedura, come ha evidenziato Maria Grazia fa riferimento all'allocazione della RAM.
Forse c'è un problema di memoria a prescindere si vede che si alza avista d'occhio con file grandi
e in qualche modo mi aspetterei di vedere scendere l'occupazione di
memoria una volta caricati i dati.
Per apici e caratteri strani credo che alcuni siano presi da internet in
maniera automatica mi è
capitato di cercare indirizzi di scuole sul web e trovare gli stessi
contenuti dai file con caratteri strani.
Mi chiedevo quanto i dati siano aggiornati, corretti e verificati.
In ogni caso non ho capito i passaggi di importazione che si volevano
fare per la base di dati.
Potrei provare a farlo anchio per vedere se si verifica lo stesso
problema o qualcosa di diverso.
Il problema (sotto-problema di uno più generale) era: importare la tabella Anagrafica (la più corposa) scaricabile dalla pagina:
http://archivio.pubblica.istruzione.it/scuola_in_chiaro/open_data/index.html
link diretto:
http://archivio.pubblica.istruzione.it/scuola_in_chiaro/open_data/Anagrafe.zip
In una tabella di Base e renderla editabile
Io ho l'impressione, al di là della problematica set di caratteri, che si debba mettere mano al codice del modulo di importazione di Base
Spero di essere stato chiaro
Saluti
Roberto Bergonzini
P.S: Maria Grazie e/o Flaviano, potete dettagliare meglio la questione?
Se intenti Libreoffice, Crea nuovo database,
collega a un database esistente/Foglio elettronico a me con il file
"fixed"
senza caratteri strani importa correttamente mentre con il file
originale no,
mi si incarta e non mi dice nulla esattamente come quando clicco sul
file
per la semplice apertura con Calc.
Era questa la procedura che si voleva fare?
Del null pointer da cui è scaturito tutto nessuna traccia neanche in
consolle.
Mi spiace di non riuscire a riprodurlo perchè chiaramente non riesco a
capire
di più della faccenda.
Se il problema si verifica con una altra versione di OpenOffice o
Libreoffice
consiglio di installare Libreooffice 4 che dovrebbe essere l'ultimo e
vedere
come si comporta sulle vostre macchine.