[Java lista] Adatbázis
nos...@javasite.bme.hu
Sziasztok!
Jelenleg Oracle alatt tárolunk kb 50-60 giga adatot, amit valamilyen ingynes adatbáziskezelőre kéne áttölteni.
Mit tudtok ajánlani, ami ekkora adatmennyiséget és clob-okat tud kezelni?
Az sem mellékes szempont, hogy az ora-ból milyen gyorsan tudjuk áttölteni az adatokat.
Régebben próbálkoztam mysql-lel de az insert-eket nagyon lassan dolgozta fel. (vagy csak rosszul volt bekonfigurálva)
Előre is kösz:
VigB
Java Felhasznalok Tarsasaga levelezolista
java...@javasite.bme.hu, http://javasite.bme.hu/javalist hun.comp.lang.java
nos...@javasite.bme.hu
szia!
csak egy tipp: postgresql esetén van mód szöveges alapon betölteni az
adatokat (lásd pgdump), ami sokkal hatékonyabb egyenkénti insert-nél.
hogy mi a pontos formátum és kellően hatékonyan tudjátok-e produkálni
nyilván egy másik kérdés, a lényeg, hogy van más megközelítési mód.
esetleg mysql-nél is kell valami hasonló lehetőség.
hogy pgsql miként bírkózik meg 50-60 giga adattal? saját tapasztalatom
nincs e téren amit hirtelen találtam ez ügyben:
http://www-css.fnal.gov/dsg/external/freeware/mysql-vs-pgsql.html
("PostgreSQL: 60GB databases exist.")
http://techdocs.postgresql.org/oscon2005/aaron.thul/pg_built_your_car.pdf#search=%22postgresql%20gigabytes%22
("75 Gigabytes per day of change")
http://www.computerworld.com.au/index.php/id;775191896;relcomp;1 ("s
regularly throwing hundreds of gigabytes of data at PostgreSQL to stress
the system and to stress Linux")
azt is meg kell nézni, hogy a pgsql mekkora clobokat támogat és az
elegendő-e nektek.
üdv,
attila
java...@javasite.bme.hu írta:
> *** Felado: Vig Balázs <balaz...@dataexplorer.hu> ***
nos...@javasite.bme.hu
Hali,
>>>>>>>>>>>>>>>>
Jelenleg Oracle alatt tárolunk kb 50-60 giga adatot, amit valamilyen ingynes
adatbáziskezelőre kéne áttölteni.
..Régebben próbálkoztam mysql-lel...
>>>>>>>>>>>>>>>>
És akkor miért nem az Oracle saját ingyenes eszközét válasszátok -> Oracle
Express?
MM
nos...@javasite.bme.hu
azon 4g adat + 1 proci + 1g ram korlat van
udv, t
java...@javasite.bme.hu wrote:
> *** Felado: Molnár Miklós <timo...@freemail.hu> ***
nos...@javasite.bme.hu
Hali,
>azon 4g adat + 1 proci + 1g ram korlat van
Bocs, jogos... :o( Kicsit kutyafuttában reagáltam....
MM
PS: és _választjátok_... Nagyon csúnya volt ahogy írtam... :o(
nos...@javasite.bme.hu
Hello!
On Monday 25 September 2006 17:26, java...@javasite.bme.hu wrote:
> *** Felado: Molnár Miklós <timo...@freemail.hu> ***
>
> Hali,
>
>
> Jelenleg Oracle alatt tárolunk kb 50-60 giga adatot, amit valamilyen
> ingynes adatbáziskezelőre kéne áttölteni.
>
> ..Régebben próbálkoztam mysql-lel...
Van egy kb 40 Gigás mysql adatbázis a környezetemben (MyIsam táblák)
és a méret miatt semmi gond nem volt még. Itt a nehézség szerintem
az, hogy hogy lehet értelmes módon, sql script formában kinyerni valamit
az oracle-ből. Én ugyan egyszer kerestem ilyen toolt, de nem jártam sikerrel
(pedig biztos van). A keresést megunva egy egyszerű perl script segítségével
nyomattam a select * -okat az oracle-ben, az eredményt pedig insert-tel be a
mysql-be.
Ugyanez javaban is könnyen elképzelhető. Elégé lábbal hajtós módszer,
de végülis működik.
Üdv
Merlin
nos...@javasite.bme.hu
Hali,
>>>>>>>>>>>>>>
Jelenleg Oracle alatt tárolunk kb 50-60 giga adatot, amit valamilyen ingynes
adatbáziskezelőre kéne áttölteni.
>>>>>>>>>>>>>>
2.menet ;) Ha már ennyire balul sült el az első... Ha most sem tudok
'javítani', akkor a továbbiakban - ígérem - csendben maradok.
Szerintem ajánlható a PostgreSQL alapú EnterpriseDB neked is. Az alábbi
linken olvasható árazásból mondjuk én nem tudtam eldönteni, hogy a
basic/free opció megengedi-e pl.: a több processzor, 4GB+ adat, 1GB+
memóriát. Én az Open Source alapból, meg az egész site 'hangulatából' (pl.:
komponensek forráskódjának letölthetősége) arra következtetek, hogy csak
support szinten van korlátozás, használati szinten nem.
http://www.enterprisedb.com/products/licensing_pricing.do
+infó manuaból: "The longest possible character string that can be stored is
about 1 GB."
MM
PS1: Az Oracle CLOB 9i-től emlékeim szerint korlátlan (fizikai korlát van
csak), így az 1GB CLOB-limit adott esetben lehet problémás.
PS2: A PostgreSQL közelíti meg emlékeim szerint a legjobban az Oracle-t az
ingyenesek közül (mind performanciában, mind programozás nyelvileg, a SapDB
mellett.
nos...@javasite.bme.hu
A h2database.com komolytalannak tűnhet, de egyáltalán nem biztos, hogy
az. 256 GB a limit plusz a CLOB.
nos...@javasite.bme.hu
> ingyenesek közül (mind performanciában, mind programozás nyelvileg, a SapDB
> mellett.
>
.. ami ha jól emlékszem ebben a formában nincs már, maxdb az utóda, ami
egy közös kezdeményezés a mysql cégével.
a maxdb-vel tudtommal ugyanaz a probléma, mint a mysql esetén:
használati feltételek bizonytalak, legalábbis ami az ingyenességet
illeti. én mindenképpen postgresql párti vagyok.
attila
nos...@javasite.bme.hu
Hali,
>>>>>>>>>>>>
. ami ha jól emlékszem ebben a formában nincs már, maxdb az utóda,
>>>>>>>>>>>>
Jogos a MaxDB-s kiegészítés /persze az "Oracle-hez igazodás"-t, és a
részbeni ingyenességet fenntartom ;)/. Ahogy én értelmezem a MaxDB-licencet,
gyors átfutás után, egy multinacionális nagyvállalat is használhatja saját
céljaira GPL alatt a MaxDB-t, de IT Szoftverfejlesztő, -értékesítő cégek
saját szoftvereik-hez csak vagy GPL szerint mellékelhetik a MaxDB
binárisokat pénzes értékesítéshez commercial licence-t kell venni belőle.
MM
nos...@javasite.bme.hu
On 9/25/06, java...@javasite.bme.hu <java...@javasite.bme.hu> wrote:
>
> *** Felado: Molnár Miklós <timo...@freemail.hu> ***
>
> Hali,
>
>
> >>>>>>>>>>>>
> . ami ha jól emlékszem ebben a formában nincs már, maxdb az utóda,
> >>>>>>>>>>>>
>
>
> http://www.sapdb.org/
>
> Jogos a MaxDB-s kiegészítés /persze az "Oracle-hez igazodás"-t, és a
> részbeni ingyenességet fenntartom ;)/. Ahogy én értelmezem a
> MaxDB-licencet,
> gyors átfutás után, egy multinacionális nagyvállalat is használhatja saját
> céljaira GPL alatt a MaxDB-t, de IT Szoftverfejlesztő, -értékesítő cégek
> saját szoftvereik-hez csak vagy GPL szerint mellékelhetik a MaxDB
> binárisokat pénzes értékesítéshez commercial licence-t kell venni belőle.
>
> MM
Jah, de hát a "gordiuszi" csomót úgy lehet eddigi tapasztalataim szerint
átvágni, hogy Te nem terjeszted a MySQL-t, se a jdbc driverét, a programod
meg nem használ semmi extra dolgot, JDBC-n keresztül elér egy adatbázist - a
jdbc-vel van linkelve, ami ugye szerencsére nem GPLes, a Te kliensed meg ha
akarja, letölti a MySQL-t, hozzácsapja a programodhoz a drivert és
használja. Te nem sértettél licenszt, mert nem terjesztetted, illetve nem
fordítottad egybe vele. A korrektségért ekkor azért szerintem illik legalább
egy nem GPL-es adatbázissal is támogatni a terméket :)
Zs
nos...@javasite.bme.hu
> Jogos a MaxDB-s kiegészítés /persze az "Oracle-hez igazodás"-t, és a
> részbeni ingyenességet fenntartom ;)/. Ahogy én értelmezem a MaxDB-licencet,
>
nem is cáfoltam azt a részt, a maxdb is csak kiegészítés volt, hiszen az
sapdb-t is lehet még használni - max túl sok minden nem várható, nem
tudom fizetős támogatás szinten miként áll a dolog, de ha ingyenes motor
kell gondolom támogatásra sem igazán akarnak fizetni :-)
attila
nos...@javasite.bme.hu
> Jah, de hát a "gordiuszi" csomót úgy lehet eddigi tapasztalataim
> szerint átvágni, hogy Te nem terjeszted a MySQL-t, se a jdbc driverét,
> a programod meg nem használ semmi extra dolgot, JDBC-n keresztül elér
> egy adatbázist - a jdbc-vel van linkelve, ami ugye szerencsére nem
> GPLes, a Te kliensed meg ha akarja, letölti a MySQL-t, hozzácsapja a
> programodhoz a drivert és használja. Te nem sértettél licenszt, mert
> nem terjesztetted, illetve nem fordítottad egybe vele. A korrektségért
> ekkor azért szerintem illik legalább egy nem GPL-es adatbázissal is
> támogatni a terméket :)
én is így értelmezem, de a mysql ag felől fújó szelek más hangokat
hoznak: bíztatnak a fizetésre - teljesen érthető módon, és ha ők úgy
gondolják, hogy nem felel meg a terjesztésed a feltételeiknek, akkor
következ(het)nek a problémák. (nem tudok precedens esetről)
emiatt én egyszerűen nem használom, mert pl a cégek saját tapasztalat
szerint (legalábbis a nagyobbak) szeretik, ha minden használt szoftver
teljesen tiszta és nincsenek bizonytalansági tényezők a legalitás terén
(be is szokták kérni a használati feltételeket - azt mondjuk nem tudom,
hogy el is olvassák-e vagy csak egy fiókba kerül, egyszer lehet, hogy
megkérdezem mi történik vele).
nos...@javasite.bme.hu
2006. szeptember 25. 15.26 dátummal java...@javasite.bme.hu ezt írta:
> *** Felado: Vig Balzs <balaz...@dataexplorer.hu> ***
>
> Sziasztok!
>
> Jelenleg Oracle alatt tárolunk kb 50-60 giga adatot, amit valamilyen
> ingynes adatbáziskezelőre kéne áttölteni.
>
> Mit tudtok ajánlani, ami ekkora adatmennyiséget és clob-okat tud kezelni?
DB2-express-C ? A limitje 2 CPU és 4 GB RAM, de másban ugyan az, mint a nagy
db2.
>
>Az sem mellékes szempont, hogy az ora-ból milyen gyorsan tudjuk áttölteni az
adatokat.
http://www-306.ibm.com/software/data/db2/udb/db2express/migrate_oracle.html
"The IBM Migration toolkit (MTK) can save you time and effort when migrating
from Oracle to DB2. The MTK can extract your Oracle database structure and
convert it into DB2's structure. Stored procedures, triggers and functions
can also be converted with this tool. The MTK can also be used to extract
your data and load it into DB2."
Üdv,
TomTo:)
--
Sent by KMail from a SuSE Linux 10.1, KDE 3.5.4, kernel 2.6.16.21-0.13-bigsmp
nem vagyok feliratkozva
nos...@javasite.bme.hu
> http://www-css.fnal.gov/dsg/external/freeware/mysql-vs-pgsql.html
> ("PostgreSQL: 60GB databases exist.")
elnézést, hogy visszatérek erre a levélre, a fenti oldal a böngészőmben
maradt és most kezdtem csak végigolvasni.
tanulságos, érdemes néhány percet rászánni, a lényeg, hogy az oracle-t,
mysql-t és postgresql-t hasonlítja össze elég sok szempont szerint.
attila
nos...@javasite.bme.hu
Miert is esett ki a pg? lemaradtam.. :) par honapja portoltunk
oracle-rol pg-re, majdnem mindent fajdalommentesen at tudtunk irni
plpgsql-es tartoltban.. limitekrol meg csak ennyit:
Maximum Database Size Unlimited
Maximum Table Size 32 TB
Maximum Row Size 1.6 TB
Maximum Field Size 1 GB
Maximum Rows per Table Unlimited
Maximum Columns per Table 250 - 1600 depending on column types
Maximum Indexes per Table Unlimited
(http://www.postgresql.org/about/)
es legalabb van minden kulturalt szolgaltatas, amit egy rendes
adatbaziskezelotol elvar az ember.. (nem ugy mint myisam-nal).
B
On 9/25/06, java...@javasite.bme.hu <java...@javasite.bme.hu> wrote:
> *** Felado: Tóth Tamás <toth....@aktivrekord.hu> ***
>
> 2006. szeptember 25. 15.26 dátummal java...@javasite.bme.hu ezt írta:
> > *** Felado: Vig Balzs <balaz...@dataexplorer.hu> ***
> >
> > Sziasztok!
> >
> > Jelenleg Oracle alatt tárolunk kb 50-60 giga adatot, amit valamilyen
> > ingynes adatbáziskezelőre kéne áttölteni.
> >
> > Mit tudtok ajánlani, ami ekkora adatmennyiséget és clob-okat tud kezelni?
> DB2-express-C ? A limitje 2 CPU és 4 GB RAM, de másban ugyan az, mint a nagy
> db2.
>
> >
> >Az sem mellékes szempont, hogy az ora-ból milyen gyorsan tudjuk áttölteni az
> adatokat.
>
> http://www-306.ibm.com/software/data/db2/udb/db2express/migrate_oracle.html
> "The IBM Migration toolkit (MTK) can save you time and effort when migrating
> from Oracle to DB2. The MTK can extract your Oracle database structure and
> convert it into DB2's structure. Stored procedures, triggers and functions
> can also be converted with this tool. The MTK can also be used to extract
> your data and load it into DB2."
>
> Üdv,
> TomTo:)
> --
> Sent by KMail from a SuSE Linux 10.1, KDE 3.5.4, kernel 2.6.16.21-0.13-bigsmp
>
> nem vagyok feliratkozva
>
nos...@javasite.bme.hu
Hali,
>tanulságos, érdemes néhány percet rászánni, a lényeg, hogy az oracle-t,
mysql-t és postgresql-t hasonlítja össze elég sok szempont szerint.
Jó a cikk tényleg, de mintha kicsit régi lenne, régi verziókra.
MM
nos...@javasite.bme.hu
Sziasztok!
Kösz a segítségeket! Az ajánlottak közül a postgre-t és a db2-express-t fogom megnézni. Szerintetek melyikbe egyszerűbb áttölteni az adatokat? Milyen formában lehet?
Írjak egy programot, és azzal pumpáljam át, vagy generáljak insert scripteket? (bár ez clob esetében elég kérdéses....)
VigB
nos...@javasite.bme.hu
On 9/26/06, java...@javasite.bme.hu <java...@javasite.bme.hu> wrote:
>
> *** Felado: Vig Balázs <balaz...@dataexplorer.hu> ***
>
> Sziasztok!
>
> Kösz a segítségeket! Az ajánlottak közül a postgre-t és a db2-express-t
> fogom megnézni. Szerintetek melyikbe egyszerűbb áttölteni az adatokat?
> Milyen formában lehet?
>
> Írjak egy programot, és azzal pumpáljam át, vagy generáljak insert
> scripteket? (bár ez clob esetében elég kérdéses....)
>
> VigB
>
>
Szerintem gúglizz egyet, van jó pár JDBC-n keresztül dbt töltő program.
Zs
nos...@javasite.bme.hu
2006. szeptember 26. 09.50 dátummal java...@javasite.bme.hu ezt írta:
> *** Felado: Vig Balzs <balaz...@dataexplorer.hu> ***
>
> Sziasztok!
>
> Kösz a segítségeket! Az ajánlottak közül a postgre-t és a db2-express-t
> fogom megnézni. Szerintetek melyikbe egyszerűbb áttölteni az adatokat?
> Milyen formában lehet?
>
> Írjak egy programot, és azzal pumpáljam át, vagy generáljak insert
> scripteket? (bár ez clob esetében elég kérdéses....)
Biztos elkerülte a figyelmed, akkor idézek az előző levelemből:
http://www-306.ibm.com/software/data/db2/udb/db2express/migrate_oracle.html
"The IBM Migration toolkit (MTK) can save you time and effort when migrating
from Oracle to DB2. The MTK can extract your Oracle database structure and
convert it into DB2's structure. Stored procedures, triggers and functions
can also be converted with this tool. The MTK can also be used to extract
your data and load it into DB2."
http://www-306.ibm.com/software/data/db2/udb/db2express/migrate_mtk.html
Persze én még nem próbáltam ;-)
Üdv,
TomTo:)
--
Sent by KMail from a SuSE Linux 10.1, KDE 3.5.4, kernel 2.6.16.21-0.13-bigsmp
nem vagyok feliratkozva
--
Sent by KMail from a SuSE Linux 10.1, KDE 3.5.4, kernel 2.6.16.21-0.13-bigsmp
Java Felhasznalok Tarsasaga levelezolista
java...@javasite.bme.hu, http://javasite.bme.hu/javalist hun.comp.lang.java
nos...@javasite.bme.hu
Szervusztok!
Biztosan nagyon egyszerű a problémám, sőt valószínűleg volt már itt szó
róla (de nem megy a kereső...) de nem találom a megoldást.
Egy Java kliensből hívok meg egy szervletet HttpClient segítségével.
NameValuePair[] form_data = new NameValuePair[3];
form_data[0] = new NameValuePair("PARANCS", "SAVE");
form_data[1] = new NameValuePair("URL", url);
HttpClient client = new HttpClient();
client.setConnectionTimeout(5000);
PostMethod httppost = new PostMethod(serverUrl.substring(0,
serverUrl.length() - 1) + ":" + port + servletUri);
httppost.setRequestBody(form_data);
client.executeMethod(httppost);
Az url paraméter egy fájlnév, ami magyar ékezetes karaktereket is
tartalmazhat.
A szervlethez azonban a hosszú ő és ű már csak '?' -ként ér át a doPost-ba:
String url = (String) request.getParameter("URL");
SZóval az "árvízt?r?_tükörfúrógép" ér át.
Ez alapján
(http://jakarta.apache.org/commons/httpclient/charencodings.html) az
lehet a baj, hogy alapból 8859-1 -es kódolással megy át a tartalom,
nekem meg 8859-2 kellene. de ha ez mondom:
httppost.addRequestHeader("Content-Type","text/html; charset=8859-2");
akkor a request.getParameter("URL") null lesz. Kicsit homályosítsatok
fel legyetek szívesek, hogy hol a gond... Előre is köszönöm!
Tóth József - t...@ulyssys.hu
http://joeblog.hu
nos...@javasite.bme.hu
Lehetséges hogy az url összeállításánál van a gond...
url = http://valami.hu:XXXX/?+dinamikusrész
dinamikus rész pedig = URLEncoder.encode("adsfasdf=ékezetes
szöveg&asdf=adsa", "UTF-8");
kérlek jelezz vissza ha megvan a megoldás... TIA
Best Regards,
István Benedek
CEO
besTest Consulting Services LTD
Debrecen office, Hungary (GMT+1)
Mobile phone : +36 (70) 375-4286
E-mail : istvan....@gmail.com
Homepage : www.bestest.hu
CONFIDENTIALITY CAUTION AND DISCLAIMER
This message is intended only for the use of the individual(s) or
entity(ies) to which it is addressed and contains information that is
legally privileged and confidential. If you are not the intended recipient,
or the person responsible for delivering the message to the intended
recipient, you are hereby notified that any dissemination, distribution or
copying of this communication is strictly prohibited. All unintended
recipients are obliged to delete this message and destroy any printed
copies.
-----Original Message-----
From: java...@javasite.bme.hu [mailto:java...@javasite.bme.hu]
Sent: Wednesday, September 27, 2006 8:38 AM
To: java...@javasite.bme.hu
Subject: [Java lista] httpclient encoding
*** Felado: Tóth József <t...@ulyssys.hu> ***
nos...@javasite.bme.hu
sajnos 1.3.1-el fordul a kliens, ott még nem volt encode(String s,
String enc).
Tóth József - t...@ulyssys.hu
http://joeblog.hu
java...@javasite.bme.hu wrote:
> *** Felado: <istvan....@gmail.com> ***
nos...@javasite.bme.hu
Szia!
> Jelenleg Oracle alatt tárolunk kb 50-60 giga adatot, amit valamilyen ingynes adatbáziskezelőre kéne áttölteni.
http://www.lethargy.org/~jesus/archives/66-Big-Bad-PostgreSQL.html
"I just gave a talk at OSCON on PostgreSQL. Specifically, it is a talk
on migrating a portion of a large data architecture from Oracle to
PostgreSQL. It is an honest assessment of what was gained and the pains
involved. Several people have requested the talk be put online."
Felhő