Μηχανική μάθηση - αγγελίες για ενοικιάσεις σπιτιών

[Ioannis Papaioannou]

Χαιρετώ την ομήγυρη,

   Ολοκλήρωσα πρόσφατα το διαδικτυακό μάθημα Machine Learning και θέλω να εφαρμόσω τους αλγόριθμους για τις τιμές ενοικιάσεως σπιτιών. Συλλέγω δεδομένα απ' τη Χρυσή Ευκαιρία αλλά είναι εξαιρετικά χρονοβόρο και λόγω των πολλών παραμέτρων(περιοχή, αριθμός δωματίων, όροφος, έτος κατασκευής, θέρμανση κ.λ.π.) αυτοί οι αλγόριθμοι θέλουν μεγάλη ποσότητα δεδομένων. Υπάρχει περίπτωση να έχουν τις αγγελίες καταχωρημένες σε κάποια ηλεκτρονική μορφή π.χ. excel ή .csv ή .txt και να μου δοθούν αν τις ζητήσω. Δυστυχώς το ένα τρίτο των αγγελιών δεν έχουν το έτος κατασκευής που πιστεύω είναι κρίσιμη παράμετρος. Επίσης οι αγγελίες δεν έχουν κάποιο μοναδικό κωδικό.
   Αν αναζητήσω στο διαδίκτυο σίγουρα θα μου επιστρέψει αρκετά αποτελέσματα αλλά έχει κανείς να προτείνει κάποια βιβλιοθήκη για γραμμική άλγεβρα σε JAVA, προς το παρόν χρησιμοποιώ το Octave.
   Κάποιος τομέας που μπορεί κανείς να εφαρμόσει Μηχανική Μάθηση και να υπάρχουν διαθέσιμα δεδομένα;

Γιάννης Π.

[Achilleas Mantzios]

Γιάννη είναι τεράστιο το θέμα. Θυμάμαι είχα αρχίσει και διδακτορικό σε data mining, που ποτέ δεν τελείωσα. Super market, consumer basket, υγεία, μηχανικοί σένσορες και διάγνωση-προβλεψη βλαβών είναι μερικές από τις άπειρες εφαρμογές του machine learning, το οποίο ενίοτε λανσάρεται ως data mining, και παλαιότερα Artificial Intelligence.
Θυμάμαι το 1998 μπορούσα να βρώ datasets από το net, τώρα κατα πάσα πιθανότητα θα υπάρχει περισσότερο πράμα.

2012/7/17 Ioannis Papaioannou <ioan...@ath.forthnet.gr>

--
You received this message because you are subscribed to the Google Groups "jhug" group.
To view this discussion on the web visit https://groups.google.com/d/msg/jhug/-/C_Jg8hSZr4MJ.
To post to this group, send email to jh...@googlegroups.com.
To unsubscribe from this group, send email to jhug+uns...@googlegroups.com.
For more options, visit this group at http://groups.google.com/group/jhug?hl=en.

[Nikos Stasinopoulos]

Καλημέρα,

Datasets υπάρχουν. Ρίξε μια μια ματιά στο kaggle.com (που είναι ένα πολύ ενδιαφέρον εγχείρημα γενικώς) και σίγουρα στο http://thedatahub.org/. Εδώ υπάρχουν τα άπαντα.

Για βιβλιοθήκες, μην προσπεράσεις το weka που είναι από τα σημαντικά και εύκολα εργαλεία σε Java για Data Mining - Machine Learning. Κατά τα άλλα, σκόρπιοι οι αλγόριθμοι υπάρχουν σε πολλά σημεία στο web.

Νίκος Στ.

--------

Nikos Stasinopoulos
Phd Candidate
School of Electrical and Computer Engineering
National Technical University of Athens

email:  nstasin...@gmail.com
           ni...@stasino.com
-------------------------

2012/7/17 Ioannis Papaioannou <ioan...@ath.forthnet.gr>

--

[Panagiotis Astithas]

2012/7/17 Ioannis Papaioannou <ioan...@ath.forthnet.gr>

Χαιρετώ την ομήγυρη,

   Ολοκλήρωσα πρόσφατα το διαδικτυακό μάθημα Machine Learning και θέλω να εφαρμόσω τους αλγόριθμους για τις τιμές ενοικιάσεως σπιτιών. Συλλέγω δεδομένα απ' τη Χρυσή Ευκαιρία αλλά είναι εξαιρετικά χρονοβόρο και λόγω των πολλών παραμέτρων(περιοχή, αριθμός δωματίων, όροφος, έτος κατασκευής, θέρμανση κ.λ.π.) αυτοί οι αλγόριθμοι θέλουν μεγάλη ποσότητα δεδομένων. Υπάρχει περίπτωση να έχουν τις αγγελίες καταχωρημένες σε κάποια ηλεκτρονική μορφή π.χ. excel ή .csv ή .txt και να μου δοθούν αν τις ζητήσω. Δυστυχώς το ένα τρίτο των αγγελιών δεν έχουν το έτος κατασκευής που πιστεύω είναι κρίσιμη παράμετρος. Επίσης οι αγγελίες δεν έχουν κάποιο μοναδικό κωδικό.

Ένα web site προφανώς έχει τα δεδομένα του σε ηλεκτρονική μορφή. Δεν υπάρχει περίπτωση να σου τις δώσουν όμως, καθώς αυτές αποτελούν ανταγωνιστικό πλεονέκτημα για μια τέτοια επιχείρηση.

--
Panagiotis Astithas
http://astithas.com

[Spiros I. Oikonomakis]

Καλημέρα και από μένα,

Επειδή πρόσφατα έψαχνα και εγώ datasets για να κάνω κάποια πειράματα σε hadoop,

είχα βρει τα παρακάτω datasets στα παραδείγματα του όμως mahout που μπορείς να το  χρησιμοποιήσεις και να δεις και παραδείγματα που έχει,

http://www.grouplens.org/node/73

Σπύρος Ι. Οικονομάκης

[Kostis Kapelonis]

2012/7/17 Ioannis Papaioannou <ioan...@ath.forthnet.gr>:

> Χαιρετώ την ομήγυρη,
>
> Ολοκλήρωσα πρόσφατα το διαδικτυακό μάθημα Machine Learning και θέλω να
> εφαρμόσω τους αλγόριθμους για τις τιμές ενοικιάσεως σπιτιών. Συλλέγω
> δεδομένα απ' τη Χρυσή Ευκαιρία αλλά είναι εξαιρετικά χρονοβόρο και λόγω των
> πολλών παραμέτρων(περιοχή, αριθμός δωματίων, όροφος, έτος κατασκευής,
> θέρμανση κ.λ.π.) αυτοί οι αλγόριθμοι θέλουν μεγάλη ποσότητα δεδομένων.
> Υπάρχει περίπτωση να έχουν τις αγγελίες καταχωρημένες σε κάποια ηλεκτρονική
> μορφή π.χ. excel ή .csv ή .txt και να μου δοθούν αν τις ζητήσω. Δυστυχώς το
> ένα τρίτο των αγγελιών δεν έχουν το έτος κατασκευής που πιστεύω είναι
> κρίσιμη παράμετρος. Επίσης οι αγγελίες δεν έχουν κάποιο μοναδικό κωδικό.

Μερικές απαντήσεις για την ΧΕ

1)ΔΕΝ πρόκειται να σου δώσουν καθόλου δεδομένα. Μην διανοηθείς ούτε
καν να το ζητήσεις.... :-)
2)Οι αγγελίες έχουν id και το παίρνεις από το URL της κάθε αγγελίας
(είναι το κομμάτι πριν το .html). Δεν είμαι 100% σίγουρος αλλα αξίζει
να δοκιμάσεις
3)Οι αγγελίες έχουν ακριβώς οτι δεδομένα δώσαν αυτοί που τις βάλανε.
Αν δεν υπάρχει έτος κατασκευής είναι γιατί η αγγελία ποτέ δεν το είχε.

Επειδή όπως φαντάζεσαι τους έχει απασχολήσει και αυτούς το θέμα εκεί,
αν κάνεις κάτι καλό ίσως σε "κυνηγήσουν" για συνεργασία.

Δες επίσης και τον Σπιτόγατο..

Κωστής

[Charalampos Arapidis]

Καλησπερα και απο εμενα, εχοντας καπια εμπειρια σε
recommendation engine για social networking
θα προτεινα να δεις lucene / solr
( full text search, result highlighting, data clustering etc)
και mahout για υλοποιηση της recommendation engine

• Apache Lucene
• Mahout

2012/7/17 Kostis Kapelonis <kkap...@gmail.com>

--
You received this message because you are subscribed to the Google Groups "jhug" group.

To post to this group, send email to jh...@googlegroups.com.
To unsubscribe from this group, send email to jhug+uns...@googlegroups.com.
For more options, visit this group at http://groups.google.com/group/jhug?hl=en.

--
Charalampos Arapidis

Senior Software Engineer & Technical Book Author

LinkedIn | Twitter | Fuzz Box  

/ 

mobile: 6973 937453

[Zisis Pontikas]

Γεια,

Όπως είπαν ο Κωστής και ο Παναγιώτης που έχουν περάσει και οι δύο από εδώ (www.xe.gr) τα data δεν μπορούμε να τα δώσουμε.

Φυσικά έχουμε κάνει και εμείς κάποια service για αυτό το θέμα αλλά δεν κατάφεραν να περάσουν στην παραγωγή (στο site δηλαδή) για διάφορους λόγους. Για αυτό το θέμα δεν μπορώ να σε βοηθήσω άλλο δυστυχώς. Θα ήθελα όμως να μπορέσεις να το κάνεις αυτό και να γίνει άλλη μία νέα υπηρεσία του site μας. 

Θα σου στείλω προσωπικό email από το εταιρικό αν ενδιαφέρεσαι. 

Zisis Pontikas

2012/7/17 Ioannis Papaioannou <ioan...@ath.forthnet.gr>

--

You received this message because you are subscribed to the Google Groups "jhug" group.

To view this discussion on the web visit https://groups.google.com/d/msg/jhug/-/C_Jg8hSZr4MJ.

To post to this group, send email to jh...@googlegroups.com.
To unsubscribe from this group, send email to jhug+uns...@googlegroups.com.
For more options, visit this group at http://groups.google.com/group/jhug?hl=en.

--
Zisis Pontikas
zis...@gmail.com

[Markos Fragkakis]

Μπορείς να προσπαθήσεις να κάνεις screen scraping (αλλιώς web scraping) με:

1. κάποιο έτοιμο εργαλείο (http://en.wikipedia.org/wiki/Web_scraping), ή 

2. γράφοντας ένα προγραμματάκι που να χρησιμοποιεί το JSoup (http://jsoup.org/)

Έτσι θα πάρεις ότι δεδομένα χρειάζεσαι, και θα τα σώσεις στην μορφή που χρειάζεσαι. 

Ανεξαρτήτως από τον τρόπο, πιθανόν να υπάρχει νομικό θέμα, οπότε διάβασε τα terms του site από το οποίο θέλεις να πάρεις δεδομένα.

Μάρκος

2012/7/17 Zisis Pontikas <zis...@gmail.com>

--
Sent from my iPhone

[Markos Fragkakis]

Πρόσεξε μόνο να μη γίνεις το πρώτο μέλος του JHug που πήγε φυλακή, γιατί δεν έχουμε ελικόπτερο να σε βγάλουμε.

:-Ρ

Π.Σ. Τελείωσα κ γω το Machine Learning πριν μερικούς μήνες, κ ενθουσιάστηκα!

2012/7/17 Markos Fragkakis <markos.f...@gmail.com>

[Achilleas Mantzios]

μετά θα διαδώσει το protothema.gr οτι έλληνας "χάκερ" πήγε φυλακή, και οι πόστερς θα οργανώσουν καμπάνια για πρόσληψή του στο facebook (όπου και είναι ο φυσιολογικός προορισμός του κάθε έλληνα χάκερ) :P

2012/7/17 Markos Fragkakis <markos.f...@gmail.com>

[Georgia]

Αν θες να μαζέψεις εσύ τα δεδομένα χειροκίνητα μπορείς να κοιτάξεις και το Crawler4J (http://code.google.com/p/crawler4j/)

για να κάνεις crawl όλες τις σελίδες που σε ενδιαφέρουν σε συνδυασμό με το JSoup που προαναφέρθηκε.

// Georgia Kapitsaki

[Fotis Stamatelopoulos]

Γιάννη καλησπέρα,

κατά προτίμηση πριν μπεις φυλακή μίλα με τον Ανδρέα Χατζάκη (http://gr.linkedin.com/in/achatzakis) του Σπιτόγατου. Υποθέτω ότι είναι δύσκολο να σου δώσει μια τέτοια υπηρεσία πλήρη στοιχεία αλλά ίσως αν σου δώσουν "anonymized" δεδομένα; δηλαδή χωρίς διευθύνσεις, τηλεφωνα και μόνο με τα υπόλοιπα στοιχεία που θα "μασήσει" ο αλγόριθμός σου. Υποθέτω ότι αν ο στόχος είναι επιστημονική περιέργεια και όχι το κέρδος εκμεταλευόμενος τα δεδομένα αυτά, είναι πιθανό να βγάλεις άκρη.

Φώτης

2012/7/17 Markos Fragkakis <markos.f...@gmail.com>

[Ioannis Papaioannou]

   Αν είναι να γίνει κανείς πρώτο θέμα ειδικά στο ΠρώτοΘΕΜΑ ας πάει και φυλακή θα βρει και τον Άκη να τα λένε. Προφανώς δεν με ενδιαφέρουν ευαίσθητα δεδομένα με ενδιαφέρουν features όπως περιοχή, αριθμός δωματίων, όροφος, έτος κατασκευής, θέρμανση και οτιδήποτε άλλο μπορεί να επηρεάσει την τιμή. Στο συγκεκριμένο course διδάσκονται μια σειρά από αλγόριθμοι απλά θέλω κάποια δεδομένα για να τους εφαρμόσω πρώτα σε Octave και ακολούθως σε JAVA. Πιστεύω η ενοικίαση κατοικιών είναι ένας καλός τομέας, είμαι περίεργος τι τιμή θα μου βγάλει για το διαμέρισμα που μένω. Καλώς ή κακώς αυτοί οι αλγόριθμοι είναι φαγανοί και για να κάνουν ακριβή πρόβλεψη χρειάζεται να τροφοδοτηθούν με εκατοντάδες ή και χιλιάδες examples. Βέβαια τα δεδομένα πρέπει να είναι από χρονική περίοδο όπου οι τιμές είναι σταθερές δεν έχει νόημα πιστεύω να κάνεις πρόβλεψη για το παρελθόν.

Υ.Γ. Αν τυχόν κάποιος καταλήξει συγκάτοικος του Άκη ή της γυναίκας του, αυτής της τυπικής μέσης Ελληνίδας  έχω ετοιμάσει για τις ατέλειωτες ώρες μια λίστα με ρεμπέτικα

[George Georgovassilis]

Αν ψάχνεις αναλυτικά και πλήρη δεδομένα για διάφορα αντικείμενα για δοκίμασε μήπως βρεις κάτι εδώ: http://publicdata.eu/

[George Georgovassilis]

Αλλιώς μπορώ να σου δώσω την demo βάση του bazarooma.com

[Ioannis Papaioannou]

Χαιρετώ σας,
   Τελικά για πράξεις μεταξύ πινάκων διάλεξα τη βιβλιοθήκη  EJML υποτίθεται ότι είναι απ' τις πιο γρήγορες αλλά είναι μονονηματική. Σήμερα που οι  πολυπύρηνοι επεξεργαστές είναι κανόνας δεν πρέπει να γίνει πέρασμα σε πολυνηματικές υλοποιήσεις;
   Ευχαριστώ Γιώργο για την διάθεση σου να μου δώσεις τη demo βάση του bazarooma αλλά δεν θα μου χρειαστεί τελικά, όντως υπάρχουν διαθέσιμα δεδομένα παντού τριγύρω. Μπορεί κανείς να δημιουργήσει τα δικά του. Πήρα την ιδέα απ' το Algorithms, Part I και μέτρησα τον χρόνο εκτέλεσης για τον αλγόριθμο 3SUM για είσοδο από 1Κ έως 128Κ για 64Κ το λάθος στην πρόβλεψη ήταν λιγότερο από 2% μετά πέρασα στα 128Κ, παραδόξως το σφάλμα ήταν 22%.
   Έχω γράψει ένα πρόγραμμα το MLJ όπου έχω μεταγράψει τους αλγόριθμους του Machine Learning (προσφέρεται για τρίτη φορά, ξεκινά σήμερα)από Octave σε Java προς το παρόν έχω υλοποιήσει μόνο το normal equations κι ελπίζω να βρω χρόνο να υλοποιήσω κι άλλους. Προφανώς υπάρχουν ήδη εξαιρετικές εφαρμογές όπως η weka εγώ το κάνω για τη δικιά μου ευχαρίστηση-εξάσκηση.

Γιάννης Π.

[Ioannis Papaioannou]

Ελληνική πύλη ανοικτών δεδομένων

http://open-data.okfn.gr/