Szoftveres feladat: CSV->CSV konverterekre (adatformátum és mapping) megoldásokat keresünk!

82 views
Skip to first unread message

torok...@torokcsalad.hu

unread,
Apr 9, 2020, 8:06:28 AM4/9/20
to suppress-cov...@googlegroups.com, Radnóti Barnabás, Csóka Endre, Tamás Bagi
Tisztelt Csoport tagok!
KERESÜNK:
- Project összefogó embert
- és konverter készítőket keresünk erre a feladatra:

A cél a következő:
Arról a process lépésről van szó, ami ezen képen a 4. pont: CSV konverzió: https://docs.google.com/drawings/d/1ZrrucnKxQf33jzSfyVQfAUsEj4zdO8IvtRqHKUjd2wE/edit

A helyzet: van az országban (tegyük fel) 200-500 RT-PCR gép, amit ebben a projektben majd használni fog az ország. Ezek különféle gyártók termékei.
A cél, hogy a sok-sok mérést gyorsan és élőmunka kímélő módon lehessen kiértékelni, azaz: automatizálás.
Ennek a módja az, hogy a mérés eredményét számítógép dolgozza fel. (most itt nem releváns, hagyományos szoftver vagy gépi tanulás - reméljük, hogy gépi tanulás lesz)
Minden PCR mérés végén kijön a gépből (általában) 96 minta mérési számsora (ebből kettő referencia minta, tehát a hasznos 94).
A PCR vezérlő szoftver outputja (nyilván vannak embereknek szóló szép rajzolt görbék, de most itt a lényeg, hogy) általában ez egy CSV, (ha épp nem CSV, hanem TSV, ODT vagy XLS vagy akármi, én most akkor is CSV-ként fogok rá hivatkozni). Ezen CSV-ről azt is tudjuk, hogy:
- gyártónként eltérő oszlop-sorrenddel, és eltérő szám-ábrázolással
- (NEM FELADAT!!!: esetleg konkrét PCR gépenként kicsit egyedileg eltérő érzékenység miatt, egy kicsit eltérő mértékű számokkal - ebben segít a két referencia minta, hogy minden mérést kalibrálhatunk, ha jól értem NEM FELADAT!!!)

A cél az, hogy egy egységes, standard CSV-vé alakítsuk az alábbi gyártók egyedi CSV-jét, valamint esetleg igazítsuk meg az értékeket a referenciapontok mért értékei és az ismert valóság arányában (az ismert valóság egy paraméter kell legyen, ami valamilyen modón kit zacskójára ráírt érzékenység, vagy ilyesmi - ezt majd Barna megmondja, most mellékes)
Azért ez a célunk, hogy ez az output sztenderdizált legyen, és így a következő lépésnek elegendő legyen egyféle inputtal foglalkoznia.

Javaslatom a standard output CSV-re: a Rotorgene Q gépek CSV-je. Két oka van:
- Endréék most erre fejlesztik a döntéshozó entitás
- ez egy elterjedt modell, és így ezen gépek használóinak nem kell időt tölteniük a konvertálással (bár valszeg ez egy scheduled task lesz, ami percenként fut, konvertál, és feltölti a döntéshozó entitásnak).

Kérem, aki ebben részt tudna venni, kérem, írjon és kérjen hozzáférést ehhez a táblához:


Nem tudom, hogy lokálisan futó kis konverzió lenne az ideális, vagy feltölteni valahová, és ott konvertálni, ezt is még el kellene dönteni. Az is lehet, hogy valamilyen SaaS cucc van erre.
Amit tudok (és a folyamatábrán is látszik)
- Lehetséges, hogy a dönttovábbi labormunkát indukál, azaz lehetséges, hogy ez nem a végső outputja (6.)
- A teljes labor folyamat végén a mintákhoz kell kapcsolódjon ez az infó, és vissza kell menjen majd az országos rendszerbe - de még lehetséges, hogy közben lesz a laborban munka

Üdv,

Ákos


On Thu, 9 Apr 2020 at 11:12, 'Radnóti Barnabás' via biology-suppress19 <biology-s...@googlegroups.com> wrote:

Ez lesz a standard:
Gyártó: Qiagen ( mostmár Thermo Scientific group), régbbi eredeti gyártó Corbett Research
Modell: 
*Rotorgene Q  - ebból van 1 , 2 , 4, 5 plex (azaz ennyi csatornán tud leolvasni és HRM (high resolution melt)
 
Gyártó: Roche

LightCycler® 1.5
LightCycler® 2.0
*LightCycler® 480 - erre kéne fókuszálni, hogy ne hugyozzunk széllel szemben, ha ezt használják az NNK-ban




Gyártó: Applied Biosystem( mostmár Thermo Scientific group)

Modell:
ABI 7000
*ABI 7500
ABI 7500 fast 
*ABI Quant studio 
ABI StepOne
ABI StepOne Plus


Gyártó: BioRad

Modell:
iCycler IQ
CFX96
*CFX96 Touch
BioRad iQ5


Gyártó: 
DNA-Technology

Modell:
DT-Lite 
*DT-Prime


Gyártó: Bioer

Modell:
LineGene 9600 (Plus)
QuantGene 9600


Gyártó: Tianlong

Modell:
Gentier 48 E; 48 R; 48S


Gyártó: Thermo Scientific

Modell:
PikoReal

Csillagoztam amit tudomásom szerint COVID-19 járvány diagnosztizálásában M.o.-n használnak

--
Azért kapta ezt az üzenetet, mert feliratkozott a Google Csoportok „biology-suppress19” csoportjára.
Az erről a csoportról és az ahhoz kapcsolódó e-mailekről való leiratkozáshoz küldjön egy e-amailt a(z) biology-suppres...@googlegroups.com címre.
Ha szeretné megtekinteni ezt a beszélgetést az interneten, látogasson el ide: https://groups.google.com/d/msgid/biology-suppress19/1237743247.3050556.1586423524291%40mail.yahoo.com.

torok...@torokcsalad.hu

unread,
Apr 9, 2020, 10:44:24 AM4/9/20
to Dániel Varga, suppress-cov...@googlegroups.com, Csóka Endre, Radnóti Barnabás, Tamás Bagi
Szia Dániel!

Akkor továbbítom a leveledet:

On Thu, 9 Apr 2020 at 16:04, Dániel Varga <varga....@gmail.com> wrote:
Sziasztok! Bemutatkozom, Varga Dániel vagyok, Endre hívott a projektbe, a Rényi Matematikai Intézet színeiben jöttem, de elég sok alkalmazott adat-feldolgozási projektet is szoktam csinálni. Én most gyorsan fél óra alatt írtam egy beolvasót azokhoz a fájlokhoz, amiket Barnabástól kaptam, úgyhogy valószínűleg hasznotokra tudok lenni. Ez most még csak a gyors bejelentkezésem, majd lesznek kérdéseim is, és remélhetően előbb-utóbb válaszaim is.
4.csv.png

On Thu, Apr 9, 2020 at 2:15 PM Csóka Endre <csoka...@gmail.com> wrote:
Sziasztok!

Varga Danit hozzáadtam ehhez, ő csinálja az MI-t.
Lehet, hogy Dani pontosabban tud válaszolni azokra a kérdésekre, amiket nekem tettetek fel.

Endre

Tamas Nepusz

unread,
Apr 9, 2020, 10:47:24 AM4/9/20
to suppress-cov...@googlegroups.com, Radnóti Barnabás, Csóka Endre, Tamás Bagi
Sziasztok!

Véletlenül sikerült pár levelet váltanom Ákossal a listán kívül, úgyhogy ezeket most ide bemásolom, hogy meglegyen a kommunikáció publikusan is. Fentről lefelé olvasandó:


On Thu, 9 Apr 2020 at 14:58, Tamas Nepusz <nta...@gmail.com> wrote:
Kedves Ákos!

Eddig csak csendben figyeltem a fejleményeket a levlistán, de azt hiszem, most jött el az a pont, ahol érdemben tudnék segíteni. Informatikus vagyok, viszonylag sok programnyelvben otthon érzem magam (főleg C, Python és Javascript), nagyon szívesen segítenék a szükséges CSV konverterek elkészítésében, ha van specifikáció, hogy pontosan miről mire kéne konvertálni, illetve ha valami központi, szerver oldali konvertáló megoldásban gondolkoztok, ahova csak felmegy a gép-specifikus CSV és visszaadja a standard CSV-t, annak a megvalósításában, üzemeltetésében is tudok segíteni.

Mindjárt kérek hozzáférést a koordinációs táblázathoz is.

Üdvözlettel,
Tamás


On Thu, 9 Apr 2020 at 15:19, Ak...@TorokCsalad.hu <torok...@torokcsalad.hu> wrote:
Szia Tamás,

Köszi, nagyon örülnénk mind, ha ezt valaki kézbe venné!

A feladat része az is, hogy mind a forrás, mind a cél CSV-k formátumát a géptípusok szerint meg kell szerezni - szerintem leginkább a netről lehetne összegooglézni a gépek user manualjából (vagy itt a listán kérni embereket, hogy küldjenek példát, ha nekik van ilyen gépük, vagy kérjenek másoktól),

 
On Thu, 9 Apr 2020 at 15:29, Tamas Nepusz <nta...@gmail.com> wrote:
Szia!

Oké, nem probléma az sem, ha a Google-ről kell összevadászni, azt is szívesen vállalom. Ugyanakkor nekem hosszú évek tapasztalata az volt, hogy ezek a hivatalos leírások nem mindig fedik a valóságot, sokszor vannak minimális eltérések (szoftververziók között, vagy bármi egyéb okból), ezért az a legbiztosabb, ha a listán kérjük majd meg az embereket, hogy akiknek van a saját gépükről minta kimenet, azt küldjék át, és akkor legalább van egy validálható teszteset.

Üdv,
Tamás


On Thu, 9 Apr 2020 at 15:30, Ak...@TorokCsalad.hu <torok...@torokcsalad.hu> wrote:
Szia Tamás, cc Endre,
Szerintem itt a minta a forrás CVS-kre: https://drive.google.com/open?id=1RN8UvWw9Ueix2k_OfqCLnQfBfVXoHrZ4 
 
Szia Endre, ez az, amit Barna adott, kérlek, erősítsd meg, hogy erre a formátumra hozzuk a többiekét is! [...] uh, most látom, ogy ez annyira nem sima CSV, hanem szekciók, saját header sorokkal. eggyel bonyolultabb a feladat. kérdés, hogy ez optimális-e Endrééknek is, mert ha nem, akkor nem kéne ezen kínlódni 


On Thu, 9 Apr 2020 at 15:34, Tamas Nepusz <nta...@gmail.com> wrote:
Szia!

Igen, ez nem éppen CSV, de nem baj, ilyet is lehet gyártani, de lehet, hogy Endrééknek az az egyszerűbb, ha ebből levágjuk a felesleges sallangokat és csak azt tartjuk meg, amire nekik szükségük van.

 
T.


On Thu, 9 Apr 2020 at 14:06, Ak...@TorokCsalad.hu <torok...@torokcsalad.hu> wrote:
--
You received this message because you are subscribed to the Google Groups "suppress-covid19" group.
To unsubscribe from this group and stop receiving emails from it, send an email to suppress-covid19-p...@googlegroups.com.
To view this discussion on the web visit https://groups.google.com/d/msgid/suppress-covid19-pandemic/CAKDdW8BUmU--kPhiwvRYA%3DNJRcRFzoC9C8RXu77tb_MZevRUww%40mail.gmail.com.

torok...@torokcsalad.hu

unread,
Apr 9, 2020, 12:30:11 PM4/9/20
to suppress-cov...@googlegroups.com, Dániel Varga, Radnóti Barnabás, Csóka Endre, Tamás Bagi
Szia Tamás,
Köszi! Akkor szerintem aránylag tiszta a feladat: a többi gép outputját ilyenre kéne konvertálni, és akkor Dánielék bármilyen gépből jövő adatot tudnának elemezni.

Szia Dániel,
Totál lenyűgöz ez!

Ákos

torok...@torokcsalad.hu

unread,
Apr 9, 2020, 12:40:33 PM4/9/20
to suppress-cov...@googlegroups.com, Dániel Varga, Tamas Nepusz, Radnóti Barnabás, Csóka Endre, Tamás Bagi
Szia Nepusz Tamás,
Danival és Endrével beszélgetnénk egyet a pontosabb specről - fel tudsz hívni? +36703370933

Ákos

Dániel Varga

unread,
Apr 9, 2020, 2:26:32 PM4/9/20
to torok...@torokcsalad.hu, suppress-cov...@googlegroups.com, Tamas Nepusz, Radnóti Barnabás, Csóka Endre, Tamás Bagi
Hello!

Még nem szeretnék állást foglalni a standard CSV legjobb változatáról, amíg csak egyetlen gép néhány kimenetét láttam, de az ahhoz az egy géphez írt beolvasó és standardizáló kódom lefut a 6 fájlra, amit kaptam. Ezek nagyon tiszta adatok voltak, valószínűleg kicsit túl rigid az én formátumom. Itt osztottam meg a konvertert:


Így néz ki a konvertálás után, ez most tab-separated:

file DNA-Technology_CT 2015-11-26 (1).rex
date 2015.
time 11. 26. 14:37:44
operator Elvira
run_id
notes DNA-Technology_CT
machine_serial_no 0111111
green 5
yellow 5
orange 5
red 5
crimson 7

dimensions 2 5 45
A.Green A.Yellow
2 6 7 8 9
4378 1423 1509 PC NC

0.777402286160516 0.753032730601968 0.782242858232787 0.779954004948283 0.752574959945068 0.79368712465531 0.783844217124144 0.784431102581709 0.776684214541848 0.806548300253954 0.792706187533379 0.801653523100078 0.790182580065849 0.808829887337555 0.816030692432615 0.795401948068462 0.813892752551485 0.798809796292058 0.80608326339615 0.813814501157143 0.802828005391521 0.79466806177724 0.809872587167163 0.812288598967473 0.793011367971313 0.806875279294597 0.826217347160355 0.809777218280308 0.830635756248025 0.825513084611277 0.834058136873427 0.83085374227512 0.826494021733207 0.843706533795799 0.827611200122072 0.813000686655986 0.844682230869002 0.856500636770721 0.851148241397727 0.85297932402533 0.818900841789375 0.850308995193408 0.847747659375034 0.83912882722679 0.859300918811104

És így néz ki hozzá a megjelenítő, az is benne van a fenti kódban:
image.png

Üdv,
D.

Tamas Nepusz

unread,
Apr 9, 2020, 3:06:11 PM4/9/20
to suppress-cov...@googlegroups.com, Dániel Varga, Radnóti Barnabás, Csóka Endre, Tamás Bagi
Sziasztok!

Lemaradtam az esti telefonról, nem olvastam emailt, de Ákos már tudja a számom, úgyhogy legközelebb hívjatok telefonon, ha beszélni kéne.

Köszi! Akkor szerintem aránylag tiszta a feladat: a többi gép outputját ilyenre kéne konvertálni, és akkor Dánielék bármilyen gépből jövő adatot tudnának elemezni.
Van esetleg a többi gép outputjából minta fájl, amit meg tudtok mutatni? Addig is túrom a netet kézikönyvek meg formátumok után, de minta fájlból gyorsabban lehet dolgozni.

Üdv,
Tamás

dome...@gmail.com

unread,
Apr 10, 2020, 2:53:12 AM4/10/20
to suppress-covid19
Sziasztok. 
Szívesen segítek, ha cloud-osítani (Saas) kellene bármelyik szoftveres lépést.

Dömösi János
30/996-1040

peter....@gmail.com

unread,
Apr 10, 2020, 4:00:12 AM4/10/20
to suppress-covid19
Figyelmetekbe ajánlom a KNIME nevü platformot, az ilyen tipusú feladatokra lett kitalálva, open source és integrálni tud minden fajta eszközt amire szükségetek van (statisztikai, machine learning, file formátum konverterek, még phyton script-ek is , stb). Az ilyen file formátum konvertereknél az egyedi script-ek rugalmatlanok (tipusonként változhat a kimenet) és nehezen integrálhatóak a tapasztalatom szerint egymásba, plusz a késôbbi müveletekhez még egy sor más script kell ami összerendezi, feldolgozza az adatokat, ami egy idô után nehezen menedzselhetô.

A KNIME drag and drop jellegü, teljesen vizuális megoldás ahol szabadon össze lehet legozni az aktuális feladatra a workflow-t nodokból és felépíteni egy komplex rendszert. Én nekem a jelenlegi szak területem data processing automation, napi gyakorlatban az Alteryx-t használok, ami elég drága (1M huf+/év) és zárt. Régóta keresek projektet ahol KNIME tudok implementálni, ha kell neki tudok futni neki, vagy segíteni a rendszer felépítésében.

Tamás Bagi

unread,
Apr 10, 2020, 4:01:17 AM4/10/20
to torok...@torokcsalad.hu, biology-s...@googlegroups.com, suppress-cov...@googlegroups.com, attila...@microtrade.hu
sziasztok

a LifeCyclernél biztosan, és valószínüleg a többi gépnél is LIMS-nek hívják a szabványosított LAN interfészt, amivel infót lehet kinyerni a gépekből.
Itt van néhány opensource megoldás:

Elsőnek persze nyilván a csv exportálás->konvertálás lesz a megoldás, de esetleg lehet majd még gyorsítani ezen a munkafázison is.
Ha van a gépekben ilyen LIMS interfész akkor a következő fejlesztéskén még gyorsabbá tehető az adatfeldolgozás, a kimenő adatok egységes adatbázisba töltése. 

Attila, ha jól sejtem a robotizálás is csak akkor működik a PCR-eknél, ha van bennük LIMS kártya. Vagy tévedek?Mit tippelsz, van arre esély, hogy a Magyarországon beüzemelt PCR gépekben van ilyen kártya alapból, vagy ez egy extra, amire jó eséllyel nem szántak pénzt a laborok?

Tamás

Tamas Nepusz

unread,
Apr 10, 2020, 5:15:00 AM4/10/20
to Dániel Varga, torok...@torokcsalad.hu, suppress-cov...@googlegroups.com, Radnóti Barnabás, Csóka Endre, Tamás Bagi
Sziasztok!

Még nem szeretnék állást foglalni a standard CSV legjobb változatáról, amíg csak egyetlen gép néhány kimenetét láttam, de az ahhoz az egy géphez írt beolvasó és standardizáló kódom lefut a 6 fájlra, amit kaptam.

Kipróbáltam a kódot, nálam is frankón fut gond nélkül. Közben én elkezdtem utánanézni a neten néhány gépnek azok közül, amelyek a thread-indító levélben voltak, lehet, hogy én kerestem rosszul, de egyszerűen nem találtam sehol kimeneti formátum specifikációt, a felhasználói kézikönyvekben nincs ilyesmi, csak amolyan kattints-ide-kattints-oda instrukciók. Tudna a listáról bárki példa outputot küldeni ezekhez a gépekhez, amit nekünk majd a standard formátumunkra konvertálni kell? Addig is még túrom a netet.

Találtam közben egy ilyen (elég régi, utolsó release 2012-ből) open source projektet a neten, ha jól látom, ez pythonos és mindenféle PCR gép bemeneti formátumot megeszik, aztán plotokat gyárt belőle:


Ami érdekes, az az, hogy a forráskód tarballban van egy samples/ könyvtár, benne mindenféle gyártó midnenféle gépeinek a kimeneti fájljaival. A Qiagen eléggé hasonlít ahhoz, amit a listán láttam. Lehet, hogy jobb híján ezt kéne nézegetni? Valaki légyszi erősítsen vagy cáfoljon meg, nehogy félremenjek.

A példa fájlokat, amiket a pyqpcr forrásában találtam, felraktam ide:


Üdv,
T.

Tamas Nepusz

unread,
Apr 10, 2020, 5:17:02 AM4/10/20
to Dániel Varga, torok...@torokcsalad.hu, suppress-cov...@googlegroups.com, Radnóti Barnabás, Csóka Endre, Tamás Bagi
Találtam közben egy ilyen (elég régi, utolsó release 2012-ből) open source projektet a neten, ha jól látom, ez pythonos és mindenféle PCR gép bemeneti formátumot megeszik, aztán plotokat gyárt belőle:


Ja igen, parser is van benne a bemeneti formátumokhoz, ha valaki a forráskódot nézegetné, akkor a pyQPCR/plate.py-ban van a lényeg, ha jól látom.

Üdv,
T.

torok...@torokcsalad.hu

unread,
Apr 10, 2020, 7:21:48 AM4/10/20
to Tamas Nepusz, peter....@gmail.com, dome...@gmail.com, Dániel Varga, suppress-cov...@googlegroups.com, Radnóti Barnabás, Csóka Endre, Tamás Bagi
Szia Tamás, Péter, Dani, János,

Párhuzamos utak szeretjük, nincs kizárólagosság
KNIME és egyedi scriptek kérdésében talán mindkettő elfér egymás mellett - ezt ti jobban látjátok.
Csak hozzáállásként írom, hogy ebbe a működésbe, amit mi itt megvalósítunk nagyon-nagyon előnyös az, hogy ha több úton indulunk el egyidejűleg, mert egy-egy úton váratlanul felbukkannak (szinte mindig) jogi, technikai, emberi stb. kihívások, amikkel könnyebb megbirkózni annak tudatában, hogy nem tettünk fel mindent egy irányra. Magunkon sincs akkora nyomás, hogy minden rajtunk múlik, és az akadályt képző entitás sincs annyira pozícióban, - már amennyiben fogékony erre az inputra (azaz emberről van szó, aki akadályt képezne, itt most ezt nem látom).

Pár szóban nagyon fontosnak tartom, hogy leírjam: magas prió a kényelem, az élőmunka minimalizálás - azaz a kapcsolódás a user munkafolyamatának végére. A másik fontos dolog, hogy nem tudhatjuk, hogy mire lesz jogosult a windows user a gépén, pl ha kell valamilyen agent a windowsra, akkor az futtatható-e.

A fizikai megvalósítás az én fejemben kb úgy néz ki, hogy a legkényelmesebb a labormunkásnak, hogy:
- vége a PCR folyamatnak (https://docs.google.com/drawings/d/1ZrrucnKxQf33jzSfyVQfAUsEj4zdO8IvtRqHKUjd2wE/edit - itt a 3. pont végéről beszélek)
- a PCR szoftverében a GUI-n valahol van egy "mentés másként/CSV-be", itt a user lementi egy olyan könyvtárba, ami nem igényel klikkelgetést, hanem ott már difoltban ez jön fel
- (itt jön be a 4. pont: KNIME vagy script) e könyvtáról scheduled task felkapja a CSV-t: konvertál és feltölt (vagy fordítva) Dani által meghatározott környezet által elérhető tárterületre  ((ha ez nem lehetséges, mert pl. nem windows user jogosultság hiányában nem futtatható semmi: böngészővel feltölteni - ez már kézimunka, amit igyekeznék elkerüllni.))
- (ez az 5. pont) itt az algoritmus kiértékel, legyárt egy új (outpu) CSV-t a döntéssel kiegészített oszloppal,
...és a 6. pont jön, ami már nem ide tartozik.

FONTOS MÉG:
betettem ezt a levlista láblécbe, és ez mindannyiunkra vonatkozna. Légyszi, ha nem értetek vele egyet, javasoljatok módosítást - vagy akinek nem tudunk elfogadható környezetet biztosítani így, az még azelőtt nyugodtan szálljon ki, mielőtt túl sok munkát tenne ebbe a projektbe:

ÚJDONSÁG: a csoportban való _alkató_ részvétel esetén elfogadod az itt leírt értékrendet: https://sites.google.com/a/torokcsalad.hu/poroly/home
Ha csak olvasás céljából csatlakoztál a listához, akkor természetesen nincs ezzel dolgod, nem kell ezt elfogadni.

Köszi, üdv,

Ákos

Tamas Nepusz

unread,
Apr 10, 2020, 7:33:06 AM4/10/20
to torok...@torokcsalad.hu, peter....@gmail.com, dome...@gmail.com, Dániel Varga, suppress-cov...@googlegroups.com, Radnóti Barnabás, Csóka Endre, Tamás Bagi
Sziasztok!

- a PCR szoftverében a GUI-n valahol van egy "mentés másként/CSV-be", itt a user lementi egy olyan könyvtárba, ami nem igényel klikkelgetést, hanem ott már difoltban ez jön fel
- (itt jön be a 4. pont: KNIME vagy script) e könyvtáról scheduled task felkapja a CSV-t: konvertál és feltölt (vagy fordítva) Dani által meghatározott környezet által elérhető tárterületre  ((ha ez nem lehetséges, mert pl. nem windows user jogosultság hiányában nem futtatható semmi: böngészővel feltölteni - ez már kézimunka, amit igyekeznék elkerüllni.))
Korlátozott Windows ismereteim hiányában nem tudom, hogy ez egy korlátozott accounttal rendelkező gépen megvalósítható-e, de én a következőt képzelném el:

- laborgépen be kell lőni egy DeltaCopy klienst, ez lényegében az rsync nevű standard linuxos könyvtár-szinkronizáló eszköz egy windowsos GUI-val. Itt létre kell hozni egy profilt, ami tartalmazza azt a könyvtárt, ahova az eredményeket mentik, meg egy scheduled task-ot, hogy pl tíz percenként az új fájlokat ebből a könyvtárból szinkronizálja a távoli szerverünkkel. (Akár percenként).

- a távoli szerverünk fogadja a feltöltött fájlokat, bepakolja egy folderbe és onnantól kezdve már azt csinálunk vele, olyan eszközökkel, ahogy akarjuk, akár webes felületen is közzétehetjük az eredményeket (usernévvel, jelszóval, kliens oldali SSL tanúsítvánnyal, bármivel védve)

A szerver üzemeltetésében tudok segíteni, ha szükséges, feltéve ha van fizikai szerver, ahol ezeket az adatokat tárolni lehet. Végső esetben a cégemben van egy Dell Poweredge szerver, amit még ki sem bontottam, azt be tudom állítani ilyen célokra.

Üdv,
T.

Tamas Nepusz

unread,
Apr 11, 2020, 6:07:26 PM4/11/20
to Dániel Varga, torok...@torokcsalad.hu, suppress-cov...@googlegroups.com, Radnóti Barnabás, Csóka Endre, Tamás Bagi
Sziasztok!

Itt tartunk most:


Ami működik:

- Dani scriptje be van illesztve egy webes felület mögé, fel lehet tölteni az ennek megfelelő formátumú fájlokat, a webapp feldolgozza, és a standardizált TSV-t meg a PNG formátumú plotokat kimenti
- Elvielg bármilyen más adatfeldolgozó lépést be lehet kötni a pipeline-ba, tehát a majdani automatizált döntési mechanizmust is

Ami még nem működik:

- Hibakezelés alig-alig van (ahogy szokott ;)), dolgozom rajta majd
- Egyelőre nincs olyan folder a szerveren, ahova "csak" be lehetne dobni egy CSV fájlt és magától észrevenné meg átkonvertálná
- Nyilván kéne majd valami jelszavas védelem az egész elé, hogy ne férhessen hozzá mindenki
- Az adatfeldolgozásnak külön processzben kéne mennie, nem ugyanabban a proceszben, ahol a webapp kiszolgálása történik

Összességében ez eddig elég rohammunkában készült, de tudom, hogy hol kell lekerekíteni, ha ezt élesben akarjuk használni. Első körben viszont szeretnék még pár parser megírni néhány további gép CSV formátumához, illetve valami autodetekciós mechanizmust, ami a bemeneti CSV-ből "megtippeli", hogy vajon melyik gép készítette.

Üdv,
T.

Dániel Varga

unread,
Apr 11, 2020, 6:14:38 PM4/11/20
to Tamas Nepusz, torok...@torokcsalad.hu, suppress-cov...@googlegroups.com, Radnóti Barnabás, Csóka Endre, Tamás Bagi
Fantasztikus!

Tamás, megtennéd kérlek, hogy felrakod github alá, és adsz commit jogot danielvarga-nak? (Szólj, ha gond.)

Tamas Nepusz

unread,
Apr 11, 2020, 6:23:53 PM4/11/20
to Dániel Varga, torok...@torokcsalad.hu, suppress-cov...@googlegroups.com, Radnóti Barnabás, Csóka Endre, Tamás Bagi
Már hozzá is adtalak (eleve Githubon volt a cucc).

A Te scripted a src/pcrtools/processing/qiagen_rotorgene_q.py alatt van (kicsit belenyúltam, meg a Black újraformázta, bocs).

Üdv,
T.

Dániel Varga

unread,
Apr 11, 2020, 6:56:45 PM4/11/20
to Tamas Nepusz, torok...@torokcsalad.hu, suppress-cov...@googlegroups.com, Radnóti Barnabás, Csóka Endre, Tamás Bagi
Gyönyörű, nagyon köszönöm!

torok...@torokcsalad.hu

unread,
Apr 12, 2020, 2:32:42 AM4/12/20
to Dániel Varga, Tamas Nepusz, suppress-cov...@googlegroups.com, Radnóti Barnabás, Csóka Endre, Tamás Bagi
látom, fel kell kössem a gatyám, hogy alkalmazási helyzetet biztosítsak, mert ti mindjárt készen vagytok! 

tolom! :)

torok...@torokcsalad.hu

unread,
Apr 15, 2020, 4:32:08 PM4/15/20
to Dániel Varga, Tamas Nepusz, suppress-cov...@googlegroups.com, Radnóti Barnabás, Csóka Endre, Tamás Bagi
Barna, akkor ide várunk még adatokat.

Radnóti Barnabás

unread,
Apr 15, 2020, 5:34:45 PM4/15/20
to Dániel Varga, torok...@torokcsalad.hu, Tamas Nepusz, suppress-cov...@googlegroups.com, Csóka Endre, Tamás Bagi
Beszúrtam egy plusz oszlopot. ebbe akovetkező "kommenteket" tettem:

neg.  =negatív minta
a.poz =alacsony pozitív
poz.=pozitív minta
e.poz=erős pozitív
n.spec.jel=aspecifikus jel

IC=internal control azaz belső kontroll (az egész (yellow) csatorna adatai a belső kontroll jelenlétét mutatják)



DNA-Technology_CT 2016-06-30 (1).csv
DNA-Technology_CT 2016-08-16 (1).csv
DNA-Technology_CT 2017-02-17 (1).csv
DNA-Technology_CT 2017-03-10 (1).csv
DNA-Technology_CT 2017-03-17 (1).csv
DNA-Technology_CT 2017-03-23 (1).csv
DNA-Technology_CT 2017-04-27 (1).csv
DNA-Technology_CT 2017-05-04 (1).csv

torok...@torokcsalad.hu

unread,
Apr 15, 2020, 6:19:22 PM4/15/20
to Tamas Nepusz, Dániel Varga, suppress-cov...@googlegroups.com, Radnóti Barnabás, Csóka Endre, Tamás Bagi
Szia Tamás,

Arra gondoltam, hogy elkezdeném promózni nemzetközileg a műveteket - azért is, hogy PCR adatsorokat kérjek hozzá, amivel tanítgatni lehet Dani tanulni vágyó gépét.

Ehhez olyasmi ötleteket írtam összem, hogy a https://pcrtools.koronavirusszures.hu/csv-feltoltes oldallal még mit lehetne tenni szerintem - de ezek csak csírák, bármit jobbnak látsz, legyen úgy:
- a nyelv lehetne angol (vagy többnyelvű)
- kiírni egy helpet is: mire való, hogyan használható
- kérdés-felek fórumra valami linket, ha segítségre szorulna valaki - ez lehet akár a suppress-cov...@googlegroups.com és a https://groups.google.com/forum/#!forum/suppress-covid19-pandemic vagy a github saját fórumát megadni (bár asszem ott inkább a kóddal kapcsolatos kérdéseket kellene tartani)
- ha büszkék vagytok a munkátokra, akkor magadra, Danira és minden arra érdemes közreműködőre mutató linket, vagy nevet vagy bármit kitenni.

Üdv,

Ákos





torok...@torokcsalad.hu

unread,
Apr 15, 2020, 6:29:48 PM4/15/20
to Tamas Nepusz, Dániel Varga, suppress-cov...@googlegroups.com, Radnóti Barnabás, Csóka Endre, Tamás Bagi
azt azért hozzá kell tegyem, hogy most én még nem látom, hogy milyen eredményt kéne lássak.

más: jelezték a PCR gépet használók, hogy az algoritmus ellenőrzése céljából arra majd szükség lenne, hogy a valamilyen olyan felület is legyen a usernek, ahol csekkolni tudja, hogy a gép döntése és az ő saját véleménye megegyezik-e. (Van egy olyan érzésem, hogy ez már majdnem egy trainelő felület lenne - nemtom, csak leírtam az igényt, ami korábban nem volt a spec része, mert én nem tudtam erről, bocs!)


Csóka Endre

unread,
Apr 15, 2020, 6:39:41 PM4/15/20
to torok...@torokcsalad.hu, Tamas Nepusz, Dániel Varga, Suppress19, Radnóti Barnabás, Tamás Bagi
Igen, és az nagyon jó lenne, ha a szoftver érdekeltté tenné a felhasználót, hogy megossza velünk, hogy ő hogyan értékelte a teszteket.

Endre

Dániel Varga

unread,
Apr 15, 2020, 6:53:47 PM4/15/20
to torok...@torokcsalad.hu, Tamas Nepusz, suppress-cov...@googlegroups.com, Radnóti Barnabás, Csóka Endre, Tamás Bagi
Barna: nagyon köszönöm! Beolvastam:
 160 neg
  74 poz
  72 e.poz
   4 n.spec.jel
   4 a.poz
   1 ketes

, de ma már nem kezdek vele semmit, megyek aludni. Tamás: Barna formátuma kényelmes lesz mindenkinek: be van szúrva egy első oszlop, ott van az annotáció, ha van, majd pusholom a beolvasót holnap, ha neked is oké ez. Csináljunk Barna adathalmazára holnap egy olyan kézzel beállított baseline klasszifikálót, ami csak az idősor utolsó eleméből dolgozik, és aztán esetleg egy xgboost klasszifikálót legalább a három domináns osztályra. Őszintén szólva én most nem teljesen értem, hogy mit fogunk klasszifikálni, de nagy baj nem lehet belőle, ha megcsináljuk. :)

peter....@gmail.com

unread,
Apr 16, 2020, 3:04:50 AM4/16/20
to suppress-covid19
Nice progress. Sajnálom, nálam a szabad idô nullára csökkent, egy szalmonellával eltöltött húsvét és egy éves kis gyermek mellett.

BTW, tudom lesz jobb is, ez még ösverzió stb, viszont még mindig KNIME-t ajánlom, mivel grafikus, tovább építhetô, és kombinálható más finkciókkal. Mindegy, kibicnek, semmi sem drága. Good luck!

Tamas Nepusz

unread,
Apr 16, 2020, 5:56:13 AM4/16/20
to torok...@torokcsalad.hu, Dániel Varga, suppress-cov...@googlegroups.com, Radnóti Barnabás, Csóka Endre, Tamás Bagi
Sziasztok!

Ehhez olyasmi ötleteket írtam összem, hogy a https://pcrtools.koronavirusszures.hu/csv-feltoltes oldallal még mit lehetne tenni szerintem - de ezek csak csírák, bármit jobbnak látsz, legyen úgy:
- a nyelv lehetne angol (vagy többnyelvű)
Megoldható, eredetileg nem így lett tervezve, de szerintem át tudom írni. Viszont akkor a URL-eket is lecserélném angol nevűekre, (tehát /csv-upload, nem /csv-feltoltes stb), ha az úgy OK. Megtartok egy redirectet a régi magyar URL-ekről az újakra.
 
- kiírni egy helpet is: mire való, hogyan használható
Erre esetleg valaki tudna írni egy rövid, pár soros összefoglalót, aki jobban átlátja a projekt egészét? Én laikusként egyelőre annyit értek belőle, hogy hosszú távon mindenféle PCR gépekből származó adatfájlokat lehet majd ide feltölteni, amin Dánielék algoritmusa bindzsizik majd valamit és mond rá valamit (de ez a rész még nincs kész, most csak görbéket rajzolgatunk). Megírnám én is, de nem akarok hülyeségeket vagy szakmailag nem helyes állításokat tenni, ezért látnám jobbnak, ha valaki olyan írná meg, aki jobban átlátja a projekt egészét.
 
- kérdés-felek fórumra valami linket, ha segítségre szorulna valaki - ez lehet akár a suppress-cov...@googlegroups.com és a https://groups.google.com/forum/#!forum/suppress-covid19-pandemic vagy a github saját fórumát megadni (bár asszem ott inkább a kóddal kapcsolatos kérdéseket kellene tartani)
A Github repó egyelőre privát, de publikussá teszem szívesen, ha van rá igény. De igen, a Github repo issue trackerét a konkrét hibajelentésekre kéne megtartani, az egyéb, módszertani jellegű vitákat pedig ide becsatornázni. (Vagy mi a helyzet a Discourse fórummal?).

Üdv,
T.

Tamas Nepusz

unread,
Apr 16, 2020, 6:02:22 AM4/16/20
to torok...@torokcsalad.hu, Dániel Varga, suppress-cov...@googlegroups.com, Radnóti Barnabás, Csóka Endre, Tamás Bagi
On Thu, 16 Apr 2020 at 00:29, Ak...@TorokCsalad.hu <torok...@torokcsalad.hu> wrote:
azt azért hozzá kell tegyem, hogy most én még nem látom, hogy milyen eredményt kéne lássak.
Egyelőre még csak annyi van, hogy feltöltesz egy CSV fájlt egy Qiagen gépből, vársz egy kicsit és átdob egy olyan oldalra, ahol meg tudod nézni a bemeneti fájlból konvertált standardizált TSV fájlunkat meg a görbéket. Ezeket mind Dani scriptjei csinálják. Ha lesz valami machine learning alapú döntési algoritmus, akkor annak a kimenete szintén ide lenne bekötve.

Fontos, hogy privacy szempontból egyelőre nem sok védelem van az oldalon -- bárki feltölthet bármilyen CSV fájlt, aztán ha a script nem eszi meg, akkor nem lesz értelmezhető kimenet. Nem tartjuk számon, hogy ki mit tölt fel, nincs user account rendszer, regisztráció, nincs "feltöltött fájljaim" link, semmi. Ha nem mentetted el a CSV fájlod feltöltése után kapott linket bookmarkba, akkor csak úgy tudsz oda eljutni újból, ha újból feltöltöd a fájlt. (A háttérben az van, hogy a fájl tartalmából SHA1 hash-t képezek, és ez lesz a fájl "azonosítója", tehát ha többször töltöd fel ugyanazt a fájlt, akkor ugyanarra az oldalra jutsz, nem tároljuk többször a cuccot).
 
más: jelezték a PCR gépet használók, hogy az algoritmus ellenőrzése céljából arra majd szükség lenne, hogy a valamilyen olyan felület is legyen a usernek, ahol csekkolni tudja, hogy a gép döntése és az ő saját véleménye megegyezik-e
Azt meg tudom csinálni, hogy az eredményt (a standardizált TSV-t és a görbéket) mutató oldalon legyen két gomb, amivel az user megadhatja, hogy szerinte pozitív vagy negatív-e a minta. Ismét felvetődik a privacy probléma: ha valakinek megvan a URL az eredményt mutató oldalhoz, akkor bárki bármikor átbillentheti az eredményt pozitívról negatívra vagy vissza, tehát lehet trollkodni.

Eredetileg úgy képzeltem, hogy ez egy limitált, a magyar laboroknak terjesztett webalkalmazás lesz, ahol egyszerűen meg lehet oldani, hogy mindenki kap egy usernév-jelszó párost, és az egész webapp elé odateszünk egy HTTP Basic authentikációt, ami beengedi az usert, és onnantól kezdve tudjuk követni, hogy ki mit csinál. Ha szélesebb körben akarjuk teríteni a webappot, akkor ez nem járható út, akkor mást kell kitalálni.

Üdv,
T.

Tamas Nepusz

unread,
Apr 16, 2020, 6:04:02 AM4/16/20
to Dániel Varga, torok...@torokcsalad.hu, suppress-cov...@googlegroups.com, Radnóti Barnabás, Csóka Endre, Tamás Bagi
Tamás: Barna formátuma kényelmes lesz mindenkinek: be van szúrva egy első oszlop, ott van az annotáció, ha van, majd pusholom a beolvasót holnap, ha neked is oké ez.
Nekem teljesen OK, pusholj nyugodtan, ha megvagy vele.

Üdv,
T.

Tamas Nepusz

unread,
Apr 16, 2020, 6:09:30 AM4/16/20
to suppress-cov...@googlegroups.com

BTW, tudom lesz jobb is, ez még ösverzió stb, viszont még mindig KNIME-t ajánlom, mivel grafikus, tovább építhetô, és kombinálható más finkciókkal. Mindegy, kibicnek, semmi sem drága. Good luck!

Igen, olvastam a KNIME-os javaslatot, de a saját szabadidőm mennyiségének a felmérése után arra jutottam, hogy hatékonyabb, ha a már ismert eszközkészletemmel indulok el -- a KNIME-t én sajnos nem ismerem, és minden bizonnyal azzal kellett volna kezdenem, hogy pár órát eltöltök a dokumentáció olvasgatásával.

Ha valaki el szeretne indulni KNIME alapokon, én nem bánom, sőt, érdeklődéssel fogom kísérni, hogy hova fut ki a dolog és ha valaki lefekteti az alapokat, akkor lehet, hogy oda is be tudok kapcsolódni később. Arra viszont most nem látok erőforrást magamnál, hogy önerőből kezdjek felépíteni valamit egy számomra totál ismeretlen platformon.

Üdv,
Tamás

torok...@torokcsalad.hu

unread,
Apr 16, 2020, 6:20:24 AM4/16/20
to suppress-cov...@googlegroups.com, Dániel Varga, Radnóti Barnabás, Csóka Endre, Tamás Bagi
ötlet erre a "visszajelzés adás (tanítás)" vs "read only" kérdésre:
 
más: jelezték a PCR gépet használók, hogy az algoritmus ellenőrzése céljából arra majd szükség lenne, hogy a valamilyen olyan felület is legyen a usernek, ahol csekkolni tudja, hogy a gép döntése és az ő saját véleménye megegyezik-e
Azt meg tudom csinálni, hogy az eredményt (a standardizált TSV-t és a görbéket) mutató oldalon legyen két gomb, amivel az user megadhatja, hogy szerinte pozitív vagy negatív-e a minta. Ismét felvetődik a privacy probléma: ha valakinek megvan a URL az eredményt mutató oldalhoz, akkor bárki bármikor átbillentheti az eredményt pozitívról negatívra vagy vissza, tehát lehet trollkodni.

Eredetileg úgy képzeltem, hogy ez egy limitált, a magyar laboroknak terjesztett webalkalmazás lesz, ahol egyszerűen meg lehet oldani, hogy mindenki kap egy usernév-jelszó párost, és az egész webapp elé odateszünk egy HTTP Basic authentikációt, ami beengedi az usert, és onnantól kezdve tudjuk követni, hogy ki mit csinál. Ha szélesebb körben akarjuk teríteni a webappot, akkor ez nem járható út, akkor mást kell kitalálni.

Tamás, mit szólnál, ha két működésmód lenne:
- tanító userek, nekik adunk httaccess-es vagy bármilyen authot - gondolom, hogy kevesen lesznek, megoldjuk kézzel (akár most készítünk egy usert, és azt megadjuk a pár tanító usernek)
- "read only" userek, akik csak feltöltik a fájlt, és visszakapján az outputot. nekik lehetne úgy, hogy amikor jön az oldalra, akkor kap egy random azonosítót (vagy adsz neki valamilyen regisztrációs lehetőséget?), és feltöltés után azon fájlokat látja az outputokból, ami az ő azonosítójával lett feltöltve.

privacy kérdés: személyes adat értelmében ilyen nincs, mert ezek anonim adatsorok.
azaz igényként annyit látok itt, hogy egy-egy user praktikus okokból ne soksok outputot lásson, hanem csak a sajátját. - ha nagyon lecsupaszítom a célt: abból is elég az utolsót

lehet, hogy túl leszűkítem a feladatot - ha így lenne, hátha beleszól más.





Csóka Endre

unread,
Apr 16, 2020, 6:22:36 AM4/16/20
to Tamas Nepusz, torok...@torokcsalad.hu, Dániel Varga, Suppress19, Radnóti Barnabás, Tamás Bagi
Megosztom talán naiv és nagyra törő elképzeléseimet, hogy én milyen rendszert tartanék (hosszabb távon) ideálisnak, de javítsatok ki bátran, ha tévedek!

 A laboros feltölti az adatsorokat (avagy beállítja, hogy a gépének a kimenetei automatikusan feltöltődjenek), visszakapja a pozitív/negatív/nemtom válaszokat, és a rendszer felajánlja, hogy a nemtom típusúakat megjeleníti neki, hogy döntse el ő a görbékről, hogy szerinte a pozitív/inkább pozitív/nemtom/inkább negatív/negatív skálán ez most micsoda. Ha ezeket megválaszolta, akkor az így frissített válaszokat kapja vissza egy neki kényelmes formátumú fájlban.
Még jobb lenne, ha a szerver tárolná is ezeket a táblázatokat a beküldő számára kényelmes módon, hogy saját kényelme céljából is legyen kedve számunkra is látható módon feljegyezni, ha nem ért egyet valamelyik értékeléssel, illetve legyen kedve később felvinni olyan adatokat, hogy ha ugyanazt a személyt vizsgálták később újra, vagy ugyanazt a mintát futtatták le még egyszer, akkor ezt ne csak ő tudja, hanem a rendszer is lássa, hogy ez ugyanaz a személy vagy minta.


Tamas Nepusz

unread,
Apr 16, 2020, 6:29:56 AM4/16/20
to suppress-cov...@googlegroups.com, Dániel Varga, Radnóti Barnabás, Csóka Endre, Tamás Bagi
Tamás, mit szólnál, ha két működésmód lenne:
- tanító userek, nekik adunk httaccess-es vagy bármilyen authot - gondolom, hogy kevesen lesznek, megoldjuk kézzel (akár most készítünk egy usert, és azt megadjuk a pár tanító usernek)
Ez megoldható, gyakorlatilag a webapp bejönne HTTP auth nélkül, de lesz jobb felül egy login / logout link, ami sima HTTP authot használ. Ha a júzer nincs bejelentkezve, akkor csak feltölthet és megnézhet fájlokat, ha be van jelentkezve, akkor adhat visszajelzést.

Kéne spec / közös megegyezés arról, hogy milyen visszajelzést lehet adni -- pozitív / negatív / nemtom, vagy ennél részletesebb kell? (Ez főleg Endréhez és Danihoz kérdés, hogy az ő klasszifikálójuk tanításához mit tudunk használni).

- "read only" userek, akik csak feltöltik a fájlt, és visszakapján az outputot. nekik lehetne úgy, hogy amikor jön az oldalra, akkor kap egy random azonosítót (vagy adsz neki valamilyen regisztrációs lehetőséget?), és feltöltés után azon fájlokat látja az outputokból, ami az ő azonosítójával lett feltöltve.
Hosszú életű session ID-t tudok elképzelni első körben. Tehát amikor eljön az oldalra, kap egy random session ID-t, ami mondjuk 30 napig érvényes. A session ID-t cookie-ban tároljuk a böngésző oldalán. (Jaj ne, akkor kell GDPR banner meg minden hülyeség, hogy cookie-kat használunk?). Szerver oldalon tároljuk, hogy melyik session ID-hez milyen fájl hashek tartoznak (Redisben, vagy egy sima Postgres vagy MySQL adatbázisban, ki mit szeret -- van preferencia?). Ha az user 30 napig nem jár az oldalon, akkor a session ID törlődik. Ha több böngészőt használ, az szívás, mert böngészőnként van a session, de szerintem ha valaki komolyabb szinten akarja használni a webappot, akkor majd szól nekünk és kap permanens user ID-t.

Üdv,
T.

Tamas Nepusz

unread,
Apr 16, 2020, 6:37:48 AM4/16/20
to Csóka Endre, torok...@torokcsalad.hu, Dániel Varga, Suppress19, Radnóti Barnabás, Tamás Bagi
A laboros feltölti az adatsorokat (avagy beállítja, hogy a gépének a kimenetei automatikusan feltöltődjenek)
Erre az az elképzelésem, hogy ha egy labor permanensen akarja használni a rendszert, akkor ő a mi oldalunkon kap egy dedikált foldert, amit rsync-kel (Windowsból Deltacopy-val) automatikusan szinkronizál oda-vissza a laborban lévő desktop gép megadott folderével. Ha egy új fájlt mentenek bele a desktop gépen a folderbe, akkor az véges időn belül felkerül a mi szerverünkre, ott a mi scriptjeink véges időn belül észreveszik (pl percenként 1x végignézzük a mi oldalunkon az "inbox" foldereket), lefuttatják az analízist, csinálnak belőle plusz kimeneti fájlokat (görbék, döntés stb), és ezeket szintén az rsync (Deltacopy) véges időn belül visszaszinkronizálja a labor folderébe. Az egész azon múlik, hogy hány percenkénti szinkronizálást állítunk be a laborgépen.

A folder sync lehet úgy, hogy a labor desktop gépén az eredmények egy másik folderben jelennek meg, mint ahova feltöltötték a bemeneti adatokat, és ebben a másik folderben szétdobhatjuk almappákban a kimeneti fájlokat pozitív / negatív / nemtom kategória szerint.
 
Még jobb lenne, ha a szerver tárolná is ezeket a táblázatokat a beküldő számára kényelmes módon
Minden feltöltött fájl és minden kimeneti fájl tárolva van jelenleg, tehát ez nem probléma. Az asszociációt kell valahogy megtartani a labor és a feltöltött fájl között, ez is megoldható.

Ha a labor kap egy usernév-jelszó kombinációt, amivel be tud jelentkezni az oldalon, akkor ott tudok csinálni egy dedikált oldalt, ahol végignézheti a saját maga által feltöltött fájlokat az összes generált kimeneti fájllal együtt.
 
hogy saját kényelme céljából is legyen kedve számunkra is látható módon feljegyezni, ha nem ért egyet valamelyik értékeléssel
Én itt azt kezdem látni, hogy valószínűleg akkor fájlonként két címkézést kell tárolni:

gépi címkézés: pozitív / negatív / bizonytalan / hiányzik
emberi címkézés: pozitív / negatív / hiányzik

és akkor a labor folderjében a kimeneti fájlokat a gépi címkézés szerint dobáljuk szét almappákba, a webes felületen meg meg lehet nézni mindkét címkézést és az emberi címkézést lehet állítani (ha az user be van jelentkezve).

Üdv,
T.

Csóka Endre

unread,
Apr 16, 2020, 6:41:18 AM4/16/20
to Tamas Nepusz, torok...@torokcsalad.hu, Dániel Varga, Suppress19, Radnóti Barnabás, Tamás Bagi
Nem vagyok informatikai szakértő, de nekem nagyon jól hangzik. :)

Endre

On Thu, 16 Apr 2020 at 12:37, Tamas Nepusz <nta...@gmail.com> wrote:

torok...@torokcsalad.hu

unread,
Apr 16, 2020, 6:45:51 AM4/16/20
to suppress-cov...@googlegroups.com, Dániel Varga, Radnóti Barnabás, Csóka Endre, Tamás Bagi
GDPR (részben a for-profit életemben a szakterületem része) elégséges, ha annyit kiírunk, hogy "GDPR: rólad semmilyen személyes és személyt beazonosítható adatot nem tárolunk, nem elemzünk. Egy információnk van, ami technikailag a munkameneted azonosításához kell, hogy egyszerre több ember is használhassa a weboldalt, egyúttal mindenki a saját dolgait lássa. Ebben nincs személyes adat, és nem adjuk ki senkinek."

--
ÚJDONSÁG: a csoportban való _alkató_ részvétel esetén elfogadod az itt leírt értékrendet: https://sites.google.com/a/torokcsalad.hu/poroly/home
 
Ha csak olvasás céljából csatlakoztál a listához, akkor természetesen nincs ezzel dolgod, nem kell ezt elfogadni.
---
You received this message because you are subscribed to the Google Groups "suppress-covid19" group.
To unsubscribe from this group and stop receiving emails from it, send an email to suppress-covid19-p...@googlegroups.com.

Tamás Bagi

unread,
Apr 16, 2020, 6:49:42 AM4/16/20
to Tamas Nepusz, suppress-cov...@googlegroups.com, Dániel Varga, Radnóti Barnabás, Csóka Endre
sziasztok

ez a szerver-kliens fájl szinkronizálás jó ötlet! Ez lenne tehát a bemenete az adatbázisnak

Én abban tudok segíteni, hogy ha a végeredményeket (vagy az arra való hivatkozásokat) mysql-ben tudod írni, akkor gyorsan tudok hozzá frontendet készíteni ahol  a kövöetkező user interakciók lennének megvalósíthatóak:
-felhasználó kezelés, jelszavas belépés, mindenkinek a saját adatsoraihoz való hozzáférés kezelése
-szükség esetén lista az összes adatsorról is
  -admin jogú felhasználó új felhasználókat adhat hozzá
  -laboráns jogú felhasználó láthatja az adatsorainak végeredményét, a feldolgozott adatokról megjelenik neki a grafikon, és a gépi cimke (ha van)
 -a laboráns meg adhat hozzá emberi cimkét

Utána mindenféle statisztikákat, összefoglalókat lehet gyorsan összedobni ebben a keretrendszerben

T

Dániel Varga

unread,
Apr 16, 2020, 8:54:27 AM4/16/20
to Tamás Bagi, Tamas Nepusz, suppress-cov...@googlegroups.com, Radnóti Barnabás, Csóka Endre
Bocsánat, nem akarok hangulatromboló lenni, de most egy kisebb szoftvercégnyi feladatot írtatok össze Tamásnak, és mindeközben nem látszik teljesen világosan, hogy lesz-e valaha felhasználója ennek a szoftvernek. Kezdjük szerintem azzal a részével, hogy erről megbizonyosodunk, legalábbis amennyire egyáltalán lehetséges.

Tamas Nepusz

unread,
Apr 16, 2020, 8:55:05 AM4/16/20
to torok...@torokcsalad.hu, Dániel Varga, Suppress19, Radnóti Barnabás, Csóka Endre, Tamás Bagi
Sziasztok!

Ehhez olyasmi ötleteket írtam összem, hogy a https://pcrtools.koronavirusszures.hu/csv-feltoltes oldallal még mit lehetne tenni szerintem - de ezek csak csírák, bármit jobbnak látsz, legyen úgy:
- a nyelv lehetne angol (vagy többnyelvű)
Megoldható, eredetileg nem így lett tervezve, de szerintem át tudom írni. Viszont akkor a URL-eket is lecserélném angol nevűekre, (tehát /csv-upload, nem /csv-feltoltes stb), ha az úgy OK. Megtartok egy redirectet a régi magyar URL-ekről az újakra.
Az oldal most már angol és magyar nyelven is működik, attól függően, hogy a felhasználó böngészőjében hogyan van beállítva a nyelvek preferenciája. (Ha sehogyan, akkor az operációs rendszer beállításai a mérvadóak). 

Üdv,
T.

torok...@torokcsalad.hu

unread,
Apr 16, 2020, 9:15:58 AM4/16/20
to Tamas Nepusz, Dániel Varga, Suppress19, Radnóti Barnabás, Csóka Endre, Tamás Bagi
Dani, igen, igazad van, elnézést magam helyett is.
Tamás, Dani, azért ez nagyon frankó cucc.


torok...@torokcsalad.hu

unread,
Apr 16, 2020, 9:19:11 AM4/16/20
to Tamas Nepusz, Dániel Varga, Suppress19, Radnóti Barnabás, Csóka Endre, Tamás Bagi

Tamas Nepusz

unread,
Apr 16, 2020, 9:32:11 AM4/16/20
to torok...@torokcsalad.hu, Dániel Varga, Suppress19, Radnóti Barnabás, Csóka Endre, Tamás Bagi
Sziasztok!

Ez nem olyan formátumú, mint az eddigi fájlok, bár hasonló.

Dani scriptje a CSV fájlokban "Channel Cycling" fejlécű táblázatokat keres, ezeket plottolja. Az eddig látott CSV fájlokban a "Channel Cycling" szekciók mellett voltak még "Quantitative analysis of..." kezdetű szekciók is, ezzel a script nem foglalkozott.

Az általad csatolt CSV fájlban nincs "Channel Cycling" szekció, csak "Quantitative analysis of..:" szekció. Nem értek a PCR-hez sajnos, de ez nem arra utal, hogy esetleg a CSV fájljaidban nincs benne a "nyers" eredmény, csak már valamiféle automatikus analízis eredménye került bele, és ezért nem tudjuk feldolgozni? Kvázi nincs miből görbéket rajzolgatni...

T.

Dániel Varga

unread,
Apr 16, 2020, 6:28:08 PM4/16/20
to Tamas Nepusz, torok...@torokcsalad.hu, Suppress19, Radnóti Barnabás, Csóka Endre, Tamás Bagi
Sziasztok! (Barna az elsődleges címzett.)

Anélkül, hogy teljesen értettem volna, hogy mi az a kézzel annotált adat, amit Barna küldött, beraktam megjeleníteni, és azt láttam, hogy ahogy az ember várná is, a felfutás végső mértéke jó prediktor arra, hogy Barna pozitívnak címkézte-e az adatpontot. Alább a per-class hisztogramok a felfutás végső mértékére. Ezek most csak az A.Green channelek, ha jól értelmezem, akkor az A.Yellow a kontroll, és csak a green annotációját kell jósolni. Jól értelmezem?

hist.png

Konkrétan, ha hirtelen kétosztályos klasszifikációnak tekintjük a feladatot (tehát a nespecifikusaktól is eltekintünk, és a pozitívok alváltozata sem érdekel), akkor a "nagyobb a végén 3-nál?" mesterséges intelligencia 96.7% precision, 96.7% recall teljesítményt produkál. Tehát 30-ból egyszer feleslegesen jelez be, és 30-ból egyszer enged át vírusosat. Fogalmam sincs milyen adat ez, és mennyiben mond bármit is a mi leendő igazi feladatunkról. És azt sem tudom, hogy mi a történet a két kilógó adatpont mögött. Ők azok:

baseline_false_positive ../../20200415-batch2-annotated/DNA-Technology_CT 2016-08-16 (1).csv A.Green 3 6.895116023 neg
baseline_false_negative ../../20200415-batch2-annotated/DNA-Technology_CT 2016-08-16 (1).csv A.Green 4 0.905094753 poz

Erre most vajákosság / szemfényvesztés lenne egy modernebb gépi tanuló algoritmust ráengedni, amíg nem beszéljük át a misclassified-ok és a nemspecifikusak mögötti sztorikat, és főleg azt, hogy milyen tanulságokkal szolgál ez az adat a leendő igazi adatunkról.


Viktória Lázár

unread,
Apr 22, 2020, 6:44:48 PM4/22/20
to suppress-covid19
Sziasztok!

Megoldasi javaslat: kerjunk innen is RT-PCR diagnosztikai adatsorokat.
Kerdes lesz-e adatbazisunk ahova elkezdhetik feltolteni? Vagy csak irjunk egy kérést nekik?

torok...@torokcsalad.hu

unread,
Apr 22, 2020, 7:01:30 PM4/22/20
to Suppress19
ezt hogyan nem vettük észre eddig? nagyon hasznos gyűjtőhelynek tűnik!

pl ez az ember ugyanezen dolgozik szerintem: https://www.researchgate.net/profile/Cesar_Astudillo


4th Apr, 2020 César A Astudillo
Hello, I am interested in PCR raw data, plus labels indicating positive/negative COVID19 cases. Can anyone mention a reliable dataset of this kind?


--
ÚJDONSÁG: a csoportban való _alkató_ részvétel esetén elfogadod az itt leírt értékrendet: https://sites.google.com/a/torokcsalad.hu/poroly/home
 
Ha csak olvasás céljából csatlakoztál a listához, akkor természetesen nincs ezzel dolgod, nem kell ezt elfogadni.
---
You received this message because you are subscribed to the Google Groups "suppress-covid19" group.
To unsubscribe from this group and stop receiving emails from it, send an email to suppress-covid19-p...@googlegroups.com.

Tamas Nepusz

unread,
Apr 23, 2020, 3:51:23 AM4/23/20
to Suppress19

Kerdes lesz-e adatbazisunk ahova elkezdhetik feltolteni? Vagy csak irjunk egy kérést nekik?
Ha lesz adat, amit fel akarnak tölteni, pikk-pakk megoldjuk, hogy legyen hova feltölteni.

Üdv,
T.

Viktória Lázár

unread,
Apr 23, 2020, 10:07:30 AM4/23/20
to Suppress19
Sziasztok, 

Gondoltam szolok, hogy a Renyis matematikus csapat es Tamas neveben elindultam klinikai adatsorok gyujteseert a Pecsi es a Debreceni egyetem iranyaba is. Jelentkezem ha nyitottak es nincs jogi akadalya megkapnunk az anonim RT-PCR adatsorokat, szakertoi interpretaciokkal es metaadatokkal.

V.

--
ÚJDONSÁG: a csoportban való _alkató_ részvétel esetén elfogadod az itt leírt értékrendet: https://sites.google.com/a/torokcsalad.hu/poroly/home
 
Ha csak olvasás céljából csatlakoztál a listához, akkor természetesen nincs ezzel dolgod, nem kell ezt elfogadni.
---
You received this message because you are subscribed to the Google Groups "suppress-covid19" group.
To unsubscribe from this group and stop receiving emails from it, send an email to suppress-covid19-p...@googlegroups.com.


--

Viktoria Lazar (Ph.D.)

Lab of Kishony

Emerson Life Sciences Building

Department of Biology, Technion – Israel Institute of Technology

Haifa 32000, Israel

http://kishony.net.technion.ac.il/people-2/




torok...@torokcsalad.hu

unread,
Apr 23, 2020, 2:17:11 PM4/23/20
to Suppress19

ez az ember ugyanezt keresi szerintem,  hátha talált valamit. 

Viktória Lázár

unread,
Apr 23, 2020, 3:22:38 PM4/23/20
to Suppress19
Csak, hogy lassatok ezt kuldenem adat igenylesnek most el. 

Dear Crowdfight COVID-19 team,

Thank you for your quick reply. 
The detailed description of the format for these files are listed below: 

1) The raw data of the RT-PCR runs exported as CSV or Excel file (fluorescent signal vs.cycle number plot of DNA amplification)
It can be exported automatically from the available RT-PCR machine either as a CSV or Excel file ('givenNameOfTheRun'.csv). Both of these formats can work. Please make sure that the file contains the whole raw data (fluorescent values for each well) of the run, not only the Ct values. 

2) The expert's interpretation for each well of the run as a separate Excel or CSV file.
An example file with interpretation should look like this: (interpretation_'givenNameOfTheRun'.csv)
The WellI_ID should match with the ID of each experimental well within the file containing the raw data ('givenNameOfTheRun'.csv). 

Well_ID, SampleID, Test_interpretation
A1, 123, positive control
A2, 124, negative control
A3, NA, empty well
A4, 126, positive sample
A5, 127, negative sample
A6, 128, not conclusive
............
.............

3) Meta-information of the RT-PCR runs as a separate Excel or CSV file containing.
An example file with the metadata should look like this:  (metadata_'givenNameOfTheRun'.csv)

RT-PCR machine, Bio-Rad CFX 96
The name of RT-PCR COVID19 test kit, ROCHE
COVID_Channel_Green, E gene COVID19
COVID_Channel_Red, N gene COVID19
IC_Channel_Yellow, human RNase P
*Name/sequences of the COVIDprimer1, Sarbeco E
*Name/sequences of the COVIDprimer2,  Sarbeco N
*Name/sequences of the InternalControlPrimer,  RNase P
*Protocol, 0.5ml PCR tube, 6.0 μl cDNA product 1.5 μl 10 x PCR buffer 0.2 μl Taq polymerase 0.5 μl primer 1 (100ng) 0.5 μl primer 2 (100ng) 10.3 μl water 
*Profile,  30 cycles of denaturation: 30 seconds at 95°C; annealing: 45 seconds at 60°C; and extension 60 seconds at 72°C
*Date of the test, 23.04.2020

* optional data

Best 
Viktoria Lazar

Tamas Nepusz

unread,
Apr 23, 2020, 3:35:11 PM4/23/20
to Suppress19
Well_ID, SampleID, Test_interpretation
A1, 123, positive control
A2, 124, negative control
A3, NA, empty well
A6, 128, not conclusive
Esetleg ha nem késő, akkor még most érdemes lenne "standardizálnunk", hogy itt a harmadik oszlopban milyen opciókat szeretnénk támogatni. Ez egy elég fontos bemenete lesz a machine learning rendszernek, és az lenne az ideális, ha a kapott fájlok 99%-át nem kéne kézzel átcímkézni, hanem eleve standardizált címkékkel kapnánk meg őket.

Üdv,
T.

Viktória Lázár

unread,
Apr 23, 2020, 5:02:24 PM4/23/20
to Suppress19
Pontosan, ez egy fontos informacio. Koszi.

Thank you for your quick reply. 
The detailed description of the format for these files are listed below: 

1) The raw data of the RT-PCR runs exported as CSV or Excel file (fluorescent signal vs. cycle number plot of DNA amplification)
It can be exported automatically from the available RT-PCR machine either as a CSV or Excel file ('givenNameOfTheRun'.csv). Both of these formats are acceptable. 
Please make sure that the file contains the whole raw data of the run (fluorescent values for each well), not only the Ct values. 

2) The expert's interpretation for each well of the run as a separate Excel file with meta-information of the RT-PCR runs 
The provided ID should match with the ID of each experimental well within the file containing the raw data ('givenNameOfTheRun'.csv). Please find attached an example Excel file as well. 

An example file with interpretations and metadata looks like this: (interpretation_'givenNameOfTheRun'.xls) 

ID Test_interpretation Patient _ID Meta_information Additional_Data
1 Positive control 125 RT-PCR machine Bio-Rad CFX 96
2 Negative control 126
The name of RT-PCR COVID19 test kit
ROCHE COVID19
3 Strong positive sample 127 COVID_Channel_Green E gene COVID19
4 Strong negative sample 128 COVID_Channel_Red, N gene COVID19
5 Low positive sample 129 IC_Channel_Yellow human RNase P
6 Low negative sample 130 *Name/sequences of the COVIDprimer1 Sarbeco E
7 Not conclusive 131 *Name/sequences of the COVIDprimer2 Sarbeco N
8 Aspecific signal 132 *Name/sequences of the InternalControlPrimer RNase P
9 Empty  NA *Protocol
0.5ml PCR tube, 6.0 μl cDNA product 1.5 μl 10 x PCR buffer 0.2 μl Taq polymerase 0.5 μl primer 1 (100ng) 0.5 μl primer 2 (100ng) 10.3 μl water 
10     *Profile
30 cycles of denaturation: 30 seconds at 95°C; annealing: 45 seconds at 60°C; and extension 60 seconds at 72°C
11     *Date 23.04.2020
12    
13     * Optional data
14    




--
ÚJDONSÁG: a csoportban való _alkató_ részvétel esetén elfogadod az itt leírt értékrendet: https://sites.google.com/a/torokcsalad.hu/poroly/home
 
Ha csak olvasás céljából csatlakoztál a listához, akkor természetesen nincs ezzel dolgod, nem kell ezt elfogadni.
---
You received this message because you are subscribed to the Google Groups "suppress-covid19" group.
To unsubscribe from this group and stop receiving emails from it, send an email to suppress-covid19-p...@googlegroups.com.

Viktória Lázár

unread,
Apr 23, 2020, 5:08:09 PM4/23/20
to Suppress19
Ezt a valaszt kaptuk. 

Dear Viktoria,

We will look for volunteers for your task and will get back to you as soon as possible. You don't need to do anything else at this point, but you can also give us feedback to ensure that we process your request properly.

In order to find people with the right skills for your task, we will send our volunteers an e-mail asking who feels is appropriate for your request, which will be described as follows:

A research group is working on an open-source project to improve the analysis of the RT-PCR results of the COVID19 tests. They are using machine learning to exploit the information of the times series of the fluorescent signal. To train their algorithm, they are looking for collaborators that could provide them with: RT-PCR raw data with expert's interpretations, brand of the RT-PCR machine, name of the kit and primers and probes used to run the test.

This request will be sent to our volunteers tomorrow around 22:00 CET. If you think it should be described differently, let us know (by responding to this e-mail) and we will try to correct it before the send-out.

Once the volunteers send their self-assessments for your request, one of our experts will study their profiles and will select the best match, and we will send you a proposal. We are trying to complete this whole process in about 48 hours (but in some cases we take substantially longer). Please, let us know if you need a faster turnover.

If you need to communicate with us, simply respond to this e-mail.

Viktória Lázár

unread,
Apr 23, 2020, 5:39:15 PM4/23/20
to Suppress19
Szia Tamas, 

Meg lehetne oldani, hogy a weblapon bekerjuk ezt a ket tipus fajlt? Szerintem ha tudnank ott gyujteni a fajlokat az jo lenne.
1. nyers adatok
2. interpretacios adatok

Es jelenleg a RT-PCR gep tipusat azt az interpretacios adatsorban kerem be mint meta-adat. 


Tamas Nepusz

unread,
Apr 24, 2020, 11:29:19 AM4/24/20
to Suppress19
Szia!

Meg lehetne oldani, hogy a weblapon bekerjuk ezt a ket tipus fajlt? Szerintem ha tudnank ott gyujteni a fajlokat az jo lenne.
1. nyers adatok
2. interpretacios adatok

Es jelenleg a RT-PCR gep tipusat azt az interpretacios adatsorban kerem be mint meta-adat. 
Az RT-PCR gép típusa jó, ha külön be van kérve, mert ha többféle géptípust is támogatunk majd, akkor ez alapján rögtön lehetne tudni, hogy melyik géptípus CSV parserjéhez kell továbbküldeni a fájlt, nem kell belenézni a metaadatba (és kockáztatni, hogy valaki elgépeli a géptípus nevét, és ezért nem tudjuk, melyik parserhez küldjük). A többi OK, meg tudom csinálni, hogy a feltöltő oldalon két box legyen, egy a nyers adatoknak, egy az interpretációs adatsornak, és eltároljuk mindkettőt. Megfelelő lesz ez így? Ha igen, akkor a hétvégén nekiállok.

Üdv,
T.

Viktória Lázár

unread,
Apr 24, 2020, 2:02:02 PM4/24/20
to Suppress19
Szia Tamas! 

Igazad van ez meg nagyon #1 verzioja lenne az oldalnak. Kesobb meg lehetne alakitani rajta, csak gondoltam, hogy kapjunk vegre adatokat ezert is irtam nekik: https://crowdfightcovid19.org/. Toluk most akkor talan ket fajlt kernenk be. 1) raw data, 2) interpretation + metainfromation.

Egy leiras is mehetne az oldalra arrol, hogy nezzen ki a metadata fajl es a raw data...valami ilyesmi:

1) The raw data of the RT-PCR runs exported as CSV or Excel file (fluorescent signal vs. cycle number plot of DNA amplification)
It can be exported automatically from the available RT-PCR machine either as a CSV or Excel file ('givenNameOfTheRun'.csv). Both of these formats are acceptable. 
Please make sure that the file contains the whole raw data of the run (fluorescent values for each well), not only the Ct values. 

2) The expert's interpretation for each well of the run as a separate Excel file with meta-information of the RT-PCR runs 
The provided ID should match with the ID of each experimental well within the file containing the raw data ('givenNameOfTheRun'.csv). Please find attached an example Excel file as well. 

An example file with interpretations and meta-infromation looks like this: (interpretation_'givenNameOfTheRun'.xls) 

Screenshot 2020-04-24 at 20.53.51.png

Atgondoltam szerintem ezeket az interpretaciokat rogzitsunk. Sajnos en meg nem dolgoztam diagnosztikai laborban, de szerintem talan ezek jok. Csatoltam a pelda excel fajlt is a levelhez, esetleg lehet jo lenne ha ilyet le tudnanak tolteni esetleg az oldalrol maguknak. 

Amiket meg gondolsz kivehetsz es atvihetsz a fooldalra a metaadatokbol is (mint pl. a gep tipusat). 

Meg az lehet talan fontos, hogy milyen "channel"-eken (ennek is kulonbozo neve lehet, FAM, HEX, green, red, yellow.. stb..) neztek a COVID19 geneket es mennyit belole (1, 2 vagy 3 COVID19 gent detektalhatnak kulon csatornakon) illetve elofordul, hogy egy internal control gen jelenletet is merik egy masik csatornan (ha ezt nem detektaljak az altalaban azt jelenti gond volt a meressel, vagyis "not valid" lett)... de vannak olyan diagnosztikai meresek is ahol nem mernek pl. internal gent csak egy COVID19 gent keresnek. Ha tobb genre teszteltek az azt jelenti altalaban, hogy tobb szinnel voltak a kulonbozo genek termekei jelolve vagyis mindegyik genhez kulon gorbe tartozik majd. 


Ha bekerjuk az oldalon a gep tipusat, akkor ott legyen "other" opcio is szerintem es itt egy RT-PCR gep lista ha tudnad par geppel boviteni esetleg:


Ha minden igaz es talalnak nekunk kollaboratorokat, akkor 2-4 napon belul jelentkeznek nalam, es akkor az oldalra iranyitanam oket.




--
ÚJDONSÁG: a csoportban való _alkató_ részvétel esetén elfogadod az itt leírt értékrendet: https://sites.google.com/a/torokcsalad.hu/poroly/home
 
Ha csak olvasás céljából csatlakoztál a listához, akkor természetesen nincs ezzel dolgod, nem kell ezt elfogadni.
---
You received this message because you are subscribed to the Google Groups "suppress-covid19" group.
To unsubscribe from this group and stop receiving emails from it, send an email to suppress-covid19-p...@googlegroups.com.
InterpretationExampleFile.xls

Tamas Nepusz

unread,
Apr 24, 2020, 5:10:43 PM4/24/20
to Suppress19
Sziasztok!

Egyelőre eddig jutottam:

- A feltöltő felületen most már fel lehet tölteni interpretációs fájlt is (a nyers adat kötelező, az interpretációs fájl nem)

- Hozzáadtam egy rövid leírást arról, hogy mi ez a két fájl (gyakorlatilag a javasolt szöveget másoltam át). Ennek még nincs magyar fordítása, ezért a magyar oldalon is angolul jelenik meg -- ez amúgy igaz lesz minden olyan újonnan hozzáadott szövegre, amit nem fordít le valaki magyarra, nekem erre sajnos nem lesz kapacitásom, de mivel standard eszközöket használok, ezért Poedit-tel (https://poedit.net/) vagy bármilyen online fordító eszközzel bárki tud segíteni a fordításban -- ha van erre igény, közzéteszem a fordításhoz használandó sablon fájlt Githubon.

- Hozzáadtam két példa fájlt, egyet a nyers adatokhoz, egyet az interpretációhoz

- Az eltárolt fájlokat (mind a nyers adatot, mind az interpretációs fájlt) le is lehet tölteni

- Felvettem egy csomó extra PCR gép típust a dropdown-ba, egyelőre egyiket sem tudjuk parse-olni, de majd ha látjuk, milyen gépekről gyűlik adat, akkor ahhoz írunk parsert. Ha valakinek van kedvenc gépe, ami hiányozna a listából, szóljon, hozzáadom!

- Elvileg lehetne további mezőket hozzáadni a feltöltő formhoz, de szerintem tartsuk ezt olyan egyszerűnek, amennyire csak lehet, ne kérjünk be extra adatokat, főleg ha úgyis benne van az interpretation fájlban, majd okosan kibányásszuk belőle

Ami nincs meg, és egyelőre közepesen szívás megcsinálni:

- Excel feltöltést nem engedek, csak CSV-t, mert macerás Pythonban Excelből CSV-be parse-olni. Nem lehetetlen, ha igény van rá, megcsinálom, csak először a könnyebb taszkoknak estem neki. A scriptjeink bemenete viszont CSV lesz, tehát ha valaki Excelt tölt fel, akkor csak annyit tudok tenni, hogy CSV-vé alakítom, és azt mentem el, az eredeti Excellel nem tudunk majd mit kezdeni. (Eltárolni esetleg eltárolhatjuk persze).

Üdv,
T.


torok...@torokcsalad.hu

unread,
Apr 25, 2020, 2:04:59 AM4/25/20
to Suppress19, Gergő Greschik
Tamás, köszi! eddig jutottunk tegnap éjjel egyébként:

ha akár csatlakoznál, akár korrigálál bármit, intézem!

torok...@torokcsalad.hu

unread,
Apr 25, 2020, 3:26:09 AM4/25/20
to Suppress19, Lázár, Viktória
lesz egy ilyen esemény AI témakörben: https://www.udacity.com/ai_in_healthcare/virtual_conference

Tamas Nepusz

unread,
Apr 25, 2020, 9:29:43 AM4/25/20
to Suppress19, Gergő Greschik

Tamás, köszi! eddig jutottunk tegnap éjjel egyébként:

ha akár csatlakoznál, akár korrigálál bármit, intézem!
Remek! A honlapcímet nem írjuk át az open-pcr-analytics.org-ra?

Üdv,
T.

torok...@torokcsalad.hu

unread,
Apr 25, 2020, 9:41:52 AM4/25/20
to Suppress19, Gergő Greschik
dehogynem. ki tudja megtenni? Bagi Tamás? Vagy te is át tudod írni?

Üdv,
T.

--
ÚJDONSÁG: a csoportban való _alkató_ részvétel esetén elfogadod az itt leírt értékrendet: https://sites.google.com/a/torokcsalad.hu/poroly/home
 
Ha csak olvasás céljából csatlakoztál a listához, akkor természetesen nincs ezzel dolgod, nem kell ezt elfogadni.
---
You received this message because you are subscribed to the Google Groups "suppress-covid19" group.
To unsubscribe from this group and stop receiving emails from it, send an email to suppress-covid19-p...@googlegroups.com.

Viktória Lázár

unread,
Apr 27, 2020, 12:16:39 PM4/27/20
to suppress-covid19
Ezt a levelezest inkabb ide kene tenni. 

The raw data can come from any kind of RT-PCR device exported as a CSV file (fluorescent signal vs. cycle number plot of DNA amplification). This exporting step can be done automatically following the detailed instructions from the manual of the software of the RT-PCR device.

Ez mar jo lenne igy.. de gondolkoztam azon, hogy Adriennek visszajelzése alapján lehet változtatjuk az instrukciós fájlt is majd. Jo lenne hallani egy potenciális usernek érthető-e igy. Amugy tudni fogjuk melyik raw-datahoz melyik interpratacios fajl tartozik?  Lehet amugy erdemes lenne egy projekt oldalt inditani, hogy a kollaboratorok akik adatai szenzitivek ok oda tudnanak feltotleni es mas nem fer ott hozza. 




2020. április 25., szombat 16:41:52 UTC+3 időpontban Ákos Török a következőt írta:


On Sat, Apr 25, 2020, 15:29 Tamas Nepusz <nta...@gmail.com> wrote:

Tamás, köszi! eddig jutottunk tegnap éjjel egyébként:

ha akár csatlakoznál, akár korrigálál bármit, intézem!
Remek! A honlapcímet nem írjuk át az open-pcr-analytics.org-ra?

dehogynem. ki tudja megtenni? Bagi Tamás? Vagy te is át tudod írni?

Üdv,
T.

--
ÚJDONSÁG: a csoportban való _alkató_ részvétel esetén elfogadod az itt leírt értékrendet: https://sites.google.com/a/torokcsalad.hu/poroly/home
 
Ha csak olvasás céljából csatlakoztál a listához, akkor természetesen nincs ezzel dolgod, nem kell ezt elfogadni.
---
You received this message because you are subscribed to the Google Groups "suppress-covid19" group.
To unsubscribe from this group and stop receiving emails from it, send an email to suppress-covid19-pandemic+unsub...@googlegroups.com.

torok...@torokcsalad.hu

unread,
Apr 27, 2020, 1:56:02 PM4/27/20
to Suppress19
Tamás, a felvetésedet megerősítem, hogy a mostani oldal infói kicsit félrevezethetik az új felhasználókat, mert a metaadatok példa-fájl most mindig Covidról beszél, holott most már általános PCR vizsgálatokról szól az a kérésünk, hogy hozzanak mintafájlokat laborok.

----
Más: bár emlékszem még Dani ezen soraira:
"Bocsánat, nem akarok hangulatromboló lenni, de most egy kisebb szoftvercégnyi feladatot írtatok össze Tamásnak, és mindeközben nem látszik teljesen világosan, hogy lesz-e valaha felhasználója ennek a szoftvernek. Kezdjük szerintem azzal a részével, hogy erről megbizonyosodunk, legalábbis amennyire egyáltalán lehetséges."

de nehéz visszafogni magam, mert eléggé jó visszajelzések jöttek itt is: (https://devpost.com/software/machine-learning-pcr-analysis, sőt, asszem a tudományos/műszaki/működő valami tartalmú projektek közül elég jól áll népszerűségben is.(itt van az összes leadott project: https://eunitedvsvirus.devpost.com/submissions/ )

Szóval ha megyünk tovább, akkor szerintem jó lenne fokozni a pezsgést. A vonzerő növelésére tök jó lenne láttatni, hogy milyen sok adat van már fent - ezért én publik tallózhatóvá tenném a fájlokat. Ehhez kitennék ilyen kérdéseket:

- checkbox - difolt: checked: "I know what I do: I submit my files for public research. I help humanity by opening this data for analysis. My data contains only technical information, not possible to assign it to any secretive, sensitive or personal data." -
- checkbox - difolt: nemtom: "This is a test file, don't use it for train your AI"
- szöveges mező: "Nick (we suggest this kind of nicknames: "Viki9999" or "Tom343434".  Don't use more specific identifiers, please." (talán egy "Remember me" checkbox jó lenne)

----
és akkor lehetne egy olyan page, ahol listázva vannak a fájlok, mellettük a válasz diagrammok, stb. - és esetleg nickre lehet szűrni. Persze ha valaki kivette a pipát az első checkboxból, akkor azt nem tenném ki ide
----
és akkor még egy oldal: "top contributors"
----

szerintem az zsír lenne, ha akár megadnak interpretációs fájlt, akár nem, akkor miután feltöltötték a raw CSV-t, akkor az ott megjelenő page-en lenne egy form, amiben lehet korrigálni a metaadatokat, és a diagramok mellett radio button szerű csekkolgatással lehete választani a "pozitív-negatív-nem eldönthető-stb." opciókból.

magam helyett is elnézést kérek, hogy egy kisebb szoftvercégnyi feladatot összeírtam. Tamás, teljesen megértem, ha ignorálod. :)

torok...@torokcsalad.hu

unread,
Apr 27, 2020, 2:00:16 PM4/27/20
to Suppress19
"Szóval ha megyünk tovább, akkor szerintem jó lenne fokozni a pezsgést."
ez alatt nem a saját aktivitásunkat értettem, hanem a usereknek láttatni, hogy mások is töltögetnek fel, azaz van élet

Viktória Lázár

unread,
Apr 27, 2020, 2:04:51 PM4/27/20
to Suppress19
En igerem a fejlesztesbe is besegitek, amint a fonokomnek leadtam a cikket amin epp dolgozom, es akkor a kodokat githubon velem is megosztanatok? Addig ezerrel estenkent azon ugykodom, hogy koronavirusos teszteket is kapjunk kulonbozo kollaboratoroktol.. mert hat ebbol most ebbol van boven. Viszont ha mar latjak, hogy vannak eredmenyeink akkor egyre konyebb dolgom lesz. A metafajlt atirom majd erthetobbe (ez biologus feladat), ha Adriennel is beszelunk utana kene veglegesre hoznom majd. 

--
ÚJDONSÁG: a csoportban való _alkató_ részvétel esetén elfogadod az itt leírt értékrendet: https://sites.google.com/a/torokcsalad.hu/poroly/home
 
Ha csak olvasás céljából csatlakoztál a listához, akkor természetesen nincs ezzel dolgod, nem kell ezt elfogadni.
---
You received this message because you are subscribed to the Google Groups "suppress-covid19" group.
To unsubscribe from this group and stop receiving emails from it, send an email to suppress-covid19-p...@googlegroups.com.
To view this discussion on the web visit https://groups.google.com/d/msgid/suppress-covid19-pandemic/CAKDdW8BZgceyYGbtqpfZQLkMvfedNd-AeEeLJvdUKNWW5%3D6h%2Bg%40mail.gmail.com.

Tamas Nepusz

unread,
Apr 28, 2020, 7:43:40 AM4/28/20
to Suppress19
Sziasztok!
 
Tamás, a felvetésedet megerősítem, hogy a mostani oldal infói kicsit félrevezethetik az új felhasználókat, mert a metaadatok példa-fájl most mindig Covidról beszél, holott most már általános PCR vizsgálatokról szól az a kérésünk, hogy hozzanak mintafájlokat laborok.
Ha valaki ír friss szöveget angolul és opcionálisan magyarul, akkor frissítem szívesen.
 
Szóval ha megyünk tovább, akkor szerintem jó lenne fokozni a pezsgést. A vonzerő növelésére tök jó lenne láttatni, hogy milyen sok adat van már fent - ezért én publik tallózhatóvá tenném a fájlokat.
Eddig 19 fájl van fenn, nem tudom, ebből mennyi a saját teszt feltöltés és mennyi jött másoktól, de ez egyelőre nem túl sok.
 
- checkbox - difolt: checked: "I know what I do: I submit my files for public research. I help humanity by opening this data for analysis. My data contains only technical information, not possible to assign it to any secretive, sensitive or personal data." -
- checkbox - difolt: nemtom: "This is a test file, don't use it for train your AI"
- szöveges mező: "Nick (we suggest this kind of nicknames: "Viki9999" or "Tom343434".  Don't use more specific identifiers, please." (talán egy "Remember me" checkbox jó lenne)
Ezeket nem túl bonyolult megcsinálni, csak az utóbbiakban kénytelen voltam ráállni pénzkeresős munkákra is, szóval sajnos most a következő pár napban erre nem lesz időm. Ha valaki vállalja, hogy hozzáadja, szívesen adok hozzáférést a Github repóhoz. Pythont kell hozzá ismerni meg a Quart-ot (ami olyan, mint a Flask, szóval aki a Flaskot ismeri, az a Quartot is, csak minden elé oda kell írni, hogy "async" meg "await").

szerintem az zsír lenne, ha akár megadnak interpretációs fájlt, akár nem, akkor miután feltöltötték a raw CSV-t, akkor az ott megjelenő page-en lenne egy form, amiben lehet korrigálni a metaadatokat, és a diagramok mellett radio button szerű csekkolgatással lehete választani a "pozitív-negatív-nem eldönthető-stb." opciókból.
Ez már komolyabb probléma, ugyanis egyelőre csak a Qiagen formátumot ismerjük, abból tudjuk beazonosítani az egyes well ID-ket, semmi más formátumból nem. Azt egyszerűbb lehetővé tenni, hogy új annotáció fájlt töltsön fel valaki egy meglévő nyers fájlhoz -- le kell tölteni a régi annotáció CSV-t, átírni, és feltölteni az újat.

Üdv,
T.

Viktória Lázár

unread,
Apr 28, 2020, 8:23:07 AM4/28/20
to Suppress19
  • Honnan fogjuk tudni melyik raw-datahoz melyik interpretacios fajl tartozik?  pl. a fajl neve legyen ugyanaz kiegesztive ezzel " _interpretation"? Ez eleg fontos mert fogalamunk se lesz, melyik interpretacio melyik raw datahoz tartozik. Van masik jobb otlet erre?

  • En amugy szetszednem az interpretacios fajlt es a metainformaciot, hogy erthetobb legyen mit varunk. Akkor 3 fajlt kernenk be, ez azert is tunik jobb megoldasnak mert lehet sok olyan eset ahol 50 raw data fajlhoz 1 metainformacios fajl fog tartozni viszont 50 kulonbozo interpretacios fajl. 

  • Elkepzelheto, hogy kezdtek ra valodi adatokat feltolteni mert en mar reklamoztam. Ra kene nezni mit toltottek fel es, hogy latjuk e melyik interpretacios fajl tartozik a raw adatokhoz (valoszinu feltoltesi ideje mutatja talan).


--
ÚJDONSÁG: a csoportban való _alkató_ részvétel esetén elfogadod az itt leírt értékrendet: https://sites.google.com/a/torokcsalad.hu/poroly/home
 
Ha csak olvasás céljából csatlakoztál a listához, akkor természetesen nincs ezzel dolgod, nem kell ezt elfogadni.
---
You received this message because you are subscribed to the Google Groups "suppress-covid19" group.
To unsubscribe from this group and stop receiving emails from it, send an email to suppress-covid19-p...@googlegroups.com.
To view this discussion on the web visit https://groups.google.com/d/msgid/suppress-covid19-pandemic/CABsfaEQneUDO33vS-0V9Q7yBS%3Dyk-YxPnbw9pF97%3D3YC2gpsBA%40mail.gmail.com.

Tamas Nepusz

unread,
Apr 28, 2020, 10:14:11 AM4/28/20
to Suppress19

  • Honnan fogjuk tudni melyik raw-datahoz melyik interpretacios fajl tartozik?  pl. a fajl neve legyen ugyanaz kiegesztive ezzel " _interpretation"? Ez eleg fontos mert fogalamunk se lesz, melyik interpretacio melyik raw datahoz tartozik. Van masik jobb otlet erre?
Ez a bulk feltöltéshez vonatkozó kérdés? Ha simán csak a webes felületen megy a feltöltés, akkor ezzel nem kell foglalkozni, mert feltöltéskor átnevezzük őket "original.csv"-re és "interpretation.csv"-re, és egy külön mappába tesszük őket.

  • En amugy szetszednem az interpretacios fajlt es a metainformaciot, hogy erthetobb legyen mit varunk. Akkor 3 fajlt kernenk be, ez azert is tunik jobb megoldasnak mert lehet sok olyan eset ahol 50 raw data fajlhoz 1 metainformacios fajl fog tartozni viszont 50 kulonbozo interpretacios fajl. 
OK, akkor három fájlt kell majd feltölteni, megoldható, csak akkor gyártsatok pls mindegyikhez küllön példát, mielőtt módosítom a formot.

  • Elkepzelheto, hogy kezdtek ra valodi adatokat feltolteni mert en mar reklamoztam. Ra kene nezni mit toltottek fel es, hogy latjuk e melyik interpretacios fajl tartozik a raw adatokhoz (valoszinu feltoltesi ideje mutatja talan).
Két fájlhoz van csak interpretációs fájl feltöltve, mindkettő egy az egyben a példafájl, tehát szerintem ezek az én tesztfuttatásaim. Április 25-ei dátumúak.

Üdv,
T.

Viktória Lázár

unread,
Apr 30, 2020, 12:11:47 PM4/30/20
to Suppress19
Valoszinu ossze tudnak kotni csoportokkal, ahonnan kapnank diagnosztikai adatsorokat. 

Dear Viktoria,

I hope you are doing well,

My name is Tamara and I am coordinating your request at crowdfight.

We've been looking for candidates for your request, but unfortunately none of the volunteers that registered are working directly doing covid19 diagnostics. A couple of volunteers may have a contact with people directly working on that. I will contact with them to see if the third person is up to help.

I don't know how feasible would be getting these info since, I think, most of the people doing diagnostics will be in hospitals that might be quite busy at the moment. But if they are willing to collaborate we can find volunteers to organise those data.

Two other volunteers could provide you data on RT-PCR, but they are not working with covid. I don't know if this could help for your project, but let me know if you are interested I will put you in contact with them.

I will come back to you as soon as I have more (hopefully better) news 

Best,
Tamara
Crowdfight COVID-19 team

--
ÚJDONSÁG: a csoportban való _alkató_ részvétel esetén elfogadod az itt leírt értékrendet: https://sites.google.com/a/torokcsalad.hu/poroly/home
 
Ha csak olvasás céljából csatlakoztál a listához, akkor természetesen nincs ezzel dolgod, nem kell ezt elfogadni.
---
You received this message because you are subscribed to the Google Groups "suppress-covid19" group.
To unsubscribe from this group and stop receiving emails from it, send an email to suppress-covid19-p...@googlegroups.com.

Viktória Lázár

unread,
May 2, 2020, 6:06:25 AM5/2/20
to Suppress19
Jo hir erkezett. Van egy csoport Madridban ahonnan kapnunk COVID19 RT-PCR adatokat.

Dear Victoria,

I hope you are doing well,

One of our volunteers sugested us a group working at the Univeristy Complutense of Madrid (Spain) where they do masive RT-PCR and would be willing to collaborate in your project.

I am contacting with them and I hope put you both in contact soon. 

Please, could you confirm me when you get this mail ? Thanks

Best,
Tamara

torok...@torokcsalad.hu

unread,
May 2, 2020, 6:34:16 AM5/2/20
to Suppress19

Viktória Lázár

unread,
May 2, 2020, 6:34:36 AM5/2/20
to Suppress19
Tudnatok segiteni, csak nagyon kicsit valtoztatni a https://open-pcr-analytics.org/csv-upload weblapon?
Tamas irtad, hogy nem engedsz technikai okok miatt excel feltoltest, viszont az szerintem sokat egyszerusitene a kollaboratorok munkajan, ha egy altaluk jobban kezelheto excel fajlba tudnak bemasolni az intepretaciokat es a metainformaciokat? A korabbi emailekbol is latszott, hogy elegge le vannak terhelve a tesztekkel, meg kene a munkajukat konnyiteni amennyire csak lehet. 

Megoldhato lenne, hogy az interpretacios fajlt es a metainformaciot kulon fajlkent tolthessek fel (metainformacio lehetne opcionalis) es itt engedjuk meg az excel formatumot es a csv-t is.  Csatoltam a pelda fajlokat exce es csv fajlkent is (szerintem a feltoltesek kozul nem relevans fajlokat torolhetjuk). Ha jol ertem akkor egy feltolteshez tartozo fajlok egy mappaba kerulnek ugye? Innen fogjuk tehat akkor tudni, hogy melyik interpretacio tartozik melyik nyers adatsorhoz? 

Informacio a fajl feltoltesek ala


Expert's interpretation for each well of the run as a separate xlsx or CSV file. Please make sure that the provided IDs match the IDs of each experimental well within the file containing the raw data.


The optional meta-information of the RT-PCR runs as a separate xlsx or CSV file. Information about the RT-PCR device, the different genes detected by each channel, date of the test etc..


Van esetleg barmi mas otletetek most a modositashoz? Gondolom ahogy kapunk toluk egyre tobb futasi adatot, annal tovabb tudjuk fejleszteni az oldalt, hogy mar eredmenyeket is mutassunk nekik.

udv
V.

example_Interpretation.csv
example_metaInformation.csv
example_Interpretation.xlsx
example_metaInformation.xlsx

Tamas Nepusz

unread,
May 2, 2020, 6:01:18 PM5/2/20
to Suppress19
Szia Viki!

Megoldhato lenne, hogy az interpretacios fajlt es a metainformaciot kulon fajlkent tolthessek fel (metainformacio lehetne opcionalis)
Meg, persze, de amúgy az interpretációs fájl is opcionális most. Legyen akkor három feltöltő doboz, mindegyiknek egy-egy, és csak az adat legyen kötelező? Vagy azért az jó, ha tudjátok, hogy melyik pozitív, melyik negatív? Nekem a közös, standardizált formátumra hozáshoz az is hasznos, ha olyan fájlokat töltenek fel, amihez nincs interpretáció, de nem akarok erre bátorítani senkit :)
 
es itt engedjuk meg az excel formatumot es a csv-t is.
OK, Igazából ha már megengedem az Excelt, akkor akár megengedhetem a nyers adatoknál is, nem tudom, az mennyire egyszerűsít a folyamaton. Annyi van, hogy nekünk kódból a CSV-vel egyszerű dolgozni, tehát ha Excelt tölt fel valaki, akkor az lesz a policy, hogy az első sheetet feltöltéskor CSV-vé alakítom, mielőtt beküldöm a standardizálónak, hogy annak továbbra se kelljen Excellel foglalkoznia. És kell még valami értelmes korlátozás az Excel sheetben az oszlopok és sorok maximális számára (tudsz ilyet mondani?), hogy ne lehessen megszivatni a feltöltést fogadó scriptet azzal, hogy az Excel tábla 16384. sorába beírnak egy szóközt akár véletlenül, akár szándékosan (és ettől hirtelen 16384 soros lesz a táblázat).
  
Ha jol ertem akkor egy feltolteshez tartozo fajlok egy mappaba kerulnek ugye?
Igen, viszont az eredeti fájlneveket nem őrizzük meg, tehát nem fogjuk tudni visszakeresni, hogy ki töltötte fel a Ket_viking_megy_a_sivatagban.xlsx nevű fájlt, hacsak most direkt meg nem kértek arra, hogy ez egy überfontos infó és tároljam el :) Alapból úgy néz ki a dolog, hogy a bemeneti fájlból egy "lenyomatot" (hash-t) készítek a tartalma alapján, és ez a ronda bitkolbász lesz a fájlnév. (Előnye az, hogy ha valaki 2x vagy többször tölti fel ugyanazt a fájlt, akkor a bitkolbász ugyanaz, így nem dolgozzuk fel kétszer).
 
Innen fogjuk tehat akkor tudni, hogy melyik interpretacio tartozik melyik nyers adatsorhoz? 
Igen. Egy feltöltés egy könyvtár, és a feltöltött fájlok mellé generálódnak a görbék és majd minden egyéb analízis is, amit bekötünk a pipeline-ba.

Van esetleg barmi mas otletetek most a modositashoz? Gondolom ahogy kapunk toluk egyre tobb futasi adatot, annal tovabb tudjuk fejleszteni az oldalt, hogy mar eredmenyeket is mutassunk nekik.
Persze, számításokat, görbéket, bármi mást bele tudunk tenni utólag és le tudjuk futtatni visszamenőleg a régi fájlokra is. (Lesz majd "Újrafuttatás" gomb az eredmények oldalán).

Üdv,
T.

Viktória Lázár

unread,
May 2, 2020, 7:26:09 PM5/2/20
to Suppress19
Szia Tamas, 

Koszi szepen a reszletes valaszt. 

Megoldhato lenne, hogy az interpretacios fajlt es a metainformaciot kulon fajlkent tolthessek fel (metainformacio lehetne opcionalis)
 Meg, persze, de amúgy az interpretációs fájl is opcionális most. Legyen akkor három feltöltő doboz, mindegyiknek egy-egy, és csak az adat legyen kötelező? Vagy azért az   jó, ha tudjátok, hogy melyik pozitív, melyik negatív? Nekem a közös, standardizált formátumra hozáshoz az is hasznos, ha olyan fájlokat töltenek fel, amihez nincs i   interpretáció, de nem akarok erre bátorítani senkit :)

Szerintem kerjunk melle interpretacios fajlt es a metafajl maradjon csak opcionalis.

 OK, Igazából ha már megengedem az Excelt, akkor akár megengedhetem a nyers adatoknál is, nem tudom, az mennyire egyszerűsít a folyamatot.

Rendben, tudom, hogy vannak olyan gepek amik excel fajlba exportalnak, de altalaban tudnak csv-t is. Viszont el tudom kepzelni hogy laboros az excel fajlt preferalna. Akkor engedjunk meg mindkettot mindenhol. 

 Igen, viszont az eredeti fájlneveket nem őrizzük meg, tehát nem fogjuk tudni visszakeresni, hogy ki töltötte fel a Ket_viking_megy_a_sivatagban.xlsx nevű fájlt, hacsak most   direkt meg nem kértek arra, hogy ez egy überfontos infó és tároljam el :) Alapból úgy néz ki a dolog, hogy a bemeneti fájlból egy "lenyomatot" (hash-t) készítek a tartalma   alapján, és ez a ronda bitkolbász lesz a fájlnév. (Előnye az, hogy ha valaki 2x vagy többször tölti fel ugyanazt a fájlt, akkor a bitkolbász ugyanaz, így nem dolgozzuk fel   kétszer).

Elofordulhat olyan, hogy a 20 kulonbozo nyers adathoz es interpretacios fajlhoz 1 darab opcionalis metainformacios fajl tartozik majd. 
Vagy kerjuk be a metainformacios fajlt es csak utana az ehhez tartozo sok kulonbozo nyers adatot es interpretacios fajlt hozza? Hogy ne kelljen a user-nek ugyanazt a metainformacios fajlt ujra es ujra feltoltenie..?


--
ÚJDONSÁG: a csoportban való _alkató_ részvétel esetén elfogadod az itt leírt értékrendet: https://sites.google.com/a/torokcsalad.hu/poroly/home
 
Ha csak olvasás céljából csatlakoztál a listához, akkor természetesen nincs ezzel dolgod, nem kell ezt elfogadni.
---
You received this message because you are subscribed to the Google Groups "suppress-covid19" group.
To unsubscribe from this group and stop receiving emails from it, send an email to suppress-covid19-p...@googlegroups.com.

Tamas Nepusz

unread,
May 3, 2020, 9:03:56 PM5/3/20
to Suppress19
Sziasztok!

Ma éjszakai fejlemények:

- CSV és Excel fájlokat is lehet már feltölteni
- Külön van metaadat és interpretációs fájl, a metaadat opcionális
- Feltöltéskor meg lehet jelölni, ha valaki csak tesztelés céljából tölt fel adatot, ezeket majd a tanításnál figyelmen kívül tudjuk hagyni
- Lehet tetszőleges további szöveges megjegyzést is fűzni a feltöltött fájlhoz
- A feltöltött adatfájlnál elmentjük az eredeti nevet is (nem mutatjuk, de megvan)
- Újra lehet futtatni a feldolgozást egy gombnyomással (de ez tipikusan nem fog kelleni, nekem hasznos teszteléskor. Feldolgozáskor a görbék a háttérben készülnek el, tehát előfordulhat, hogy első alkalommal az eredmény oldal még nem mutatja a görbéket, de egy refresh után már igen).

Ez a verzió már kinn van, de azért tesztelni kéne majd, én most kidőlök egy kicsit. Gyors válaszok még a végén:

Elofordulhat olyan, hogy a 20 kulonbozo nyers adathoz es interpretacios fajlhoz 1 darab opcionalis metainformacios fajl tartozik majd. 
Vagy kerjuk be a metainformacios fajlt es csak utana az ehhez tartozo sok kulonbozo nyers adatot es interpretacios fajlt hozza? Hogy ne kelljen a user-nek ugyanazt a metainformacios fajlt ujra es ujra feltoltenie..?
Szerintem első körben most legyen elég annyi, hogy ha több fájlhoz ugyanazt a meta-fájlt töltené fel, akkor az elsőhöz töltse fel, a többihez meg a kommentmezőben írja be, hogy melyik eredeti adatfájl melletti meta-fájlt nézzük hozzá. Aztán majd kiegyenesítjük kézzel a dolgokat. Egyelőre nagyon megbonyolítaná a feltöltő formot, ha több nyers adatot engednék egy lapról feltölteni, ugyanazzal a meta fájllal.

Üdv,
T.

Viktória Lázár

unread,
May 4, 2020, 3:05:51 PM5/4/20
to Suppress19
Nagyon szepen koszi Tamas. Szuper lett. 

Kozben en levelezek az adat igenylessel kapcsolatban es felmerult hogy az interpretation fajlon belul a patient_ID szenzitiv adatnak szamit, ezert atirtam az excel sample fajlt, ahol jelzem hogy az opcionalis informacio. Ha ugy alakul es van 2 perced kicserelned a az interpretation sample fajlokat a csatoltra?. Az a baj ha azt hiszik, hogy patient_ID nelkul nem tolthetnek fel akkor inkabb nem toltenek fel semmit.

Talan a magyarazo szoveget is at kene irni erre az interpretation fajl alatt.

Expert interpretation for each well of the run as a separate XLSX or CSV file. Please make sure that the provided IDs match the IDs of each experimental well within the file containing the raw data. The column for Patient_ID within the interpretation file is optional it can be left empty in case it is considered to be sensitive information.

koszi
V.


 

--
ÚJDONSÁG: a csoportban való _alkató_ részvétel esetén elfogadod az itt leírt értékrendet: https://sites.google.com/a/torokcsalad.hu/poroly/home
 
Ha csak olvasás céljából csatlakoztál a listához, akkor természetesen nincs ezzel dolgod, nem kell ezt elfogadni.
---
You received this message because you are subscribed to the Google Groups "suppress-covid19" group.
To unsubscribe from this group and stop receiving emails from it, send an email to suppress-covid19-p...@googlegroups.com.
interpretation_example.xlsx
interpretation_example.csv

Tamas Nepusz

unread,
May 5, 2020, 4:39:32 AM5/5/20
to Suppress19
Szia!

Kicseréltem a szöveget is meg a példa fájlokat is!

Üdv,
T.


Viktória Lázár

unread,
May 7, 2020, 4:39:16 PM5/7/20
to Suppress19
"Én a tegező formát elhagynám minden magyar szövegből (a https://open-pcr-analytics.org/csv-upload oldalról is)."

Kaptunk a magyar szövegre kritikát. :)

Szerintem akkor legyen inkabb: CSV fájl feltöltés a cím. 

Egy ismerösöm elküldi nekünk pár egyetemi levelezö listára a kérésünket, hogy legalább a konverter haladjon ahhoz is tudnának adatokat küldeni. Viszont akkor kéne még egy opció hogy lehessen interpretációs fájl nélkül csak a konverter fejlesztéshez feltölteni raw adatokat. Legyen erre egy másik tikkelös megoldás?

tick  If you only upload raw data



Tamas Nepusz

unread,
May 7, 2020, 4:51:21 PM5/7/20
to Suppress19
On Thu, 7 May 2020 at 22:39, Viktória Lázár <vlaz...@gmail.com> wrote:
"Én a tegező formát elhagynám minden magyar szövegből (a https://open-pcr-analytics.org/csv-upload oldalról is)."

Kaptunk a magyar szövegre kritikát. :)

Ezt sose értettem, hogy minek kell a magyar nyelvben ennyit körülményeskedni a magázással... kit akarunk átverni ezzel? :)
Viki, Rád bízom. Van hozzáférésed a Github repóhoz, ugye? Ha szerinted sem jó a tegezés, akkor az `src/pcrtools/translations/hu/LC_MESSAGES/messages.po fájlban írj át mindent nyugodtan magázásra (ki is egészítheted a le nem fordított üzeneteket a magyar megfelelőjükkel, én nem tudtam ezeket szabatosan megfogalmazni, azért nincsenek lefordítva), és szólj, ha megvan, utána kirakom a friss verziót.

Egy ismerösöm elküldi nekünk pár egyetemi levelezö listára a kérésünket, hogy legalább a konverter haladjon ahhoz is tudnának adatokat küldeni. Viszont akkor kéne még egy opció hogy lehessen interpretációs fájl nélkül csak a konverter fejlesztéshez feltölteni raw adatokat. Legyen erre egy másik tikkelös megoldás?
Esetleg nem egyszerűbb, ha simán nem kötelező az interpretációs fájl feltöltése? (Eredetileg így volt).

Üdv,
T.

Viktória Lázár

unread,
May 7, 2020, 4:58:44 PM5/7/20
to Suppress19
De igazad van\volt, egyszerübb maradjon akkor ugy. 
Irok majd ha atirtam. 
Bocsanat, a gond az, hogy nem vettem eszre a github invitation emailt es mar lejart ujra tudod kuldeni? 
github: vlazarPC

--
ÚJDONSÁG: a csoportban való _alkató_ részvétel esetén elfogadod az itt leírt értékrendet: https://sites.google.com/a/torokcsalad.hu/poroly/home
 
Ha csak olvasás céljából csatlakoztál a listához, akkor természetesen nincs ezzel dolgod, nem kell ezt elfogadni.
---
You received this message because you are subscribed to the Google Groups "suppress-covid19" group.
To unsubscribe from this group and stop receiving emails from it, send an email to suppress-covid19-p...@googlegroups.com.

Tamas Nepusz

unread,
May 8, 2020, 5:20:09 AM5/8/20
to Suppress19

Tamas Nepusz

unread,
May 8, 2020, 5:55:53 AM5/8/20
to Suppress19

De igazad van\volt, egyszerübb maradjon akkor ugy. 
Átírtam a kódot úgy, hogy most már nem kötelező az expert interpretation. Még nem raktam ki, ha megvagy a magyar fordítás lektorálásával, szólj, és frissítek.

Üdv,
T.
Reply all
Reply to author
Forward
0 new messages