Přesun MLAB SVN na Github

[kaklik]

Ahoj všichni,

navrhoval bych přesunout SVN repozitáře z MLAB serveru na GitHub.
Je pro to několik důvodů.

• GitHub je dneska standardní nástroj pro vývoj open-source a umí s ním pracovat zbytek světa
• Je tam za nás vyřešené zabezpečení a správa uživatelských účtů
  
• Mohou tam řízeně přispívat i cizí lidé.
  
• Umí interpretovat Markdown dokumentační soubory což znamená, že do popisu modulu lze rovnou vkládat obrázky, rovnice speciální znaky a podobně.
  
• Umí přímo zobrazovat rozdíly v kódu a i v některých binárních souborech jako jsou například 3D modely: https://github.com/expediceupice/ExpaLight/commit/03211b37712c1b5116f5da4b2732332310fa903b

Pokud někdo nemá nějaký důvod proč to nedělat, tak bych tuto změnu provedl takž že od roku 2017 bude další vývoj probíhat na githubu...

Kaklik

[Jan Chroust]

Ahoj,

mě se to vůbec nelíbí.

-svn mi bylo příjemnější a přehlednější co se týče práce ve win, pod Linuxem jsou už obě dost nepříjemné. Moje osobní věc.

-jako podstatnější vidím jak to bude s propojením s webem MLAB.CZ? Bojím se, že tímto krokem akorát rozbiješ něco co jakštakš fungovalo. A co ten permalink? Tento přesun už nevadí, když ho nemáme?

Honza

Dne 30. prosince 2016 11:18 kaklik <kja...@gmail.com> napsal(a):

--
Tuto zprávu jste obdrželi, protože jste přihlášeni k odběru skupiny „MLAB“ ve Skupinách Google.
Chcete-li zrušit odběr skupiny a přestat dostávat e-maily ze skupiny, zašlete e-mail na adresu mlab-users+unsubscribe@googlegroups.com.
Další možnosti najdete na https://groups.google.com/d/optout.

[Jakub Kákona]

On Pá, 2016-12-30 at 11:47 +0100, Jan Chroust wrote:
> Ahoj,
> mě se to vůbec nelíbí.
>
> -svn mi bylo příjemnější a přehlednější co se týče práce ve win, pod
> Linuxem jsou už obě dost nepříjemné. Moje osobní věc.

V tomhle nedovedu pomoct, protože stále nevím co bylo na té práci ve
Windows "lepší"..

>
> -jako podstatnější vidím jak to bude s propojením s webem MLAB.CZ?
> Bojím se, že tímto krokem akorát rozbiješ něco co jakštakš fungovalo.
> A co ten permalink? Tento přesun už nevadí, když ho nemáme?

Tohle by právě mohlo ten problém s permalinkem v podstatě vyřešit.
Protože GitHub lze celý adresovat přes HTTP. Jde tam udělat i odkaz na
konkrétní commit a tak podobně. 
a MLAB web může fungovat ve stejném režimu jako je teď, akorát, že se
budou data pro web klonovat z GitHubu místo ze Subversion. Na MLAB webu
zmizí záložka WebSVN protože nebude potřeba - bude plně nahrazená
rozhraním které poskytuje GitHub, což je dnes světový standard, jak to
řešit. 

[Martin Kákona]

Jak budeme GitHub zalohovat?

GitHub neumoznuje projekty strukturovat.

[Jakub Kákona]

On Pá, 2016-12-30 at 12:07 +0100, Martin Kákona wrote:
> Jak budeme GitHub zalohovat?

V podstatě stejně, jako se teď nezálohuje SVN (vytváří se jeho kopie na
stejném disku na serveru). Takže relevantní jsou jenom kopie pracovních
adresářů na discích uživatelů. 

Přesun by zálohování naopak zlepšil. Protože MLAB server pak může
vytvářet záložní kopii repozitářů na GitHubu. 
https://github.com/joeyh/github-backup

>
> GitHub neumoznuje projekty strukturovat.

v SVN je teď stejně taky nemáme strukturované. Je tam jeden obrovský
repozitář svnMLAB, ve kterém jsou podsložky jako Library (které teď
skoro nikdo nemění), Modules, Designs.. a pár dalších složek. 

Předpokládám, že na githubu by se se z této základní struktury udělaly
oddělené repozitáře. Takže by to ještě i zvedlo uživatelský komfort a
bezpečnost. 

[Jan Chroust]

-v svn pod win se mi líbilo to, že v průzkumníku jsme měl ikonky o změnách, takže jsem hned věděl, kde jsem co změnil a v jakém místě pracuji. Na jedné straně to fungovalo jako jasné znamení o tom, že jsem něco změnil, bez potřeby zadávat jakýkoliv příkaz. Na druhé straně jsme se rychleji proklikával do místa, kde zrovna pracuji. Obecně mám stále s Linuxem ten problém, že mi strašně chybí průzkumník z win, protože ten mi hodně urychloval práci. Protože aktuálně jsem ten který tam dělá nejvíc změn hromadného typu. Třeba vkládání nových fotek atd... Raději tyto věci dělám stále ve win.

-je mi jasné že ty odkazy teď půjdou dělat snadno, ale co ty aktuální co teď máme s těmi se stane co? To budou všechny neplatné?

-jakou strukturu si na gitu představuješ? MLAB-project se na gitu docela zaplňuje a do budoucna bude stále méně přehlednější.

-podle mě je tento přechod velmi zásadní a pokud by přechod měl nastat, tak by se měl zkusit nějaký testovací přechod. Vznikl by aspoň nějaký další náhled nato jak by to mohlo vypadat.

Dne 30. prosince 2016 11:53 Jakub Kákona <kja...@gmail.com> napsal(a):

--
Tuto zprávu jste obdrželi, protože jste přihlášeni k odběru skupiny MLAB ve Skupinách Google.
Chcete-li zrušit odběr skupiny a přestat dostávat e-maily ze skupiny, zašlete e-mail na adresu mlab-users+unsubscribe@googlegroups.com.

Další možnosti najdete na adrese https://groups.google.com/d/optout.

[Roman Dvořák]

Ahoj

No, co se týče ikonek v průzkumníku, tak můžeš zkusit tohle https://tortoisegit.org/. To by mělo být přesně to, co chceš (doufám) pro git a windows. 

Pro ubuntu existuje http://rabbitvcs.org/. Mělo by to fungovat jako tortoise - tzn. mít integraci do nautilusu (průzkumníku souborů) a podporuje to jak SVN, tak i GIT. Já jsem to nezkoušel. Nemá s tím někdo zkušenosti?

Já bych byl pro přesun na GitHub. Protože spousta věcí je tam dobře vyřešených a lépe se to prochází... Tento přechod by to určitě chtělo nějak otestovat, ale to může vypadat tak, že budeme třeba půl roku používat github a zároveň mít funkční SVN. Změny provedené během tohoto období budou dohledatelné a v případě potřeby navrátit se k SVN se převedou nové (resp. všechny) commity zpět do svn...

Na stávající odkazy by se pak muselo udělat nějaké přesměrování, ale to také není neřešitené...

Roman

Dne 30. prosince 2016 12:31 Jan Chroust <chro...@gmail.com> napsal(a):

Další možnosti najdete na https://groups.google.com/d/optout.

[Jan Chroust]

Já vím že přechod na git by měl přínosy, ale chtělo by to promyslet všechny potřebné kroky, protože překopírovat svn na git není zas tolika práce, ale kdo udělá ten zbytek.

Viděl bych to jak Roman popisuje, že by se nechalo běžet svn (zakázal by se třeba nový zápis dat) a v tom období by někdo musel všechno překopat.

Aktuálně z mé strany napadají tyto body:

-odkazy z různých wiki a dokumentací (Roman naznačoval nějaké přesměrování)

-co bude s touto stránkou:

http://www.mlab.cz/Server/GenIndex/GenIndex.php?path=%2FModules&lang=cs

Je tvořená rovnou z dat v SVN to půjde čerpat i z GIT?

-odkazy v e-shopu UST.

-uvítal bych prvotně vložit třeba jeden modul s celou strukturou, jak by měl nově být.

Hlavně je potřeba se vyhnout zbrklým krokům typu, překopíruji to na GIT smažu SVN a hotovo. Naposledy když byla na toto téma debata před už asi dvěma roky, tak jsme došli k závěru že SVN se zachová, že je to lepší.

Markdown může být také užitečný a řešit problém dokumentací do budoucna. Nevím jak se z něho dají třeba generovat PDF, protože já je pro manuály považuji za důležité, při osazovaní je tištěná dokumentace nenahraditelná. Tohle vše je podle mě poměrně časově náročné a aktuálně nemáme podle mě moc času.

Podle mě kopírování hned začátkem roku 2017 je nereálné. Měli by jsme se sejít, vše to probrat a nejlépe i s nějakými ukázkami jak by to mohlo vypadat.

Když by se měla konat takto velká akce, tak by možná stálo k zamyšlení, zda není na čase nějak pozměnit u modulů složkovou strukturu (jsou moduly, kde se to ještě liší).

Dne 30. prosince 2016 13:05 Roman Dvořák <roman...@mlab.cz> napsal(a):

[Jakub Kákona]

Ahoj, 

tahle změna přece vůbec nesouvisí s nějakým přechodem mezi operačními
systémy. Jak Subversion, tak i Git funguje na všech operačních
systémech jako je MAC, Linux a Windows. 

Přesunutím MLABu na Github by se to zjednodušilo, protože by se prostě
používal jednotně Git.

Netuším jaký problém s "existujícími odkazy" myslíte. Protože jediné,
co je teď na MLABu přímo navázané na Subversion je WebSVN. Všechno
ostatní prochází jenom adresářovou strukturu naklonovanou z repozitáře
a je pak jedno, jestli původní repozitář je git, nebo svn. 

[Jan Chroust]

Příklady odkazů:

http://www.ust.cz/shop/product_info.php?products_id=267

(dokumentace k modulu)

http://wiki.mlab.cz/doku.php?id=cs:sht25v 

(odkaz dokumentace k modulu)

Nevím zda nejsou ještě někde jinde třeba na wiki.bolidoor.cz

Takže tato stránka poběží dál?:

http://www.mlab.cz/Server/GenIndex/GenIndex.php?path=%2FModules%2FAVR&lang=cs

Dne 30. prosince 2016 13:58 Jakub Kákona <kja...@gmail.com> napsal(a):

[Roman Dvořák]

Odkaz na Wiki a eshop zůstanou stejné. Tam se nemění nic. 

Když se zachová adresářová struktura na githubu a PrjInfo.txt soubory tak http://www.mlab.cz/Server/GenIndex/GenIndex.php?path=%2FModules%2FAVR&lang=cs půjde taktéž snadno zachovat.

A WebSVN lze nahradit stránkou GitHubu (Která toho umí mnohem více)

Dne 30. prosince 2016 15:19 Jan Chroust <chro...@gmail.com> napsal(a):

Další možnosti najdete na https://groups.google.com/d/optout.

[Jan Chroust]

Takže pokud to dobře chápu, tak se přepíše jen nějaká část na webu mlab.cz a pro uživatele se to bude chovat úplně stejně, takže asi ani nepovšimne změny? A co se týče odkazů na PDF dokumentací třeba UST e-shopu, tak tam se ta cesta tedy také nezmění.

Při tomto zachování mi není moc jasné, jak bude vyřešen permalink jednotlivých modulů?

Také bych považoval právě za rozumné, aby PrjInfo šlo sloučit na gitu s tím readme. Skoro by byla moje představa taková, že by se přes readme tvořila dokumentace pro jednotlivé moduly, ale nevím jak je to šikovné na generování PDF s tím, aby tam byla verze dokumentu, čísla stránek atd...

Při těchto změnách by bylo dobré brát nějak v potaz, že jsme zamýšleli automatické generování dat z KiCADu, osazovák, seznam součástek. Kdyby se to povedlo nějak vytvořit, tak by to byla velká úspora času do budoucna a šlo by do budoucna udržet aktuálnost všech modulů.

Další bod k zamyšlení je možnost třídit moduly na aktivní, vyřazené, připravované (jen hrubý nástřel kategorií). To by se řešilo po převodu na git jak? V aktuálním SVN tomuto rozdělení bránila absence permalinku.

Dne 30. prosince 2016 16:07 Roman Dvořák <roman...@mlab.cz> napsal(a):

[Roman Dvořák]

Dne 30. prosince 2016 16:29 Jan Chroust <chro...@gmail.com> napsal(a):

Takže pokud to dobře chápu, tak se přepíše jen nějaká část na webu mlab.cz a pro uživatele se to bude chovat úplně stejně, takže asi ani nepovšimne změny? A co se týče odkazů na PDF dokumentací třeba UST e-shopu, tak tam se ta cesta tedy také nezmění.

 Ano, e-shop a UST s tím nesouvisí - to jsou samostatné systémy. A odkazy do těchto služeb zůstanou stejné.

 

Při tomto zachování mi není moc jasné, jak bude vyřešen permalink jednotlivých modulů?

Myslíš odkaz tohoto typu? http://www.mlab.cz/Modules/Translators/I2CDIFF01A/DOC/I2CDIFF01A.cs.pdf

Tak tady je několik řešení... 

 - stejnou stránku podstrčit ze strany mlab serveru

 - přesměrovávat na takovéhle adresy https://raw.githubusercontent.com/MLAB-project/station-supervisor/master/docs/CAS_storage/servers.png

 - odkaz na lokální (na mlab serveru) kopii souboru

První řešení mi přijde jako nejlepší. Adresa nebude přesměrována a data se budou stahovat z GitHubu

 

Také bych považoval právě za rozumné, aby PrjInfo šlo sloučit na gitu s tím readme. Skoro by byla moje představa taková, že by se přes readme tvořila dokumentace pro jednotlivé moduly, ale nevím jak je to šikovné na generování PDF s tím, aby tam byla verze dokumentu, čísla stránek atd...

Tohle by se asi dalo udělat. Tohle je docela dobrý nápad.... Popis každého modulu by byl pěkně zobrazen 

PDF lze generovat z markdownu. Čísla stránek, nějaké verzování a celkové grafické provedení exportovaného souboru by se mělo vyřešit vytvořením nějaké šablony

 

Při těchto změnách by bylo dobré brát nějak v potaz, že jsme zamýšleli automatické generování dat z KiCADu, osazovák, seznam součástek. Kdyby se to povedlo nějak vytvořit, tak by to byla velká úspora času do budoucna a šlo by do budoucna udržet aktuálnost všech modulů.

Další bod k zamyšlení je možnost třídit moduly na aktivní, vyřazené, připravované (jen hrubý nástřel kategorií). To by se řešilo po převodu na git jak? V aktuálním SVN tomuto rozdělení bránila absence permalinku.

Tohle by bylo moc fajn, ale to by chtělo něco složitějšího než adresářovou strukturu ... Nejspíše něco databázového... 

Adresářová struktura je hezké řešení velmi jednoduchá a funkční. Ale neposkytne nám takovéto možnosti. Šlo by tuto adresářovou strukturu zachovat a nad tím vytvořit databázi, která by uměla nějaké "štítkování" (nový, starý, připravovaný, k prodeji,...)

S čistě adresářovým řešením lze štítky vkládat do nějakých 'prjinfo' souborů ale to je velmi složité na procházení a vyhledávání.. - Na webu budu mít klikátko - "Jen aktuální moduly" a pak bych si SW musel procházet celý souborový strom atd .. Ale databáze se může sama aktualizovat ze souborového adresáře. 

Z toho by pak šel generovat například seznam pro eshop ...

Možná by bylo fajn zkusit na Git dát alespoň kus stávající SVN na testování možností a nebrat to jako repozitář pro vývoj.....

[Jakub Kákona]

Tak právě jsem spustil nástroj na import SVN repozitáře na GitHub..
Bude to zřejmě nějakou dobu trvat. 

Mezi tím bych ale potřeboval aby všichni kdo ještě nemají na Githubu
účet a přispívali do MLAB SVN si na githubu (https://github.com/)
Účet vytvořili, protože jinak nebude možné spárovat jejich svn commity.
S historií importovanou na github.. 
Nechci jmenovat o které přispěvatele jde. Doufám, že se ozvou sami... 

Děkuji za spolupráci.

> -- 
> Tuto zprávu jste obdrželi, protože jste přihlášeni k odběru skupiny
> „MLAB“ ve Skupinách Google.
> Chcete-li zrušit odběr skupiny a přestat dostávat e-maily ze skupiny,

> zašlete e-mail na adresu mlab-users+...@googlegroups.com.

[Jakub Kákona]

Tak tady je MLAB svn repozitář s moduly naimportovaný do GitHubu.. http
s://github.com/MLAB-project/Modules

Trvalo to skoro celou noc.. 

On Pá, 2016-12-30 at 02:18 -0800, kaklik wrote:

[Martin Kákona]

Chtelo by to automaticky vygenerovat readme.

[Roman Dvořák]

To se chce rozmyslet, jestli mít readme anglicky, nebo nejdříve AJ a pod tím ČJ nebo jak ...

Dne 31. prosince 2016 11:39 Martin Kákona <martin...@astro.cz> napsal(a):

zašlete e-mail na adresu mlab-users+unsubscribe@googlegroups.com.

Další možnosti najdete na https://groups.google.com/d/optout.

--
Tuto zprávu jste obdrželi, protože jste přihlášeni k odběru skupiny MLAB ve Skupinách Google.

[Jakub Kákona]

Asi před dvěma roky Ondra Šesták navrhoval odstranit tuhle schizofrenii
 a psát všechno anglicky. 
Myslím, že se to ukazuje jako správný postup.. Protože dvoujazyčnou

> > > > zašlete e-mail na adresu mlab-users+...@googlegroups.co
> > > > m.

[Jan Chroust]

Co znamená pro uživatele, že jsi to naimportoval na GitHub?

Kde se mají dělat úpravy a nová činnost?

JACHO

Dne 31. prosince 2016 14:11 Jakub Kákona <kja...@gmail.com> napsal(a):

> > > > zašlete e-mail na adresu mlab-users+unsubscribe@googlegroups.co

> > > > m.
> > > > Další možnosti najdete na https://groups.google.com/d/optout.
> > > >
> >  

--
Tuto zprávu jste obdrželi, protože jste přihlášeni k odběru skupiny MLAB ve Skupinách Google.

[Jakub Kákona]

Znamená to, že další úpravy se mají provádět v tomhle repozitáři na
githubu: https://github.com/MLAB-project/Modules

Zápis do svn na MLABu je pro moduly v tuto chvíli doufám vypnutý.. 

> > skupiny, zašlete e-mail na adresu mlab-users+unsubscribe@googlegrou
> > ps.com.

> > Další možnosti najdete na adrese https://groups.google.com/d/optout

> > .

> >
> -- 
> Tuto zprávu jste obdrželi, protože jste přihlášeni k odběru skupiny
> „MLAB“ ve Skupinách Google.
> Chcete-li zrušit odběr skupiny a přestat dostávat e-maily ze skupiny,

> zašlete e-mail na adresu mlab-users+...@googlegroups.com.

[kaklik]

Dnes jsem z MLAB SVN odstranil složku Modules, takže už je přístupná jenom ta na githubu.
Původní data ze SVN jsou teď dostupná jenom v zálohách.

Přehled modulů na MLAB serveru se na serveru teď generuje z dat, která se každou hodinu aktualizují z GitHubu. To se děje voláním skriptu pomocí Cronu. Zřejmě by to šlo vylepšit použitím API GitHubu.

Dále jsem na webu MLABu odstranil odkaz na WebSVN a nahradil ho položkou v menu, která vede na GitHub, který je už teď přehlednější, než původní WebSVN a nemá problémy se stažením velkých ZIPů a souborů.


Dne pátek 30. prosince 2016 16:07:05 UTC+1 Roman Dvořák napsal(a):