50-100GB via LAN ile czasu potrzeba?

[BAREK]

Dzień Dobry,
Potrzeba jest taka, aby codziennie/najlepiej pomiędzy godzinami 00 do 06
przekopiować z rejestratora video zapis na dysk umieszczony w innym
miejscu LAN.
Danych jest dziennie około 50-100GB
Ile czasu może być potrzeba na taką ilość danych, przy bardzo dużej
ilości plików?
Co może mieć na to wpływ?
Sytuacja wygląda tak, że są możliwe różne pozycje dysku na który mają
być robione kopie;
-w jednym swichu z rejestratorem, ale to troszkę bez sensu,
-oddalony i połączony siecią LAN 100MB lub 1GB/jak to by było w każdym z
przypadków?
-najlepiej jakby kopia była robiona do innego budynku i po drodze jest
link WiFi o TXRate i RXRate 300.0


--
Barek
barek[]plusnet pl

[Mr Misio]

Użytkownik BAREK napisał:

pol godziny, godzinke?
tak strzlam, bo cos kolo tego ostatnio (pare dnie temu) wlasnie
przepychalem po lanie :)

[BAREK]

Pierwsze trzy dni testów dały niestety marne wyniki;
od 24 do 6 rano niestety ale przeszchodziło jedynie 16-18GB danych.
To był ten wariant najlepszy dla mnie; czyli różne budynki, jednak też
najbardziej skomplikowana trasa;
-od rejestratora, przez dwa switche(teoretycznie gigabitowe) do AP-clienta,
-od APclietna do AP-baza,
-z AP baza przez switch do serwera, w który po USB 2 wpięty jest dysk.

>> Danych jest dziennie około 50-100GB
>> Ile czasu może być potrzeba na taką ilość danych, przy bardzo dużej
>> ilości plików?
>> Co może mieć na to wpływ?

> pol godziny, godzinke?
> tak strzlam, bo cos kolo tego ostatnio (pare dnie temu) wlasnie
> przepychalem po lanie :)

[Mr Misio]

Użytkownik BAREK napisał:

> Pierwsze trzy dni testów dały niestety marne wyniki;
> od 24 do 6 rano niestety ale przeszchodziło jedynie 16-18GB danych.
> To był ten wariant najlepszy dla mnie; czyli różne budynki, jednak też
> najbardziej skomplikowana trasa;
> -od rejestratora, przez dwa switche(teoretycznie gigabitowe) do AP-clienta,
> -od APclietna do AP-baza,
> -z AP baza przez switch do serwera, w który po USB 2 wpięty jest dysk.

znaczy pchasz przez wifi?

[DooMiniK]

On 15/12/2012 17:32, BAREK wrote:
> Pierwsze trzy dni testów dały niestety marne wyniki;
> od 24 do 6 rano niestety ale przeszchodziło jedynie 16-18GB danych.
> To był ten wariant najlepszy dla mnie; czyli różne budynki, jednak też
> najbardziej skomplikowana trasa;
> -od rejestratora, przez dwa switche(teoretycznie gigabitowe) do AP-clienta,
> -od APclietna do AP-baza,

AP jest wąskim gardłem, zacznij od testów w tym miejscu.


--
Dominik Siedlak (bachus)
bachus(at)post(dot)peel

[DooMiniK]

Przecież napisał.

[Mr Misio]

Użytkownik DooMiniK napisał:

napisal tez 3 rozne opcje :)

[BAREK]

W dniu 2012-12-15 18:49, DooMiniK pisze:

> On 15/12/2012 17:32, BAREK wrote:
>> Pierwsze trzy dni testów dały niestety marne wyniki;
>> od 24 do 6 rano niestety ale przeszchodziło jedynie 16-18GB danych.
>> To był ten wariant najlepszy dla mnie; czyli różne budynki, jednak też
>> najbardziej skomplikowana trasa;
>> -od rejestratora, przez dwa switche(teoretycznie gigabitowe) do
>> AP-clienta,
>> -od APclietna do AP-baza,
>
> AP jest wąskim gardłem, zacznij od testów w tym miejscu.
>
>

Uffff!
Jeśli to światło, to szkoda, że dopiero teraz ruszyłem z kopią danych
rejestratora, bo mam opracowane podejście rurami kanalizacyjnymi i
odwodnienia z jednego do drugiego budynku, tylko teraz ciężko będzie w
ziemi grzebać...
Da się jakoś /tylko teoretycznie/ wyliczyć przepustowość najwęższego
gardła licząc czas przesyłu pliku o zadanej wielkości;
-1GB jeden plik
-1GB 100 plików?

[DooMiniK]

Nie chcę być złośliwy, ale prosty test nie wymaga aż tak zaawanowanego
zastosowania wyobraźni:
* Wpinasz się przy samym AP do LANu np. laptopem i sprawdzasz szybkość
kopiowania danych z rejestratora
* z tego samego laptopa starasz się skopiować pliki do miejsca
docelowego

Teraz przechodzisz na drugą stronę AP i robisz dokładnie to samo:
* na laptopa z rejestratora
* na laptopa z miejsca docelowego

Przy zastosowaniu próbki np. 5GB taki test powninen Ci zająć w porywach
do godziny.

[BAREK]

> Uffff!
> Jeśli to światło, to szkoda, że dopiero teraz ruszyłem z kopią danych
> rejestratora, bo mam opracowane podejście rurami kanalizacyjnymi i
> odwodnienia z jednego do drugiego budynku, tylko teraz ciężko będzie w
> ziemi grzebać...
> Da się jakoś /tylko teoretycznie/ wyliczyć przepustowość najwęższego
> gardła licząc czas przesyłu pliku o zadanej wielkości;
> -1GB jeden plik
> -1GB 100 plików?

Przepraszam, troszkę tu głupoty pisałem, gorączka, te sprawy tylko mnie
tłumaczą.
Przymierzałem się do przeciągnięcia światłowodu pomiędzy budynkami kilka
miesięcy temu, żeby potestować temat, ale pomysł zarzuciłem i teraz mogę
tylko żałować.
To moje pytanie o teoretyczne wyliczenie czasu przesyłu było
teoretyczne, czyli chodzi mi o to jak to modelowo powinno być, zdaje
sobie sprawę ze strat realnych i poza tym to jest sieć, gdzie coś tam
cały czas się dzieje, to też jakiś wpływ mieć będzie na przesył.

[BAREK]

> Nie chcę być złośliwy, ale prosty test nie wymaga aż tak zaawanowanego
> zastosowania wyobraźni:
> * Wpinasz się przy samym AP do LANu np. laptopem i sprawdzasz szybkość
> kopiowania danych z rejestratora
> * z tego samego laptopa starasz się skopiować pliki do miejsca
> docelowego
>
> Teraz przechodzisz na drugą stronę AP i robisz dokładnie to samo:
> * na laptopa z rejestratora
> * na laptopa z miejsca docelowego
>
> Przy zastosowaniu próbki np. 5GB taki test powninen Ci zająć w porywach
> do godziny.

DOkładnie taki test się przeprowadzi, tak jak pisałem bezpośrednio pod
postem troszkę gorączki i człowiek mętnie pisze od razu.

[DooMiniK]

W sieci 1Gb może w teorii i pociągnąć 125MB, w 100Mb ok 12MB. Pamiętaj,
że ograniczeniem jest też... twardy dysk, który uciągnie 40-60MB, przy
starszych 'zajechanych', czy mocno pofragmentowanych dyskach jeszcze
mniej. Sprawdź, czy to nie jest też problem dysków ;-)

[BAREK]

> W sieci 1Gb może w teorii i pociągnąć 125MB, w 100Mb ok 12MB. Pamiętaj,
> że ograniczeniem jest też... twardy dysk, który uciągnie 40-60MB, przy
> starszych 'zajechanych', czy mocno pofragmentowanych dyskach jeszcze
> mniej. Sprawdź, czy to nie jest też problem dysków ;-)
>

O dziękuje za uwagę.
JEdnak dyski chyba nie;
-rejestrator ma niecałe dwa lata/tyle tylko, że dysk w czasie wysyłania
musi też pracować/nagrywać,
bo jeśłi idzie o dysk docelowy/na kopię, to ten kupiony dopiero niedawno
3TB Segate 7200RPM SATAII
-tak przy okazji, czy szybciej będzie przez USB czy przez ESATA?

[or...@pwr.wroc.pl]

Najlepiej będzie jak jednak sprawdzisz. Bo to że dysk jest nowy nic nie
mówi o osiągach. Zwłaszcza że sam tworzyłeś system plików. Nic nie
wiadomo też na temat rozwiązań zastosowanych w rejestratorze.

W praktyce z tych 125MB trzeba odjąć sporo na narzut protokołów. Po
takim NFSie 100MB/s to jest bardzo dobry wynik(nawet używając jumbo
frames). Dodatkowo jak używasz jakiegoś fancy protokołu to może
się okazać że zarzyna Ci procesor maszyny która zajmuje się kopiowaniem.

--
Pozdrawiam
orcus

[DooMiniK]

Zacznij od źródłowego, ten może być wąskim gardłem. Sprawdź
jak to się zachowuje lokalnie.

[BAREK]

No to tak;
Troszkę od innej strony testy przesyłowe na linii;
Rejestrator-dysk backup-owy są robione;

Jest wszystko tak jak ma być po podłączane, czyli;
-rejestrator w jednym budynku,
-dysk kopii do serwera w innym budynku podłączony,
-przekaz sobie lata siecią LAN, czyli po kablu, potem via WiFi i znowu
po kablu.

Początkowo było wszystko ustawione na przerzucanie danych pomiędzy 24 a
6 rano i przez ten czas poszło tylko 16-19 GB, a to za mało jak na
materiał z jednego dnia.
Wydłużony został czas na zrobienie kopii na 24-12 i przeszło wszystko co
potrzeba.
Nie odczuł chyba nikt pogorszenia komfortu pracy w sieci/mulenia się łączy.
Co może świadczyć o tym, że rejestrator po prostu powoli dane na dysk
kopii wypuszcza, może tak być?

Fizycznie powpinać się lapkiem w różnych punktach sieci i przetestować
przesyły do nowego roku będzie ciężko, ale tak w sumie, to chyba skoro
nie muli taki przesył sieci i się wyrabia przekazywanie danych na dysk
kopii to nie ma pilnej potrzeby ingerencji?

[Maciek Babcia]

Dnia 2012-12-18, o godz. 14:23:09
BAREK <ba...@plusnet.pl> napisał(a):

> Fizycznie powpinać się lapkiem w różnych punktach sieci i
> przetestować przesyły do nowego roku będzie ciężko, ale tak w sumie,
> to chyba skoro nie muli taki przesył sieci i się wyrabia
> przekazywanie danych na dysk kopii to nie ma pilnej potrzeby
> ingerencji?

Może być tak że interfejs sieciowy rejestratora jest wąskim gardłem.
Np. mam jeden około 6-letni rejestrator DYNACOLOR który tak wolno
przesyła dane sieciowo że zdecydowanie szybciej jest podłączyć do niego
dysk po USB i kopiować w taki sposób.

Zdrówko

[BAREK]

>> Fizycznie powpinać się lapkiem w różnych punktach sieci i
>> przetestować przesyły do nowego roku będzie ciężko, ale tak w sumie,
>> to chyba skoro nie muli taki przesył sieci i się wyrabia
>> przekazywanie danych na dysk kopii to nie ma pilnej potrzeby
>> ingerencji?
> Może być tak że interfejs sieciowy rejestratora jest wąskim gardłem.
> Np. mam jeden około 6-letni rejestrator DYNACOLOR który tak wolno
> przesyła dane sieciowo że zdecydowanie szybciej jest podłączyć do niego
> dysk po USB i kopiować w taki sposób.

Tutaj chodzi o fizyczne rozdzielenie lokalizacji kopii i rejestratora,
poza tym dysk w rejestratorze jest 1TB, a kopia ma 3TB, co ma umożliwić
dostęp do starszych nagrań na kopii.
Dziś do 12 doszło 37GB, ale to tylko 9 z 14 kamer, jutro dajemy na kopię
czas do 18 i zobaczymy jak będzie.
Ogólnie to chyba kopiowanie nie zapycha sieci.
Także tymczasowo przynajmniej problem został rozwiązany.

[qlphon]

> Wydłużony został czas na zrobienie kopii na 24-12 i przeszło wszystko co
> potrzeba.
> Nie odczuł chyba nikt pogorszenia komfortu pracy w sieci/mulenia się
> łączy.
> Co może świadczyć o tym, że rejestrator po prostu powoli dane na dysk
> kopii wypuszcza, może tak być?

rejestrator może być tak obciążony bieżącą rejestracją obrazu,
że na odczyt potrzebny dla tej zdalnej kopii, po prostu ma już bardzo mało
czasu - stąd te opóźnienia

nie wiem jaki masz rejestrator i ile kamer, jakie strumienie danych
ale moje doświadczenia mówią, że w rejestratorach NVR wąskim gardłem jest
podsystem dyskowy
przykładowo, RAID na 4 dyskach SATA 6Gb dla 16 kamer HD wcale nie jest to
jakoś przeskalowane...

pozdrawiam
q

[666]

Najlepiej (zdecydowanie najszybciej) byłoby przesyłać nie pojedyncze pliki (w katalogach, podkatalogach) lecz obraz dysku, ale jak
utworzyć na rejestratorze i przesłać na zewnątrz obraz dysku to nie wiem.

-----