SARscape Import 속도와 관련한 테스트

[Jonghyuk Yi]

SAR 데이터 처리가 전반적으로 많은 리소스를 사용하는 편입니다. 

SARscape 역시 좋은 CPU, 빠른 저장장치, 넉넉한 RAM이 있으면 좋습니다. 

특히 요즘 SAR 데이터 처리에서 가장 많이 사용하는 PSInSAR 기법은, 여러 장의 영상을 이용하는 것이어서, 충분한 스토리지가 필요합니다. 100장 정도의 Sentinel-1 영상을 전체 영역 Import 하면 1TB ~ 1.5 TB의 공간이 필요합니다. 이 데이터에 대해 PSInSAR를 수행하면 또 500GB 정도의 공간이 필요합니다. 관심 있는 영역에 대해서 AOI를 설정하고, 일부 영역만 Import 하여 사용하는 것이 좋습니다. 

영상 전체를 Import 하여 PSInSAR를 수행하는 일을 하다 보니, 스토리지가 넉넉하지 못한 경우가 발생하고, 특히 SSD로는 용량이 감당이 되지 않아서, HDD를 이용해야 합니다. 이 때 시간적으로 얼마나 손해를 보는가 하는 호기심이 생겨서 한번 테스트 해 보았습니다.

관심 : SSD보다 HDD가 SARscape 처리에 많이 느린가?

세 장의 Sentinel-1 영상을 Import 하는 데에 걸리는 시간을 측정해 보았습니다. 

1. 내장 HDD 에서 내장 HDD로

내장 HDD에 Sentinel-1 영상이 있고, 같은 저장장치에 Import 결과를 기록하는 경우

526초 정도 소요됩니다. 두 번 측정하여 평균을 내는데, 523초, 529초로 큰 차이가 없습니다.

2. 내장 SSD 에서 내장 SSD로

내장 SSD에 Sentinel-1 영상이 있고, 같은 저장장치에 Import 결과를 기록하는 경우

426초 소요됩니다. 

3. 외장 HDD에서 외장 HDD로

외장 HDD는 USB 3.1로 연결되어 있습니다. Seagate One Touch Hub라는 일반적인 3.5 인치 HDD가 들어가는 제품입니다.  외장 HDD에 Sentinel-1 영상이 있고, 같은 저장 장치로 Import 결과를 기록합니다. 

854초 소요됩니다. 

4. 외장 HDD에서 내장 HDD로 : 517초

5. 외장 HDD에서 내장 SSD로 : 430초

6. 내장 HDD에서 외장 HDD로 : 863초

7. 내장 HDD에서 내장 SSD로 : 430초

8. 내장 SSD에서 내장 HDD로 : 505초

9. 내장 SSD에서 외장 HDD로 : 870초

내장 SSD가 당연히 가장 빠른 저장장치이고, 내장 HDD, 외장 HDD 순서로 속도 차이가 납니다. 외장 HDD는 썬더볼트 같은 고사양의 제품이 아닙니다. 

결과에서 보다시피, Import 된 결과를 저장하는 쪽의 속도가 대부분의 결과 차이를 보여 줍니다. 

Sentinel-1 원시 데이터가 어디에 있건 간에, Import 결과를 저장하는 쪽이 SSD면 가장 빠르고, 외장 HDD면 가장 느립니다. 

이것은, 사실 작업이 진행되는 동안 시스템 부하 상황을 보면 예상되는 것인데, 원시데이터는 읽어서 바로 메모리에 올리고(금방 끝납니다), Import 결과를 조금씩 처리되는 대로 파일로 쓰는 데에 대부분의 시간이 걸리기 때문입니다. 

그래서, 원시 데이터(zip으로 압축된 Sentinel-1 영상)는 외장 HDD에 저장해 두고 사용해도 될 것 같다는 결론을 내렸습니다. 

그렇지만, 외장 HDD를 프로세스 디스크로 사용하는 것은 시간 손해를 좀 많이 보게 될 것 같습니다. 내장 HDD와 내장 SSD는 속도 차이는 있지만, 아주 큰 속도 차이라고 할 수는 없는데, 프로세스 자체가 단순 파일 쓰기가 아닌, CPU가 일을 하면서 산출되는 결과를 조금씩 써나가는 방식이어서 그렇습니다. 다시 말해서, CPU가 딸리는 환경에서는 디스크 속도 차이는 별로 중요하지 않게 된다는 것입니다. CPU가 엄청 빠르면, 그 다음부터는 저장 장치 속도 차이로 결판이 나는 것이죠. 

이것은 단순히 Import 과정만 테스트한 것입니다. Import는 아마도 SARscape에서 가장 스토리지 퍼포먼스에 좌우되는 프로세스일 것입니다. 

PSInSAR 같은 계산 집중의 절차를 수행할 때는 아마도 스토리지 성능 보다는 CPU 나 RAM 성능을 더 많이 탈 것 같다고 예상됩니다. 실행되는 과정에서 시스템 부하를 지켜 보면, 스토리지 부하는 거의 없고, CPU와 RAM만 높이 올라가는 경우가 대부분입니다. 

오늘의 테스트는 Intel i9 12900 에서 진행되었습니다. 

저전력 CPU를 사용하는 랩탑 PC(Core Ultral 7 258V)에서는 내장 SSD에서 같은 프로세스를 진행하는 데에 600초 정도 소요됩니다. 데스크탑 CPU i9 12900에서 430초 정도 소요된 것이니 차이가 많이 나는 편이라고 할 수 있지만, Import 가 비교적 단순한 계산이어서 그나마 차이가 적게 나는 것이 이 정도 일 것으로 생각합니다. 

몇 시간, 몇 일을 돌아가는 프로세스일 수도 있다 보니, 속도와 성능에 예민할 수밖에 없는데, 스토리지의 성능 차이는 일반적인 파일 복사 수준에서의 성능 차이에 비하면 훨씬 적게 납니다. 이는 단순 파일 쓰기가 아닌, 계산을 거친 결과를 저장하는 것이기 때문입니다. (계산 퍼포먼스가 중요한 인자입니다). 

조만간 PSInSAR 프로세스를 외장 HDD에서, 내장 HDD에서, 내장 SSD에서 돌려 보고, 생각을 좀 더 이어가 보겠습니다.