hadoop fs -df의 disk usage와 df의 disk usage가 다를 때 본문

Programming/Hadoop

hadoop fs -df의 disk usage와 df의 disk usage가 다를 때

halatha 2013. 9. 8. 14:00

기본 replication factor가 3이므로 3배수의 차이가 발생하므로 hadoop fs -df는 여유가 있어도 df로 local disk usage를 보면 그렇지 않은 경우가 있다.


replication factor 보기; hdfs fsck 명령을 사용

위 출력에서 Default...은 1인데 Average...은 2.99인 점을 보면 원래 기본 replication factor 3을 사용 중 replication factor를 바꿔 Default...값은 1로 바뀌었지만, 기존의 파일은 그대로 3배의 공간을 사용하기 때문에 평균 값은 거의 3에 가깝다.


이 경우 새로 바뀐  replication factor를 기존 파일에도 적용하고 싶으면 hadoop fs -setrep 명령을 사용

이제 Average...값도 거의 1에 가까워졌다

저작자표시 비영리 동일조건
공유하기 링크
'Programming/Hadoop' Related Articles more
Comments