Recent Posts
Recent Comments
Link
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | ||||||
| 2 | 3 | 4 | 5 | 6 | 7 | 8 |
| 9 | 10 | 11 | 12 | 13 | 14 | 15 |
| 16 | 17 | 18 | 19 | 20 | 21 | 22 |
| 23 | 24 | 25 | 26 | 27 | 28 |
Tags
- Spain
- MySQL
- RFID
- django
- Kuala Lumpur
- Java
- Italy
- programming_book
- psychology
- web
- leadership
- Linux
- essay
- history
- hadoop
- erlang
- Software Engineering
- France
- hbase
- management
- Book review
- Book
- ubuntu
- comic agile
- Python
- Malaysia
- QT
- agile
- program
- Programming
Archives
- Today
- Total
hadoop fs -df의 disk usage와 df의 disk usage가 다를 때 본문
기본 replication factor가 3이므로 3배수의 차이가 발생하므로 hadoop fs -df는 여유가 있어도 df로 local disk usage를 보면 그렇지 않은 경우가 있다.
replication factor 보기; hdfs fsck 명령을 사용
위 출력에서 Default...은 1인데 Average...은 2.99인 점을 보면 원래 기본 replication factor 3을 사용 중 replication factor를 바꿔 Default...값은 1로 바뀌었지만, 기존의 파일은 그대로 3배의 공간을 사용하기 때문에 평균 값은 거의 3에 가깝다.
이 경우 새로 바뀐 replication factor를 기존 파일에도 적용하고 싶으면 hadoop fs -setrep 명령을 사용
이제 Average...값도 거의 1에 가까워졌다
Comments