조선백성실록저자정명섭 지음출판사북로드 | 2013-08-07 출간카테고리역사/문화책소개조선시대 왕과 역사적 사실을 기록한 방대한 분량의 《실록》을 찬... 2013.09.22조선 시절의 소소한(?) 이야기를 실록에서 뽑은 책. 사람 사는 일이 다 비슷하구나 하는 느낌이 드는 이야기도 있고, 이런 일도 있었어? 하는 이야기도 있다. 재일 기억에 남는 건 왠지 모르겠지만 태종~세종 시절에 있었다는 코끼리 이야기. 아마 우리나라 최초의 코끼리가 아닐까 싶다. 저자가 pgr21에서 올리던 글에서 책이 시작됐다고 해 더 읽고 싶던 책인데 재밋게 잘 읽었다.

백인천 프로젝트저자정재승, 이민호, 천관율, 윤신영, 백인천 프로젝트 팀 지음출판사사이언스북스 | 2013-07-29 출간카테고리과학책소개한국 최초의 집단 지성 연구,『백인천 프로젝트』!과학계는 물론 ... 2013.09.10~12백인천의 4할이후 왜 한국야구는 4할 타자가 사라졌을까에 대한 이야기. 예상과는 달리 통계적인 얘기는 별로 많지 않고, 내용도 나 정도의 야구 지식만 있으면 모르는 건 없다. 오히려 백인천 프로젝트의 진행 과정이나 의의(?)에 대한 과정 서술이 중심. 프로젝트의 결과물은 http://whyaverage4.net이 라는 사이트로 정리했고, 이제는 한국 야구 학회도 출범했다. 이런 일들이 참 재미있긴 하다. 그런데 기초 통계를 줘야 할 KBO가 엉망이라는 점을 생각해보면 아직 요원..

https://github.com/alanfgates/programmingpig/blob/master/udfs/java/com/acme/math/Pow.java $ hadoop version Hadoop 2.0.0-cdh4.3.0 Subversion file:///data/1/jenkins/workspace/generic-package-centos64-5-5/topdir/BUILD/hadoop-2.0.0-cdh4.3.0/src/hadoop-common-project/hadoop-common -r 48a9315b342ca16de92fcc5be95ae3650629155a Compiled by jenkins on Mon May 27 19:45:28 PDT 2013 From source with checksum..

$ java -version java version "1.6.0_31" Java(TM) SE Runtime Environment (build 1.6.0_31-b04) Java HotSpot(TM) 64-Bit Server VM (build 20.6-b01, mixed mode) http://kenshin579.tistory.com/entry/Java-Profiling-with-hprof-default-java-profiler $ java -Xrunhprof -cp .:./ahocorasick_java-1.1/dist/org.arabidopsis.ahocorasick-1.1.jar TestAC 1 cut 14 1 ee 16 1 apple 26 1 ee 31 Dumping Java heap ... alloc..

https://hkn.eecs.berkeley.edu/~dyoo/java/google; java aho corasick implementation $ wget https://hkn.eecs.berkeley.edu/~dyoo/java/ahocorasick_java-1.1.tar.gz$ tar xfz ahocorasick_java-1.1.tar.gz$ cd ahocorasick_java-1.1ahocorasick_java-1.1$ ant jarahocorasick_java-1.1$ ls dist/org.arabidopsis.ahocorasick-1.1.jar$ cd ..$ cat TestAC.javaimport org.arabidopsis.ahocorasick.*; import java.util.Iterat..

2013/09/13 - [Programming/Hadoop] - read json from pig http://pig.apache.org/docs/r0.8.1/udf.html#Load+Functions http://gethue.tumblr.com/post/60376973455/hadoop-tutorials-ii-1-prepare-the-data-for-analysis http://opensource.xhaus.com/projects/jyson/wiki/JysonFaq https://github.com/romainr/yelp-data-analysis http://stackoverflow.com/questions/16705259/parsing-text-file-of-one-line-json-objects-u..

어떤 size 단위로 hdfs에 file write을 하는 경우 FSDataOutputStream 사용(http://wiki.apache.org/hadoop/HadoopDfsReadWriteExample) FileSystem#append를 사용하는 건 아직 불안정하다고 함. Xmx option을 사용해도 조금 더 오래 동작하다가 오류 발생 http://stackoverflow.com/questions/15609909/error-java-heap-space StringBuffer의 append로 String을 모아 일정 size를 넘으면 한 번 file write을 하고, 기존의 object를 재활용하는 방식을 했더니 StringBuffer에서 heap OutOfMemory가 발생sb.length(0)를 ..

$ hadoop versionHadoop 2.0.0-cdh4.3.0Subversion file:///data/1/jenkins/workspace/generic-package-centos64-5-5/topdir/BUILD/hadoop-2.0.0-cdh4.3.0/src/hadoop-common-project/hadoop-common -r 48a9315b342ca16de92fcc5be95ae3650629155aCompiled by jenkins on Mon May 27 19:45:28 PDT 2013From source with checksum a4218d77f9b12df4e3e49ef96f9d357dThis command was run using /usr/lib/hadoop/hadoop-common-2.0...

# sudo -u hdfs hdfs fsck /.../user/oozie/share/lib/sqoop/libthrift-0.9.0.jar: MISSING 1 blocks of total size 347531 B../user/oozie/share/lib/sqoop/metrics-core-2.1.2.jar: CORRUPT blockpool BP-766882569-10.15.86.206-1376438928219 block blk_-3018521587264545106 /user/oozie/share/lib/sqoop/metrics-core-2.1.2.jar: MISSING 1 blocks of total size 82445 B.../user/oozie/share/lib/sqoop/oozie-sharelib-sq..

기본 replication factor가 3이므로 3배수의 차이가 발생하므로 hadoop fs -df는 여유가 있어도 df로 local disk usage를 보면 그렇지 않은 경우가 있다. replication factor 보기; hdfs fsck 명령을 사용 # sudo -u hdfs hdfs fsck /... .................................................................................................... ............Status: HEALTHY Total size: 1151862045171 B Total dirs: 148 Total files: 16312 Total blocks (validated): 1742..