9월 (19일 ~23일) 회고

19일(월)

특화프로젝트는 시간이 너무 빨리 지나간다. 예전 공통 프로젝트 회고록에서도 1학기보다 너무 빠르게 지나간다 했는데 그거에 2배는 더 빠르다. 어느새 중간 발표 날이 되었다. 처음엔 컨설턴트님은 개발이 바쁘니 문서로 대체해주겠다고 하셨지만 싸피에서 아무래도 평가를 해야하다 보니 안된다는 식으로 말했다고 한다. 오프라인으로 하는 발표라면 오히려 좋아하는 편이기에, 이번에도 발표를 하게 되었다. 

다른팀들 발표를 모두 듣고 난 느낌은 공통 프로젝트 때와 다르게 생각보다 흥미가 없었다. 아무래도 공통 때보다는 주제들이 이미 있는 서비스들이 많았고, 그러다 보니 발표에 집중하는 분위기도 아니었다. 이후 남은 시간에는 크롤링 한 데이터를 HDFS에 저장하는 작업을 했고, 승주의 도움을 받아 다은이와 Jenkins를 진행했다. 승주가 너무 정리를 잘해줬고 크게 도움을 줬다 ㅠㅠ

 

20일(화)

우선 오전에는 정형외과를 다녀왔다. 싸피를 한 이후, 앉아있을 때 가끔 허리가 아픈 적이 있었는데 지난 주말에 걷는 거 조차 힘들더니, 나중엔 서 있기도 힘든 지경이 되었다. (그래서 19일 오프라인 출석 때 지하철에서 내려서 앉았다 가고....)

오히려 앉아 있으면 아프지 않아서 그냥 주말에 병원이나 가야겠다 했는데 다은이가 당장 오늘 갔다 오라며 보내버렸다.

몇가지 검사를 하고 보니 5,6 번 디스크 진단을 받았고, 아직 심하지 않아서 당분간 체외충격파 치료와 물리치료를 받으라고 말씀하셨다. (체외충격파를 처음 들어보고 받았는데, 진짜 뼈 마디를 쑤시는 고통이었다. 와...........)  

오후에는 HDFS에 저장한 데이터를 맵 리듀스를 이용해서 wordcount를 하려고 했는데 파일 하나만을 작업해서 터미널에 출력하는 것 까지는 알았다. 우리가 처리해야할 데이터가 거의 6천개가 넘어가기 때문에 수작업으로 할 수가 없는데 방법을 찾고 고민하다가 끝났다.

 

21일(수)
새벽동안 전날 고민했던 일을 찾아봤는데 잊고 있던 쉘 스크립트가 생각났다. 코드를 작성하면서 삽질을 정말 많이했다. 예를 들어 변수를 선언하는데 name = "홍길동" 이라고 하고 실행을 했을 때 변수가 정의되지 않았다는 에러가 나와서 오전 내내 이유를 못찾다가 리눅스환경에서 공백으로 명령어를 구분하는게 생각나서 name="홍길동" 이라고 하니 작동이 아주 잘되더라.... 변수 선언 때 내 습관이..ㅠㅠㅠ

오후에는 이어서 쉘을 이용해서 맵 리듀스 코드를 작성했다. 경로 설정에 있어서도 삽질한게 있었는데 글로 쓰기가 어려워서 생략... 결국에 코드를 완성을 해서 실행하는데 약 1분동안 2~4개 파일을 작업을 하는 걸 보고 과연 6천개를 다 하려면 얼마나 걸릴까라는 생각을 했다....

 

그리고 현대 it&e 서류를 통과했다는 문자와 지난주에 오프라인으로 코딩테스를 봤던 다우기술에서 합격문자가 왔다. it&e는 월요일에 코딩테스트를, 다우기술 면접은 수요일에 죽전에서 오프라인으로 한다고 한다. 다음주에 자소서 마감인 기업이 7개는 있는데.... 왜 특화프로젝트 때 완성도가 공통에 비해 낮을 확률이 높다는 말을 이해할 수 있었다.너무 바쁘다....

 

22일(목)

맵 리듀스 작업을 위해 컴퓨터를 켜놓은 상태로 잤다. 일어났는데도 아직 4000개의 데이터가 남아서 실행시킨채로, 멀캠을 왔다. 이날까지 신한은행 싸피전형 자소서를 제출해야 했기에, 몇몇 사람들이 오전에 자소서를 마무리하는 모습이 보였고, 나 역시 마지막으로 내용을 살펴보고 오후에 제출을 했다. 

프로젝트 기능에 있는 유형 검사와 관련된 스토리를 팀원들과 작성을 했고, 중간중간 태순이의 JPA 질문을 받아줬다. 보면서 느끼는건 잠깐 안했다고 기억이 가물가물한게 참....ㅠㅠㅠ

어느새 순수 개발 시간(주말과 공휴일을 제외한) 이 7일 정도 남았다는 사실에 충격을 받았고, 몇몇 팀은 이제 개발을 시작했다는 이야기를 들어서 더 충격을 받았다. 

 

23일(금)

오전에 또 물리치료를 위해 병원을 다녀오고, 완성된 맵 리듀스 데이터를 DBMS와 연동을 하기 위한 스쿱을 공부했다. (참.. 맵리듀스 작업이 오늘 새벽에 완성됐는데, 컴퓨터를 35시간 정도 킨 결과다... 이게 맞나..?) 

오후에는 Sqoop이란걸 하둡 에코시스템에 넣으려고 설치를 해봤는데 아무리 봐도 비효율적인 것 같았다. 그리고 전문가리뷰를 하는 날이라 멘토님께 질문을 드리고 답을 구했다. (맵리듀스가 오래 걸린 이유는 우선 빅데이터가 아니기 때문이였나. 많아보여도 어쨌든 빅데이터라고 하기엔 당연히 적은 데이터 수였고, 아무래도 자바 자체언어가 주는 속도와 네트워크를 거치면서 오래 걸릴 수 밖에 없다고 하셨다.)

그리고 Sqoop도 굳이 쓸 필요가 없다는 생각이 드는 답을 얻었다. 결과 값을 조금 더 정제해서 DB에 주면 될 듯 싶다. 

 

p.s 일정을 보니 다음주에 자율 프로젝트 준비 던데, 진짜 특화프로젝트가 끝이 다가오는 것 같고, 또 다시 팀을 구할 때가 왔구나.....라는 생각이 든다. 지금까지 느낀 건 DevOps는 우선 나는 못갈 거 같은 길이라고 생각이 들고, 하둡 역시 너무 라이브러리가 많고 어렵다.........

다음주에 코테와 면접이 있는데 ...자소서도... 주말이 없어질 거만 같다....ㅠㅠ