IT world

이번 포스팅은 Makefile에 대해서 작성하려고 한다. Makefile이란 내용이 복잡하고 오래걸리는 컴파일을 간단하게 한페이지에 작성해서 하나의 파일로 사용하는것이 장점이다. makefile은 파일의 상호 의존 관계의 목록으로 make에게 어떤 프로그램을 컴파일하고 링크해야하는 지 방법을 설명한 것으로 make명령은 makefile에 설정된 정보를 읽어서 여러 소스 파일을 컴파일하고 최종 실행 파일을 생성한다. 작업을 수행하기 전에 사용하는 명령들에 대해 간단히 소개하고 시작하겠다. 1. gcc : 필자는 c언어파일을 만들어서 사용하기 때문에 c언어 컴파일러인 gcc를 사용. 2. -c : 컴파일을 하기 위한 명령 3. -o : 각각의 파일들이 컴파일 된다면 .o의 확장명을 사용하는 파일들이 생성되고..

이번 포스팅은 hive의 사용에 대해서 알아보려고 한다. 하이브란? 하둡 에코시스템 중에서 데이터를 모델링하고 프로세싱하는 경우 가장 많이 사용하는 데이터 웨어하우징용 솔루션이다. RDB의 데이터베이스, 테이블과 같은 형태로 HDFS에 저장된 데이터의 구조를 정의하는 방법을 제공하며, 이 데이터를 대상으로 SQL과 유사한 HiveQL 쿼리를 이용하여 데이터를 조회하는 방법을 제공한다. 하이브의 정보가 담긴 압축파일을 다운받아 압축을 푼 후 local 경로로 이동시킨다. 이동이 완료 되었다면 편하게 사용하기 위해 hive로 링크를 연결한다. [하이브 파일 압축 해제] [local로 파일을 옮긴 후 hive로 링크를 연결했다.] hive를 PATH에 연결 (vi /etc/profile 에서 설정) - exp..

이번 포스팅은 hadoop의 wordcount를 통해서 빅데이터 값을 시각화하는 것을 진행하려한다. 필자는 데이터가 무수히 많은 txt파일에서 같은 단어들이 몇번 사용되었는지 알아보려한다. txt파일만을 관리하기 위한 in1이라는 폴더를 만든다. - hadoop fs -mkdir in1을 통해 hadoop경로에 in1이라는 폴더를 생성- hadoop fs -lsr을 통해 생성된 파일을 확인한다. hadoop경로에는 CHANGES.txt라는 파일이 존재하며 그 파일을 in1으로 옮긴다. - hadoop fs -put CHANGES.txt /user/root/in1 을 통해 in1폴더로 파일을 이동. [CHANGES.txt파일을 확인] [파일이 이동하여 잘 저장된 것을 확인] wordcount를 사용 - h..

ssh key를 만드는 포스팅에서 우리는 namenode와 snamenode 두개의 서버를 만들었기 때문에 하둡에서도 두개의 서버를 이용할 것이다. 하둡설치 우선 각 서버에 디렉토리를 생성한다. [각 서버에 모두 수행] 하둡압축파일을 바탕화면 Temp폴더에 다운받은 후 리눅스상에서 압축을 풀고 local의 경로로 이동시킨다. local로 이동시킨 후에 폴더를 hadoop으로 링크를 연결한다.- namenode에서 진행 [하둡 압축파일 해제] [파일을 옮긴 후 hadoop으로 링크를 연결] bashrc 파일에 alias 설정 //하둡을 실행하기전 해당 폴더내의 모든 파일을 삭제alias tr='rm -rf /home/hadoop/hdfs/temp/*' alias mr='rm -rf /home/hadoop/..

이번 포스팅은 CentOS6.3 버전을 사용했으며 ssh 키를 설정하고 등록하는 방법을 알아보려고 한다. 비공개 서버에 접속하기 위해서는 인증저라를 거쳐야 한다. 그리고 그 인증절차 중에 가장 널리 사용되는 것이 ID/비밀번호 입력방식이다. 하지만 네트워크 상에서 ID/비밀번호가 그대로 노출되는 문제가 발생하였고 더 안전성이 높은 인증절차가 필요했다. ssh key에 대해 말하자면 SSH Key란 서버에 접속할 때 비밀번호 대신 Key를 제출하는 방식이다. 비밀번호보다 높은 수준의 보안을 필요로 하거나 로그인 없이 자동으로 서버에 접속 할 때 주로 사용된다. ssh key 생성 현재 리눅스에 namenode와 snamenode라는 가상환경을 만들었다. 이 두개의 서버가 현재 서로 공유가 될 수 있도록 설..

이번 포스팅은 리눅스환경에서 터미널을 이용해 간단한 예제를 진행하도록 할 것이다. 우선 공유파일을 설정하여 리눅스환경에서 윈도우에 존재하는 폴더를 공유할 수 있도록 설정할 것이다. 글을 작성하는 작성자는 현재 윈도우 바탕화면에 test라는 폴더를 만들었고 안에 java파일을 다운로드 받아놨고 후에 java를 사용하기위한 준비이다 앞으로 test파일에 폴더를 생성하고 파일을 생성하는 등 많은 작업을 하기위해 프로젝트를 하기전에 공유폴더로 설정하는 것이다. vmware 왼쪽 상단에 VM을 누르면 settings라는 옵션을 클릭한다. Settings를 클릭하면 설정창이 나오는데 Options 탭을 눌러서 Shared Folders를 누르면 파일을 공유할 수 있는 설정을 제공한다 오른쪽에 Always enabl..

이번 포스팅은 vmware를 이용해서 centos 7을 설치하는 방법을 설명할 것이다. 우선 vmware란 가상머신을 이용하기 위한 프로그램이다. 여기서 가상머신은 특정 운영체제에서 별도의 하드디스크를 분리하지 않고 타 운영체제를 설치 및 사용할 수 있도록 해주는 응용프로그램으로 한 컴퓨터로 여러대의 컴퓨터를 사용하듯이 가상의 공간을 만들어주는프로그램이다. 내가 사용하고 있는 컴퓨터 안에 컴퓨터를 한대 더, 추가적으로 여러대를 만들 수 있게 해주는 것이 vmware이며 실제 우리가 사용하는 PC와 동일하게 작동하므로 윈도우나 리눅스를 설치하여 사용하는 것이 가능하다. vmware 장점1. 한대의 컴퓨터에서 여러 운영체제를 동시에 실행 할 수 있다.2. Guest 컴퓨터는 Host 컴퓨터에 영향을 주지 않..

리눅스를 설치하면 상당히 많은 디렉토리가 자동으로 생성되고 이러한 디렉토리는 대부분 유닉스와 비슷하다. 리눅스 시스템의 디렉토리 구조는 전체적으로 트리 구조를 하고 있으며 명령어의 종류와 성격, 사용권한등에 따라 각각 다른 디렉토리들로 구분된다. ※ 사용 용도별 각 파일이 디렉토리에 나누어져 설치된다는 점에서 사용자는 자세히 알아야 하는 부분이다. ■ root & home- /는 최상의 디렉토리인 루트디렉토리를 의미하며 모든 디렉토리들의 시작점.- home 디렉토리는 리눅스 사용자들의 개인공간 - 보통 일반사용자는 home 밑에 별도의 설정이 없는 경우 자신의 아이디로 된 디렉토리가 배정된다. ■ bin- 리눅스 사용에 필수적인 명령어들을 모아놓은 디렉토리 즉 기본적인 명령어가 저장된 디렉토리로 mv, ..