<<시작하세요 하둡 프로그래밍>>이라는 책을 통해 하둡을 공부하면서, 이 책의 예제파일을 다운받고 실행을 시켜보려고 했습니다.
Eclipse나 InteliJ를 사용하는 유저라면 간단한 세팅을 통하여 mvn 프로젝트를 실행시킬 수 있지만, 저는 터미널에서 package사용과 mvn명렁어를 사용하기 위해서 직접 M1 mac에 설치하게 되었습니다.
Apache Maven 주소에서 최신 버전의 .tar.gz파일을 내려받습니다.
tar -vxf 명령어로 압축을 해제하거나, 다운받은 파일을 더블클릭하여 압축을 해제해줍니다.
원하는 위치로 해당 디렉토리를 옮겨준 후 Path를 설정해줍니다.
1 | vi ~/.zshrc |
mvn -version 명령어를 통해 메이븐이 제데로 설치되었는지 확인한다.
HDFS(Hadoop Distributed File System)는 수십 테라바이트 이상의 대용량 파일을 분산된 서버에 저장하고, 많은 클라이언트가 저장된 데이터를 빠르게 처리할 수 있게 설계된 파일 시스템입니다.
기존에도 DAS, NAS, SAN과 같은 대용량 파일 시스템이 있었으나 HDFS와 기존 대용량 파일 시스템의 가장 큰 차이점은 저사양 서버를 이용해 스토리지를 구성할 수 있다는 것입니다.
HDFS를 사용하면 고사양 서버에 비해 매우 저렴한 저사양 서버 수십, 수백대를 묶어서 하나의 스토리지처럼 사용할 수 있으며 물리적으로는 분산된 서버의 로컬 디스크에 저장되어있지만 HDFS에서 제공하는 API를 이용하여 파일의 읽기 및 저장을 마치 한 서버에서 작업하듯이 구성할 수 있습니다.
그렇다고 HDFS가 기존 대용량 파일 시스템을 완전히 대체하는 것은 아닙니다.
고성능, 고가용성이 필요한 경우에는 SAN을, 안정적인 파일 저장이 필요한 경우에는 NAS를 사용합니다.
또한 트랜잭션이 중요한 경우에도 HDFS가 적합하지 않으며, 대규모 데이터를 저장하거나, 배치로 처리를 하는 경우에 HDFS를 사용하면 됩니다.
2021년은 필자의 스무살!!!
대학교 새내기로 지내던 해입니다.
하지만 코로나의 여파로 대학교 생활은 물건너 갔습니다.
늦었다 생각하여 넘어가려고 했는데, 어떤 분이 용기를 주어 쓰게 되었습니다.
제 부족한 AI 커리어를 보고도 같이 AI연구 해보자고 교수님께 제안을 받게 되었습니다.
당시 고등학교 졸업장도 따지 못했던 시기인데 지금 생각해보면 엄청난 운이 뒤따른것 같습니다.
당시만 해도 연구실에서 연구를 한다는것은 되게 멋있는 일이라 생각했었고, 한번 해보자는 마음으로 연구실을 다니게 되었습니다.
M1 맥북에서 하둡 환경을 구성하다보니 수많은 블로그를 참고하였고, 설명이 제각각이라 그대로 따라만 하면 설치할 수 있도록 정리해보았습니다.
Java JDK는 intel용을 설치하면 로제타2를 통해 돌아가므로
M1칩에서 네이티브로 돌아가는 Azul의 OpenJDK(download)를 설치하면 됩니다.
java-8 lts / mac os / arm64 옵션이 맞는지 확인하고나서 .tar.gz 파일을 다운받고, 다운받은 파일을 더블클릭하여 실행시키면 설치가 진행됩니다.
이후에 터미널창을 열고 아래와 같이 Java path를 설정하시면 됩니다.
이번에 기회가 되어서 Tensorflow Certificate 자격증을 따게 되었습니다.
이 자격증의 준비 과정과 후기를 간단하게나마 기록으로 남기려고 글을 써봅니다.
먼저 이 자격증은 Tensorflow 2.X를 다룰 수 있다는 자격을 나타내는 증명서 같은 느낌이고, 구글에서 인증해주는 시험입니다.
시험 응시료는 100달러이며, 한화 약 115,000원 정도가 들었습니다. 학생의 신분으로써는 “한번만에 무조건 성공해야지”라는 마음이 들게 한 가격이였습니다.
| Install MAVROS Melodic
1 | sudo apt-get install ros-melodic-mavros ros-melodic-mavros-extras |
최근에 Mathematics For Machine Learning (MML)이라는 책을 번역해보는 팀에 참여하게 되었습니다.
책 주소: https://mml-book.github.io/
