[서버] AWS EMR script에 찍은 로그 보는 방법

프로그래밍/서버2022. 11. 30. 22:04
  1. 인증키 준비하기(***.pem 파일)
  2. 적당한 경로로 옮기고 파일 접근권한 강화하기
    chmod 600 ***.pem
  3. emr 접속하기 (여기서 ip주소는 aws emr 에서 보이는 마스터 주소)
    ssh -i <***.pem 경로> hadoop@10.10.10.10
  4. 아래의 명령어를 치면서 변경한 스크립트 이름 뜰 때까지 반복하기(더 효율적인 방법이 있을텐데 흠)
    yarn application -list
    해당 스크립트가 실행 완료된 다음에 아래 과정에서 로그를 떠야 제대로 된 로그가 보임(스크립트 실행 완료에는 시간이 어느 정도 걸림)
  5. 로그 보기
    앞서 구한 Application-Id를 이용해서 파일로 만들고 vim 등의 툴로 내용을 보자.
     
    yarn logs -applicationId=<applicationId> > <applicationId>
    그리고 vim 내에서 /를 누르고 검색할 단어를 입력하고 엔터 누르기
    (이 상태에서 n을 누르면 다음 단어, N을 누르면 이전 단어를 찾게 됨)
    vim <applicationId>

작성자

Posted by 드리머즈

관련 글

댓글 영역