1. 재설치를 했는데 버전이 제대로 반영이 안되는 경우 재시작이 필요한듯! lsmod | grep nvidia 로 확인해보고 관련된 것들을 rmmod 해줌! sudo rmmod nvidia_uvm sudo rmmod nvidia_drm sudo rmmod nvidia_modeset sudo rmmod nvidia (순서가 매우 중요하며, 여기에 명시되어있지 않더라도 nvidia 달려있으면 다 rm~) sudo rmmod nvidia를 해주게 되면, 다시 실행이 되므로 nvidia-smi 를 실행해서 버전이 바뀌었는지 확인! 2. nvidia-smi를 확인했을 때, driver 버전을 올랐지만, CUDA 부분이 N/A로 나오는 경우 dpkg -l | grep -i nvidia 로 잘못된 녀석이 있는지 디버..
nvtop은 NVIDIA GPU의 작업을 모니터링하는 툴입니다. 멀티 GPU를 처리하고, htop과 같이 익숙한 방식으로 GPU에 대한 정보를 확인할 수 있습니다. 다수의 GPU를 사용하고, 작업 상태를 확인하기 위해서는 필수겠죠?! :) 설치 방법은 간단합니다! sudo apt install nvtop 혹시 오래된 ubuntu 버전을 사용하고 계시다면, 아래의 설치 방법을 이용해 주세요 :) sudo apt install cmake libncurses5-dev libncursesw5-dev git git clone https://github.com/Syllo/nvtop.git mkdir -p nvtop/build && cd nvtop/build cmake .. # If it errors with "Co..
구글보다 똑똑한 인공지능을 만들 수 있는 비법이 담긴 제 신간을 소개합니다! 구글형님 죄송합니다 출판사에서 연락을 받아 작년 7월부터 집필을 시작하여 드디어! 출간(3월 31일 예정)을 하게 되었습니다. 이라는 제목으로 현업 문제 해결을 위한 트랜스퍼러닝에서 AutoML까지 다루는 책입니다! 회사, 대학, 도서관 등에서 #도서신청 많이 해주세요 :) 홀로 6개월간 300페이지의 책을 퇴근후에 쓰느라 고생했습니다ㅠㅠ http://www.yes24.com/Product/Goods/89649505?scode=032&OzSrank=1 친절한 실전 딥러닝 수업 기초 딥러닝 모델을 기반으로 배우는 트랜스퍼 러닝,한 권으로 끝내자딥러닝의 학습 과정은 엄청난 규모의 데이터와 컴퓨팅 파워(돈과 시간)가 필요하다. 그래서..
GAN은 Gnerative Adversarial Networks의 약자로, Discriminator(판별기)와 Generator(생성기)가 경쟁적으로 대립시켜(Adversarial) 학습을 시키는 신경망을 말합니다. 이전과는 결이 다르기 때문에 엄청난 평가를 받습니다. GAN 모델은 생성모델을 대표하는 것으로 인정받으며, GAN 기반의 다양한 생성모델들이 좋은 성과를 이루고 있습니다. 또한 adversarial하게 학습하는 아이디어는 다양한 분야로 적용되어 고급 딥러닝 기술로 활용되고 있습니다. GAN에서는 단순히 하나를 학습하기보다 경쟁시켜 학습하기 때문에 판별기와 생성기가 함께 성장합니다. 판별기는 이전의 분류모델로, 보통 맞다/아니다의 이진분류를 사용합니다. 예를들어 강아지를 판별하는 모델 (혹은 ..
[AWS EC2 EBS] resize2fs: Bad magic number in super-block while trying to open
2020.03.16
resize2fs /dev/something EBS 용량을 늘리고, resize2fs 명령어를 입력하는데, 다음과 같은 에러 메세지를 내면서 먹지를 않았다. resize2fs: Bad magic number in super-block while trying to open /dev/nvme1n1 Couldn't find valid filesystem superblock 그 이유는 파티션이 ext가 아닌 xfs TPYE이었기 때문! blkid /dev/nvme1n1 blkid로 TYPE을 확인할 수 있다. 만약 TYPE이 xfs라면, xfs_growfs 명령어를 사용해야한다. xfs_growfs /dev/nvme1n1 df -h로 적용이 되었는지 확인해보자.
[opencv] ImportError: libSM.so.6: cannot open shared object file: No such file or directory
2020.03.15
python에서 opencv를 설치하고 import 했는데, 다음과 같은 에러가 발생할 수 있다. ----> import cv2 ImportError: libSM.so.6: cannot open shared object file: No such file or directory 이 에러는 두 가지 방법으로 해결할 수 있다. GUI와 관련된 문제 에러다. 첫번째 해결방법은, 관련된 패키지를 업데이트 혹은 설치하는 것이다. apt-get update apt-get install -y libsm6 libxext6 libxrender-dev pip install opencv-python (위의 방법으로 해결이 되지 않을 경우) 두번째 해결방법은, pip install opencv-python-headless aw..
EC2를 사용하다가 용량이 부족할 때(EC2는 기본적으로 EBS를 사용합니다.), EBS 용량을 확장하고 싶을 때 이 포스트를 참고하시면 좋습니다. Amazon Elastic Block Store(EBS)는 대규모로 처리량과 트랜잭션 집약적인 워크로드 모두를 지원하기 위해 Amazon Elastic Compute Cloud(EC2)에서 사용하도록 설계된 사용하기 쉬운 고성능 블록 스토리지 서비스입니다. 관계형 및 비관계형 데이터베이스, 엔터프라이즈 애플리케이션, 컨테이너화된 애플리케이션, 빅 데이터 분석 엔진, 파일 시스템 및 미디어 워크플로와 같은 다양한 워크로드가 Amazon EBS에 널리 배포됩니다. 확장성 또한 EBS의 장점 중 하나입니다! 용량을 늘리는 방법은 간단합니다. 1. AWS에서 EBS..
딥러닝 대용량 학습을 위한 구글 코랩과 클라우드 스토리지의 조합 (Google Colab with Amazon S3 | AWS Amazon EC2 EBS | Google Storage | Transfer)
2020.03.08
딥러닝 학습을 위한 구글 코랩과 클라우드 스토리지의 조합에 대해서 조사해보았습니다. 갖고 있던 질문들이 있습니다. 1. Google Colab에서 학습데이터를 google drive가 아닌, cloud storage를 마운트하여 사용할 수 있는가? 이 질문의 목적 google drive의 용량 한계 여러명이 한 저장소를 공유하기 위함 사용 방법 Amazon S3 (Simple Storage Service) boto3를 사용하고, credentials을 google drive에 저장하고, google drive를 마운트하여 .aws에 credentials를 옮긴 후, s3 bucket에 접근 가능 Amazon EBS (Elastic Block Store) Colab에서 접근이 안된다고 판단 됨. 방법도 찾..