[AWS EC2 EBS] resize2fs: Bad magic number in super-block while trying to open
2020.03.16
resize2fs /dev/something EBS 용량을 늘리고, resize2fs 명령어를 입력하는데, 다음과 같은 에러 메세지를 내면서 먹지를 않았다. resize2fs: Bad magic number in super-block while trying to open /dev/nvme1n1 Couldn't find valid filesystem superblock 그 이유는 파티션이 ext가 아닌 xfs TPYE이었기 때문! blkid /dev/nvme1n1 blkid로 TYPE을 확인할 수 있다. 만약 TYPE이 xfs라면, xfs_growfs 명령어를 사용해야한다. xfs_growfs /dev/nvme1n1 df -h로 적용이 되었는지 확인해보자.
EC2를 사용하다가 용량이 부족할 때(EC2는 기본적으로 EBS를 사용합니다.), EBS 용량을 확장하고 싶을 때 이 포스트를 참고하시면 좋습니다. Amazon Elastic Block Store(EBS)는 대규모로 처리량과 트랜잭션 집약적인 워크로드 모두를 지원하기 위해 Amazon Elastic Compute Cloud(EC2)에서 사용하도록 설계된 사용하기 쉬운 고성능 블록 스토리지 서비스입니다. 관계형 및 비관계형 데이터베이스, 엔터프라이즈 애플리케이션, 컨테이너화된 애플리케이션, 빅 데이터 분석 엔진, 파일 시스템 및 미디어 워크플로와 같은 다양한 워크로드가 Amazon EBS에 널리 배포됩니다. 확장성 또한 EBS의 장점 중 하나입니다! 용량을 늘리는 방법은 간단합니다. 1. AWS에서 EBS..
오랜만에 학습용 서버셋팅을 하고 있습니다...(라기엔 EBS만 크게 붙이고 아직 EC2 프리티어...) 아나콘다를 설치중인데, 진행이 제대로 안됐습니다;; 당황;; 당연히 될 줄 알고 딴짓하고 있었는데- [/home/ubuntu/anaconda3] >>> PREFIX=/home/ubuntu/anaconda3 Unpacking payload ... 0%| | 0/291 [00:00
아무 도움 안되는 똥글인듯 여기서 다루는 것 TensorFlow (tf.estimator) + GCP (Google Cloud Platform) 기초 Tensorflow는 수학 연산을 표현하는 노드들과 데이터들의 배열을 나타내는 엣지로 구성된 그래프로 작동합니다. 가장 기본적인 데이터 타입은 tensor로, Rank 0은 스칼라, Rank 1은 벡터, Rank 2는 배열, Rank 3 이상은 텐서라고 합니다. tf.estimator는 High-level API 입니다. 모델 빌드하기 먼저 모델을 설정해야합니다. 모델은 아래와 같은 것에 따라 다르게 설정됩니다. 분류 문제 / 회귀 문제 레이블(label)은 어떤 것인가? 특징(feature)은 어떤 것인가? 모델을 다루는 과정 학습 평가 예측 tf.est..
데이터셋 만들기 (데이터가 있다고 가정했을 때,) 데이터셋을 만드는 과정은 크게 두 단계로 나눌 수 있습니다. subsample split supsample은 갖고 있는 데이터에서 일부를 떼내는 작업입니다. 이 과정을 하는데는 두 가지 이유가 있습니다. 첫번째 이유는 데이터셋이 너무 큰 경우입니다. 학습할 수 있는 최고의 환경이 갖춰져 있다면 문제가 되지 않겠지만, 선행 연구의 단계에서는 일부의 데이터로 빠르게 다양한 모델과 파라미터를 시험해보는 것이 효과적입니다. 두번째 이유는 학습에 필요한 데이터만 사용하기 위함입니다. 학습에 필요 없거나, 방해가 되는 데이터들은 배제하는 것이 좋을 수 있습니다. 여기서 말하는 필요 없는 데이터는 column이나 feature를 의미합니다. 즉, 집값 예측을 위한 화..
BigQuery BigQuery는 서버리스 데이터 창고(Serverless data warehouse)입니다. 특징 petabyte 스케일 데이터베이스 분석 가능 SQL 2011 query에 친화적 BigQuery로부터 데이터 수집, 변환, 불러오기, 내보내기가 다양한 방법으로 가능 nested and repeated fields 허용, 사용자 정의 함수들 (예를들어, JSON 지원) 데이터 스토리지가 비싸지 않음 (무료는 아니다.....는거 ㅎ) 데이터가 처리되는 만큼의 양의 쿼리가 비용 청구됨(혹은 월간) BigQuery Web UI 를 통해 query를 실행할 수 있습니다. BigQuery에는 학습에 활용할 수 있는 다양한 open dataset들도 있습니다. 대표적인 예 중 하나인, 출생에 대한 ..
1. 구글 클라우드 플랫폼(GCP; Google Cloud Platform)에서 머신러닝(TensorFlow) 활용하기
2019.10.10
CMLE (Cloud ML Engine) 구글 클라우드에서 제공하는 머신러닝 엔진 CMLE는 다양한 레벨(아래 참조)의 텐서플로우 모델을 학습과 배포하는 서비스를 매니징합니다. tf.estimator High-level API for distributed training 머신러닝 모델을 커스텀할 필요가 없음 검증, 체크포인트 생성, 저장 등을 하는 방법을 몰라도 할 수 있음 tf.layers, tf.losses, tf.metrics & Core TensorFlow (Python) Core TensorFlow (C++) & CPU, GPU, TPU, and Android ※ 이 글에서는 위의 1에 해당하는 레벨에서 tensorflow를 사용할 것입니다. 특징 Repeatable Scalable distri..
[만렙개발자] 쿠버네티스(kubernetes; k8s) 핵초급 튜토리얼 - 0. 컨테이너, 그리고 도커란?
2019.08.16
쿠버네티스(kubernetes; k8s) 두번째 스터디 (이제야) 시작 !! 스터디 목적 힙한 쿠버네티스를 모르고 살 순 없다! docker에서 워크플로우를 컨테이너화하는(containerize) 방법을 익혀보자! 클러스터에 배포하는 방법, 업데이트를 제공하는 방법을 익혀보자! 트래픽에 따른 스케일링! 학습 내용 어플리케이션을 구축하는 방법과 현대적인 구축 방법 머신 클러스터에서 컨테이너들이 어떻게 실행될지 매니징하는 컨테이너 오케스트레이션(Container Orchestration) 시스템 개발, 준비, 생산에 이르기까지 코딩을 위한 지속적인 배포(Continuous Delivery; CD) 파이프라인 설정 방법 컨테이너란? 컨테이너는 애플리케이션을 실제 구동 환경으로부터 추상화할 수 있는 논리 패키징..