gcp

데이터셋 만들기 (데이터가 있다고 가정했을 때,) 데이터셋을 만드는 과정은 크게 두 단계로 나눌 수 있습니다. subsample split supsample은 갖고 있는 데이터에서 일부를 떼내는 작업입니다. 이 과정을 하는데는 두 가지 이유가 있습니다. 첫번째 이유는 데이터셋이 너무 큰 경우입니다. 학습할 수 있는 최고의 환경이 갖춰져 있다면 문제가 되지 않겠지만, 선행 연구의 단계에서는 일부의 데이터로 빠르게 다양한 모델과 파라미터를 시험해보는 것이 효과적입니다. 두번째 이유는 학습에 필요한 데이터만 사용하기 위함입니다. 학습에 필요 없거나, 방해가 되는 데이터들은 배제하는 것이 좋을 수 있습니다. 여기서 말하는 필요 없는 데이터는 column이나 feature를 의미합니다. 즉, 집값 예측을 위한 화..

BigQuery BigQuery는 서버리스 데이터 창고(Serverless data warehouse)입니다. 특징 petabyte 스케일 데이터베이스 분석 가능 SQL 2011 query에 친화적 BigQuery로부터 데이터 수집, 변환, 불러오기, 내보내기가 다양한 방법으로 가능 nested and repeated fields 허용, 사용자 정의 함수들 (예를들어, JSON 지원) 데이터 스토리지가 비싸지 않음 (무료는 아니다.....는거 ㅎ) 데이터가 처리되는 만큼의 양의 쿼리가 비용 청구됨(혹은 월간) BigQuery Web UI 를 통해 query를 실행할 수 있습니다. BigQuery에는 학습에 활용할 수 있는 다양한 open dataset들도 있습니다. 대표적인 예 중 하나인, 출생에 대한 ..

CMLE (Cloud ML Engine) 구글 클라우드에서 제공하는 머신러닝 엔진 CMLE는 다양한 레벨(아래 참조)의 텐서플로우 모델을 학습과 배포하는 서비스를 매니징합니다. tf.estimator High-level API for distributed training 머신러닝 모델을 커스텀할 필요가 없음 검증, 체크포인트 생성, 저장 등을 하는 방법을 몰라도 할 수 있음 tf.layers, tf.losses, tf.metrics & Core TensorFlow (Python) Core TensorFlow (C++) & CPU, GPU, TPU, and Android ※ 이 글에서는 위의 1에 해당하는 레벨에서 tensorflow를 사용할 것입니다. 특징 Repeatable Scalable distri..