만렙개발자
-
만렙개발자
만렙개발자
Lv99를 향해가는 함께개발자의 머신러닝 블로그!
-
만렙개발자는 누구?
만렙개발자는 누구?
-
가짜연구소?
가짜연구소?
인기 글
-
Semi-Supervised Learning(준지도학습)과 Pseudo-labeling(수도레이블링) 개념정리
Semi-Supervised Learning(준지도학습)과 Pseudo-labeling(수도레이블링) 개념정리
2020.07.211. 레이블과 학습 지도학습(Supervised Learning)은 정답 레이블 데이터가 있는 학습을 말하고, 비지도학습(Unsupervised Learning)은 정답 레이블이 없는 데이터를 이용한 학습을 말합니다. 준지도학습(Semi-Supervised Learning)은 정답 레이블이 있는 작은 데이터셋으로 1차 (지도)학습을 하고, 정답 레이블이 없는 큰 데이터셋으로 2차 학습을 하는 것을 말합니다. 여기서 2차 학습에서 사용되는 대표적인 기법이 수도 레이블링(pseudo-labeling)입니다. 데이터에 정답 레이블을 만드는 과정을 태깅(tagging/annotation/labeling)이라고 합니다. 이러한 과정에는 상당한 노력과 비용이 듭니다. 심지어 성능에도 많은 영향을 미칩니다. 잘못 태.. -
jupyter notebook/lab colab에서 지저분한 tqdm을 깔끔하게 출력하기!
jupyter notebook/lab colab에서 지저분한 tqdm을 깔끔하게 출력하기!
2020.07.24from tqdm import tqdm for images, targets, image_ids in tqdm(holdout_loader, total=len(holdout_loader)): 위의 코드처럼 tqdm loop을 만들어서 돌리면 아래와 같이 무식하게 출력된다. 이 문제를 해결하는 법은 매우 단순하다. tqdm은 이미 ipython jupyter를 위해 개발이 되어있다. tqdm을 tqdm.tqdm 대신에 tqdm.atuo.tqdm 혹은 tqdm.notebook.tqdm을 사용하면 된다. from tqdm.auto import tqdm 그러면 아래와 같이 깔끔해진다. 의외로 print를 많이하면 속도가 많이 느려지기 때문에, (그리고 끝없이 쌓이면 메모리가 터져버릴 때도 있습니다.) 이쁘게 보이는.. -
[Google Colab] OSError: [Errno 107] Transport endpoint is not connected
[Google Colab] OSError: [Errno 107] Transport endpoint is not connected
2020.02.27import numpy as np from google.colab import drive drive.mount('/content/drive',force_remount=True) %cd "/content/drive/My Drive/" 이런식으로 force_remount를 했으나, 아래와 같은 장문의 에러가 발생했다. ERROR:root:Internal Python error in the inspect module. Below is the traceback from this internal error. Mounted at /content/drive Traceback (most recent call last): File "/usr/local/lib/python3.6/dist-packages/IPython/co..
지금까지 올라온 글들
-
[2023 회고] 2023년은... 우리 팀을 위한 것입니다.
[2023 회고] 2023년은... 우리 팀을 위한 것입니다.
2024.01.07저는 "불확실한 세상 속에서 우연한 만남을 통해 비선형적 성장을 일으키는 함께개발자"라고 저를 소개하며, 그렇게 될 수 있도록 노력하고 있습니다. "함께 성장"하는 것에 큰 가치를 두며, 라고 하는 비영리 머신러닝 커뮤니티를 만들고, 좋은 사람들과 함께 운영하고 있습니다. 함께개발자 김찬란? 그는 누구인가? 링띤 1촌 신청 환영! 가짜연구소? 그 곳은 어디인가? 눈팅도 환영! 이전에는 머신러닝 연구개발자로서 개인의 성장을 위해 kaggle, open source contribution, side project, paper review 등을 주력했습니다. 그러나 현재는 제가 운영하는 커뮤니티 규모가 커져 해야하는 일들이 많이 늘어나면서, 개인 성장에 대한 우선순위가 낮아진 아쉬운 상황입니다. Faker가 .. -
ImportError: cannot import name 'enable_full_determinism' from 'diffusers.training_utils'
ImportError: cannot import name 'enable_full_determinism' from 'diffusers.training_utils'
2023.09.07diffusers를 업데이트하고 아래와 같은 에러가 발생했다. File "/root/projects/dreambooth_qm_test/examples/dreambooth/train_dreambooth.py", line 49, in from diffusers.training_utils import enable_full_determinism ImportError: cannot import name 'enable_full_determinism' from 'diffusers.training_utils' (/root/anaconda3/envs/py31/lib/python3.10/site-packages/diffusers/training_utils.py) 검색해도 별로 답은 나오지 않았다. (그래서 블로그를 쓴다... -
캐글 마스터가 Link를 사용하는 법 (Jupyter notebook/lab extension)
캐글 마스터가 Link를 사용하는 법 (Jupyter notebook/lab extension)
2022.09.27오늘은 Kaggle X Link 의 느낌으로 글을 써보려합니다. Link? 머신러닝/인공지능 연구개발하시는 분들 중에는 jupyter-lab 환경을 구축하고 이를 활용하시는 분들이 많을 겁니다. bash부터 시작해서, ipynb 까지 아수 손쉽게 다룰 수 있는 환경이기 때문이죠. 그런데 혹시 여기서 extension을 사용해본 적이 있으신가요? VS Code의 경우에는 extension이 친숙한데, jupyter-lab에서는 extension 없이 순정으로 사용하시는 분들이 많을 것 같습니다. (저도 그랬거든요!) 오늘 소개해드릴 Link는 그 대표적인 extension으로, ipynb 파일을 작업할 때에 파이프라인을 다룰 수 있는 유용한 개발도구입니다! https://www.makinarocks.ai/.. -
한국에서 인공지능 데이터셋을 찾을 땐? AI Hub
한국에서 인공지능 데이터셋을 찾을 땐? AI Hub
2022.08.25다양한 데이터셋들이 공개되어있지만, "한국"에 맞는 데이터셋을 찾기란 쉽지 않습니다. 매우 작은 규모인데도 엄청 비싼 가격에 거래가 되기도 하고, 직접 구축하기는 정말 힘들죠. AI Hub에서는 정말 큰 예산으로 대규모 데이터셋을 구축해 공개하고 있는데요, AI Hub에서 이번에 데이터셋을 추가적으로 공개했습니다! 갱신된 데이터셋들도 많은 것 같습니다! AI Hub가 데이터셋을 공개할 때마다 그 규모가 커져가는 것 같습니다! 이 데이터셋으로 문제를 바로 해결할 수는 없겠지만, 가능성을 파악해보거나 프로토타이핑은 가능하지 않을까 합니다. Table of Contents 0. AI Hub 살펴보기 1. (한국어 부문) 데이터셋 살펴보기 2. (농축수산 분문) 데이터셋 살펴보기 3. (영상이미지 부문) 데이터.. -
비영리 머신러닝 커뮤니티 가짜연구소 5기 러너(스터디원) 모집
비영리 머신러닝 커뮤니티 가짜연구소 5기 러너(스터디원) 모집
2022.08.21드디어 여러분들이 기다리시던 2022년 하반기 최고의 성장의 기회가 찾아왔습니다! 다양한 시각에서 공부할 수 있는 기회, 프로젝트를 통한 달성, 전문분야에서의 지속 가능한 성장을 위해서는 동료가 필요합니다! 함께 공유하고, 배우며, 새로운 도전을 해나갈 가짜연구소 5기 러너(팀원) 모집을 시작합니다! 2년만에 가짜연구소가 큰 성장을 하며, 이번에도 뛰어난 분들과 함께 스터디와 크루를 준비했습니다. 총 30개의 팀이 여러분들을 기다리고 있습니다. 저희의 모든 활동은 누구에게나 열려있으며, 모두 무료로 진행됩니다! 정부지원금을 받아 저희가 그 돈을 월급으로 이러한 활동을 제공하는 것이 아닌, 각자의 자리에서 비영리적으로 공유, 동기부여, 함께하는 즐거움의 가치를 추구하며 공동체를 위하는 마음으로 준비한 것입.. -
[가짜연구소] 함께 성장하는 5기 빌더(운영진) 모집
[가짜연구소] 함께 성장하는 5기 빌더(운영진) 모집
2022.07.26가짜연구소 5기 빌더(운영진) 모집 “홀로 성장하는 시대는 끝났다”라고 마이크로소프트 이소영 이사님이 말씀하셨습니다. 혼자 개발하고, 혼자 연구하고, 혼자 자축하는 과정을 반복하다보면... 번아웃이 오거나, 방향에 의심을 가져 방황한 적 없으신가요? 함께 성장하고자 하는 사람들이 가득한 가짜연구소에 여러분들을 운영진으로 초대합니다! 새로운 성장의 기회를 함께 기대하고, 만들어나가요! 커뮤니티를 이끄는 리더로 성장하고 싶지 않으신가요? 실력이 필요한 것은 전혀 아닙니다. 공유, 동기부여, 함께하는 즐거움을 실현하기 위한 선한 의지만 필요할 뿐입니다! 주저하지 말고 어서 신청하세요! 모집 기간: 7월 24일(월)-30일(토) 지원 자격 :머신러닝에 관심이 있고, 책임감 있게 팀을 이끌며 함께 성장하고 싶은 ..