일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
- web
- nerf
- pytorch
- CV
- SSL
- 자료구조
- computervision
- algorithm
- Vision
- math
- 알고리즘
- Python
- FineGrained
- Depth estimation
- 3d
- Front
- FGVC
- 딥러닝
- REACT
- Meta Learning
- dl
- PRML
- nlp
- classification
- clean code
- 머신러닝
- Torch
- GAN
- ML
- cs
- Today
- Total
목록KalelPark's DataScience (216)
KalelPark's LAB
BatchSize에 따른 loss의 변화율 - batch size의 크기에 따라 학습되는 과정은 달라질 수 있습니다. batch size가 작으면, 순간 loss가 커져서 convex hole에 위치한 곳에서 급격하게 자리를 변경할 우려가 있습니다. - batchsize가 크면, 여러 데이터를 평균으로 loss가 구해지기 때문에 훨씬 robustness 해집니다. SSL 시, Batchsize가 커야하는 이유가 아래와 동일합니다. 여러 데이터를 평균으로 backpropagation을 해야 성능이 올라갑니다. 또한 우측의 표를 보면, LR에 작으면 Batchsize가 작을수록 높은 성능이 나오지만, LR이 큰 경우, Batchsize가 클수록 성능이 높이 나오는 것을 알 수 있습니다. 하지만, Batchs..
useState, Input - useState 라이브러리는 상태관리를 할 때 사용됩니다. const [number, setNumber] = useState(0); { setNumber(prevNumber => prevNumber + 1); } const onDecrease = () => { setNumber(prevNumber => prevNumber - 1); } return( {number} +1 { setText(e.target.value); }; const onReset = () => { setText(""); }; return( 초기화 값: {text} ); } export default InputSample; React 상태에서는 객체를 수정할 때, inputs[name] = value; 대..
Problem SSL로 Batchsize를 최대한 늘려 학습하고자 하는데, 잘 안되어 분산처리를 봤다. 사실 연관은 없는 것 같다.. (불가능.ㅠ) 결론 저희 연구실에서는 SSL을 하려면,TeslaV100을 하나 장만해야 함을 느꼈습니다.. import os local_rank=int(os.environ["LOCAL_RANK"]) import torch import torch.distributed as dist from torch.utils.data.distributed import DistributedSampler import torchvision.transforms as T from torch.utils.data import DataLoader from torchvision.models import ..
Pytorch에서의 Distributed Package 사용하기 - 규모가 큰 모델을 학습할 때는, 보통 분산 학습을 진행합니다. Multi-GPU 학습을 할 때, 분산 학습을 사용할 수 있습니다. 직접 구현할 수도 있지만, Pytorch에서 제공하는 기능을 사용합니다. - 아래의 코드는 ImageNet1K를 돌리는 경우를 보여줍니다. https://github.com/pytorch/examples/blob/main/imagenet/main.py main_worker에서 dist.init_process_group을 통하여, GPU마다 분산 학습을 위해서 초기화를 진행합니다. torch docs에 따르면, multi-gpu시, backend를 nccl로 설정하라고 되어 있습니다. DistributedDat..
코드에서 값을 관리하는 부분이 점점 복잡해지고 있음을 깨닫는 즉시 해당 기능을 클래스로 분리하는 것이 좋습니다. 이를 통하여, 데이터를 더 잘 캡슐화해주는 정의된 인터페이스를 활용하는 것이 가능합니다. 우선 기초 지식부터 다듬어 보도록 하겠습니다. 인터페이스와 구체적인 구현 사이에 잘 정의된 추상화 계층을 만들 수 있습니다. Tuple : Tuple 자료 구조는 불변한 순서가 있는 객체로 생성하여, 값을 변경할 수 없음 Tuple은 튜플에 있는 요소에 접근할 때, 순서로 기억하기 때문에, 순서로 접근해야 하는 단점이 있음. 그러므로, Namedtuple을 사용하면 더욱 편리해집니다. Namedtuple : Class가 아니고, collections 내 존재합니다. 사용 예시 - 위치 또는 키워드 Argu..
아래의 방법을 활용하면, 인용을 더 많이 할 수 있습니다 :) @STRING{TPAMI= "IEEE Transactions on Pattern Analysis and Machine Intelligence"} @STRING{IJCV= "International Journal of Computer Vision"} @STRING{TIP= "IEEE Transactions on Image Processing"} @STRING{TIT= "IEEE Transactions on Information Theory"} @STRING{CVIU= "Computer Vision and Image Understanding"} @STRING{PR= "Pattern Recognition"} @STRING{JMLR= "Journal..
Condition Rendering? 조건부 렌더링이란, 특정 조건에 따라 다른 결과물을 Rendering하는 것을 의미합니다. 삼항연산자를 사용하여, 해결하는 것이 가능합니다. function App() { return ( ); } Hello.js function Hello({name, color, isSpecial}) { return {isSpecial ? * : null} 안녕하세요. {name} } export default Hello;
JSX란? React에서는 본질적으로 렌더링 로직이 UI 조직에 따라 state가 변하는 방식, 화면에 표시하기 위해 사용됩니다. JSX에서 태그에 style에서는 HTML과 다르게 background-color 가 아닌 backgroundColor로 사용합니다. camelCase를 사용한다고 생각하면 됩니다. function App() { const name = "react"; const style = { backgroundColor : "black", color : "aqua", fontSize : 24, padding : "1rem" } return ( {name} ); } 또한 classname을 설정할 때도, class = 가 아닌, className = 으로 설정해야 합니다. function ..