목록dl (137)

KalelPark's LAB

[ Computer Vision ] All about Activation Function

All about Activation Function - 입력 신호의 총합을 출력 신호로 변환하는 함수를 말합니다. - 활성화 함수가 비선형 함수여야 하는 이유? - 인공 신경망에서 선형 함수를 이용하면, 신경망의 층을 깊게하는 의미가 없습니다. 그러므로, 층을 쌓기 위해서는 비선형 함수인 활성화 함수(Activation Function)를 사용해야 됩니다. Sigmoid import numpy as np def sigmoid(x): return 1 / (1 + np.exp(-x)) - Logistic Regression이라고도, 불린다. 일반적으로 활용되는 활성화 함수이며, [0, 1]의 범위를 갖습니다. 단점 - Gradient Vanishing 현상이 발생합니다. 미분 함수에 대해서 | x | 값이..
Data Science/Common 2023. 1. 1. 13:44
[ Computer Vision ] All about Classification Metrics

All about Classification Metrics - Medical 및 Classification에는 여러가지 Metrics들이 존재합니다. * 이진 분류를 예시로 설명을 진행하도록 하겠습니다. * 반드시 알고 가셔야 합니다...! Accuracy - 가장 대표적으로 사용되는 지표로 전체 데이터 중, 제대로 분류된 데이터의 비율을 의미합니다. - 수식으로는, accuracy = (TP + TN) / Total Sensitivity (Recall or True Positive Rate) - 민감도라고 하는데, Sensitive 또는 Recall이라고도 합니다. - 예를 들면, 암 환자 100명중에서 90명을 예측해서 맞췄을 경우, Sensitivity = 0.9가 됩니다. - 수식으로는, Sens..
Data Science/Common 2022. 12. 30. 12:15
[ CLEAN CODE ] Clean Python, Argparse 유용하게 활용하기

Argparse란? - 프로그램에 필요한 인자를 사용자 명령어 인터페이스로 쉽게 작성하는 라이브러리입니다. - argparse를 잘 활용한다면, 코드의 변화를 최소화 시키는 효율적인 코드를 작성하는 것이 가능합니다. * 유용한 것들을 살펴보도록 하겠습니다. action - Command창을 통하여, 인자와 값을 작성할 때, 코드가 해석하는 방식을 지정할 때 활용합니다. - store_true는 해당 인지가 불릴 때, true를 반환합니다. import argparse if __name__ == "__main__": parser = argparse.ArgumentParser() parser.add_argument('--gpu', action = 'store_true') nargs - 보통 인자 1개당 1개..
Python/CLEAN CODE 2022. 12. 30. 10:30
[ Pytorch ] register_buffer, register_parameter란?

torch.nn.Module.register_buffer - parameter가 아니라 buffer를 수행하기 위한 목적으로 활용됩니다. - buffer는 state_dict에 저장되지만, 최적화에 사용되지 않습니다. 즉, 단순한 module이라고 볼 수 있습니다. def register_module(self, name : str, module : Optional["Module"]) -> None: self.add_module(name, module) torch.nn.Module.register_parameter - module에 name을 기반으로 parameter를 추가합니다. - register_buffer와 다르게, 최적화에 사용될 수 있습니다. def register_parameter(self,..
Python/Pytorch 2022. 12. 29. 15:38
[ 논문 리뷰 ] One-shot Learning with Memory-Augmented Neural Networks?

GitHub를 참고하시면, CODE 및 다양한 논문 리뷰가 있습니다! 하단 링크를 참고하시기 바랍니다. (+ Star 및 Follow는 사랑입니다..!) https://github.com/kalelpark/Awesome-ComputerVision GitHub - kalelpark/Awesome-ComputerVision: Awesome-ComputerVision Awesome-ComputerVision. Contribute to kalelpark/Awesome-ComputerVision development by creating an account on GitHub. github.com Abstract Deep Neural Network에서는 여전히 영구적인 문제가 존재합니다. 새로운 데이터를 직면할 때..
Data Science/Meta Learning 2022. 12. 29. 14:19
[ CLEAN CODE ] Clean Python, __future__이란?

__future__이란? * Python 이전의 버전의 문법을 활용하는 것을 가능하게 합니다. absolute_import : 표쥰 모듈을 우선적으로 import하는 역할입니다. division : 이전의 파이썬 버전에서 작성된 나눗셈을 최신 파이썬 버전에서 매끄럽게 작동하도록 하게합니다. print_function : 향후에 파이썬의 어떤 버전을 활용하더라도, print()를 사용하겠다는 것을 선언한 것입니다. from __future__ import absolute_import from __future__ import division from __future__ import print_function 하단에 참고한 링크에 더욱 다양한 내용들이 있으니, 참고하시기 바랍니다. 감사합니다. Referenc..
Python/CLEAN CODE 2022. 12. 28. 23:42
[Meta Learning] Neural Turing Machines이란?

NTM(Neural Turing Machines) * Meta Learning의 MANN(Memory-Augmented Neural Networks)와 SNAIL(Neural Attentive Meta-Learner) 두 알고리즘에 대해서 이해하기 위해 공부해야 하는 선수조건입니다. - 이름 그대로, Neural Networks를 이용해, Turing Machine을 구현하는 것이다. (Turing Machine : 현대 컴퓨터 구조의 토대가 된 가상의 기계로, 수치 연산, 메모리 읽기, 메모리 쓰기의 기능을 가지고 있다.) - 이전의 Memory 형태로 저장되는 RNN과 LSTM은 Implicit Memory를 가지고 있었지만, 외부의 메모리를 가질 수 없었습니다. NTM은 Neural Networks..
Data Science/Meta Learning 2022. 12. 28. 22:50
[ Meta Learning ] 모델 기반 메타 러닝 이해하기

Meta Learning for Model - Model 기반의 Meta Learning에서 학습하고자 하는 학습 방법은 순환 신경망의 은닉 상태와 같은 변화하는 내부 다이내믹스(internal dynamics)입니다. - LSTM과 같이, 많은 태스크를 학습하여, 정보를 기억하는 것을 목표로 합니다. 즉 LSTM과 같은 메모리 안의 내부 다이내믹스(internal dynamics)가 일종의 학습 방법이라고 해석할 수 있습니다. 즉, 정리해보자면 1. 태스크 분포 p(T)에서 태스크 T_{i}를 샘플링합니다. 2. 태스크 T_{i}를 D_{train}과 D_{test}로 분리합니다. 3. 태스크 파라미터를 아래와 같은 식을 활용하여, 계산합니다. EX>
Data Science/Meta Learning 2022. 12. 28. 21:47
이전 Prev 1 ··· 13 14 15 16 17 18 Next 다음