본문 바로가기
728x90
반응형

Language-LAB24

Hook 메커니즘 PyTorch Hook 간단 정리훅(Hook)은 PyTorch에서 모델의 내부 동작을 관찰하고 수정할 수 있게 해주는 기능입니다. 1. 모듈 Hook 기본Forward Hook (출력 확인/수정)import torchimport torch.nn as nn# 간단한 모델model = nn.Linear(5, 2)# 출력값 저장 함수outputs = {}def save_output(name): def hook(module, input, output): outputs[name] = output # 출력값 저장 return hook# 훅 등록하기handle = model.register_forward_hook(save_output('linear'))# 모델 실행x = torch.randn.. 2025. 3. 24.
PyTorch에서 모델이나 레이어 호출 PyTorch 모델 호출 문법 정리PyTorch에서 모델이나 레이어를 호출할 때 알아두면 좋은 내용을 깔끔하게 정리해드립니다.1. 기본 호출 메커니즘# 정의class MyModel(nn.Module): def __init__(self): super().__init__() self.layer = nn.Linear(10, 5) def forward(self, x): return self.layer(x)# 사용model = MyModel()output = model(input_tensor) # model.forward(input_tensor)가 자동으로 호출됨작동 원리:model(input_tensor)는 내부적으로 model.__call__(input_ten.. 2025. 3. 24.
offsets 메커니즘 EmbeddingLayer의 offsets 메커니즘 상세 설명offsets 메커니즘은 이 클래스의 가장 핵심적인 부분이며, 여러 필드의 범주형 특성을 하나의 임베딩 테이블에서 충돌 없이 관리하기 위한 기법입니다. 단계별로 자세히 설명해드리겠습니다.  # ref: layers.py in https://github.com/morningsky/multi_task_learningclass EmbeddingLayer(torch.nn.Module): def __init__(self, field_dims, embed_dim): super().__init__() self.embedding = torch.nn.Embedding(sum(field_dims), embed_dim) .. 2025. 3. 23.
torch.nn.Embedding import torch.nn as nn# 크기 3의 텐서 10개가 포함된 임베딩 모듈embedding = nn.Embedding(10, 3)# 각각 4개의 인덱스로 구성된 2개의 표본 배치input = torch.LongTensor([[1,2,3,4], [5,6,7,8]])embedding(input) 사전 크기(num_embeddings=10)는 nn.Embedding(10, 3)에서 첫 번째 인자로 설정되며, 이는 임베딩 테이블(행렬)의 크기를 결정합니다. 이를 좀 더 구체적으로 설명하면:nn.Embedding(10, 3)에서 사전 크기(10)의 역할nn.Embedding(10, 3)은 크기 (10, 3)인 행렬을 내부적으로 생성합니다.즉, 10개의 행이 있고, 각 행마다 3차원 벡터가 존재합니다.각.. 2025. 3. 23.
728x90
반응형

티스토리툴바