[Tips] _, predicted = torch.max(outputs.data, 1)

---

https://www.inflearn.com/questions/282058/%EB%AA%A8%EB%8D%B8-%ED%8F%89%EA%B0%80-%EB%B6%80%EB%B6%84-%EC%A7%88%EB%AC%B8%EB%93%9C%EB%A6%BD%EB%8B%88%EB%8B%A4

모델 평가 부분 질문드립니다. - 인프런

 

 

 

outputs의 크기가 (배치 크기)x(클래스의 개수) 인데, 

 

 

열이 하나의 이미지에 대응되는 벡터(하나의 Batch에 대응)를 나타낸다고 볼 수 있다. 

 

 

따라서 행(0), 열(1) 중 열을 기준으로 최댓값을 뽑아 예측값을 하나 만드는 것이다.

 

 

dim=1 Parameter로 설정하면 각 Batch에 해당하는 Classification Task의 Class별 확률로 해석할 수 있다.

 

 

예를 들어서 배치 크기가 2이고 클래스가 3개인 outputs가 있다고 생각해보자.

 

outputs = [[0.1, 0.4, 0.5], [0.2, 0.6, 0,2]] 

 

 

여기서 최댓값의 위치는 2번째(0.5)와 1번째(0.6) 이다.

 

 

즉, 첫번째 이미지는 2라고 예측하는 것이고 두번째 이미지는 1이라고 예측을 하게 됩니다.

 

 

이를 torch.max를 이용하여 나타낼 수 있다.

 

 

 

torch.max는 최댓값과 최댓값의 위치를 산출해주는데

 

 

여기서 우리는 최댓값은 필요가 없으므로 받지 않아도 된다.

 

 

따라서 _ (언더바)로 처리하여 해당 출력값은 저장하지 않는다.

 

 

즉, _, predicted는 최댓값의 위치만 predicted에 저장하겠다는 의미입니다.

 

 

• torch.max( ) 사용 예시

>>> a = torch.randn(4, 4)
>>> a
tensor([[-1.2360, -0.2942, -0.1222,  0.8475],
        [ 1.1949, -1.1127, -2.2379, -0.6702],
        [ 1.5717, -0.9207,  0.1297, -1.8768],
        [-0.6172,  1.0036, -0.6060, -0.2432]])
>>> torch.max(a, 1)
torch.return_types.max(values=tensor([0.8475, 1.1949, 1.5717, 1.0036]), indices=tensor([3, 0, 0, 1]))

 

 

---

 

따라서 _, predicted = torch.max(outputs.data, 1)의 의미는

 

 

각 열(1)마다 최댓값의 위치를 예측값으로 사용하겠다는 의미이다.

 

 

마지막으로 .data는 예측값을 계산할 때는 역전파 계산이 필요없기 때문에 데이터만 사용한다는 의미에서 사용된 것인데

 

 

with torch.no_grad()를 사용했기 때문에 .data를 없애도 크게 문제는 되지 않는다.

 

---

 

 

# 훈련 및 검증 함수 정의
def train(model, train_loader, optimizer, criterion, alpha=1.0):
    model.train()
    train_loss = 0.0
    correct = 0
    total = 0
    for images, labels in train_loader:
        images, labels = images.to(device), labels.to(device)
        images, labels_a, labels_b, lam = mixup_data(images, labels, alpha)
        optimizer.zero_grad()
        outputs = model(images)
        loss = mixup_criterion(criterion, outputs, labels_a, labels_b, lam)
        train_loss += loss.item()
        _, predicted = torch.max(outputs.data, 1)
        total += labels.size(0)
        correct += (predicted == labels).sum().item()
        loss.backward()
        optimizer.step()
    train_loss /= total
    train_accuracy = 100 * correct / total
    return train_loss, train_accuracy


def validate(model, val_loader, criterion):
    model.eval()
    val_loss = 0.0
    correct = 0
    total = 0
    with torch.no_grad():
        for images, labels in val_loader:
            images, labels = images.to(device), labels.to(device)
            outputs = model(images)
            loss = criterion(outputs, labels)
            val_loss += loss.item()
            _, predicted = torch.max(outputs.data, 1)
            total += labels.size(0)
            correct += (predicted == labels).sum().item()
    val_loss /= total
    val_accuracy = 100 * correct / total
    return val_loss, val_accuracy


def test(model, test_loader):
    model.eval()
    correct = 0
    total = 0
    with torch.no_grad():
        for images, labels in test_loader:
            images, labels = images.to(device), labels.to(device)
            outputs = model(images)
            _, predicted = torch.max(outputs.data, 1)
            total += labels.size(0)
            correct += (predicted == labels).sum().item()
    return 100 * correct / total