4월 DA/ML 블로그 포스팅 #283

Yooonlee · 2023-04-30T07:41:26Z

제목을 잘못 올려서 수정하였습니다.

hjm507

어렵긴 하지만 전이 학습이 쉽게 접하지는 못하다 보니 흥미로웠습니다. 다만, 후반부부터는 단락 별로 주제가 많이 바뀌기도 하고, 내용이 길다 보니 쉽게 머리에 들어오지 않는 것 같습니다.

맨 앞 부분에 목차나 배경 지식 등에 관해서 정리해서 미리 언급해주고 이런 순서대로 설명 드리겠다라고 하면 읽기 훨씬 좋을 것 같습니다.

hjm507 · 2023-05-03T14:43:58Z

_posts/2023-04-29-BiT.md

+
+안녕하세요. 제가 이번 블로그 게시물에서 소개할 논문은 ECCV 2020에 발표된 Big Transfer(BiT)모델 
+
+입니다.


문장이 끊겨 있어서 붙여줘야 할 것 같습니다.

목차를 만들어 해당사항 수정하였습니다.

beautifulchoi

흥미로운 논문에 대해 글을 작성해주셔서 재미있게 읽었습니다! 글 쓰느라 수고하셨습니다 : )

beautifulchoi · 2023-05-05T06:05:00Z

_posts/2023-04-29-BiT.md

+
+→ <b>Representatioin Learning</b> 이란 <br>feature == semantic feature == representation 를 학습하는 것입니다.
+
+- 본 논문의 메서드는 이전까지 SOTA이상의 높은 정확도를 보입니다.


"이전까지의 SOTA 모델 이상의" 로 수정하는게 좋을 것 같습니다

수정하였습니다.

beautifulchoi · 2023-05-05T06:09:51Z

_posts/2023-04-29-BiT.md

+<br>
+<b>학습속도 개선</b>
+
+- 보통 CIFAR-10의 경우 epoch 100~200 이 baseline(기본)인데 5~10번 정도로 해도 충분합니다.


이부분 오류인지 제 컴퓨터에서만 그렇게 보이는 건지는 모르겠는데,, 좀 이상하게 표현이 되는 것 같습니다

이 부분은 저도 이상하게 잘 수정이 안되는 것 같습니다..

beautifulchoi · 2023-05-05T06:33:03Z

_posts/2023-04-29-BiT.md

+- x:  hidden layer에 들어가는 feature , 
+m = hidden layer에 들어가는 feature의 개수입니다.
+- 각 채널(차원)마다 $\gamma$ , $\beta$ 가 다르게 적용됩니다.
+- 감마 : 스케일


이 부분도 감마와 베타의 설명이 같은 줄에서 표현이 되고 있어 감마에 대한 설명인 것 같습니다.

감마와 베타를 묶어서 선형결합 파라미터라고 설명하는 것도 좋아보입니다.

수정하였습니다

beautifulchoi · 2023-05-05T06:38:40Z

_posts/2023-04-29-BiT.md

+    - BN 사용 시 모델이 크고, 이미지의 해상도가 높아서
+    장치(gpu device)당 작은 배치를 사용해야 합니다.
+    - 이때, 정확도가 하락하거나 장치간 동기화 비용이 증가하는 문제가 발생합니다.
+- Batch Norm


위에서 BN은 Batch normalization 레이어를 넣지 않았다는 것 같은데, 밑에서 설명에 Batch Norm에 대해 설명하고 있어 혼동을 유발할 수 있을 것 같습니다.

설명 문장을 넣었습니다.

beautifulchoi · 2023-05-05T06:40:09Z

_posts/2023-04-29-BiT.md

+
+![image8](../assets/images/post-BiT/image8.png)
+
+## Upstream 사전에 좋은 특징 추출기를 만들기 위해 사용


Upstream 뒤에 : 를 붙이는 것이 메끄러울 것 같습니다

beautifulchoi · 2023-05-05T06:41:43Z

_posts/2023-04-29-BiT.md

+
+    L2 norm을 많이 사용합니다.
+
+2. MixUp 2개의 데이터씩 pair로 묶어 2개의 정보를 묶어 사용합니다. (데이터 증진 기법) 


Mixup에 대한 설명은 다음 문장에서 하는 것이 통일감 있을 것 같습니다

beautifulchoi · 2023-05-05T06:44:23Z

_posts/2023-04-29-BiT.md

+
+- 두 과정 모두에서 Learning rate decay를 사용합니다. 
+(학습할수록 learning rate가 줄어드는 방식)
+


Upstream과 downstream의 finetuning 차이가 간략히 설명되어 있으면 좋을 것 같습니다.

위 189~204에서 설명되었다고 생각했습니다.

beautifulchoi · 2023-05-05T06:49:12Z

_posts/2023-04-29-BiT.md

+    - Bottom (아래 6개) :  Top-10 예측이 모두 틀렸으나 레이블이 애매함
+
+![image20](../assets/images/post-BiT/image20.png)
+


결론에 대해 간략하게 쓰면 좋을 것 같습니다

수정하였습니다.

hoqn · 2023-05-19T07:00:28Z

_posts/2023-04-29-BiT.md

+[1.Representation Learning 소개](#representation-learning)
+
+[2.전이 학습의 개요](#전이-학습(transfer-learning)의-개요)
+
+[3.[배경지식] 전이 학습 구현 방식](#[배경지식]-전이-학습-구현-방식)
+
+[4.[배경지식]  배치 정규화](#[배경지식]-배치-정규화)
+
+[5.Upstream ](#upstream-사전에-좋은-특징-추출기를-만들기-위해-사용)
+
+[6.Downstream ](#downstream-fine-tuning)
+
+[7.Fine-tuning 비교 ](#fine-tuning-비교)
+
+[8.SSL(준지도학습)과 비교](#준지도학습-이란)


목차 걸어주신 거 정말 좋습니다 :)

다만, 의도했던 대로 작동하지 않는 문제가 있습니다.

각 헤딩의 id는 (, ), [, ]와 같은 특수문자를 제외시킵니다! 따라서 링크에서 아래와 같이 이런 문자들을 다 없애시면 의도대로 작동할 것 같습니다.

Suggested change

[1.Representation Learning 소개](#representation-learning)

[2.전이 학습의 개요](#전이-학습(transfer-learning)의-개요)

[3.[배경지식] 전이 학습 구현 방식](#[배경지식]-전이-학습-구현-방식)

[4.[배경지식] 배치 정규화](#[배경지식]-배치-정규화)

[5.Upstream ](#upstream-사전에-좋은-특징-추출기를-만들기-위해-사용)

[6.Downstream ](#downstream-fine-tuning)

[7.Fine-tuning 비교 ](#fine-tuning-비교)

[8.SSL(준지도학습)과 비교](#준지도학습-이란)

[1.Representation Learning 소개](#representation-learning)

[2.전이 학습의 개요](#전이-학습transfer-learning의-개요)

[3.[배경지식] 전이 학습 구현 방식](#배경지식-전이-학습-구현-방식)

[4.[배경지식] 배치 정규화](#배경지식-배치-정규화)

[5.Upstream ](#upstream-사전에-좋은-특징-추출기를-만들기-위해-사용)

[6.Downstream ](#downstream-fine-tuning)

[7.Fine-tuning 비교 ](#fine-tuning-비교)

[8.SSL(준지도학습)과 비교](#준지도학습-이란)

그렇군요.. 몰랐던 사실을 알게해주셔서 감사합니다!
수정하였습니다.

05-19/changed

beautifulchoi · 2023-05-20T04:19:47Z

_posts/2023-04-29-BiT.md

+
+[3.[배경지식] 전이 학습 구현 방식](#배경지식-전이-학습-구현-방식)
+
+[4.[배경지식]  배치 정규화](#배경지식-배치-정규화)


여기 부분만 목차에서 링크가 안 걸려 있는 것 같습니다.

수정했습니다.

배치 정규화 제목에서 내용으로 가지 않는 에러 수정

First

1213ae5

hoqn assigned Yooonlee Apr 30, 2023

Yooonlee changed the title ~~BiT 논문 리뷰 및 이미지 업로드 완료~~ 4월 DA/ML 블로그 포스팅 May 1, 2023

hjm507 suggested changes May 3, 2023

View reviewed changes

Yooonlee added 4 commits May 4, 2023 11:08

Update 2023-04-29-BiT.md

daee6d5

Update 2023-04-29-BiT.md

3d1259a

Update 2023-04-29-BiT.md

c125d54

Update 2023-04-29-BiT.md

2ed36d4

beautifulchoi reviewed May 5, 2023

View reviewed changes

hjm507 previously approved these changes May 11, 2023

View reviewed changes

hoqn requested changes May 19, 2023

View reviewed changes

hoqn added ✅ 리뷰 완료 한 명 이상이 리뷰를 완료했을 때 🔨 수정 요청 리뷰 과정 중 수정 사항이 생겼을 때 labels May 19, 2023

Update 2023-04-29-BiT.md

b28a141

05-19/changed

Yooonlee dismissed hjm507’s stale review via b28a141 May 19, 2023 07:49

beautifulchoi reviewed May 20, 2023

View reviewed changes

fix: error title to text

6d5da7d

배치 정규화 제목에서 내용으로 가지 않는 에러 수정

beautifulchoi approved these changes May 21, 2023

View reviewed changes

hjm507 approved these changes Jun 2, 2023

View reviewed changes

SSUHYUNKIM added 💯 최종 완료 모든 수정과 리뷰가 끝난 후 merge를 기다릴 때 and removed ✅ 리뷰 완료 한 명 이상이 리뷰를 완료했을 때 🔨 수정 요청 리뷰 과정 중 수정 사항이 생겼을 때 labels Jul 7, 2023

SSUHYUNKIM merged commit 71db811 into GDSC-University-of-Seoul:master Jul 30, 2023


		안녕하세요. 제가 이번 블로그 게시물에서 소개할 논문은 ECCV 2020에 발표된 Big Transfer(BiT)모델

		입니다.


		→ <b>Representatioin Learning</b> 이란 <br>feature == semantic feature == representation 를 학습하는 것입니다.

		- 본 논문의 메서드는 이전까지 SOTA이상의 높은 정확도를 보입니다.


		![image8](../assets/images/post-BiT/image8.png)

		## Upstream 사전에 좋은 특징 추출기를 만들기 위해 사용


		L2 norm을 많이 사용합니다.

		2. MixUp 2개의 데이터씩 pair로 묶어 2개의 정보를 묶어 사용합니다. (데이터 증진 기법)


		- 두 과정 모두에서 Learning rate decay를 사용합니다.
		(학습할수록 learning rate가 줄어드는 방식)

		- Bottom (아래 6개) : Top-10 예측이 모두 틀렸으나 레이블이 애매함

		![image20](../assets/images/post-BiT/image20.png)


		[3.[배경지식] 전이 학습 구현 방식](#배경지식-전이-학습-구현-방식)

		[4.[배경지식] 배치 정규화](#배경지식-배치-정규화)

4월 DA/ML 블로그 포스팅 #283

4월 DA/ML 블로그 포스팅 #283

Uh oh!

Conversation

Yooonlee commented Apr 30, 2023 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Uh oh!

hjm507 left a comment

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

beautifulchoi left a comment

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Reviewers

Assignees

Labels

Projects

Milestone

Development

Uh oh!

5 participants

Yooonlee commented Apr 30, 2023 •

edited

Loading