🗣️

24-2 Seminar 9회

태그

Seminar

날짜

2024/09/19

Talk

First Talk

Title

•

DSAIL 랩 인턴 경험공유

Talker

•

강현규

Topic

•

경험공유

•

…

•

…

Materials ( PPT, PDF 둘 다 올려주세요.)

DSAIL 랩 인턴 경험 공유.pdf

3244.6KB

DSAIL 랩 인턴 경험 공유.pptx

36790.6KB

세미나 블로그 양식

Second Talk

Title

•

zero-shot semantic segmentation

Talker

•

송현지

Topic

•

zero-shot semantic segmentation

•

…

•

…

Materials ( PPT, PDF 둘 다 올려주세요.)

세미나 블로그 양식

송현지2_Seminar_24_2 (2).pdf

3124.4KB

송현지2_Seminar_24_2.pptx

26554.7KB

Project

Materials ( 파일명: {프로젝트명}_24_2_프로젝트)

Study

Materials ( 파일명: {스터디명}_24_2_스터디)

Review

Table

Seminar Review

Name

Review

최종 편집 일시

전혜서

Open

1. DSAIL 랩 인턴 공유 한편은 무조건 논문 코드 구현이라니.. 정말 빡셀 것 같습니다. Ai4science에 대해서 처음 들어봤는데 실제로 유용할 것 같아서 관심있게 들었습니다! 통계학과신데 사이언스 관련 ai를 하셨다니 대단합니다 팀장님… 그래프(gnn) 쌩이론적인 영역이라는 편견이 았었는데 이를 활용해 다양한 연구가 이뤄지고 있다는 인사이트를 얻을 수 있었던 것 같습니다! 멀티모딜 관련 연구도 잘 들었습니다! 저희 프로젝트에 정말 맞는 플젝을 하셨군요! 팀장님의 지혜를 기대해보겠습니다!!! 1. Zero shot semantic segmentation 개가 의자 위에 앉은 거랑 말이 의자 위에 앉아있는 걸 활용한 graph encoding이라니!! 신기하네요! 세그멘테이션 태스크에 이가 활용된다는 점이 흥미롭습니다. 또한 zegformer부터는 픽셀 단위의 예측보다는 segment별 분류 방식에 대해 이야기하는데, 이렇게 아이디어를 전환하는 과정이 정말 신기하고 언제나 놀라운 것 같습니다. 저도 나중에 패러다임을 (조금) 바꾸는 사람이 되고 싶네요!!! Zeroshot 활용에는 다 zeg가 붙은 것도 귀엽네요 발표 잘 들었습니다!!

2024/09/19 10:33

구영서

Open

1. DSAIL 랩 인턴 경험 공유 고등학교 과학 시간에 주제 발표하면서 접하던 인공지능 활용 연구가 이러한 형태로 진행된다는 게 흥미롭네요! 뭔가 조금 더 알고 난 뒤에 다시 보니 어느 정도 이해가 가면서도 다른 것 같다는 생각이 들었습니다. GNN이 어떻게 사용되는 지 궁금했는데 이번 기회에 알게 돼서 좋았습니다. 특히 Instruction 튜닝을 한다는 점도 흥미로웠습니다! 좋은 경험 공유해주셔서 감사합니다. 2. zero-shot semantic segmentation zero-shot semantic segmentation이란 새로운 것을 알게 되어 좋았습니다! 특히 발전 흐름을 발표해주셔서 이해하는데 좋았습니다. 물론 한번에 제대로 이해하지는 못했지만 조금이나마 얻어갈 수가 있었습니다. zero-shot을 이렇게 쓰면 성능이 높아지는게 이해가 되면서도 안 되네요,, GMMN부터 CLIP 사용하기까지 나중에 기회 된다면 논문 리뷰라도 읽어봐야겠습니다! 좋은 발표 감사합니다!

2024/09/19 10:42

이윤영

Open

1). DSAIL 랩 인턴 경험 공유 GNN, recsys에 관심이 많았던지라 흥미롭게 발표를 들을 수 있었습니다. multimodal llm recsys라는 분야가 있었던 것도 매우 흥미로웠습니다. 지금 프로젝트로 하고 있는것도 multimodal recsys파트의 시작이다 보니 이번 주제가 반가웠습니다. 원자를 노드로, 결합을 엣지로 하여 GNN 학습을 시킨것이 놀라웠습니다. 두번째 multimodal recsys라는 분야도 제가 항상 문제라고 여겨왔던 문제를 설명해주어 너무 좋았습니다. 성심당 매주 방문은 좀 많이 부럽네요 2). zero-shot sementic segmentation 지금 프로젝트에서 zeroshot segmentation task를 진행중인데 한창 막혀 힘들었던 때에 이런 주제의 발표를 듣게 되어 좋았습니다. 여러가지 논문들을 소개해주셨는데 한번 읽어봐야겠네요. 그중에서 특히 제 프로젝트에서 CLIP을 사용하고 있어 ZegCLIP 논문을 읽어봐야겠습니다.

2024/09/19 10:30

문정민

Open

1) DSAIL 랩 인턴 경험 공유 최근 딥러닝 모델을 사용하여 연구를 진행하고 높은 성능을 내어 논문까지 작성하였다는 소식을 들은 적이 있습니다. 이처럼 발표하신 AI4Science를 비롯하여, 딥러닝 및 AI가 보다 다양한 분야에 활용될 수 있다는 사실이 정말 반가운 것 같습니다. 단순히 NLP, CV 등에만 국한되는 것이 아니라 고차원적인 일에도 사용됨으로써 딥러닝이 앞으로 더 다양한 방향으로 발전할 수 있으면 좋겠습니다. 2) zero-shot semantic segmentation Zero-shot segmentation에 관한 논문들을 전반적으로 소개하셨습니다. 논문이 많아서 공부량이 많았을 것 같은데 대단하십니다… 처음 zero-shot을 접했을 때 이런 방식이 성능이 좋을 수가 있을까? 싶었는데 나날이 발전하는 모습을 보니 신기하기도 합니다. 딥러닝을 일상생활에 제대로 활용하려면 적은 학습량, 또는 zero-shot으로도 높은 성능을 내야 하기 때문에 zero-shot의 발전은 어찌보면 예견된 것 같기도 합니다. 저도 제대로 공부해봐야겠네요! 랩실 선배님 많이 도와주세요~~

2024/09/19 11:03

박무근

Open

1) DSAIL 랩 인턴 경험 공유 AI4Science 라는 많은 과학분야의 input, output 쌍이 존재하는데 이에 관해 AI 가 활용되어 비용 효율적이고 결과도 우수한 것을 확인할 수 있었습니다. 랩실 인턴에 관심이 많았었는데 대전까지 가서 학부연구생을 하고 온 것이 대단했고 마이너할 수 있는 분야라도 자신의 관심 연구분야를 열심히 파는 것 또한 중요하다 생각했습니다. 성심당 bb 2) zero-shot semantic segmentation 요새 핫한 zero-shot 기법입니다. 기논스에서 CLIP 논문을 읽어봤었는데 많은 데이터와 그에 따른 다양한 상황의 준수한 성능이 요구되는 요즘 상황에 정말 좋은 기법이라 생각합니다. 특히 CV 쪽에서 이미지가 변형 또는 조작 되어 입력으로 들어오고 이를 대응하여 모델을 일반화 하는데 적절하다 생각합니다.

2024/09/19 10:24

이현진

Open

1) DSAIL 랩 인턴 경험공유 LLM 모델은 참 대단한 것 같습니다. 언어 학습을 통해 다양한 task를 해결할 수 있는게 참 신기한 것 같습니다. 이미지를 추가 학습함으로서 모델 성능이 기존 LLM모델이랑 비교했을 때 얼마나 더 좋아졌는지 궁금하네요. 2) zero-shot semantic segmentation unseen classes들이 많아도 segmentation를 할 수 있는 ZegFormer가 대단한 것 같습니다. 여기에 clip까지 추가해서 개선할 수 있었다는 게 참 신기한데, 기회가 된다면 clip가 정확히 어떻게 개선을 했는지 논문을 읽어봐야겠어요.

2024/09/19 10:33

김민준

Open

1) DSAIL 랩 인턴 경험 공유 AI4Science 분야를 새로 알게 되어서 좋았습니다. Multimodal LLM Recommendation도 아주 흥미로웠습니다. 성심당 매주 방문 매우 부럽다… 2) zero-shot semantic segmentation unseen data에 대한 좋은 성능이 결국 많은 task에서 궁극적인 목표라고 생각하는데, 그래서 재밌게 들었습니다. semantic segmentation의 여러 접근법을 접할 수 있어서 좋았습니다.

2024/09/19 10:28

윤혜원

Open

1) DSAIL 랩 인턴 경험 공유 AI4Science 분야를 처음 접하는데 흥미로운 것 같습니다,, 저번 아이쿠톤때 되게 잘하셨던 게 기억나서 당연히 컴과신줄알았는데 너무너무 대단하신것같아요 다양한 분야에 ai가활용되고 있는 것도, 머신러닝도 잘 쓰이고 있는 것도 흥미로웠습니다 좋은 경험 소개해주셔서 감사합니다 2) zero-shot semantic segmentation zero-shot segmentation과 관련된 다양한 연구들을 알 수 있어서 좋았습니다… 제가 최근에 segmentation task 관련해서 골치아플 일들이 많았어서 더 재밌게 들었습니다

2024/09/19 10:33

권도영

Open

1) DSAIL 랩 인턴 경험 공유 ai4science라는 분야를 처음 들어보는데 덕분에 알아갈 수 있어서 좋았습니다. 단백질 합성시키는데 인공지능이 사용된다고 해서 오 과학 분야에서도 인공지능이 활발히 사용되는구나 했습니다. 얘네도 트랜스포머를 활용한다는 점에서 트랜스포머 독재 시대가 언제까지 갈 지 궁금해졌습니다. 2) zero-shot semantic segmentation segmentation에섯 제로샷으로 하는 연구의 추이를 알 수 있어서 좋았습니다. nlp쪽에서는 제로샷하려고 특히 gpt 같은 경우는 scale을 엄청 키워서 달성하던데, segmentation에서는 여러 아이디어가 들어간다는 점에서 흥미로웠습니다.

2024/09/19 10:27

홍예진

Open

1. DSAIL 랩 인턴 공유: 물질의 상태?!를 결정짓는 DOS라는 값이 있다는 걸 처음 알았는데 이 값을 output으로 내는 모델이 있다는 게 흥미로웠습니다. 멀티모달 recommendation 연구 주제도 유용하게 사용될 수 있을 것 같아서 흥미로웠습니다. 마이너한 분야인데도 이를 연구하기 위해 대전까지 내려가서 계셨던 그런 열정?!과 확신이 대단하신 것 같습니당.! 2) zero-shot semantic segmentation: unseen data 등에 zero-shot semantic segmentation을 통해 분류할 수 있다는 점이 흥미로웠습니다. 가장 최근에 나온 논문이 2019년으로 zero-shot semantic segmentation가 비교적 최근에 등장한 주제인 만큼, 잠재성이 높은 주제인 것 같습니다.

2024/09/19 10:30

신동현

Open

1) DSAIL 랩 인턴 경험공유 AI4Science라는 분야는 처음 들어보는 생소한 분야인데, AI를 과학 분야에서도 활용할 수 있다는 사실을 알게 되었습니다. AI는 활용 분야가 무궁무진하다는 점에서 큰 포텐셜을 가지고 있다는걸 다시 한번 느꼈습니다. multi modal을 활용한 추천 시스템도 흥미로웠습니다. 2) zero-shot semantic segmentation 저번에 배웠던 semantic segmentation에서 조금 더 발전된 형태의 zero shot semantic segmentation에 대해서 발표해주셨습니다. unseen class에 대한 segmentation을 수행하는게 신기했습니다.

2024/09/19 10:30

김민경

Open

1. DSAIL 랩 인턴 경험 공유 새로운 분야를 알게 되어 좋았습니다. 그리고 랩실에서 참여하셨던 프로젝트를 잘 설명해주셔서 이해하기 용이했습니다. 경험 공유 감사합니다. 2. zero-shot semantic segmentation 최근 zero-shot semantic segmentation에 관심이 생겼는데, 해당 연구가 진행되어온 흐름을 알게되어 좋았습니다. 깔끔하게 잘 설명해주셔서 이해하기 수월했습니다. 언급해주신 논문 모두 읽어봐야겠습니당!

2024/09/19 10:43

Open

2024/09/19 10:20

조윤지

Open

1) DSAIL 랩 인턴 경험 공유 일주일에 한 개씩 논문을 구현하신 것이 진짜 대단하십니다. AI for science에 대해 처음으로 알게 되었습니다. 랩실에서 하신 연구를 자세히 설명해주셔서 감사합니다. 2) zero-shot semantic segmentation CLIP논문에서 처음으로 zero-shot learning을 알았는데 semantic segmentation 분야에서 활용한 논문들을 자세히 알 수 있어서 좋았습니다. context를 활용하여 성능을 높인 것이 신기합니다. 초기 논문들도 결과가 좋아보여서 놀랐습니다.

2024/09/19 10:33

정혜민

Open

1) DASIL 추천 시스템에 대해서 잠깐 관심이 생겨서 공부를 해보려다 진입장벽이 높은 것 같아서 두려웠는데, 생각보다 그렇게 새롭거나 지금 하고있는 연구에서 크게 벗어나지 않는 것 같은 기분이 들어서 좋았습니다.. 그리고 아이템 ID만을 이용해서 추천을 할 수 밖에 없었던 기존 한계를 VLM을 이용해 푸는 과정이 흥미로웠습니다. 2) Zero-shot semantic segmentation 이쪽 제로샷 쪽으로 계속 연구를 하고 계신 것 같아서 흐름대로 발표를 듣는 재미가 있는 것 같습니다! 그리고 segmentation은 직접 구현해보거나 코드를 다뤄본 적은 없어서 난이도가 실감이 안나지만, 이걸 제로샷에 적용하여 좋은 성능을 낼 수 있다는 게 흥미로운 것 같습니다.

2024/09/19 10:34

성준영

Open

1) DSAIL 랩 인턴 경험 공유 1주일에 논문 3개 리뷰에 하나는 필수 구현이라니 빡세네요ㄷㄷAI4Science랑 소개해주신 논문도 처음 들어보는 분야인데 그래서 더 재밌는 것 같습니다. 과학 도메인에 ai를 적용해보고 싶다는 생각을 alphafold 나왔을 때부터 해봤는데 과학을 몰라서 어려운 것 같네요,,flamingo 흥미롭게 본 논문 중 하나인데 반갑네요ㅋㅋㅋㅋㅋ 2) zero-shot semantic segmentation segmentation은 SAM말고는 잘 몰랐는데 이런 논문이 있었네요 꼭 한번 읽어봐야겠습니다. segmentation에서 graph의 활용이라니 신기하네요.

2024/09/19 10:24

성유진

Open

1) 참여한 multimodal 프로젝트가 인상 깊습니다. LLM의 활용도는 무궁무진한 것 같네요. .. 대전까지 내려가셔서 랩 인턴하신 게 대단한 것 같습니다. 여름방학에 지원해볼까 하다가 말았는데, 좋은 경험 공유해주셔서 감사합니다! 2) unseen class를 구별하기 위한 다양한 방법이 있다는 게 신기하네오

2024/09/21 12:53

정다현

Open

1) DSAIL 랩 인턴 경험 공유 우선 방학동안 대전에 내려가셔서 학부연구생 생활을 하셨다는 게 대단하신 것 같습니다. 평소 bioinformatics와 딥러닝을 융합한 분야를 연구하고 싶다는 생각을 했는데 AI4Science라는 분야가 매우 흥미롭게 느껴졌습니다. 기회가 된다면 꼭 DSAIL에서 연구를 해보고 싶다는 생각이 들었습니다. 2) Zero shot semantic segmentation 현재 segmap 관련 task를 진행 중인데 프로젝트를 위해 읽었던 모델이 소개되어서 반가웠습니다. 여타 다른 모델과는 다르게 프롬프트를 길게 주어서 세그맵을 뽑아내는 게 신기했고 여러 물체 중에서 특정 물체를 뽑아낼 수 있다는 점이 신기했습니다.

2024/09/19 10:34

김은진

Open

1) DSAIL 랩 인턴 경험공유 GNN은 조금 생소한 분야였는데 조금이나마 알게된 것 같습니다. 추천 시스템에 LMM이 어떻게 활용되는지도 알게되어 좋았습니다. 2) zero-shot semantic segmentation segmentation에 graph context를 활용하기도 한다는 걸 알게되었습니다. segmentation 모델들을 이전 모델과 비교하며 설명해주셔서 더 잘 이해된 것 같습니다. Zegformer의 결과가 GT보다 더 매끄러운게 신기하네요

2024/09/19 10:30

김윤서

Open

1. DSAIL 랩인턴 AI4Science라는 결정 구조와 관련된 다소 생소한 분야에 대해서 간략하게나마 알 수 있어 유익한 시간이었습니다. 이외에도 Multi-Modal LLM을 추천 시스템에 적용할 수 있는 방법에 대해서도 알 수 있었습니다 ㅎㅎ 문과 출신임에도 하고 싶은 일을 위해 끊임없이 노력하시는 모습이 멋있는 것 같습니다! 2. Zero-shot Semantic Segmentation unseen 데이터에 대한 segmentation을 적용할 수 있는 방법론인 ZS3Net와 CaGNet에 대해서 알 수 있었습니다. 특히 문맥의 관계를 고려하여 Segmentation에 적용한 CaGNet이 흥미로웠습니다. 이외에도 픽셀 단위로 segment하는게 아닌 그룹 단위로 segment하는 ZegFormer, ZegClip에 대해서 알 수 있어 유익한 시간이었습니다. 많은 논문 리뷰하시느라 정말 수고 많으셨습니다~!!! :)

2024/09/19 10:33

강동혁

Open

1. DSAIL 랩인턴 AI4Science 분야는 분야 자체를 처음 들어봐서 생소하기는 했지만, 해당 연구실에서 어떤 일들을 하고 계시는지, 어떤 분야가 관심 있으셔서 대전까지 가게 되셨는지, 결정 예시를 들어 해당 분야가 어떤 것들을 하는 것인지 자세히 설명해주셔서 이해하기 편했습니다. 개인적으로는 과학을 위한 AI라는 분야 자체가 독립적으로 연구되고 있는 점도 신기했습니다. 2. zero-shot semantic segmentation 관련 분야에 대한 배경 지식 부족으로 많은 내용들을 이해하기에는 힘들었지만 zero-shot learning 분야에 대해 한 논문이 아니라 다양한 논문의 변화 양상들을 위주로 설명해주셔서 개념적인 부분들에 대해서는 많이 얻어갈 수 있었습니다. 감사합니다!

2024/09/19 10:34

김지연

Open

1. DSAIL 랩인턴 제가 들어가있는 랩실 교수님의 interest와 많이 비슷해서 신기했습니다. 그리고 AI4Science라는 분야는 처음 들어봤는데 인공지능이 과학, 특히 자연과학에서 유용하게 활용될 수 있다는 것이 신기했습니다. 좋은 경험공유 감사합니다! 2. zero-shot semantic segmentation Zero-shot semantic segmentation에 대한 다양한 논문과 연구흐름을 소개해주셔서 유익했습니다. CLIP 및 GNN을 통한 그래프 인코딩이 세그멘테이션 작업에서 어떻게 활용되는지에 대한 설명이 흥미로웠으며, ZegCLIP 논문도 꼭 한 번 읽어보고 싶네요! 좋은 발표 감사합니다:)

2024/09/19 11:45

이민하

Open

1 DSAIL 랩인턴 새로운 분야에 대해서 알아갈 수 있었던 발표였던 것 같습니다. 관심 있는 분야에 대해 연구하기 위해서 대전까지 내려가서 인턴 생활을 하신 것이 대단하신 것 같습니다! 좋은 발표 감사합니다 :) 2. zero-shot semantic segmentation Zero-shot learning에 대해서 한 가지가 아닌 여러 가지 논문을 이용해서 설명해주셔서 더 잘 이해가 된 것 같습니다. 좋은 발표 감사합니다 !! :)

2024/09/19 10:34

이창엽

Open

DSAIL 랩 인턴 경험 공유 GNN을 좋아하시는 지 몰랐네요. 한 번씩 논문에서 나오면 어려워가지고 넘겼는데 멋집니다. 자연과학 분야에서 머신러닝을 하는 랩이 산업공학과에 있는 것이 신기합니다. kaist..저도 가서 일해보고 싶네요! Zero-shot semantic segmentation 첫 시작부터 현재까지의 연구를 한 번 훑으신 것이 재밌었습니다. 성능이 쫙쫙 올라가는 게 인상 깊네요. 이번 CVPR 2024에도 하나 나온 걸로 아는데 참고해보시면 좋을 것 같습니다! 재밌는 발표였습니다!

2024/09/19 11:35

정우성

Open

1. 카이스트 랩인턴 ㄷㄷㄷ 대단하십니다,,, 자연과학에서 풀기 어려웠던 문제를 풀기 위한 도구로써의 딥러닝이 추후 AI가 나아갈 방향성 중 큰 영역이라고 생각하는데, 그걸 연구하신다니 미래가 창창하신 것 같습니다. GNN으로 어떤 분야의 문제를 푸는 걸 관심있어하시는지 궁금해요! 2. 연구의 역사를 다 훑는게 어려운데 … 한 분야의 흐름을 이렇게 다 짚어주시는게 대단하다고 생각했습니다. 처음 듣는 분야였는데 많이 배워가는 것 같습니다! 관심있게 들은 부분들만 따로 제가 찾아보면 도움이 많이 될 것 같습니다.

2024/09/19 10:34