Seminar Review
Table
Search
Name
Review
1. AI Research Flow
현재 상황에서의 AI Research는 어떻게 흘러가는가.
Geoffrey Hinton → AI를 회의적으로 보는 입장. 10~20년 사이에 굉장히 많은 직업들이 대체될 것.
Yoshua Bengio
Yann Lecuun → AI가 그렇게 까지 대단하지 않다. AGI는 transformer나 LLM의 방식으로는 도달할 수 없다.
Andrew Ng → AI에 GPU를 사용해본 사람들 중 초기 연구자.
Fei-Fei Li → Vision 쪽 선구자
Demis Hassabis → Alphago, Alphafold로 유명하심.
Ashish Vaswani → Transformer Team, Ian Goodfellow → GAN model
2. 창업 경험 공유
나중에 하야쿠에서 발표하실 경빈님 발표네요.
investment insight 얘기들, 아…. 영어를 열심히 해야겠네요. 투자유치 성공 축하드립니다.
1. AI Research Flow
AI 연구의 역사, 2025년 AI 연구 흐름, 1세대 pioneer이신 제프리 힌턴 형님, 요슈아 벤지오 형님, 얀 르 형님의 업적을 짚어주셨다.
2세대 연구자 이신 앤드류 응 형님, 페이페이 리 누님, 데미스 하사비스 형님의 연구업적과 근황을 짚어주셨다. 페이페이 리 누님 께서는 AI 학계에 입문하고 싶다면 산업계에 연구가 많이 쏠려 있으니 산업계와 가까운 연구를 하던지, 원론적 연구를 하던지, 산업계에 들어가라는 조언을 해주셨다. 하사비스 형님은 딥마인드를 만드셨는데, 그 유명한 알파고를 만드신 형님이었다. 알파폴드로 노벨화학상도 타셨다.
3세대 연구자로는 애쉬시 바스와니 형님, 이안 굿펠로우 형님, 일리아 수츠케버 형님의 업적과 근황을 짚어주셨다.
4세대 연구자로는 조나단 호 형님, 트리 다오 형님, 댄 핸드릭스 형님의 업적과 근황을 짚어주셨다.
전반적으로 다들 대단한 업적을 세우고도 거기서 안주하지 않고, 본인들의 꿈을 찾아 떠나는 경향을 보였다. 나이드신 분들은 정치나 사회 운동쪽으로 전향하셔서 AI가 사회에 미치는 영향에 관심을 많이들 가지시는 것 같다. 특히 대부분의 대가 분들이 AI가 사회에 미칠 수 있는 악영향을 굉장히 경계하는 것 같고, 다들 안전한 AI를 만들고 싶어한다.
주요 학회들의 논문 제출 수와 accept 수를 보여주었는데, 생각보다 accept을 많이 해줘서 놀랐다.
2. 창업 경험 공유: LLM 스타트업
투자를 받았다!! 축하합니다. 다양한 기업들과 제휴도 맺었다고 한다. 기업들이 투자를 어떻게 받는지에 대해 설명해주셨는데, 굉장히 유익했다. 요새 돈을 주는 주는 사람들 입장에서는, 제품 만드는게 너무 쉬워서 진짜 좋은 제품인지 알아보고, 글로벌로 확장이 가능한지 확인하는 과정을 거치는 추세라 옛날보다는 쪼끔 쉽지 않아졌다.
context window size → 모델이 텍스트를 생성하거나 이해할 때 입력으로 받을 수 있는 양이다.
토크나이저는 같은 문장이더라도 영어일 때 더 적은 토큰을 생성하는 모습을 보이고, 더 잘한다고 한다. 때문에 프롬프팅을 할때도 영어로 하는 것이 좋다고 한다. 영어 공부 열심히 해야겠다
1. 에이아이 리서치 플로우
세대별로 거장들 중 샘플링해서 흐름을 보여준다
가장 눈에 띈 인용은 Fei-Fei Lee의
“LLM can’t represent a whole nature..”
“For academia, do things that can be better than industry”이다.
열심히 하자.. 아좌좌…
2. 창업 후기(continued)
투자 유치 성공 축하드려요~~!
1. AI Research Flow
딥러닝 4대천왕이 한번에 나온 사진이라니,,가슴이 웅장해지네요.
기술 자체 대신에 딥러닝의 대가들을 중심으로 설명해주신점이 인상깊습니다.
1세대 분들은 인용 수가 100만에 가까운데 정말 놀랍네요..
이번에 뉴립스 accept된 페이퍼들이 학회장 공간 부족으로 대거 재탈락됬다고 하는데, 지금의 추세로는 도저히 기존의 학회 시스템으로는 앞으로의 성장을 감당할 수 없을거 같습니다. 과연 차후에는 어떤 식으로 진행될지 도저히 예상이 안되네요..
2. 창업 경험 공유
투자 유치 축하드립니다!
시연 영상 보니까 정말 완성도 높고 굉장하네요.
꼭 성공 하시길 바랍니다~
1. AI Research Flow
AI 1세대
Geoffrey Hinton : 배관공을 준비해라 … 곧 대체된다…
Yoshua Bengio : 테러 가능성, AI에서 자아 빼기 연구중
Yan LeCun : AI 별 거 없다. AGI 달성 못함.
2세대
Andrew Ng : Ai education
Fei-Fei Li : world model 연구중. 지금 공부를 시작한다면 ai와 다른 분야를 결합하는 쪽으로 하면 좋다. 아니면 ai 작동 원리를 연구하는 것도 좋다.
Demis Hassabis : Biology + ai
3세대
Ashish Vaswani : Next transformer 연구중. 업무 자동화 startup
Ian Goodfellow : detect generative content 연구중
Ilya Sutskever : AI Safety 연구중
4세대
Jonathan Ho : 생성형 AI 연구중
Tri Dao : Mamba - next Transformer 만듦
Dan Handrycks : AI safety 연구중
현재 동향:
논문이 쏟아져 나오고 있음.
그런데 논문 리뷰 시스템이 문제가 많다.
→ 카이스트에서 이와 관련한 연구를 제시함. (ReviewScore : Misinformed Peer Review Detection with LLMs)
2. 창업 경험 공유 : LLM 스타트업
미국은 개인투자가 활발함. 규모 큼.
한국은 거의 정부 투자.
최근은 제품을 만드는 건 쉬움 → 진짜 좋은 제품인지 판단하려고 함.
초반 유저를 모으는 건 쉬움 → 글로벌로 확장이 가능한지.
Context Window Size가 급격히 증가하고 있음.
Tokenizer의 성능에 따라 LLM 성능이 달라진다.
영어가 한국어보다 tokenize 성능이 더 좋음.
LLM은 컨텍스트 창 내의 토큰 처리를 위해 self-attention 사용.
(입력된 문장의 각 토큰이 다른 토큰들과 얼마나 관련 있는지)
Tokenize → Self-attention 순서.
context window 확장에 대한 위험성:
계산 비용 급증, 성능 저하(모델은 관련 정보가 입력 컨텍스트의 시작과 끝 부분에 있을 때 성능이 좋음.), 안전 문제(적대적 프롬프트의 공격 표면을 확장, 탈옥 취약성 증가.)
토큰 비용이 점차 감소하고 있다. 한계비용이 0에 수렴.
1. AI Research Flow
- research survey 아주 좋아요
- 1st gen: 개척자들 대단하십니다..(40~50년대생)
→ 제프리힌튼: 현재는 AI에 회의적이다. 대부분의 직업이 대체될 것.
→ 벤지오: 자아없는 AI?(홍철 없는 홍철팀 아닌가 싶네요)
→ 얀르쿤: 대부분 호들갑이다. (AI optimist - 아직 이론적인 물리.기억.추론.계획은 잘 못한다)
- 2nd gen
→ 앤드류 응: AI에 GPU 활용 → coursera에도 강의
→ 페이페이리: 비전 왕. LLM으로는 whole nature의 representation 어려워..
→ 하사비스: 딥마인드 → AlphaGo
- 3rd gen:
→ Ashish vaswani: 뭐라고 읽나요? / 트랜스포머 창시자 중 한명. 스타트업
→ 굿펠로우: 좋은 친구형님. GAN (VAE, Diffusion같은 생성모델의 기반)
→ 일리아: AlexNet, ChatGPT
- 4th gen:
→ 조나단: DDPM
→ 다오: Mamba
→ 핸드릭스: GELU, MMLU, Safe AI
paper가 5대 학회에만 2만개 가까이 나온다 ㅠㅠ
llm review: 클로드3.7이 그나마 젤 나은데 F1 Kappa 다 사람보다 낮
2.
- 창업의 영역은 정말 대단한 것 같습니다…
- VC/AC/LP/사모펀트/GP 등, 돈이 도는 생태계에 대해 설명해주셔서 감사합니다
- 한국은 국가(정부, 연기금 등)에서 투자생태계를 견인하는 경우가 많다..
- LP: 처음 돈내는곳 → 사모펀드로 들어가고 → GP에서 굴린다
- 기술지주회사: 대학,연구기관의 기술을 상업화
- SI / CVC
- VC 왈: 제품만들고 초반 유저 만드는건 쉽다 → 근데 퀄리티/확장성이 좋은지는 다른문제
- context window가 커지고있다. → 하지만 jailbreaking 취약 등.. 여전히 문제
- 영어쓰자 ㅠㅠ
- LLM시장도 한계비용이 줄어든다. → 창업하는 입장에서는, 모델 성능보단, 모델을 이용한 차별화/도메인특화/경험 설계가 더 중요
- Interleaved reasoning
- 디자인 커서라니.. 정말 좋은 아이템인 것 같습니다.
1. AI Research Flow
*Geoffrey Hinton-”10-20년 안에 대부분 직업 대체된다”, 국가 간 빈부격차
*Yoshua Bengio-AI자아제거
*Yann LeCun -AI규제 반대론자. AGI도달 불가(transformer,LLM)
//
Andrew Ng-딥러닝대중화, 머신러닝강의, Fei-Fei Li-vision,WorldLab, Demis Hassabis-Deepmind, 신경학 박사
//3rd generation
*Ashish Vaswani, Ian Goodfellow-GAN, vision생성형모델의 시작, AI생성컨텐츠 이슈, IIya Sutskever-ChatGPT
//4th Generation
Jonathan Ho, Tri Dao, Dan Handrycks
//5,6세대:우리
*논문 정보 공유 시스템이 무너진다
-peer review 생태계가 무너질 수 있음. 2만개씩 accept되기도 하고, LLM을 리뷰에 사용
*카이스트 논문: LLM으로 논문 검증. 틀린 리뷰가 얼마나 잘못되었는지 점수매김
Claude 3.7이 사람과 가장 비슷하다. F1 score Kappa score매우낮음. -다르긴 하지만 3.7이 좋다.
2. 창업 경험 공유
상품 상세 페이지 제작.
*투자 인사이트. 스타트업-한국은 국가견인 투자. 규모 차이.
VC/AC/LP/GP, SI(전략적 투자)CVC
제품 만들기보다 확장이 더 어려움. 유저가 어디까지 확장 가능한지
토큰, self-attention mechanism, context window:
토큰 비용이 생기는 시대가 올 수도. 모델 성능보다 모델 활용 서비스 설계 중요
도메인 특화 유저 특화
1. AI Research Flow
현재 AI Research는 어디로 가는가
- 1세대 : AI의 시초. 기본 기술.
- 2세대 : AI 현대 기술 토대 마련
- 3세대 : 폭발적인 AI 발전 기여
- 4세대 : 현대. 이후의 방향성 제시.
쏟아져 나오는 AI 논문... 흑흑
2. 창업 경험 공유
VC 투자 존경스럽습니다!
Context Window Size 엄청나게 늘어남 → 토크나이저 따라 LLM 성능 차이
창업자 : 범용 모델을 차별화 / 도메인 특화 or 유저 특화할 것인가
1. AI Research Flow
AI가 어떻게 굴러가고 있는지 + 학자들의 생각
딥러닝 4대 대빵
어떻게하면 딥러닝에 자아를 뺼 수 있는지
논문에서 자주 보이던 이름들,,,
“Attention is all you need”
→transformer의 한계를 느끼고 next transformer!
탑티어 학회만 18,000개 넘게 억셉됨
2. LLM 스타트업
돈주고도 못 듣는 세미나 영광입니다,,,,
1. AI Research Flow
딥러닝의 역사?
딥러닝 4대 거장 ㄷㄷ
Geoffrey Hinton - 2024 Nobel award
자아를 뺀 AI를 만드는 데 주목하고 있다
Transformer 따위의 방법으로는 우리가 생각하는 AGI에 도달하기 어려울 것이다.
→ 4대 거장 중 한 분의 주장.
인상적임.
사실 딥러닝 초기에 개발하면서 나왔던 이야기는 ‘인간의 뇌를 모방’한다는 거였는데, AI가 더 발전하면서 좀 초기 얘기가 되어버렸다고 생각했음
근데 AI 알려고 뇌 공부해서 Biology + AI 박사 따신 분이 있다? 좀 호감.
왜냐면 인간의 뇌를 모방한다는 모티브를 굉장히 나는 좋아하기에..
Demis Hassabis
Next Transformer는 무엇인가?
말도 안되게 나오는 논문을 어떻게 읽을 것인가?
벤치마크 결과도 같은 모델인데 논문마다 다르고,,, 리뷰어들도 누가 배정되냐에 따라 억셉되고 리젝되고 말이 안된다.
2. 창업 경험 공유 LLM 스타트업
창업에 관심이 있는 사람으로서..
대단하시다고 생각합니다!
VC 개념은 예전에 스타트업 수업 들으면서 알게 됐었던 개념이었음
VC says..
제품 만드는 게 너무 쉬워졌다! → 진짜 좋은 제품인가?
초반 유저를 모으는 건 쉽다! → 글로벌로 확장 가능한가? 돈 많이 벌수 있나?
이메일 보내는 데 돈 냈던 시대를 생각해봐라…(놀라움)
LLM 시장도 곧 한계비용이 0에 가까워질 것이다.
모델의 성능보다는 모델을 활용한 서비스/경험 설계가 더 중요한 시대.
토큰 비용은 단순 전기세처럼 신경쓰지 않는 시대가 올 것.
4G 5G 6G…처럼
1. AI Research Flow
- 딥러닝 역사
→ 제프리힌턴, 요슈아 벤지오, 얀쿤(현재LLM,transfomer 방식으로는 AGI 불가)
→ 앤드류응, 페이페이리, 데미스하사비스(척척박사심)
→ Transformer팀, Ian Goodfellow, llya Sutskever(AI Safety Startup)
→ 조나단호, 트리다오(mamba model), 단헨드릭스(GELU,MMLU - safe ai)
⇒ 기하급수적으로 증가하는 논문들 - 공부 어떻게 하나?
- ReviewScore: Misinformed Peer Review Detection with LLMs
→ 잘못된 리뷰 판단 - 얼마나 잘못됐는지 점수화
→ 논문 리뷰 가장 잘하는 모델 > sonnet / 논문 리뷰 방식에 대한 논란
2. 창업 경험 공유 - LLM 스타트업
- 투자 인사이트
→ VC(벤처 캐피탈), AC(스타트업 보육 및 투자), LP(유한책임출자자), GP(펀드 운용사)
→ 기술지주회사, TIPS, 신용보증기금, 기술보증기금, 기타 지원사업, SI(전략적 투자), CVC(사내 펀드)
→ VC 왈: 제품을 만드는 건 쉽다⇒진짜 좋은 제품인지 / 초반 유저 모으는건 쉽다 ⇒ 글로벌 확장
- 기술 전략 인사이트
→ 한번에 입력받을 수 있는 토큰 수 급격히 증가(context window) ⇒ 한 번에 주의를 기울일 수 있는 최대 토큰 수를 결정
→ 토크나이저 중요(영어입력이 토큰을 덜 잡아먹는다)
→ context window → 사용자 입력, 모델 응답, 시스템프롬프트, 첨부 문서 및 코드, rag 검색 보조 정보
→ 창업 인사이트 ⇒ 모델을 활용한 서비스, 경험 설계가 더 중요한 시대가 온다.
⇒ 좋은 모델 만들 필요 x, 새로 나오는 좋은 모델을 가져가다 범용 모델을 차별화하고 도메인 특화, 유저 특화 고민
1.AI 리서치 플로우
딥러닝 4대장 - 제프리 힌턴: backpropagation+드랍아웃 등
배관공을 준비해라
페이페이리: 학계를 들어가기 위해서는 더 깊은 것에 대해서 연구해라
데미스 하사비스: 컴공, 생물학 박사에 노벨화학상
2. 창업 경험 공유 LLM 스타트업
요즘에는 투자받기가 힘들어졌다.
토큰: a가 어디에 붙느냐에 따라 토큰 개수 처리가 달라진다.
최대 토큰 수가 커지면서 모델 만드는 것이 더 쉬워졌다.
1. AI research flow
1th
Geoffrey Hinton
10~20년 새에 모두 대체된다.
Yann LeCun
아직 우리 AI 그정도 아니다
AGI는 기존 방식으로는 못 만든다
2nd
Fei-Fei Li 산업계와 연계해서 연구해라
Demis Hassabis 뇌과학 박사를 추가로 따서 활동 중
3rd AI Boom → innovator
Ashish cohear AI
IIan AI generated Detection
IILYA Safe AI
2. 창업 경험 공유 LLM 스타트업
투자를 받기 위해서는 옛날과 다르게
- 제품 퀄리티가 좋아야 하고
- 충성 고객, 캐시 카우가 조금 있어야 하고
- 글로벌 확장성 등도 신경 써야 한다
점점 한 번에 입력받을 수 있는 토큰 양이 늘어나고 있다
영어를 잘먹는다
LLM 이용 비용도 점점 작아진다
1. AI research flow
딥러닝의 4대 거장들
찬밥신세였던 AI를 인생을 걸고 팠다 키야
제프리 힌턴 - MLP,backpropagation, Dropout, Layernorm
요수아 벤지오 - 오 근데 이사람 고대에 왔었는데, GAN도 발견 하셨네요 NMT까지 ㄷㄷ
얀쿤 - 메타에서 현업으로 활동하고 계신분. Transformer와 NLP로는 AGI 못할 것.
→ 지금 방식으로는 한계가 있다 (물리학, 지속적인 추론과 기억 못함 이슈)
앤드류 응 - Google Brain founder, GPU를 사용했다.
페페리 - world model, 와 imageNET, 실제 세계를 표현해낼 수 있는 방식 연구
bemis hassabis - alphgo! alphafold!. 신약 개발 야무지네요
진짜 유명한 논문들을 쓴 사람들을 짚어주면서 역사를 말해주는 부분이 굉장히 유익하네요
안뇽~
2. 창업경험 공유
VC - 벤처 캐피탈의 약자로 성장 잠재력이 큰 벤처기업에 자금 투자 후 투자금 회수
AC - 초기 스타트업에 투자하면서 보육 진행
LP - 은행, 연기금, 대기업, 고액 자산가
사모펀드 - LP들로부터 자금들을 모아 만든 펀드
GP - 펀드를 실제로 굴리는 운용사
연구 기관의 기술을 상업화하는 법인
SI - 전략적 투자 (M&A를 하기 위한 투자)
context windeo size = 모델이 입력으로 받을 수 있는 양
모델이 한 번에 주의를 기울일 수 있는 양의 크기를 결정
what elements make up the context window?
긴 컨텍스트의 길이 jailbreaking의 취약성 증가
새로운 모델들에 대한 토큰은 굉장히 비싸다. (but 어느 순간이 도래하면 특정 시점의 가격은 의미가 없다) → 성능보다 활용한 서비스/경험 설계가 더 중요한 시대가 오고 어떻게 범용 모델을 차별화하고 도메인 특화, 유저 특화할 것인가
진짜 뭐해먹고살지
1. 송원준님 - AI Research Flow
## 1세대 pioneers : Jeffrey Hinton / Yoshua Bengio / Yan LeCun
Canadian이 AI 초기에 꽤 기여를 많이 하셨네요
## 2세대 연구자들
Andrew Ng : 딥러닝 강의 히트~
Fei-Fei Li : 사업 중/
Demis Hassabis : alpha-Go, alpha-fold.
## 3세대 연구자들
- Arshish Vaswani.. 맨날 Transformer 인용할 때 보던 성
- Ian Goodfellow: 딥러닝 책 매출 GOAT, GAN 창시자.
- Ilys Sutskever: 샘 알트만의 역적. 쿠데타 성공했다가 실패
## 4세대
- Jonathan Ho : DDPM 창시자
- Tri Dao
## ReviewScore: 어떤 LLM 이 논문을 잘 쓸까… Sonet 3.7
논문에 대한 리뷰는 LLM 이 아직 잘 못함.
다들 연구 생활 화이팅 ~!
—-
2. 박경빈님 - startup 경험 공유( 크리에이지 Creazy)
현재 성과, 투자 유치 성공. 도매꾹과, 신세계 인터네셔널 협업 계약.
투자를 잘 받는 법 ( VC AC LP GP)
- 어디서 받을 수 있나.
기술지주회사, SI(전략적 투자 for M&A), CVC(Corporate Venture Capital 대기업 내 VC)
- VC 曰:
제품을 만들기는 쉽다. 그래서 그 퀄리티, 파급력이 중요하다.
초반 user 모으기가 더 쉬워져서 중요한 지표가 아니게 됨.
더 엄격해진 VC 들의 기준…
- Context Window 가 늘고 있다.
cf) 영어의 한 단어당 토큰 : 1.5 , 한글은 2.5 정도.
Self-Attn을 한 번에 할 수 있는 양이 Context Window!
→ Lost in the Middle 문제 언급 !
- 앞으로 AI 도 점점 문자나 email 을 돈내고 쓰지 않듯 인프라가 안정되고, 초고성능이 아닌 적당한 수준의 LLM 의 가격은 거의 무료화 될 것이라고 예측하심.
-법인 설립한지 3개월 밖에 안됐다니! 므찌십니다.
1. AI Research Flow
한번쯤 들어본 ai의 대가들에 대해서 실제 어떤 연구를 하셨는지 알 수 있어서 좋았습니다!
world labs에 페이페이리가 있었군요..ㄷㄷ 저도 언젠가 world model을 하고 싶네요
대가들도 스타트업 시작하는거 보니까 지금이 때인가요..??
2. 창업 경험 공유
창업 진짜 멋있어요 투자까지..!! 축하드립니다!!
저도 언젠가 스타트업을 해보고 싶네요 나중에 궁금하면 연락 좀 드리겠습니다 ㅎㅎ
1. AI Research Flow
딥러닝의 4대 거장… 엄청난 사람들 같습니다.
저도 저런 분야를 개척해보고 싶어요.
Andrew Ng의 Coursera 강의를 들었었는데, 아주 반갑네요
2. 창업 경험 공유
와… 투자 받은거 너무 멋집니다!!!! 화이팅입니다!!
1. AI Research Flow - 송원준
1st Generation Researcher
Geoffrey Hinton/ Yoshua Bengio/ Yann LeCun
2nd Generation Researcher
Andrew Ng/ Fei-Fei Li/ Demis Hassabis
3rd Generation Researcher
Ashish Vaswani/ Ian Goodfellow/ IIya Sutskever
4th Generation Researcher
Jonathan Ho/ Tri Dao/ Dan Handrycks
시대 흐름 별로 다양한 핫이슈 인물들을 알 수 있어서 좋앗어요
저는 잘 몰랐어서 이것저것 많이 알아갑니당
논문 평가는 어떻게 하는가,,
논문도 LLM으로 쓰고,,리뷰도 LLM, 분석도 LLM,,,엄,,
2. 창업 경험 공유 - 박경빈
Thermit - 투자 유치!
투자에 대해 알려주신대요
VC: Venture Capital
AC: 엑셀러레이터
LP: Limited Partner (은행, 연기금, 대기업, 고액자산가)
사모펀드: LP들로부터 자금을 모아 만든 펀드
GP: General Partner 그 펀드를 실제로 굴리는 운용사
++ 기술지주회사, TIPS, 신용보증기금, 기술보증기금, SI 등등,,
제품 만들기는 쉬워져서 이젠 웬만한 퀄리티 아니면 투자 못받아!
토크나이저- 언어를 토큰으로 변환하는 역할; 전처리 단계
Self-Attention- 변환된 토큰 간 의미적 가중치를 계산하는 역할; 모델 내부 학습
나중에는 토큰 비용 거의 0에 가깝게 될거니까 어떻게 특화할건지가 제일 중요
크리에이지 시연영상 보니까 엄청 크레이지해요..신기방기,,
1. AI Research Flow - 송원준
제프리힌턴, 요슈아벤지오,얀르쿤
인공지능의 아버지들
앤드류응님의 머신러닝?딥러닝? 강의 300만 돌파. 오 저도 들어봐야겠어요. 언젠가. 흠. 앤드류응님의 유튜브 강의 편집자가 되는 게 빠르려나요?
와이책 인물편에 나올 만한 분들과 동시대를 살고 있다니 정말 영광인것같아요.
오호. Ian Goodfellow 잘 나가고 있던 인공지능 분야에 이제 완전 대박을 터뜨린.. 오 이분이 GAN을 만드셨군요. 얀 르쿤 님이 정말 멋진 모델이라고 칭찬하셨다고 들었는데 기분이 좋으셨겠어요. 인공지능의 아버지에게 내가 만든 모델 칭찬 받기. 좋은 강의 감사합니다~
2. 창업 경험 공유
VC에서 투자를 받으셨습니다. 정말 대단하신 것 같아요
크리에이지
저도 저걸로 숨고에서 돈 벌어도 될까요? 
시연영상 쩐다!
시연영상 쩐다!1. AI Research Flow
1st Generation
gerffrey Hinton : 딥러닝의 대부분의 요소를 개발 ((AI의 겨울 해결, AlexNet 개발
다만 회의적 → 대부분의 직업이 대체되어, plumber를 준비하라
Yan LeCun : CNN specialist, Meta에서 일함… 오.. AI를 긍정적으로 바라보는 중
트랜스포머나 LLM으로는 AGI에 도달할 수 없다.
Yoshua Bengio : 뉴럴 머신 translation, sequence model, GAN, ReLU, Xavier Init
remove subjectivity를 시도하고 있음
2nd Generation
Andrew Ng : AI 모델에 GPU를 이용하기 시작
Fei-Fei Li : imagenet 프로젝트 시작 / Vision 분야에 기여 - science + AI를 해라, AI의 실제 작동원리를 알아가야한다
Demis Hassabis : neuroscience+CS 에서 ph.D, AlphaGo 제작, 현재는 new drug제작 중
3rd Generation
Ashish Vaswani : Transformer team - 그러나 이에 한계를 느끼고 next transformer 준비
Ian Goodfellow : GAN 제작 - contents watermarking, detect generative contents 준비
Ilya Sutskever : Open AI , AlexNet, ChatGPT- AI safety 문제에 집중
4세대 -ing
DDPM 제작 / Mamba(next transformer) , Flashed Attention / GELU, MMLU 등의 연구 등 —
넘사벽인것같다… 아이디어도 대단하고 그걸 실행하는 능력도 멋지다… 논문 저거를 다 어케읽어요…
2. 창업 경험 공유 LLM 스타트 업
Thermit → 상품 상세 서비스 만들어주는 팀
투자 인사이트 → VC, AC, LP, GP, 사모펀드
VentureCapital : 스타트업에 자금을 투자해서 투자금을 회수 ((개인
AC → 보육?
LP → 은행, 연기금, 대기업, 고액 자산가 등의 지원으로
사모펀드 : 우리나라는 주로 국가 주도
GP : 그 펀드를 실제로 굴리는 운용사
글로벌 확장성을 요즘은 많이 봅니다
context window size가 요즘 많이 늘어남.. GPT는 지금 200만 토큰.. 어마어마 하다 ((그래도 토큰을 아끼는게 좋은가봐
LLM은 컨텍스트 창 내의 토큰을 처리하기 위해 Self- Attention 메커니즘 사용 → context 창 크기 = 한번에 self-attentoin을 할 수 있는 양 = 모델이 한번에 주의를 기울일 수 있는 최대 토큰 수를 결정
⇒ 범용 모델을 어떻게 유저 특화할 것인가
Streaming 기술… / Interleaved Reason..?
1. AI Research Flow
현재 상황에서의 AI Research는 어떻게 흘러가는가.
<세대별 AI 연구자>
-1세대
Geoffrey Hinton, Yoshua Bengio, Yann Lecuun : AI의 기본적인 기술 개발
-2세대
Andrew Ng, Fei-Fei Li, Demis Hassabis : 현재의 AI 기술의 토대 마련
-3세대
Ilya Sutskever, Ian Goodfellow : 폭발적인 AI 발전 기여
-4세대
Jonathan Ho, Tri Dao, Dan Handrycks: 이후의 AI 발전 방향
AI 논문이 너무 많이 나온다. AI보다 인간이 논문 읽는게 더 좋다. 그렇지만 claude sonnet 3.7이 젤 잘한다. 우리 모두 화이팅~
2. 창업 경험 공유
VC로부터 투자를 받았다니 대단하시네요!
제품을 만드는 건 쉽지만 좋은 제품인지 고려, 초반 유저를 모으는 것도 쉬우니 글로벌로 확장이 가능한지/돈을 많이 쓰는 유저인지 고려
Context Window Size (모델이 텍스트를 생성하거나 이해할 때 입력으로 받을 수 있는 양)이 엄청나게 늘어남 → 토크나이저에 따라 LLM 성능 차이
영어로 프롬프트를 짜라. 영어 공부 빡시게 해야겠어요 ㅜㅜ
Tokenizer(텍스트를 토큰 단위로 변환) → Self-attention (토큰 간의 의미적 가중치 계산)
→ ‘context window에 토큰이 얼마나 들어가는가’, 무엇이 들어가는가.
→ 계산 비용이 급증한다.
창업자로서는 범용 모델을 차별화하고, 도메인 특화, 유저 특화할 것인가 에 집중
구독 요금제, 엔터프라이즈 요금제 존재
’크리에이지’ 화이팅~
1. AI Research Flow
딥러닝 연구의 흐름
제프리 힌튼, 요슈아 벤지오, 얀 르쿤
배관공을 준비해라..
힌튼, 벤지오: ai 관련 경고를 많이 하고 있음
르쿤: AI 긍정론자 (메타에서 일하고 있기 때문..?)
transformer/llm으로는 agi 도달 불가능
Fei-Fei Li: 산업보다 잘 할 수 있는 것을 해라 - Science + AI, AI Theory 등
딥러닝 거장들이 safety 관련 언급도 많이 하고 연구를 많이 하는거 같네요
2. 창업 경험 공유
미국 벤처 시장은 매우 활발하다
국내는 국가 견인 생태계
근본적으로 시스템이 다름
Self-attention mechanism: llm이 컨텍스트 창 내의 토큰을 처리하는데 사용
컨텍스트 창 크기 -> 모델이 한번에 계산할 수 있는 최대 토큰 수
모델 차별화를 하는 방법
• interleaved reasoning, context/memory 관리 등
서비스 너무 좋네요
1. AI Research Flow
1세대 AI 연구황 Geoffrey Yoshua Yann부터 2세대 Andrew Ng, Feifei li, 3-4세대까지 AI 연구자
현재의 리뷰 시스템이 잘 작동하고 있는가? 틀린 리뷰나, 코드를 검증하지 않고 논문만 보고 알 수 있는가.. → ReviewScore
2. 창업 경험 공유
투자를 받으심.. 축하드립니다
VC, AC, LP (누가 처음에 돈을 낼지), GP 등 투자를 받을 수 있는 곳들이 있음.
context window: 연산량, 안전문제
LLM이 할 수 있는 영역이 늘어나고 있음.
모델 성능보다 모델을 활용한 서비스, 경험 설계, 비용 절감 등
투자 축하드립니다!
2. 창업 경험 공유
VC: 벤처캐피탈
AC: 초기 스타트업 추가 + 보육
LP: 은행, 연기금, 대기업, 고액자산가 → 사모펀드 → GP가 운영
제품을 만드는 건 쉽다/ 초반 유저는 쉽다 → 진짜 좋은가? 글로벌 가능?
한국어보다 영어가 좋다: LLM 이해력 + 토큰 개수 효율적
컨텍스트 윈도우 커지면서 : 프롬프트, 응답, 시스템 프롬프트, 첨부 문서, 소스코드, RAG 등 가능 → 적대적 프롬프트 해결
언젠가 토큰 비용은 전기세처럼 사소해진다
이미 개발된 범용 모델 → 도메인 특화/유저 특화
- context/memory 관리, prompting, cache, 추론, streaming 방법론
1. AI Research Flow
◦ 1세대
Geoggrey Hinton : MLP, Bacpropagation, Dropout, LayerNorm + AlexNet
현재는 AI의 risk에 대해 경고
Yoshua Bengio : Xavier norm, ReLU …
Neural Machine Translation과 sequence model을 발명
AI가 어떻게 자아를 가질까?에 대해 연구중
Yann Lecun : MNIST, CNN
AI 자유론에 대해 논의 - 낙관론
◦ 2세대
Andrew Ng : Google Brain 설립자 , Coursera(이 사람의 ML 강의가 대박나서 강의 사이트 Coursera가 호황)
Fei-Fei Li : ImageNet 프로젝트의 설립 / World Model 구상 중(3d, real world model)
”모든 AI 관련 리소스가 산업에 치중되어 있으니 학계보다는 업무에 집중하라 - XAI 등”
Demis Hassabis : 딥마인드 설립자 / 신경과학과 인공지능을 접목시킨 개척자 / 알파고 발명
◦ 3세대
Ashish Vaswani : Attention is all you Need → Transformer의 1 저자
Ian Goodfellow : GAN을 발명 및 비전 분야에 적용 - 생성한 컨텐츠를 어떻게 적용할 수 있을지에 대해 연구
Ilya Sutskever : Chat GPT 발명자 / Open AI의 공동 설립자 - safe AI에 대해 연구중
◦ 4세대
Jonathan Ho : Diffusion 발명자
Tri Dao : Mamba 발명자 , 모델 최적화 연구자
Dan Handrycks : GELU, MMLU 발명자 / XAI 연구자
◦ 현재 : 지수적으로 논문 수가 증가중 - 어떻게 공부하고 트렌드를 따라갈 수 있을까?
양산형 논문이 쏟아져 나오기도 한다. → 운빨로 accept???
◦ ReviewScore : 저급 논문/ 리뷰를 어떻게 걸러낼까? - 논문까지 AI가 해주면 인간은?
2. LLM 스타트업 경험
상품 상세 페이지를 만들어주는 서비스
◦ 투자 인사이트
VC : Venture Capital. 성장 잠재력이 큰 벤처기업이나 스타트업에 자금을 투자하고, 더 나아가 경영 및 기술 등 다양한 지원을 통해 기업 가치를 높인 후 투자금을 회수하는 금융 자본 또는 벤처 투자 회사.
AC : 초기 스타트업에 투자하며 교육 등 수행
LP : Limited Partenr(유한책임 투자자) - 처음에 투자를 수행하는 자들. 은행, 연기금, 대기업, 고액자산가 등
사모펀드 : LP에서 투자받는 펀드
◦ 기술지주회사(대학 등 연구기관의 기술을 상업화하는 법인), TIPS, SI(전략적 투자, 지분을 사는 것), CVC(Cooperate Venture Capital)
◦ 제품을 만들고, 초반 유저를 모으는 건 쉽다 ⇒ 확장은??
◦ Context Wndow Size : 모델이 텍스트를 생성하거나 이해할 때 입력으로 받을 수 있는 양
◦ Tokenizer : 언어를 토큰으로 변환하는 도구. 서로 다른 tokenizer는 동일한 텍스트를 다르게 토큰화할 수 있다.
◦ LLM은 컨텍스트 창 내의 토큰을 처리하기 위해 Self-Attention 메커니즘을 사용
◦ context window에 들어갈 수 있는것 : 사용자 입력, 모델 응답, 시스템 프롬프트, 소스 코드, RAG 보조정보
◦ context window 증가 시 : 계산 비용이 급증함
◦ 그러나 이미 LLM 시장은 포화됨 : 과금이 점차 사라지는 중 → 모델의 성능보다 모델을 활용한 서비스/경험 설계가 더 중요한 시대가 온다.
◦ 어떻게 모델을 범용화할까?
Geoggrey Hinton : MLP, Bacpropagation, Dropout, LayerNorm + AlexNet
현재는 AI의 risk에 대해 경고
Yoshua Bengio : Xavier norm, ReLU …
Neural Machine Translation과 sequence model을 발명
AI가 어떻게 자아를 가질까?에 대해 연구중
Yann Lecun : MNIST, CNN
AI 자유론에 대해 논의 - 낙관론
◦ 2세대
Andrew Ng : Google Brain 설립자 , Coursera(이 사람의 ML 강의가 대박나서 강의 사이트 Coursera가 호황)
Fei-Fei Li : ImageNet 프로젝트의 설립 / World Model 구상 중(3d, real world model)
”모든 AI 관련 리소스가 산업에 치중되어 있으니 학계보다는 업무에 집중하라 - XAI 등”
Demis Hassabis : 딥마인드 설립자 / 신경과학과 인공지능을 접목시킨 개척자 / 알파고 발명
◦ 3세대
Ashish Vaswani : Attention is all you Need → Transformer의 1 저자
Ian Goodfellow : GAN을 발명 및 비전 분야에 적용 - 생성한 컨텐츠를 어떻게 적용할 수 있을지에 대해 연구
Ilya Sutskever : Chat GPT 발명자 / Open AI의 공동 설립자 - safe AI에 대해 연구중
◦ 4세대
Jonathan Ho : Diffusion 발명자
Tri Dao : Mamba 발명자 , 모델 최적화 연구자
Dan Handrycks : GELU, MMLU 발명자 / XAI 연구자
◦ 현재 : 지수적으로 논문 수가 증가중 - 어떻게 공부하고 트렌드를 따라갈 수 있을까?
양산형 논문이 쏟아져 나오기도 한다. → 운빨로 accept???
◦ ReviewScore : 저급 논문/ 리뷰를 어떻게 걸러낼까? - 논문까지 AI가 해주면 인간은?
2. LLM 스타트업 경험
상품 상세 페이지를 만들어주는 서비스
◦ 투자 인사이트
VC : Venture Capital. 성장 잠재력이 큰 벤처기업이나 스타트업에 자금을 투자하고, 더 나아가 경영 및 기술 등 다양한 지원을 통해 기업 가치를 높인 후 투자금을 회수하는 금융 자본 또는 벤처 투자 회사.
AC : 초기 스타트업에 투자하며 교육 등 수행
LP : Limited Partenr(유한책임 투자자) - 처음에 투자를 수행하는 자들. 은행, 연기금, 대기업, 고액자산가 등
사모펀드 : LP에서 투자받는 펀드
◦ 기술지주회사(대학 등 연구기관의 기술을 상업화하는 법인), TIPS, SI(전략적 투자, 지분을 사는 것), CVC(Cooperate Venture Capital)
◦ 제품을 만들고, 초반 유저를 모으는 건 쉽다 ⇒ 확장은??
◦ Context Wndow Size : 모델이 텍스트를 생성하거나 이해할 때 입력으로 받을 수 있는 양
◦ Tokenizer : 언어를 토큰으로 변환하는 도구. 서로 다른 tokenizer는 동일한 텍스트를 다르게 토큰화할 수 있다.
◦ LLM은 컨텍스트 창 내의 토큰을 처리하기 위해 Self-Attention 메커니즘을 사용
◦ context window에 들어갈 수 있는것 : 사용자 입력, 모델 응답, 시스템 프롬프트, 소스 코드, RAG 보조정보
◦ context window 증가 시 : 계산 비용이 급증함
◦ 그러나 이미 LLM 시장은 포화됨 : 과금이 점차 사라지는 중 → 모델의 성능보다 모델을 활용한 서비스/경험 설계가 더 중요한 시대가 온다.
◦ 어떻게 모델을 범용화할까?Load more