임시은
Review
1. AI Research Flow
1st Generation
gerffrey Hinton : 딥러닝의 대부분의 요소를 개발 ((AI의 겨울 해결, AlexNet 개발
다만 회의적 → 대부분의 직업이 대체되어, plumber를 준비하라
Yan LeCun : CNN specialist, Meta에서 일함… 오.. AI를 긍정적으로 바라보는 중
트랜스포머나 LLM으로는 AGI에 도달할 수 없다.
Yoshua Bengio : 뉴럴 머신 translation, sequence model, GAN, ReLU, Xavier Init
remove subjectivity를 시도하고 있음
2nd Generation
Andrew Ng : AI 모델에 GPU를 이용하기 시작
Fei-Fei Li : imagenet 프로젝트 시작 / Vision 분야에 기여 - science + AI를 해라, AI의 실제 작동원리를 알아가야한다
Demis Hassabis : neuroscience+CS 에서 ph.D, AlphaGo 제작, 현재는 new drug제작 중
3rd Generation
Ashish Vaswani : Transformer team - 그러나 이에 한계를 느끼고 next transformer 준비
Ian Goodfellow : GAN 제작 - contents watermarking, detect generative contents 준비
Ilya Sutskever : Open AI , AlexNet, ChatGPT- AI safety 문제에 집중
4세대 -ing
DDPM 제작 / Mamba(next transformer) , Flashed Attention / GELU, MMLU 등의 연구 등 —
넘사벽인것같다… 아이디어도 대단하고 그걸 실행하는 능력도 멋지다… 논문 저거를 다 어케읽어요…
2. 창업 경험 공유 LLM 스타트 업
Thermit → 상품 상세 서비스 만들어주는 팀
투자 인사이트 → VC, AC, LP, GP, 사모펀드
VentureCapital : 스타트업에 자금을 투자해서 투자금을 회수 ((개인
AC → 보육?
LP → 은행, 연기금, 대기업, 고액 자산가 등의 지원으로
사모펀드 : 우리나라는 주로 국가 주도
GP : 그 펀드를 실제로 굴리는 운용사
글로벌 확장성을 요즘은 많이 봅니다
context window size가 요즘 많이 늘어남.. GPT는 지금 200만 토큰.. 어마어마 하다 ((그래도 토큰을 아끼는게 좋은가봐
LLM은 컨텍스트 창 내의 토큰을 처리하기 위해 Self- Attention 메커니즘 사용 → context 창 크기 = 한번에 self-attentoin을 할 수 있는 양 = 모델이 한번에 주의를 기울일 수 있는 최대 토큰 수를 결정
⇒ 범용 모델을 어떻게 유저 특화할 것인가
Streaming 기술… / Interleaved Reason..?
