김태관
Review
1. AI research flow
딥러닝의 4대 거장들
찬밥신세였던 AI를 인생을 걸고 팠다 키야
제프리 힌턴 - MLP,backpropagation, Dropout, Layernorm
요수아 벤지오 - 오 근데 이사람 고대에 왔었는데, GAN도 발견 하셨네요 NMT까지 ㄷㄷ
얀쿤 - 메타에서 현업으로 활동하고 계신분. Transformer와 NLP로는 AGI 못할 것.
→ 지금 방식으로는 한계가 있다 (물리학, 지속적인 추론과 기억 못함 이슈)
앤드류 응 - Google Brain founder, GPU를 사용했다.
페페리 - world model, 와 imageNET, 실제 세계를 표현해낼 수 있는 방식 연구
bemis hassabis - alphgo! alphafold!. 신약 개발 야무지네요
진짜 유명한 논문들을 쓴 사람들을 짚어주면서 역사를 말해주는 부분이 굉장히 유익하네요
안뇽~
2. 창업경험 공유
VC - 벤처 캐피탈의 약자로 성장 잠재력이 큰 벤처기업에 자금 투자 후 투자금 회수
AC - 초기 스타트업에 투자하면서 보육 진행
LP - 은행, 연기금, 대기업, 고액 자산가
사모펀드 - LP들로부터 자금들을 모아 만든 펀드
GP - 펀드를 실제로 굴리는 운용사
연구 기관의 기술을 상업화하는 법인
SI - 전략적 투자 (M&A를 하기 위한 투자)
context windeo size = 모델이 입력으로 받을 수 있는 양
모델이 한 번에 주의를 기울일 수 있는 양의 크기를 결정
what elements make up the context window?
긴 컨텍스트의 길이 jailbreaking의 취약성 증가
새로운 모델들에 대한 토큰은 굉장히 비싸다. (but 어느 순간이 도래하면 특정 시점의 가격은 의미가 없다) → 성능보다 활용한 서비스/경험 설계가 더 중요한 시대가 오고 어떻게 범용 모델을 차별화하고 도메인 특화, 유저 특화할 것인가
진짜 뭐해먹고살지
