이성은
Review
1. AI Research Flow
AI 1세대
Geoffrey Hinton : 배관공을 준비해라 … 곧 대체된다…
Yoshua Bengio : 테러 가능성, AI에서 자아 빼기 연구중
Yan LeCun : AI 별 거 없다. AGI 달성 못함.
2세대
Andrew Ng : Ai education
Fei-Fei Li : world model 연구중. 지금 공부를 시작한다면 ai와 다른 분야를 결합하는 쪽으로 하면 좋다. 아니면 ai 작동 원리를 연구하는 것도 좋다.
Demis Hassabis : Biology + ai
3세대
Ashish Vaswani : Next transformer 연구중. 업무 자동화 startup
Ian Goodfellow : detect generative content 연구중
Ilya Sutskever : AI Safety 연구중
4세대
Jonathan Ho : 생성형 AI 연구중
Tri Dao : Mamba - next Transformer 만듦
Dan Handrycks : AI safety 연구중
현재 동향:
논문이 쏟아져 나오고 있음.
그런데 논문 리뷰 시스템이 문제가 많다.
→ 카이스트에서 이와 관련한 연구를 제시함. (ReviewScore : Misinformed Peer Review Detection with LLMs)
2. 창업 경험 공유 : LLM 스타트업
미국은 개인투자가 활발함. 규모 큼.
한국은 거의 정부 투자.
최근은 제품을 만드는 건 쉬움 → 진짜 좋은 제품인지 판단하려고 함.
초반 유저를 모으는 건 쉬움 → 글로벌로 확장이 가능한지.
Context Window Size가 급격히 증가하고 있음.
Tokenizer의 성능에 따라 LLM 성능이 달라진다.
영어가 한국어보다 tokenize 성능이 더 좋음.
LLM은 컨텍스트 창 내의 토큰 처리를 위해 self-attention 사용.
(입력된 문장의 각 토큰이 다른 토큰들과 얼마나 관련 있는지)
Tokenize → Self-attention 순서.
context window 확장에 대한 위험성:
계산 비용 급증, 성능 저하(모델은 관련 정보가 입력 컨텍스트의 시작과 끝 부분에 있을 때 성능이 좋음.), 안전 문제(적대적 프롬프트의 공격 표면을 확장, 탈옥 취약성 증가.)
토큰 비용이 점차 감소하고 있다. 한계비용이 0에 수렴.
