정성윤
Review
1. AI Research Flow
◦ 1세대
Geoggrey Hinton : MLP, Bacpropagation, Dropout, LayerNorm + AlexNet
현재는 AI의 risk에 대해 경고
Yoshua Bengio : Xavier norm, ReLU …
Neural Machine Translation과 sequence model을 발명
AI가 어떻게 자아를 가질까?에 대해 연구중
Yann Lecun : MNIST, CNN
AI 자유론에 대해 논의 - 낙관론
◦ 2세대
Andrew Ng : Google Brain 설립자 , Coursera(이 사람의 ML 강의가 대박나서 강의 사이트 Coursera가 호황)
Fei-Fei Li : ImageNet 프로젝트의 설립 / World Model 구상 중(3d, real world model)
”모든 AI 관련 리소스가 산업에 치중되어 있으니 학계보다는 업무에 집중하라 - XAI 등”
Demis Hassabis : 딥마인드 설립자 / 신경과학과 인공지능을 접목시킨 개척자 / 알파고 발명
◦ 3세대
Ashish Vaswani : Attention is all you Need → Transformer의 1 저자
Ian Goodfellow : GAN을 발명 및 비전 분야에 적용 - 생성한 컨텐츠를 어떻게 적용할 수 있을지에 대해 연구
Ilya Sutskever : Chat GPT 발명자 / Open AI의 공동 설립자 - safe AI에 대해 연구중
◦ 4세대
Jonathan Ho : Diffusion 발명자
Tri Dao : Mamba 발명자 , 모델 최적화 연구자
Dan Handrycks : GELU, MMLU 발명자 / XAI 연구자
◦ 현재 : 지수적으로 논문 수가 증가중 - 어떻게 공부하고 트렌드를 따라갈 수 있을까?
양산형 논문이 쏟아져 나오기도 한다. → 운빨로 accept???
◦ ReviewScore : 저급 논문/ 리뷰를 어떻게 걸러낼까? - 논문까지 AI가 해주면 인간은?
2. LLM 스타트업 경험
상품 상세 페이지를 만들어주는 서비스
◦ 투자 인사이트
VC : Venture Capital. 성장 잠재력이 큰 벤처기업이나 스타트업에 자금을 투자하고, 더 나아가 경영 및 기술 등 다양한 지원을 통해 기업 가치를 높인 후 투자금을 회수하는 금융 자본 또는 벤처 투자 회사.
AC : 초기 스타트업에 투자하며 교육 등 수행
LP : Limited Partenr(유한책임 투자자) - 처음에 투자를 수행하는 자들. 은행, 연기금, 대기업, 고액자산가 등
사모펀드 : LP에서 투자받는 펀드
◦ 기술지주회사(대학 등 연구기관의 기술을 상업화하는 법인), TIPS, SI(전략적 투자, 지분을 사는 것), CVC(Cooperate Venture Capital)
◦ 제품을 만들고, 초반 유저를 모으는 건 쉽다 ⇒ 확장은??
◦ Context Wndow Size : 모델이 텍스트를 생성하거나 이해할 때 입력으로 받을 수 있는 양
◦ Tokenizer : 언어를 토큰으로 변환하는 도구. 서로 다른 tokenizer는 동일한 텍스트를 다르게 토큰화할 수 있다.
◦ LLM은 컨텍스트 창 내의 토큰을 처리하기 위해 Self-Attention 메커니즘을 사용
◦ context window에 들어갈 수 있는것 : 사용자 입력, 모델 응답, 시스템 프롬프트, 소스 코드, RAG 보조정보
◦ context window 증가 시 : 계산 비용이 급증함
◦ 그러나 이미 LLM 시장은 포화됨 : 과금이 점차 사라지는 중 → 모델의 성능보다 모델을 활용한 서비스/경험 설계가 더 중요한 시대가 온다.
◦ 어떻게 모델을 범용화할까?
Geoggrey Hinton : MLP, Bacpropagation, Dropout, LayerNorm + AlexNet
현재는 AI의 risk에 대해 경고
Yoshua Bengio : Xavier norm, ReLU …
Neural Machine Translation과 sequence model을 발명
AI가 어떻게 자아를 가질까?에 대해 연구중
Yann Lecun : MNIST, CNN
AI 자유론에 대해 논의 - 낙관론
◦ 2세대
Andrew Ng : Google Brain 설립자 , Coursera(이 사람의 ML 강의가 대박나서 강의 사이트 Coursera가 호황)
Fei-Fei Li : ImageNet 프로젝트의 설립 / World Model 구상 중(3d, real world model)
”모든 AI 관련 리소스가 산업에 치중되어 있으니 학계보다는 업무에 집중하라 - XAI 등”
Demis Hassabis : 딥마인드 설립자 / 신경과학과 인공지능을 접목시킨 개척자 / 알파고 발명
◦ 3세대
Ashish Vaswani : Attention is all you Need → Transformer의 1 저자
Ian Goodfellow : GAN을 발명 및 비전 분야에 적용 - 생성한 컨텐츠를 어떻게 적용할 수 있을지에 대해 연구
Ilya Sutskever : Chat GPT 발명자 / Open AI의 공동 설립자 - safe AI에 대해 연구중
◦ 4세대
Jonathan Ho : Diffusion 발명자
Tri Dao : Mamba 발명자 , 모델 최적화 연구자
Dan Handrycks : GELU, MMLU 발명자 / XAI 연구자
◦ 현재 : 지수적으로 논문 수가 증가중 - 어떻게 공부하고 트렌드를 따라갈 수 있을까?
양산형 논문이 쏟아져 나오기도 한다. → 운빨로 accept???
◦ ReviewScore : 저급 논문/ 리뷰를 어떻게 걸러낼까? - 논문까지 AI가 해주면 인간은?
2. LLM 스타트업 경험
상품 상세 페이지를 만들어주는 서비스
◦ 투자 인사이트
VC : Venture Capital. 성장 잠재력이 큰 벤처기업이나 스타트업에 자금을 투자하고, 더 나아가 경영 및 기술 등 다양한 지원을 통해 기업 가치를 높인 후 투자금을 회수하는 금융 자본 또는 벤처 투자 회사.
AC : 초기 스타트업에 투자하며 교육 등 수행
LP : Limited Partenr(유한책임 투자자) - 처음에 투자를 수행하는 자들. 은행, 연기금, 대기업, 고액자산가 등
사모펀드 : LP에서 투자받는 펀드
◦ 기술지주회사(대학 등 연구기관의 기술을 상업화하는 법인), TIPS, SI(전략적 투자, 지분을 사는 것), CVC(Cooperate Venture Capital)
◦ 제품을 만들고, 초반 유저를 모으는 건 쉽다 ⇒ 확장은??
◦ Context Wndow Size : 모델이 텍스트를 생성하거나 이해할 때 입력으로 받을 수 있는 양
◦ Tokenizer : 언어를 토큰으로 변환하는 도구. 서로 다른 tokenizer는 동일한 텍스트를 다르게 토큰화할 수 있다.
◦ LLM은 컨텍스트 창 내의 토큰을 처리하기 위해 Self-Attention 메커니즘을 사용
◦ context window에 들어갈 수 있는것 : 사용자 입력, 모델 응답, 시스템 프롬프트, 소스 코드, RAG 보조정보
◦ context window 증가 시 : 계산 비용이 급증함
◦ 그러나 이미 LLM 시장은 포화됨 : 과금이 점차 사라지는 중 → 모델의 성능보다 모델을 활용한 서비스/경험 설계가 더 중요한 시대가 온다.
◦ 어떻게 모델을 범용화할까?