README
📚 aiEducation
ML/DL, NLP 관련 공부 기록
- 기간 : 2021 ~ Present
- 석사 1년차에서의 회고록
- NLP 관련 논문리뷰 및 기본개념 설명
- 논문 초안 작성부터 결과 발표까지의 Process
- LLMs vs Agents 비교
📢 Note
2025-08-07: RL 업로드2025-06-15: Code 폴더 업로드2025-03-29: All_about_Agent/Agent.md 업로드
최근 AI Trends Follow Up Tips
최근 LLMs 동향이 빠르게 바뀌고 있어 아래 리스트를 매일 참조하는 걸 추천한다. 가장 추천하는 건 LinkedIn 가입 후 관련 포스트들을 Follow Up 하는 것이다. 국내외 연구자들의 의견들을 공유받을 수 있어 AI 연구자라면 필수! 최근 가장 흥미롭게 읽었던 글은 조경현 교수님 - i sensed anxiety and frustration at NeurIPS'24인데 석사 졸업 후 회사에서 최근 느꼈던 실제 산업과 학계에서의 gap에 대하여 잘 정리된 글이라고 생각되었다.
🔎 논문 찾는 Tips
-
paperswithcode에서 tasks 위주로 SOTA 논문을 보여줌
✔ Most implemented paper를 참고하면 어떤 논문이 가장 많이 인용되었는지 확인가능함 -
github에서 task 검색
이때awesome [특정 task]로 검색하면 curated list 게시물을 쉽게 찾을 수 있다.
얼마나 중요한 논문인지는 Star 갯수나 fork 수로 판별가능함
-
ACL, EMNLP, NAACL 등 ACL 계열 학회 같이 h5-index가 높은 학회들(Conference)에서 발표한 논문들로 최신 트렌드를 알 수 있다.
- Deepseek, Qwen 등 기업들의 technical report를 읽는 것도 추천한다. 상세히 공개는 안되어있더라도 실제 유용한 tip들이 많이 적혀진 걸 확인할 수 있다 (오히려 conference paper보다 더 빠른 trend를 파악할 수도(?))
🍃 논문 작성법
Overleaf
Latex는 Conference, Journal 등 논문을 작성할 수 있도록 도와주는 문서 작성 시스템이다. 대다수의 논문들이 Latext를 이용해 작성되고, 공유되어 관리되어 있다.
이러한 Latex 프로그램을 사용해 논문 프로젝트를 편하게 관리하고 공유할 수 있도록 해주는 대표적인 서비스로 Overleaf가 있다.
Overleaf > Template에서 검색을 통해 제출할 학회의 논문 Template를 다운받아 작성하면 된다.
▶ LaTex 기호 정리 : https://jjycjnmath.tistory.com/117
Activation Steering
Repository
Paper
- ActAdd: Steering language models with activation engineering (2023-08 arXiv)
- Inference-Time Intervention (ITI): Inference-Time Intervention: Eliciting Truthful Answers from a Language Model. (NIPS 2023 Spotlight)
- Contrastive Activation Addition: Steering Llama 2 via Contrastive Activation Addition (ACL 2024)
- HyperSteer: Activation Steering at Scale with Hypernetworks (2025-06 arXiv)
- Steerable Chatbots: Personalizing LLMs with Preference-Based Activation Steering (2025-05 arXiv)
- BILLY: Steerings LLMs via Merging Persona Vectors for Creative Generation (2025-10 arXiv)
- AI Safety
- Refusal in language models is mediated by a single direction (2024-06 arXiv)
- Programming Refusal with Conditional Activation Steering (ICLR 2025 Spotlight)
- Personality Steering
- Identifying and Manipulating Personality Traits in LLMs Through Activation Engineering (2024-12 arXiv)
- Activation-Space Personality Steering: Hybrid Layer Selection for Stable Trait Control in LLMs (2025-10 arXiv)
- Reasoning
- Improving Reasoning in LLMs via Representation Engineering (2025-04 arXiv)
- Steering LLMs' Reasoning with activation state machines (2025-09 OpenReview)
🎮🕹️👾 Reinforcement Learning (RL)
- 류경석 교수님 RL자료: https://ernestryu.com/courses/RL-LLM.html
- OpenAI Deep RL: https://spinningup.openai.com/en/latest/
- RL baselines: https://stable-baselines.readthedocs.io/en/master/
- David Silver: https://davidstarsilver.wordpress.com/teaching/
- Unsloth > RL Guide: https://docs.unsloth.ai/basics/reinforcement-learning-rl-guide
- mlabonne/llm-cource > 5. Preference Alignment (⭐Star 59.6k)
- Transformer Reinforcement Learning X (⭐Star 4.7k)
- Post-training of LLMs (Instructor: Banghua Zhu)
RL
- GAE Berkely 논문 (2016, ICLR): High-Dimensional Continuous Control Using Generalized Advantage Estimation
RL + LLM
- RLHF OpenAI 논문 (2022, NIPS): Training language models to follow instructions with human feedback
- DPO Stanford 논문 (2023, NIPS): Direct Preference Optimization: Your Language Model is Secretly a Reward Model
- DPO vs PPO 비교분석 논문 (2024, ICML): Is DPO Superior to PPO for LLM Alignment? A Comprehensive Study
- GRPO DeepSeek 논문 (2024): DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models
Post Training Libraries
🤖 LLMs
Deepseek R1
2025-01-22Deepseek-R1: https://github.com/deepseek-ai/DeepSeek-R1- Building DeepSeek R1 from Scratch
- DeepSeek-R1에 관한 비주얼 가이드
Llama-Factory
- Paper: LlamaFactory: Unified Efficient Fine-Tuning of 100+ Language Models (ACL 2024)
- Gtihub: https://github.com/hiyouga/LLaMA-Factory
How to use in Korean: 아이언맨 페르소나 Fine tuning 해보기
Agents
- LLM Agents에 관한 비주얼 가이드
Multi-Agent에서 가장 영향력 있는 논문Generative Agents: Interactive Simulacra of Human Behavior (2023, 1903회 인용)- 챗GPT와 LangChain을 활용한 LLM 기반 AI 서비스 앱 개발
- Awesome Langchain
OpenAI
vLLM
Prompt Engineering
🦜 Reasoning
⭐ Traditional NLP 필수 논문 (년도 순)
논문 년도 순서별로 읽는 걸 추천한다. 왜냐하면, 이전 년도의 나온 논문들을 이해해야 현재 논문을 이해할 수 있기 때문!
예를들어, MASS paper를 알아야 BART paper를 정확히 이해할 수 있다.
또한 유명한 논문들은 대부분 인용되어서 paper에 추가됨. 대표적인 예시) BERT paper에서 GPT와의 비교를 수행. 모두 2019년도에 publish됨.
😀 아래의 models에 대한 공부하기 좋은 PyTorch code : https://github.com/paul-hyun/transformer-evolution
LLM 관련 최신 paper list를 찾아보려면 Awesome-LLM을 참조하는 걸 추천한다.
- Word2Vec (ICLR 2013) : Paper Link
- Seq2Seq (NIPS 2014) : Paper Link / Seq2Seq.pdf / colab
- bahdanau Attetion (ICLR 2015) : Paper Link
- Transformer (NIPS 2017) : Paper Link
- GPT (2018) : Paper Link
- BERT (NACCL 2019) : Paper Link
- GPT-2 (2019) : Paper Link
- RoBERTa (ICLR 2019) : Paper Link
- GPT-3 (NIPS 2020) : Paper Link
- BART (ACL 2020) : Paper Link
- huggingface bart : https://huggingface.co/transformers/v2.11.0/model_doc/bart.html
✔ Summary
| Base model | Pretraining Tasks | |
|---|---|---|
| ELMo | two-layer biLSTM | next token prediction |
| GPT | Transformer decoder | next token prediction |
| BERT | Transformer encoder | mask language model + next sentence prediction |
| ALBERT | same as BERT but light-weighted | mask language model + sentence order prediction |
| GPT-2 | Transformer decoder | next token prediction |
| RoBERTa | same as BERT | mask language model (dynamic masking) |
| T5 | Transformer encoder + decoder | pre-trained on a multi-task mixture of unsupervised and supervised tasks and for which each task is converted into a text-to-text format. |
| GPT-3 | Transformer decoder | next token prediction |
| BART | BERT encoder + GPT decoder | reconstruct text from a noised version |
| ELECTRA | same as BERT | replace token detection |
| LoRA | 최근 학습 시 필수적으로 사용하는 기법 | |
| CoT | CoT 개념 잡기에 좋음 | |
| FLAN | Instruction-finetuning 처음으로 제시함. |
📬 투고
-
Workshop
- 대규모 학회는 시작할 때 앞뒤로 하루 규모의 workshop를 진행한다. 목적은 본 학회 참석자들이 specific한 키워드를 중심으로 모여서 진행하는 작은 학회같은 느낌. 보통 본 학회 내기 애매하거나 Working in Process를 공유하고 피드백 받는 자리이기도 하다.
- Call for workshop을 열어 committee가 pass/non pass 여부를 주고 다시 그 workshop에서 받을 논문에 대한 공고를 낸다.
-
Tutorial
- 새로운 논문을 제안하기보다는 급 부상한 새로운 주제에 대한 개론적인 강의를 하는 하루 규모의 세션 (e.g. ACL 2020 open-domain QA tutorial)
- 새로운 논문을 제안하기보다는 급 부상한 새로운 주제에 대한 개론적인 강의를 하는 하루 규모의 세션 (e.g. ACL 2020 open-domain QA tutorial)
-
Main Conference
- 가장 중요한 메인 컨퍼런스이다. Accepted Papers의 저자들이 Oral 또는 Poster Session으로 Methods를 발표한다.
- ACL 계열 학회들 (ACL, EMNLP, NAACL, EACL, COLING)은 long/short paper로 나눠서 투고한다. 학회마다 기대하는 long/short paper에 대한 스펙이 있기 때문에, call for paper를 참고하는 걸 추천한다. 통상적으로 short paper는 long paper에 비해 상당히 짧고 contribution이 더 작다고 판단된다.
- NAACL call for papers 2022
- Long paper : (8 pages) substantial, original, completed and unpublished work
- Short paper : (4 pages) original and unpublished work
📝 Study
나동빈
Deep Learning
기타 지식
NLP basic
- oh! suz's NLP Cookbook
- Jeonsworld's NLP 관련 논문 리뷰 포스팅
- 월간 자연어처리 - Facebook
- 딥 러닝을 이용한 자연어 처리 입문(Tensoflow/Keras 사용)
- Generalized Language Models
기타 Tools
- 다이어그램 툴 Excalidraw
agent
llms
ml
nlp
Contributors
jeewoo1025
163 commits
Similar repos
Languages
Jupyter Notebook
99.4%
README
📚 aiEducation
ML/DL, NLP 관련 공부 기록
- 기간 : 2021 ~ Present
- 석사 1년차에서의 회고록
- NLP 관련 논문리뷰 및 기본개념 설명
- 논문 초안 작성부터 결과 발표까지의 Process
- LLMs vs Agents 비교
📢 Note
2025-08-07: RL 업로드2025-06-15: Code 폴더 업로드2025-03-29: All_about_Agent/Agent.md 업로드
최근 AI Trends Follow Up Tips
최근 LLMs 동향이 빠르게 바뀌고 있어 아래 리스트를 매일 참조하는 걸 추천한다. 가장 추천하는 건 LinkedIn 가입 후 관련 포스트들을 Follow Up 하는 것이다. 국내외 연구자들의 의견들을 공유받을 수 있어 AI 연구자라면 필수! 최근 가장 흥미롭게 읽었던 글은 조경현 교수님 - i sensed anxiety and frustration at NeurIPS'24인데 석사 졸업 후 회사에서 최근 느꼈던 실제 산업과 학계에서의 gap에 대하여 잘 정리된 글이라고 생각되었다.
🔎 논문 찾는 Tips
-
paperswithcode에서 tasks 위주로 SOTA 논문을 보여줌
✔ Most implemented paper를 참고하면 어떤 논문이 가장 많이 인용되었는지 확인가능함 -
github에서 task 검색
이때awesome [특정 task]로 검색하면 curated list 게시물을 쉽게 찾을 수 있다.
얼마나 중요한 논문인지는 Star 갯수나 fork 수로 판별가능함
-
ACL, EMNLP, NAACL 등 ACL 계열 학회 같이 h5-index가 높은 학회들(Conference)에서 발표한 논문들로 최신 트렌드를 알 수 있다.
- Deepseek, Qwen 등 기업들의 technical report를 읽는 것도 추천한다. 상세히 공개는 안되어있더라도 실제 유용한 tip들이 많이 적혀진 걸 확인할 수 있다 (오히려 conference paper보다 더 빠른 trend를 파악할 수도(?))
🍃 논문 작성법
Overleaf
Latex는 Conference, Journal 등 논문을 작성할 수 있도록 도와주는 문서 작성 시스템이다. 대다수의 논문들이 Latext를 이용해 작성되고, 공유되어 관리되어 있다.
이러한 Latex 프로그램을 사용해 논문 프로젝트를 편하게 관리하고 공유할 수 있도록 해주는 대표적인 서비스로 Overleaf가 있다.
Overleaf > Template에서 검색을 통해 제출할 학회의 논문 Template를 다운받아 작성하면 된다.
▶ LaTex 기호 정리 : https://jjycjnmath.tistory.com/117
Activation Steering
Repository
Paper
- ActAdd: Steering language models with activation engineering (2023-08 arXiv)
- Inference-Time Intervention (ITI): Inference-Time Intervention: Eliciting Truthful Answers from a Language Model. (NIPS 2023 Spotlight)
- Contrastive Activation Addition: Steering Llama 2 via Contrastive Activation Addition (ACL 2024)
- HyperSteer: Activation Steering at Scale with Hypernetworks (2025-06 arXiv)
- Steerable Chatbots: Personalizing LLMs with Preference-Based Activation Steering (2025-05 arXiv)
- BILLY: Steerings LLMs via Merging Persona Vectors for Creative Generation (2025-10 arXiv)
- AI Safety
- Refusal in language models is mediated by a single direction (2024-06 arXiv)
- Programming Refusal with Conditional Activation Steering (ICLR 2025 Spotlight)
- Personality Steering
- Identifying and Manipulating Personality Traits in LLMs Through Activation Engineering (2024-12 arXiv)
- Activation-Space Personality Steering: Hybrid Layer Selection for Stable Trait Control in LLMs (2025-10 arXiv)
- Reasoning
- Improving Reasoning in LLMs via Representation Engineering (2025-04 arXiv)
- Steering LLMs' Reasoning with activation state machines (2025-09 OpenReview)
🎮🕹️👾 Reinforcement Learning (RL)
- 류경석 교수님 RL자료: https://ernestryu.com/courses/RL-LLM.html
- OpenAI Deep RL: https://spinningup.openai.com/en/latest/
- RL baselines: https://stable-baselines.readthedocs.io/en/master/
- David Silver: https://davidstarsilver.wordpress.com/teaching/
- Unsloth > RL Guide: https://docs.unsloth.ai/basics/reinforcement-learning-rl-guide
- mlabonne/llm-cource > 5. Preference Alignment (⭐Star 59.6k)
- Transformer Reinforcement Learning X (⭐Star 4.7k)
- Post-training of LLMs (Instructor: Banghua Zhu)
RL
- GAE Berkely 논문 (2016, ICLR): High-Dimensional Continuous Control Using Generalized Advantage Estimation
RL + LLM
- RLHF OpenAI 논문 (2022, NIPS): Training language models to follow instructions with human feedback
- DPO Stanford 논문 (2023, NIPS): Direct Preference Optimization: Your Language Model is Secretly a Reward Model
- DPO vs PPO 비교분석 논문 (2024, ICML): Is DPO Superior to PPO for LLM Alignment? A Comprehensive Study
- GRPO DeepSeek 논문 (2024): DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models
Post Training Libraries
🤖 LLMs
Deepseek R1
2025-01-22Deepseek-R1: https://github.com/deepseek-ai/DeepSeek-R1- Building DeepSeek R1 from Scratch
- DeepSeek-R1에 관한 비주얼 가이드
Llama-Factory
- Paper: LlamaFactory: Unified Efficient Fine-Tuning of 100+ Language Models (ACL 2024)
- Gtihub: https://github.com/hiyouga/LLaMA-Factory
How to use in Korean: 아이언맨 페르소나 Fine tuning 해보기
Agents
- LLM Agents에 관한 비주얼 가이드
Multi-Agent에서 가장 영향력 있는 논문Generative Agents: Interactive Simulacra of Human Behavior (2023, 1903회 인용)- 챗GPT와 LangChain을 활용한 LLM 기반 AI 서비스 앱 개발
- Awesome Langchain
OpenAI
vLLM
Prompt Engineering
🦜 Reasoning
⭐ Traditional NLP 필수 논문 (년도 순)
논문 년도 순서별로 읽는 걸 추천한다. 왜냐하면, 이전 년도의 나온 논문들을 이해해야 현재 논문을 이해할 수 있기 때문!
예를들어, MASS paper를 알아야 BART paper를 정확히 이해할 수 있다.
또한 유명한 논문들은 대부분 인용되어서 paper에 추가됨. 대표적인 예시) BERT paper에서 GPT와의 비교를 수행. 모두 2019년도에 publish됨.
😀 아래의 models에 대한 공부하기 좋은 PyTorch code : https://github.com/paul-hyun/transformer-evolution
LLM 관련 최신 paper list를 찾아보려면 Awesome-LLM을 참조하는 걸 추천한다.
- Word2Vec (ICLR 2013) : Paper Link
- Seq2Seq (NIPS 2014) : Paper Link / Seq2Seq.pdf / colab
- bahdanau Attetion (ICLR 2015) : Paper Link
- Transformer (NIPS 2017) : Paper Link
- GPT (2018) : Paper Link
- BERT (NACCL 2019) : Paper Link
- GPT-2 (2019) : Paper Link
- RoBERTa (ICLR 2019) : Paper Link
- GPT-3 (NIPS 2020) : Paper Link
- BART (ACL 2020) : Paper Link
- huggingface bart : https://huggingface.co/transformers/v2.11.0/model_doc/bart.html
✔ Summary
| Base model | Pretraining Tasks | |
|---|---|---|
| ELMo | two-layer biLSTM | next token prediction |
| GPT | Transformer decoder | next token prediction |
| BERT | Transformer encoder | mask language model + next sentence prediction |
| ALBERT | same as BERT but light-weighted | mask language model + sentence order prediction |
| GPT-2 | Transformer decoder | next token prediction |
| RoBERTa | same as BERT | mask language model (dynamic masking) |
| T5 | Transformer encoder + decoder | pre-trained on a multi-task mixture of unsupervised and supervised tasks and for which each task is converted into a text-to-text format. |
| GPT-3 | Transformer decoder | next token prediction |
| BART | BERT encoder + GPT decoder | reconstruct text from a noised version |
| ELECTRA | same as BERT | replace token detection |
| LoRA | 최근 학습 시 필수적으로 사용하는 기법 | |
| CoT | CoT 개념 잡기에 좋음 | |
| FLAN | Instruction-finetuning 처음으로 제시함. |
📬 투고
-
Workshop
- 대규모 학회는 시작할 때 앞뒤로 하루 규모의 workshop를 진행한다. 목적은 본 학회 참석자들이 specific한 키워드를 중심으로 모여서 진행하는 작은 학회같은 느낌. 보통 본 학회 내기 애매하거나 Working in Process를 공유하고 피드백 받는 자리이기도 하다.
- Call for workshop을 열어 committee가 pass/non pass 여부를 주고 다시 그 workshop에서 받을 논문에 대한 공고를 낸다.
-
Tutorial
- 새로운 논문을 제안하기보다는 급 부상한 새로운 주제에 대한 개론적인 강의를 하는 하루 규모의 세션 (e.g. ACL 2020 open-domain QA tutorial)
- 새로운 논문을 제안하기보다는 급 부상한 새로운 주제에 대한 개론적인 강의를 하는 하루 규모의 세션 (e.g. ACL 2020 open-domain QA tutorial)
-
Main Conference
- 가장 중요한 메인 컨퍼런스이다. Accepted Papers의 저자들이 Oral 또는 Poster Session으로 Methods를 발표한다.
- ACL 계열 학회들 (ACL, EMNLP, NAACL, EACL, COLING)은 long/short paper로 나눠서 투고한다. 학회마다 기대하는 long/short paper에 대한 스펙이 있기 때문에, call for paper를 참고하는 걸 추천한다. 통상적으로 short paper는 long paper에 비해 상당히 짧고 contribution이 더 작다고 판단된다.
- NAACL call for papers 2022
- Long paper : (8 pages) substantial, original, completed and unpublished work
- Short paper : (4 pages) original and unpublished work
📝 Study
나동빈
Deep Learning
기타 지식
NLP basic
- oh! suz's NLP Cookbook
- Jeonsworld's NLP 관련 논문 리뷰 포스팅
- 월간 자연어처리 - Facebook
- 딥 러닝을 이용한 자연어 처리 입문(Tensoflow/Keras 사용)
- Generalized Language Models
기타 Tools
- 다이어그램 툴 Excalidraw
agent
llms
ml
nlp
Similar repos
Contributors
jeewoo1025
163 commits
Languages
Jupyter Notebook
99.4%