Unveiling Context Control Mechanism in Large Language Models by Layer-wise Evaluation

석사 학위 논문 관련 연구입니다.

결론

• Dialogue Context 앞에 감정을 제어하는 prompt를 추가해서, zero-shot으로 감정 controll generation을 하는 상황
• 결과1: Layer 관점에서 현상을 관찰한 결과, 감정을 제어하는 Prompt를 입력으로 주어 Zero-shot learning을 수행하는 메커니즘이 언어 모델 전체를 Fine-tuning한 것과 비슷한 양상을 보인다.
• 결과2: Dialogue Context에 감정 정보를 빠르게(더 앞선 레이어에서) 인코딩 할 수록, 레이어 관점에서 감정을 빨리(더 앞선 레이어에서) 구분할 수록, 감정 제어를 잘한다!

Introduction

• LLM Zero shot 잘 함
• Controlled Dialogue Generation(CDG)
  • Dialogue Context가 모델에 입력되었을 때, 다음 발화를 생성하는 task 수행 중, 사용자가 정의한 속성을 가진 발화를 생성하게 하는 task
  • 모델 별로 속성 제어 성능이 차이가 남
  • 레이어 관점에서 왜 이런 차이가 생기는지, 속성을 어디에 Encoding하는지 보는 연구

Emotion Controlled Dialogue Generation

• 감정을 제어하는 Dialogue Generation

  • 감정을 제어하기 위해 모델별로 정해진 Prompt Template을 사용함(Emotion description)

    • Prompt Template은 모델이 학습된 방법에 따라 다르게 정의됨

  • 감정 제어을 했을 때(b)와 안 했을 때(a)의 결과를 비교

  • 

  • 

Effects of Emotion Control Instruction on Dialogue Contexts

• 위의 결과를 해석하는 Section
  • 밑의 실험 3개를 통해서 결론을 도출함.

1. Cosine Similarity of Hidden states of Dialogue Context with and without Emotion Control

• 

2. 2D Visualization through PCA

• 

3. Probing with Logistic Regression Classifier

• 

최종 결과 표

• 

코드 설명

• get_model.py
  • huggingface pre_trained 모델 불러 오는 코드(모델 양자화 포함)
• get_generated_sentences.ipynb
  • 모델 별로 주어진 dialogue context를 가공하여 prompt template을 만들고 발화 생성
  • 생성된 발화의 감정 정확도를 Bert Classifier로 평가
• get_hidden_states_code.ipynb
  • 모델 별로 dialogue context의 (layer별)hidden states를 뽑아내는 코드
• Paper_results.ipynb, Paper_figures.ipynb
  • 감정 제어를 했을 때와 안 했을 때의 hidden states의 cosine 유사도 그래프
  • hidden state를 PCA로 차원 축소 후 시각화
  • hidden state layer별 probing
    • Logistic Regression 정확도 그래프
  • Cosine 유사도의 Plateau 지점과 속성 정확도의 관계 그래프
  • Logistic Regression 수렴 지점과 속성 정확도의 관계 그래프