2025-10-25
1일 1아티클
AI Sparkup
Verbalized Sampling
배경
- AI에게 같은 질문 반복 시, 매번 비슷한 답변 생성 →
Mode collapse현상 - 전통적 프롬프트는 AI에게 가장 가능성 높은 하나의 답변 강요
- 원인 : 전형성 편향(typicality bias) → 사람들이 익숙한 답변 선호하도록 학습되어 창의성 억제
Verbalized Sampling
- AI 모델이 내부적으로 확률 분포 계산 → 명시적으로 표현(verbalize)하게 만들기
- 즉, 확률값을 말로 드러내며 샘플링
- 효과는 모델의 크기에 비례 : 대형 모델에서 효과가 1.5 ~ 2배 강력
확률값과 함께 5개 응답 생성→ 창의성 1.6 ~ 2.1배 증가
예시
- 기존 :
커피에 대한 농담을 만들어줘 - VS :
커피에 대한 농담을 5개 만들고, 각각의 확률값도 함께 알려줘
실전 프롬프트
<instructions>
사용자 질문에 대한 응답을 5개 생성하세요.
각 응답은 별도의 <response> 태그 안에 작성하고,
<text>와 숫자로 된 <probability>를 포함해야 합니다.
각 응답의 확률은 0.10 미만이 되도록
분포의 꼬리 부분에서 무작위로 샘플링하세요.
</instructions>
[여기에 실제 질문 입력]
패키지
verbalized-sampling으로 python package 배포 중- LangChaing과 통합, 응답 개수/임계값/온도 등 매개변수 조정 인터페이스 제공
오늘 배운 것
- AI 관통 프로젝트
- 파인튜닝(con.)