diff --git a/_posts/2026-11-17-optimizing-instructions-and-demonstrations-for-multi-stage-language-model.md b/_posts/2026-11-17-optimizing-instructions-and-demonstrations-for-multi-stage-language-model.md new file mode 100644 index 0000000..d1839d7 --- /dev/null +++ b/_posts/2026-11-17-optimizing-instructions-and-demonstrations-for-multi-stage-language-model.md @@ -0,0 +1,617 @@ +--- +layout: post +title: "Optimizing Instructions and Demonstrations for Multi-Stage Language Model Programs" +seo_title: "Optimizing Instructions and Demonstrations for Multi-Stage Language" +subtitle: "다단계 LM 프로그램의 지시문과 시연 예시 최적화" +date: 2024-06-17 16:12:03 +paper_author: "Stanford University" +paper_doi: "10.48550/arXiv.2406.11695" +description: "MIPRO는 다단계 LM 프로그램에서 모듈별 지시문과 시연 예시를 중간 레이블 없이 함께 최적화하는 DSPy 옵티마이저이며, Llama-3-8B를 쓴 일곱 과제 중 다섯에서 기준 옵티마이저를 앞섰습니다. 제안 전략, 크레딧 할당 방식, 실험 결과를 정리합니다." +categories: ["Paper Reviews", "Finetuning"] +tags: ["MIPRO-Optimizer", "Multi-Stage-LM-Programs", "Prompt-Optimization", "Bayesian-Surrogate-Model", "Instruction-Proposal", "Agentic-AI"] +cover: /assets/images/finetuning.jpg +use_math: true +--- +## TL;DR + +### 이 연구를 시작하게 된 배경과 동기는 무엇입니까? +LM 프로그램은 여러 LM 호출을 엮은 파이프라인이고, 지금은 대부분 사람이 프롬프트를 고쳐 가며 만듭니다. APE나 OPRO 같은 기존 프롬프트 옵티마이저는 최적화하는 호출의 출력을 바로 채점할 수 있어야 동작합니다. 다단계 프로그램에서는 점수가 파이프라인 끝에서 하나만 나오고 중간 모듈에는 레이블이 없습니다. DSPy도 시연 예시는 최적화했지만 여러 모듈의 지시문은 다루지 못했습니다. + +### 이 연구에서 제시하는 새로운 해결 방법은 무엇입니까? +저자들은 문제를 두 난제로 나눕니다. 소수의 좋은 후보를 만드는 제안 문제와, 과제 점수 하나를 모듈별 선택에 나눠 주는 크레딧 할당 문제입니다. +- 제안: 지표를 통과한 실행 트레이스로 시연 예시를 부트스트랩하고, 데이터셋 요약·프로그램 요약·팁으로 제안 LM을 그라운딩합니다. +- 크레딧 할당: MIPRO는 모듈별 지시문 번호와 시연 예시 집합 번호를 범주형 잠재 변수로 두고, 다변량 TPE 대리 모델이 좋은 조합을 학습합니다. +- 메타 최적화: MIPRO++는 같은 대리 모델로 제안 방식 자체(요약 사용 여부, 온도, 팁 등)를 학습합니다. + +### 제안된 방법은 어떻게 구현되었습니까? +MIPRO는 시연 예시 집합과 지시문 후보를 미리 만든 뒤, Optuna의 TPE로 조합을 고르고 미니배치 점수로 대리 모델을 갱신합니다. 일정 스텝마다 평균 점수 1위 조합을 전체 학습 집합에서 다시 평가하고, 그중 최고를 반환해 미니배치 노이즈를 보정합니다. 과제 LM은 Llama-3-8B, 제안 LM은 GPT-3.5이며, 예산은 과제에 따라 전체 평가 20~50회입니다. + +### 이 연구의 결과가 가지는 의미는 무엇입니까? +- Llama-3-8B를 쓴 일곱 과제 중 다섯에서 MIPRO가 가장 좋았고, 정확도 향상은 최대 13%였습니다. +- 시연 예시 최적화가 대체로 성능을 좌우합니다. Iris 테스트에서 Bootstrap Random Search는 94.1로, 최적화하지 않은 기준선 40.9를 크게 앞섰습니다. +- 예시로 전달하기 어려운 조건부 규칙이 있으면 지시문 최적화가 중요합니다. HotPotQA Conditional에서는 0-Shot MIPRO(14.6)가 Bootstrap Random Search(10.4)를 넘었고, MIPRO가 23.3으로 가장 높았습니다. 작은 오픈소스 모델로 다단계 파이프라인을 운영하면서 레이블이 최종 출력에만 있는 개발자에게 가장 쓸모가 큽니다. + +- - - + +## 다단계 LM 프로그램과 프롬프트 최적화가 비어 있던 자리 + +### LM 프로그램과 수작업 프롬프트 엔지니어링 + +복잡한 과제를 언어 모델로 풀 때는 LM을 한 번만 호출하는 일이 드뭅니다. 질문에서 검색 쿼리를 만들고, 검색 결과를 맥락에 붙이고, 다시 쿼리를 만든 뒤 마지막으로 답을 생성하는 식으로 여러 LM 호출을 엮습니다. 이렇게 모듈식 LM 호출을 엮은 파이프라인을 LM 프로그램이라고 부르며, 멀티홉 검색이 대표적인 예입니다. 각 모듈은 흔히 체인 오브 소트 프롬프팅을 씁니다. 최종 답 앞에 중간 추론을 먼저 쓰게 하는 방식입니다([Wei et al.](https://arxiv.org/pdf/2201.11903)). + +오늘날 LM 프로그램은 대부분 사람이 프롬프트 엔지니어링으로 만듭니다. 특정 LM이 특정 파이프라인의 각 단계를 제대로 수행할 때까지 시행착오를 거치며 프롬프트를 고칩니다. + +![최적화 전후의 멀티홉 검색 LM 프로그램 비교 도식](/assets/images/optimizing-instructions-and-demonstrations-for-multi-stage-language-model-1.png) + +도식에서 옵티마이저가 받는 입력은 질문-답 쌍으로 된 학습 집합과, 예측 답이 정답 문자열과 같은지를 보는 정확 일치 지표뿐입니다. 위아래 프로그램은 구조가 같고 쿼리 생성 단계와 답 생성 단계의 지시문만 바뀌었다는 점에 주목하십시오. 그림에는 없지만 옵티마이저는 각 단계의 시연 예시도 부트스트랩합니다. + +### 기존 프롬프트 옵티마이저가 다단계에서 막히는 이유 + +수작업 대신 알고리즘으로 프롬프트를 찾는 프롬프트 옵티마이저도 이미 있습니다. 이들은 문자열 공간을 탐색해 성능이 높은 프롬프트를 찾습니다. + +- **APE**([Zhou et al.](https://arxiv.org/pdf/2211.01910)): 제안용 LM에 입력-출력 예시를 보여 주고 "이런 출력을 낳았을 지시문"을 역으로 추론해 후보를 여럿 만듭니다. 그런 다음 각 후보를 붙인 과제 LM을 레이블 데이터에서 채점해 최고점 지시문을 고릅니다. +- **OPRO**([Yang et al.](https://arxiv.org/pdf/2309.03409)): LM 자체를 블랙박스 옵티마이저로 씁니다. 지금까지 시도한 지시문과 점수를 점수 순으로 메타 프롬프트에 넣으면 LM이 이 궤적을 보고 더 나은 지시문을 제안하고, 새 후보를 채점해 궤적에 추가하는 과정을 반복합니다. +- **EvoPrompt**: 진화 알고리즘 기반으로 프롬프트를 탐색합니다. + +이 방법들은 최적화 대상인 LM 호출의 출력을 곧바로 정답과 비교해 점수를 매길 수 있다고 전제합니다. 단일 호출 과제에서는 자연스러운 가정이지만, 다단계 프로그램에서는 개별 LM 호출에 정답 레이블이나 평가 지표가 없습니다. 멀티홉 예시의 데이터셋에는 질문과 최종 답만 있고 "첫 번째 검색 쿼리의 정답"은 어디에도 없습니다. 좋은 쿼리란 뒤 단계가 정답을 내도록 돕는 쿼리여서, 그 품질은 파이프라인 전체를 돌려 최종 지표를 봐야만 간접적으로 드러납니다. 그래서 중간 모듈 하나만 떼어 내 APE나 OPRO를 직접 적용하기 어렵습니다. + +> **핵심:** 다단계 프로그램에서 막히는 지점은 탐색 알고리즘 자체가 아닙니다. 탐색이 기댈 모듈 단위 평가 신호가 아예 없어서 문제입니다. 점수는 파이프라인 끝에서 하나만 나옵니다. + +### DSPy가 이미 해결한 것과 남긴 것 + +DSPy 프로그래밍 모델은 이 문제를 프로그래밍 추상화로 정리했습니다. 각 LM 호출은 `context, question -> search_query`처럼 입력과 출력 필드를 적은 **시그니처**로 선언하고, 체인 오브 소트 같은 프롬프팅 전략을 구현한 **모듈**이 이를 실행합니다. 개발자는 모듈을 일반 파이썬 코드로 조합해 프로그램을 짜고, 옵티마이저가 프로그램을 **컴파일**하면서 각 LM 호출의 지시문, 시연 예시(입력/출력 예), LM 가중치를 임의 지표에 맞춰 최적화할 파라미터로 다룹니다. + +기존 DSPy 옵티마이저는 다단계 파이프라인을 실행해 시연 예시를 만들고, 이를 프롬프트나 가중치, 또는 둘 다를 최적화하는 데 썼습니다. 그러나 다중 프롬프트 파이프라인의 **지시문**은 조정하지 못했고, 이 논문은 바로 이 공백을 겨냥합니다. + +### 약한 가정 아래의 두 난제 + +이 연구는 DSPy 추상화와 맞물리는 약한 가정만 둡니다. LM 가중치, 로그 확률, LM 호출 체인의 중간 단계에 대한 수작업 지표나 레이블에는 접근하지 않습니다. 필요한 것은 LM 프로그램, 최적화할 지표, 입력(지표에 따라 최종 출력 포함)으로 된 학습 집합뿐입니다. 이 설정에서 저자들은 두 가지 핵심 난제를 꼽습니다. + +**제안 문제.** 가능한 프롬프트 공간은 감당할 수 없을 만큼 크고, 모듈이 늘수록 조합이 곱으로 불어납니다. 모듈마다 지시문 후보 10개만 있어도 모듈 3개면 조합이 1,000개입니다(예시용 수치). 평가 한 번이 파이프라인 전체 실행이라 비용이 크므로, 처음부터 소수의 고품질 지시문을 제안하는 능력이 중요해집니다. + +**크레딧 할당 문제.** 모든 모듈의 프롬프트를 이루는 여러 변수를 함께 최적화하는데, 관측되는 것은 과제 수준 점수 하나뿐입니다. 쿼리 지시문과 답 지시문을 동시에 바꿨더니 점수가 올랐다면 어느 쪽 덕분인지 알 수 없습니다. 탐색 노력을 어디에 쏟을지 정하려면 각 변수 설정이 성능에 미친 영향을 추론해야 합니다. + +### 기여와 관련 연구 대비 위치 + +저자들의 기여는 셋입니다. 첫째, LM 프로그램 최적화 문제를 형식화하고 제안 문제에 대한 전략 세 가지와 크레딧 할당에 대한 전략 세 가지로 알고리즘 설계 공간을 제시합니다. 둘째, 일곱 과제로 된 LM 프로그램 옵티마이저 벤치마크를 공개합니다. 셋째, 이 설계 공간에서 여러 옵티마이저를 구성해 평가합니다. 대표 결과인 MIPRO(Multi-prompt Instruction PRoposal Optimizer)는 동급 최고 수준의 오픈소스 모델인 Llama-3-8B를 사용한 실험에서 일곱 과제 중 다섯 과제에서 기준 옵티마이저를 앞섰고, 정확도는 최대 13% 향상되었습니다. + +문자열 프롬프트 최적화 연구에는 그래디언트 유도 탐색, 재순위화 기반 전수 탐색, 진화 알고리즘, 다른 LM에 프롬프팅하는 방식, 강화학습이 있습니다. 강화학습 계열은 몇 단어 수준이나 구 수준의 편집, 또는 텍스트-이미지 생성에 집중했습니다. 다단계에 가장 가까운 시도는 쌓아 올린 LLM 호출의 프롬프트 공동 최적화를 변분 추론으로 모델링하고 단순한 두 층 구조에서 실험한 연구입니다. 이 접근은 LM에 넘긴 토큰의 로그 확률에 접근할 수 있어야 성립하는데, 텍스트 입력·텍스트 출력만 허용하는 상용 LM API가 늘면서 이 가정은 실제로 점점 제약이 커지고 있습니다. 반면 이 논문의 옵티마이저는 모듈 수가 몇 개든 어떤 LM 프로그램에도 바로 적용됩니다. + +## 변수 할당 탐색으로 본 LM 프로그램 최적화와 네 단계 공통 루프 + +### 프롬프트 템플릿, 변수, 전체 할당 + +LM 프로그램 $$\Phi$$가 모듈 $$m$$개로 이루어져 있고, 모듈마다 어떤 LM을 쓴다고 하겠습니다. 모듈 $$i$$는 프롬프트 템플릿 $$p_i$$로 정의되고, 이 템플릿에는 빈 슬롯인 변수 $$\mathbf{v}$$가 들어 있습니다. 퓨 샷 QA용 템플릿이라면 지시문 자리, 시연 예시 자리, 대상 질문 자리가 각각 변수입니다. + +프로그램 전체의 템플릿이 쓰는 변수를 모두 모은 집합을 $$\mathbf{V}$$라 하고, 이 변수 각각에 문자열을 하나씩 채워 넣는 전체 할당을 $$\mathbf{V}\mapsto S$$로 씁니다. 할당이 정해지면 모든 빈칸이 채워지므로 실행 가능한 프로그램 $$\Phi_{\mathbf{V}\mapsto S}$$ 하나가 확정됩니다. 이렇게 보면 프롬프트 최적화는 "좋은 문장을 쓰는 일"이 아니라 "어느 할당을 고를지"를 찾는 탐색 문제가 되고, 모든 옵티마이저가 이 할당 공간 위에서 움직입니다. + +### 목적 함수와 잠재 변수 관점 + +학습 집합 $$\mathcal{D}$$는 입력 $$x$$와 선택적 메타데이터 $$x'$$(예: 레이블)의 쌍으로 이루어집니다. 지표 $$\mu$$는 프로그램 출력 $$\Phi_{\mathbf{V}\mapsto S}(x)$$와 $$x'$$를 받아 점수를 냅니다. 목표는 학습 집합에서 평균 점수가 가장 높은 할당을 찾는 것입니다. + +$$ +\Phi^{*}=\arg\max_{\mathbf{V}\mapsto S}\,\frac{1}{\lvert\mathcal{D}\rvert}\sum_{(x,x')\in\mathcal{D}}\mu(\Phi_{\mathbf{V}\mapsto S}(x),x') +$$ + +식 자체는 평균을 최대화하는 단순한 형태입니다. 까다로운 부분은 $$\mu$$가 과제 전체 출력에만 점수를 매겨서 생깁니다. 첫 모듈의 지시문 변수가 무엇이어야 하는지 직접 알려 주는 신호는 어디에도 없고, 그 값의 좋고 나쁨은 최종 점수를 거쳐서만 드러납니다. 그래서 $$\mathbf{V}$$의 모든 변수가 잠재 변수입니다. 앞서 말한 크레딧 할당 문제가 수식에서는 이렇게 나타납니다. + +저자들은 이 문제가 다루기 어려운 이유로 다섯 가지를 듭니다. + +1. 각 문자열 $$s\in S$$는 어떤 값이든 될 수 있습니다. +2. 앞서 본 대로 감독이 과제 수준뿐이라 모든 변수가 잠재 변수입니다. +3. LM의 그래디언트나 임베딩에 접근하지 않으므로 많은 강화학습 기법과 프롬프트 튜닝 기법을 쓸 수 없습니다. +4. 시스템 설계자가 가진 데이터셋 $$\mathcal{D}$$는 대개 작습니다. +5. $$\Phi$$를 평가하는 데 쓸 LM 호출 예산도 작습니다. + +세 번째 이유 때문에 이 문제는 블랙박스 최적화가 됩니다. 블랙박스 최적화는 목적 함수의 내부나 기울기를 보지 않고, 입력을 넣어 나온 값만 보고 최적점을 찾는 방식입니다. 하이퍼파라미터 탐색에서 설정 하나를 골라 학습을 돌리고 검증 점수만 보는 과정과 같은 틀입니다. 여기서는 할당 하나를 정해 프로그램을 실행하고 지표 값을 받는 일이 함수 평가 한 번이며, 평가 한 번에 LM 호출이 여러 번 들어 비용이 큽니다. + +실제로는 변수 일부만 최적화하는 경우가 많습니다. 이 연구는 각 프롬프트 $$p$$에 자유형 지시문 변수 1개와 시연 예시 변수 $$K$$개 $$\{d_{i1},\ldots,d_{ik}\}$$를 두고, 대상 질문 같은 나머지 변수는 상수로 고정합니다. + +### 모든 옵티마이저가 공유하는 루프 + +정확한 해를 구할 수 없으므로 저자들은 근사 해를 찾는 일반 틀을 정의합니다. 이 틀은 OPRO와 APE를 LM 프로그램으로 일반화한 것입니다. 입력은 옵티마이저 $$M$$, 최적화 전 프로그램 $$\Phi$$, 지표 $$\mu$$, 최대 반복 횟수 $$I$$, 학습 데이터 $$\mathcal{D}$$, 미니배치 크기 $$B$$, 제안 하이퍼파라미터 $$\theta$$입니다. 옵티마이저에는 제안을 좌우하는 내부 상태가 있고, 네 메서드로 이 상태를 다룹니다. + +1. **Initialize**: 시작할 때 $$M$$.Initialize($$\mathcal{D}$$, $$\theta$$)로 데이터를 이용해 옵티마이저를 초기화합니다. +2. **Propose**: 반복 $$k=1,\ldots,I$$마다 새 할당 $$\mathbf{V}\mapsto S_k$$를 제안합니다. +3. **검증**: $$\mathcal{D}$$에서 크기 $$B$$의 배치 $$\mathcal{D}_k$$를 샘플링하고, 제안된 할당으로 프로그램을 실행해 평균 점수를 계산합니다. + + $$ + \sigma=\frac{1}{B}\sum_{(x,x')\in\mathcal{D}_k}\mu(\Phi_{\mathbf{V}\mapsto S_k}(x),x') + $$ + +4. **Update**: $$M$$.Update($$\mathbf{V}\mapsto S_k$$, $$\sigma$$)로 관찰한 점수를 내부 상태에 반영합니다. + +반복이 끝나면 **ExtractOptimizedSets**로 최종 할당을 꺼내 $$\Phi_{\mathbf{V}\mapsto S}$$를 반환합니다. 검증 단계의 $$\sigma$$는 목적 함수의 평균을 전체 $$\mathcal{D}$$ 대신 크기 $$B$$인 배치로 근사합니다. 직관적으로 보면 Propose는 무엇을 시도할지, Update는 관찰한 점수를 어떻게 반영할지를 정하는 자리입니다. + +설계 목표는 효율입니다. 저자들은 이 틀의 인스턴스 가운데 프로그램 $$\Phi$$를 호출하는 횟수, 곧 검증 단계를 최소화하고, 그 결과 제안을 샘플링해야 하는 횟수도 줄이는 것을 찾습니다. + +## 과제에 맞춘 후보 생성: 시연 예시 부트스트래핑, 그라운딩, 제안 학습 + +앞서 본 공통 루프에서 Propose 단계가 내놓는 후보가 엉뚱하면 평가 예산이 낭비됩니다. 그래서 저자들은 과제·프로그램·데이터·지표의 성격에 맞는 후보를 효율적으로 샘플링하는 데 집중합니다. 후보는 과제를 실제로 푸는 과제 LM이 아니라 별도의 LM인 **제안 LM**이 만듭니다. 제안 LM을 쓰는 방식은 세 가지입니다. 과제 수행 방법을 보여 주는 퓨 샷 예시를 부트스트랩하는 방식, 좋은 지시문을 짓는 데 도움이 될 정보를 모아 요약하는 방식, 그리고 제안 LM의 사용법 자체를 메타 최적화하는 방식입니다. + +### 시연 예시 부트스트래핑: 중간 레이블 없이 모듈별 예시 얻기 + +다단계 프로그램에는 중간 모듈의 정답 레이블이 없습니다. 그런데 쿼리 생성 모듈의 시연 예시를 만들려면 "이 질문에는 이런 쿼리가 좋다"는 입력/출력 쌍이 필요합니다. 부트스트래핑은 프로그램을 직접 돌려 보고 최종 결과가 좋았던 실행만 남겨 이 문제를 피합니다. 이는 Khattab et al.(2022, 2024)이 연구한 단순하지만 효과적인 기각 샘플링 전략입니다. 배경으로 덧붙이면, 2022년 연구인 [Demonstrate-Search-Predict](https://arxiv.org/pdf/2212.14024)는 학습 입력에 파이프라인 자체를 실행해 각 중간 모듈의 입출력 형식에 맞는 시연 예시를 얻는 방식을 제시했고, 2024년 연구는 DSPy입니다. + +절차는 다음과 같습니다. 학습 집합에서 입력 $$x$$를 뽑아 $$\Phi(x)$$를 실행하면, 모듈마다 실제로 받은 입력과 낸 출력의 기록이 남습니다. 이 기록을 **실행 트레이스** $$\tau$$라고 부릅니다. 그런 다음 최종 출력을 지표 $$\mu$$로 채점해 다음 조건을 만족하는지 봅니다. + +$$ +\mu(\Phi(x),x')\geq\lambda,\quad (x,x')\in\mathcal{D} +$$ + +여기서 $$\lambda$$는 성공으로 간주할 임계값입니다. 정확 일치처럼 0/1인 지표라면 사실상 "정답을 맞혔는가"를 묻는 조건입니다. 조건을 통과하면 트레이스의 **모든** 값을 각 모듈의 유효한 시연 예시 후보로 삼고, 통과하지 못한 트레이스는 버립니다. 이것이 **기각 샘플링**입니다. 프로그램이 생성한 트레이스 가운데 기준을 통과한 것만 받아들이는 방식이며, 여기서는 그 기준이 최종 지표입니다. + +가상의 예로 두 홉 질문을 실행했다고 하겠습니다. 첫 쿼리가 "어떤 영화의 감독", 둘째 쿼리가 "그 감독의 출생지"였고 최종 답이 정답과 일치했습니다. 그러면 (질문 → 첫 쿼리), (질문+검색 맥락 → 둘째 쿼리), (전체 맥락 → 답) 세 쌍이 각 모듈의 시연 예시 후보 풀에 들어갑니다. 중간 쿼리가 정말 최선이었는지는 알 수 없습니다. 다만 끝까지 정답에 이르는 데 기여한 쿼리임은 확인됐으므로, 이를 그럴듯한 레이블로 씁니다. + +이렇게 후보 풀이 생기면 문제는 "어떤 시연 예시 조합을 쓸까"로 줄어듭니다. 한 모듈 안에서 $$K$$개를 고르는 선택과, 모듈 사이에서 조합을 맞추는 선택이 모두 들어갑니다. Khattab et al.(2024)은 다단계 프로그램에서 이 방식이 수작업 시연 예시보다 나은 경우가 많다고 보고합니다. + +### 그라운딩: 제안 LM에 과제 맥락 쥐여 주기 + +지시문은 시연 예시처럼 실행 기록에서 바로 뽑을 수 없으므로 제안 LM이 새로 써야 합니다. 저자들의 가설은 이렇습니다. 데이터의 성질, 프로그램 구조, 성공적인 수행 예시 같은 관련 맥락을 제안 LM에 주면 과제에 더 잘 맞는 지시문이 나올 것입니다. 이를 **그라운딩**이라 부릅니다. 저자들은 이 맥락을 모으는 제로 샷 LM 프로그램을 만들었고, 맥락 요소는 넷입니다. + +1. 원시 데이터셋 $$\mathcal{D}$$의 패턴을 기술한 **데이터셋 요약** +2. 프로그램 제어 흐름을 요약한 **프로그램 요약** +3. 앞서 설명한 방식으로 얻은 부트스트랩 시연 예시 +4. 이전에 평가한 단계별 프롬프트와 그 학습 집합 점수 + +저자들은 각 요소를 맥락으로 넣는 방안을 검토하며, 데이터셋 요약·프로그램 요약 사용 여부 같은 일부 선택은 제안 학습의 대상이 됩니다. + +#### 지시문 제안 프로그램의 입력 구성 + +새 지시문은 DSPy 시그니처 `GenerateSingleModuleInstruction`이 생성합니다. 시그니처의 지시문은 "아래 정보로 LM 호출로 풀려는 과제를 파악한 뒤, 과제를 더 잘 풀도록 LM을 프롬프팅할 새 지시문을 생성하라"는 내용입니다. 입력 필드는 네 맥락 요소를 그대로 반영합니다. + +| 필드 | 내용 | +| --- | --- | +| `dataset_description` | 사용하는 데이터셋 설명(데이터셋 요약) | +| `program_code` | 과제를 풀도록 설계된 LM 프로그램 코드 | +| `program_description` | 프로그램이 푸는 과제와 푸는 방식 요약(프로그램 요약) | +| `module` | 지시문을 만들 대상 모듈 | +| `task_demos` | 해당 모듈의 입력/출력 예시 | +| `previous_instructions` | 이전에 시도한 지시문과 점수 | +| `basic_instruction` | 기본 지시문 | +| `tip` | 새 지시문 작성 방향에 대한 제안 | +| `proposed_instruction`(출력) | 제안된 새 지시문 | + +데이터셋 설명과 프로그램 설명은 이 시그니처가 아니라 별도 모듈이 미리 생성합니다. + +#### 데이터셋 요약과 프로그램 요약 만들기 + +데이터셋 요약은 두 단계로 만듭니다. 먼저 제안 LM이 학습 집합을 배치 단위로 돌면서, 이전 관찰 목록을 보고 대부분 샘플에 성립하는 경향(주제, 내용, 구문, 간결성 등)에 대한 관찰을 덧붙입니다. 더할 내용이 없으면 'COMPLETE'를 출력하게 하고, 'COMPLETE'가 5번 나오면 순회를 멈춥니다. 그다음 모인 관찰을 가장 중요한 내용만 담은 2~3문장으로 요약하게 합니다. 예를 들어 ScoNe 요약은 부정과 이중 부정이 얽힌 논리 추론 과제임을 짚고, HotPotQA 요약은 다양한 주제의 퀴즈형 질문이라는 특징을 짚습니다. + +프로그램 요약은 DSPy 코드를 그대로 요약기에 넣어 만듭니다. 이때 두 가지를 기술하게 합니다. 하나는 이 프로그램이 풀려는 과제가 무엇인지이고, 다른 하나는 그 과제를 어떻게 푸는 것처럼 보이는지입니다. + +#### 다양성을 위한 팁 + +같은 맥락으로 여러 번 생성하면 비슷한 지시문만 나오기 쉽습니다. 그래서 `tip` 필드에 다음 여섯 가지 중 하나를 넣어 생성 지시문의 성격을 다양하게 만듭니다. + +- `none`: 빈 문자열 +- `creative`: 창의적으로 쓰라는 제안 +- `simple`: 명확하고 간결하게 +- `description`: 정보가 풍부하고 서술적으로 +- `high_stakes`: LM이 반드시 과제를 풀어야 하는 중대한 상황을 포함 +- `persona`: "You are a ..." 형태로 과제에 맞는 페르소나 부여 + +### 제안 학습: 제안 방식 자체를 최적화하기 + +지금까지의 전략에는 저마다 설정값이 붙습니다. 지시문 생성 온도는 얼마로 할지, 데이터셋 요약이나 프로그램 요약으로 그라운딩할지 말지 같은 값입니다. 이 값의 정답이 하나로 정해져 있다면 고정하면 됩니다. 하지만 저자들은 최적 설정이 과제, 프로그램, 제안 LM에 따라 달라질 수 있다고 봅니다. 데이터셋 요약을 예로 들면, 논리 추론 과제에서는 필수일 수 있습니다. 반면 사실형 QA처럼 LM에 매우 친숙한 과제에서는 작은 제안 LM의 주의를 흩뜨릴 수 있습니다. + +**제안 학습**은 이 문제를 최적화 문제 안으로 끌어들입니다. 제안 하이퍼파라미터를 파라미터화하고, 여러 시행에 걸쳐 베이지안 모델을 학습해 주어진 과제·프로그램·LM 구성에 통하는 제안 전략을 찾습니다. 이 방식은 한 단계 위의 문제를 다룹니다. 일반 최적화는 "어떤 지시문이 좋은가"를 찾지만, 제안 학습은 "어떤 방식으로 지시문을 만들어야 좋은 지시문이 나오는가"를 찾습니다. 그래서 메타 최적화라고 부릅니다. + +> **핵심:** 그라운딩 맥락은 무조건 많을수록 좋은 입력이 아닙니다. 과제마다 득이 되기도 하고 해가 되기도 하는 선택지입니다. 그래서 저자들은 어떤 맥락을 줄지를 데이터로 학습할 변수로 다룹니다. + +## 과제 점수 하나로 모듈별 공을 가리는 세 가지 크레딧 할당 + +제안 단계가 모듈마다 지시문 후보와 시연 예시 후보를 여러 개 내놓으면, 이를 조합하는 방법은 모듈 수에 따라 곱으로 늘어납니다. 이 공간을 탐색하려면 특정 선택이 프로그램 성능에 얼마나 기여했는지 알아야 합니다. 그런데 관측되는 것은 파이프라인 끝의 점수 하나뿐입니다. 저자들은 이 크레딧 할당 문제의 해법으로 탐욕적 방식, 대리 모델 방식, 이력 기반 방식 세 가지를 제안하고 실험합니다. + +### 탐욕적 크레딧 할당: 정확하지만 느린 한 단계씩 바꾸기 + +가장 직관적인 방법은 프로그램의 한 단계만 바꾼 후보를 제안하고, 각각 따로 평가하는 것입니다. 나머지 모듈은 그대로 두고 한 모듈의 지시문만 바꿨는데 점수가 올랐다면, 그 공은 그 모듈에 돌릴 수 있습니다. 그래서 오류를 엉뚱한 단계 탓으로 돌리는 일이 줄어듭니다. + +비효율은 두 가지입니다. 첫째, 변경을 한 번에 하나씩만 적용해야 하므로 평가 횟수가 많아집니다. 둘째, 단계 사이의 의존성 때문에 어떤 단계의 변화는 다른 단계가 먼저 개선되기 전까지 점수에 드러나지 않을 수 있습니다. 예를 들어 첫 검색 쿼리가 형편없으면, 둘째 쿼리 모듈의 지시문을 아무리 개선해도 최종 답은 여전히 틀립니다. 그러면 둘째 모듈의 개선은 "효과 없음"으로 기록됩니다. 저자들의 예비 실험에서도 탐욕적 방식은 다른 방식보다 성능이 낫지 않았고, 시간 복잡도만 상당히 나빴습니다. + +### 대리 모델 방식: 베이지안 최적화로 조합의 품질 예측하기 + +#### 베이지안 최적화와 대리 모델 + +평가가 비싼 블랙박스 함수를 최적화할 때 널리 쓰는 방법이 베이지안 최적화입니다. 실제 함수를 매번 호출하는 대신, 지금까지의 평가 결과로 "이 설정이면 점수가 얼마쯤 나올지"를 예측하는 값싼 **대리 모델**을 학습합니다. 다음 평가 지점은 대리 모델을 보고 고릅니다. 이때 대리 모델이 불확실성까지 표현하므로 두 방향 사이에서 균형을 잡을 수 있습니다. 하나는 좋다고 확인된 영역을 더 파는 활용이고, 다른 하나는 아직 잘 모르는 영역을 시험하는 탐색입니다. 또 점수 하나하나를 그대로 믿지 않고 여러 관측을 모아 경향을 학습하므로, 평가에 섞인 노이즈에도 비교적 강합니다. 대표적인 예로 [Snoek et al.](https://arxiv.org/pdf/1206.2944)은 가우시안 프로세스를 대리 모델로 써서 머신러닝 하이퍼파라미터를 튜닝했습니다. + +저자들이 베이지안 학습을 택한 이유는 이 방법이 여러 잠재 변수가 얽힌 함수를 효율적으로 최적화한다고 알려져 있어서입니다. LM 프로그램 최적화에서는 모듈마다 "몇 번째 지시문 후보를 쓸지", "몇 번째 시연 예시 묶음을 쓸지"가 각각 하나의 이산 파라미터입니다. 이 파라미터들을 정하면 프로그램이 하나 정해지고, 평가하면 점수가 나옵니다. 대리 모델은 과거 평가로부터 파라미터 조합의 품질을 예측하고, 이후 탐색을 유망한 영역에 집중시킵니다. + +#### TPE: 좋은 시행과 나쁜 시행의 밀도를 따로 모델링하기 + +실제로 쓴 대리 모델은 [Bergstra et al.](https://openalex.org/W2106411961)이 제안한 TPE(Tree-structured Parzen Estimator)입니다. 구현은 하이퍼파라미터 최적화 프레임워크 [Optuna](https://doi.org/10.1145/3292500.3330701)의 것을 썼습니다. 가우시안 프로세스가 "설정 → 점수"를 직접 모델링하는 데 비해, TPE는 방향을 뒤집어 "점수가 좋았던 시행에서는 어떤 설정이 자주 나왔는가"를 모델링합니다. + +$$x$$를 파라미터 설정, $$y$$를 손실(점수를 뒤집은 값)이라고 하겠습니다. 지금까지의 시행을 손실의 분위수 임계값 $$y^*$$로 나눈 뒤, 좋은 시행 집합과 나쁜 시행 집합 각각에서 설정의 밀도를 추정합니다. + +$$ +\ell(x)=p(x\mid y **핵심:** 대리 모델 방식은 모듈별 점수가 없다는 문제를 우회합니다. 모듈마다 점수를 매기려 하지 않고, 과제 수준 점수만으로 "어떤 선택들의 조합이 좋은 시행에 자주 등장하는가"를 통계적으로 학습합니다. 결합 밀도를 쓰므로 모듈 사이의 궁합까지 크레딧에 반영됩니다. + +#### 한계: 고정된 후보 집합 + +대리 모델 방식은 이미 제안된 이산 파라미터 집합 위에서는 효율적으로 최적화합니다. 하지만 그 집합 밖으로는 나가지 못합니다. TPE가 "지시문 B는 대체로 나빴다"는 사실을 배워도, 그 교훈으로 B를 고친 새 지시문을 만들 수는 없습니다. 과거 평가에서 얻은 교훈이 후보 자체를 개선하는 데 쓰이지 못합니다. + +### 이력 기반 크레딧 할당: 강한 LM에 판단을 맡기기 + +이력 기반 방식은 이 한계를 정반대 방향에서 접근합니다. 충분히 강한 LM이라면 과거 평가 이력만 보고도 크레딧 할당을 할 수 있다고 가정합니다. 이 가정이 맞으면 명시적 대리 모델이 필요 없습니다. 게다가 제안 LM이 원리상 크레딧 할당과 개선된 지시문 제안을 한 번에 할 수 있습니다. 구체적으로는 OPRO의 전략을 따릅니다. 평가된 지시문과 그 점수의 이력을 제안 LM의 맥락에 넣고, 제안 LM이 이를 바탕으로 새 지시문을 출력하게 합니다. + +세 방식의 트레이드오프는 다음과 같습니다. 탐욕적 방식은 귀속이 깨끗하지만 비쌉니다. 대리 모델 방식은 효율적이고 조합 효과까지 잡지만 후보 집합이 고정됩니다. 이력 기반 방식은 후보를 계속 새로 만들 수 있지만, 크레딧을 제대로 가려내는 일을 전적으로 LM의 능력에 기댑니다. LM이 이 과정을 얼마나 명시적으로 수행하도록 지시하는지에 따라 여러 변형이 나옵니다. + +## 기준 옵티마이저: Bootstrap Random Search와 OPRO 계열이 품은 크레딧 할당 가정 + +기준 옵티마이저들은 앞서 본 공통 루프 구조를 똑같이 따릅니다. 차이는 과제 수준 점수 하나를 모듈별 선택에 어떻게 나눠 주는지에 있습니다. + +### Bootstrap Random Search: 시연 예시만 무작위로 탐색하는 강한 기준선 + +이 옵티마이저는 DSPy의 `BootstrapFewshotWithRandomSearch`를 일반화한 것입니다. Khattab et al.(2024)은 모듈마다 시연 예시를 생성하고 무작위 탐색으로 고르는 이 방식으로 좋은 결과를 얻었고, 이 연구에서도 강한 기준선으로 씁니다. 하이퍼파라미터는 모듈당 시연 예시 수 $$K$$와, 부트스트랩해서 평가할 집합의 수 $$N$$입니다. Initialize에서는 앞서 설명한 시연 예시 부트스트래핑으로 모듈마다 $$K$$개씩 든 집합을 $$N$$개 모읍니다. Propose는 집합 하나를 샘플링해 각 모듈에 넣습니다. Update는 그 프로그램을 학습 집합(또는 전용 검증 분할) 점수와 함께 전역 저장소에 넣고, ExtractOptimizedSets는 최고 점수 할당을 반환합니다. + +![부트스트래핑으로 시연 예시 집합을 만든 뒤 무작위 탐색으로 최고 집합을 고르는 두 단계 흐름도](/assets/images/optimizing-instructions-and-demonstrations-for-multi-stage-language-model-2.png) + +흐름도의 둘째 단계는 모듈 전체의 시연 예시 조합을 통째로 채점합니다. 크레딧을 모듈별로 나누지 않고 가장 좋은 조합 하나를 고를 뿐이며, 지시문은 건드리지 않습니다. + +### 단일 모듈 OPRO와 메타 프롬프트 + +OPRO의 출발점은 매 반복에서 옵티마이저의 상태를 담는 **메타 프롬프트**입니다. 메타 프롬프트에는 제안 LM에 할 일을 알려 주는 메타 지시문, 학습 데이터로 평가한 과거 지시문과 점수, 과제 예시가 들어갑니다. 제안 LM은 메타 프롬프트에 이미 있는 것과 다른 새 지시문을 만듭니다. 그 지시문을 채점한 뒤에는 점수 상위 지시문으로 메타 프롬프트를 갱신합니다. 시드 지시문 $$s$$에서 시작해 이 과정을 반복하고, 끝나면 최고 점수 지시문을 꺼냅니다. 원래 OPRO는 단계마다 후보를 여러 개 생성하지만, 저자들은 단순화를 위해 단계당 하나만 만듭니다. + +### Module-Level OPRO: 모든 모듈이 같은 몫을 받는다는 가정 + +모듈이 $$m>1$$개가 되면 레이블이 과제 수준에만 있어서 각 지시문의 기여를 알 수 없습니다. Module-Level OPRO는 이 문제를 가장 단순하게 처리합니다. 모듈마다 메타 프롬프트를 따로 두고, 프로그램 전체 점수 $$r$$을 각 모듈 지시문 품질의 대리 지표로 그대로 씁니다. 아래 루프에서는 이력이 모듈마다 따로 쌓입니다. + +![모듈별 지시문과 프로그램 점수 이력을 제안 LM에 넣어 새 지시문을 만들고 평가 결과를 다시 이력에 쌓는 반복 루프](/assets/images/optimizing-instructions-and-demonstrations-for-multi-stage-language-model-3.png) + +제안 LM은 모듈 $$i$$의 이력, 곧 $$i$$번째 지시문과 그때의 프로그램 점수 쌍만 보고 새 지시문을 만듭니다. 새 지시문 $$m$$개를 한꺼번에 끼운 프로그램을 평가하면, 그 점수가 각 모듈의 이력에 똑같이 추가됩니다. 최대 반복 횟수 $$I$$에 이르면 최고 점수 파라미터화를 반환합니다. + +이 설계에는 강한 가정이 두 개 깔려 있습니다. 모든 지시문이 점수에 똑같이 기여하며, 할당 사이에 의존성이 없다고 봅니다. 저자들이 지적하듯 실제로는 성능이 나쁜 모듈 하나가 프로그램 전체를 망칠 수 있습니다. 그러면 동등 기여 가정 때문에 멀쩡한 다른 모듈의 지시문도 낮은 점수로 이력에 기록될 수 있습니다. + +### Program-Level OPRO: 크레딧 할당을 LM에 맡기기 + +Program-Level OPRO는 단일 메타 프롬프트로 돌아갑니다. 메타 프롬프트에는 프로그램 전체의 다단계 이력, 곧 $$[s_1,\ldots,s_m]$$과 점수 $$r$$의 쌍을 넣습니다. 제안 LM은 한 번의 호출로 지시문 $$m$$개를 모두 만듭니다. 충분히 강한 LM이라면 어느 지시문을 가장 크게 고쳐야 할지 스스로 가려낼 것이라는 가설에 기댑니다. + +저자들은 이 가정도 매우 강하다고 봅니다. 이력이 길어질수록 정보가 손실되기 쉬워서입니다. 근거로는 긴 맥락의 중간에 놓인 정보를 LM이 잘 활용하지 못하는 현상을 보고한 연구 [Lost in the Middle](https://arxiv.org/pdf/2307.03172)을 듭니다. 참고로 Lost in the Middle의 실험 과제는 검색형 QA와 키-값 검색이어서, 그 결과가 지시문 이력에도 들어맞는지는 이 논문에서 따로 확인하지 않았습니다. Program-Level OPRO는 더 복잡한데도 추가 성능 이득이 보이지 않았습니다. 그래서 저자들은 실험에 Module-Level OPRO를 썼습니다. + +### CA-OPRO: 좌표 상승으로 구현한 탐욕적 할당 + +CA-OPRO("Coordinate-Ascent" OPRO)는 앞서 본 탐욕적 크레딧 할당을 OPRO에 적용합니다. 모듈을 하나씩 돌면서 Module-Level OPRO의 제안 함수로 지시문 $$N$$개를 만듭니다. 나머지 파라미터를 고정한 채 이들을 평가하고, 가장 좋은 지시문으로 갱신한 뒤 다음 모듈로 넘어갑니다. 이 과정 전체를 $$D$$번 반복하므로 대략 모듈 수, 후보 수, 반복 횟수를 곱한 만큼 평가가 필요합니다. 초기 실험에서 이 비효율을 정당화할 만한 성능이 나오지 않아, 저자들은 본 실험에서 제외했습니다. + +## MIPRO: 제안은 LM에, 크레딧 할당은 베이지안 대리 모델에 + +### 설계 동기: OPRO의 강한 가정 풀기 + +앞서 본 OPRO 계열은 공통된 약점을 안고 있습니다. Module-Level OPRO는 모든 모듈이 점수에 똑같이 기여한다고 가정합니다. Program-Level OPRO는 긴 이력을 읽은 LM이 크레딧을 알아서 가려낸다고 가정합니다. 어느 쪽이든 제안 LM 혼자서 두 가지 일을 떠맡습니다. 하나는 좋은 새 지시문을 쓰는 일이고, 다른 하나는 과거 점수를 보고 어느 모듈의 어떤 선택이 좋았는지 판단하는 일입니다. + +MIPRO는 이 두 일을 떼어 놓습니다. 제안 LM은 점수 이력을 읽지 않고 과제에 맞는 후보를 만드는 일만 맡습니다. 과제 수준 점수가 모듈별 파라미터(지시문과 시연 예시)에 얼마나 민감한지는 베이지안 대리 모델이 최적화 내내 명시적으로 학습합니다. 크레딧 할당과 최종 선택도 이 대리 모델이 사후에 처리합니다. 후보는 최적화 전에 모두 미리 만들어 두며, 그 일은 앞서 설명한 부트스트래핑과 그라운딩이 맡습니다. + +### 세 단계 구조 + +![MIPRO의 세 단계 흐름도: 시연 예시 부트스트랩, 지시문 후보 제안, 베이지안 탐색으로 조합 선택](/assets/images/optimizing-instructions-and-demonstrations-for-multi-stage-language-model-4.png) + +흐름도를 위에서 아래로 따라가면 세 단계가 차례로 나옵니다. 앞의 두 단계에서 후보를 모두 미리 만들어 두고, 마지막 단계만 반복 루프로 돕니다. + +1. **시연 예시 부트스트랩.** Bootstrap Random Search의 첫 단계와 같은 절차를 씁니다. 프로그램을 학습 데이터에 실행하고, 지표를 통과한 실행 트레이스에서 모듈별 시연 예시 집합 $$N$$개를 만듭니다. +2. **지시문 후보 제안.** 그라운딩 전략으로 모듈마다 지시문 후보 $$N$$개를 미리 제안합니다. 제안 LM은 데이터셋 요약, 프로그램 요약, 부트스트랩한 시연 예시, 팁을 맥락으로 받습니다. +3. **조합 탐색.** 각 모듈에서 "몇 번째 지시문을 쓸지"와 "몇 번째 시연 예시 집합을 쓸지"를 범주형 잠재 변수로 둡니다. 베이지안 최적화로 이 변수들의 최적 값 조합을 찾습니다. + +세 번째 단계를 수식으로 적어 보겠습니다. 모듈이 $$m$$개이면 잠재 변수는 모듈마다 두 개씩, 모두 $$2m$$개입니다. + +$$ +z=\left(i_1, d_1, \ldots, i_m, d_m\right),\qquad i_j\in\{1,\ldots,N\},\; d_j\in\{1,\ldots,N\} +$$ + +$$i_j$$는 모듈 $$j$$의 지시문 후보 번호이고, $$d_j$$는 시연 예시 집합 번호입니다. $$z$$를 하나 정하면 각 변수에 문자열이 채워지고, 그러면 프로그램 $$\Phi$$가 하나 정해집니다. 본문 기호를 따르면 탐색 공간의 크기는 $$N^{2m}$$입니다(부록은 두 후보 수를 각각 $$T$$와 $$K$$로 다르게 적습니다). 예를 들어 설명용 값으로 $$N=10$$이고 모듈이 둘이면 조합은 $$10^{4}$$, 곧 1만 개입니다. 이를 전부 평가할 수는 없으므로 대리 모델이 탐색을 이끕니다. + +Initialize 시점에는 아무 정보가 없습니다. 그래서 MIPRO는 각 범주형 변수의 모든 후보에 같은 효용을 주는 균등 사전분포에서 시작합니다. 해석하자면, 초기 시행들은 특정 후보에 치우치지 않은 무작위 탐색에 가깝습니다. 시행 기록이 쌓여 좋은 시행과 나쁜 시행을 나눌 수 있게 되어야 TPE가 분포를 기울이기 시작합니다. 일반적으로 TPE 구현은 처음 몇 시행을 무작위 샘플링으로 채운 뒤 밀도 모델로 넘어갑니다. 균등 사전분포는 이 출발점에 해당합니다. + +### Propose와 Update: TPE로 고르고 미니배치로 채점하기 + +Propose 단계는 [Bergstra et al.](https://openalex.org/W2106411961)의 TPE 샘플링 규칙을 그대로 씁니다. 앞서 본 좋은 시행과 나쁜 시행의 밀도 비율 규칙을 MIPRO는 지시문 번호와 시연 예시 집합 번호라는 범주형 변수 $$z$$에 적용합니다. 좋은 시행에 흔하고 나쁜 시행에 드문 번호 조합이 다음 후보로 뽑히기 쉽습니다. 앞서 다룬 다변량 TPE를 쓰면 이 판단이 개별 번호가 아니라 조합 단위로 이루어집니다. + +Update 단계에서는 고른 조합으로 만든 프로그램을, 학습 집합에서 무작위로 뽑은 미니배치 $$B$$개 샘플에서 채점합니다. 이 값이 앞서 정의한 미니배치 점수 $$\sigma$$입니다. 저자들은 이 점수로 추정기의 "파라미터 품질 사전분포"를 갱신한다고 표현합니다. 좋은 후보의 가중치는 높이고 나쁜 후보의 가중치는 낮추는 방향입니다. + +과정을 짧게 따라가 보겠습니다. 수치는 모두 설명용입니다. 두 모듈 프로그램에서 처음 몇 시행은 사전분포가 균등하므로 사실상 무작위로 조합을 고릅니다. 그러다 모듈 1의 지시문 3번이 든 조합이 미니배치에서 계속 높은 점수를 내면, 좋은 쪽 밀도에서 $$i_1=3$$의 비중이 커집니다. 그 뒤로는 $$i_1=3$$이 자주 샘플링되고, 탐색은 나머지 변수 쪽으로 옮겨 갑니다. 이 과정에서 각 모듈이 따로 채점된 적은 한 번도 없습니다. 크레딧은 "어떤 선택이 좋은 시행에 반복해 등장하는가"라는 통계에서만 나옵니다. + +### 미니배치 평가가 성립하는 이유 + +전체 학습 집합 대신 미니배치로 채점하면 한 시행의 비용이 크게 줄어듭니다. 대신 점수에 노이즈가 섞입니다. 운 좋게 쉬운 샘플만 뽑힌 미니배치는 평범한 조합도 좋아 보이게 만듭니다. 저자들은 Snoek 등의 연구를 인용하며, 베이지안 최적화가 최적화 과정에 불확실성을 반영하므로 노이즈에 강건하다는 점을 근거로 듭니다. 이를 바탕으로 매 반복 전체 집합 대신 미니배치로 평가하면, 같은 비용으로 더 많은 파라미터 설정을 탐색하고 활용할 수 있다고 봅니다. 앞서 설명했듯 대리 모델은 여러 시행의 경향에서 배우므로 개별 미니배치의 오차를 어느 정도 견딥니다. 예를 들어 학습 집합이 500개이고 $$B$$가 25개라면(설명용 값), 전체 평가 한 번 비용으로 미니배치 시행 20번을 돌릴 수 있습니다. + +### ExtractOptimizedSets: 주기적 전체 평가로 노이즈 보정하기 + +노이즈에 강건하다고 해도 최종 선택까지 미니배치 점수에 맡길 수는 없습니다. 그래서 MIPRO는 $$S$$ 스텝마다, 지금까지의 시행에서 평균 점수가 가장 높은 후보 조합을 전체 학습 집합에서 평가합니다. 최적화가 끝나면 전체 평가를 받은 조합 가운데 점수가 가장 높은 것을 최적 할당으로 반환합니다. + +두 평가가 번갈아 도는 흐름을 시행 번호로 따라가 보겠습니다. 설명용 예이며, $$S=10$$이라고 하겠습니다. + +| 시점 | 일어나는 일 | +| --- | --- | +| 시행 1~10 | TPE가 조합을 고르고, 미니배치 점수로 시행 기록을 쌓습니다. | +| 10번째 스텝 직후 | 평균 미니배치 점수 1위인 조합 A를 전체 학습 집합에서 평가합니다. 전체 점수는 미니배치 평균보다 낮게 나옵니다. | +| 시행 11~20 | 탐색이 이어지고, 새 조합 B가 미니배치 평균 1위로 올라섭니다. | +| 20번째 스텝 직후 | 평균 1위인 조합 B를 전체 평가합니다. 전체 점수가 A보다 높게 나옵니다. | +| 종료 | 전체 평가를 받은 A와 B 가운데 전체 점수가 더 높은 B를 반환합니다. | + +이 예에서 A는 한때 미니배치 평균 1위였지만 전체 평가에서 B에 뒤졌습니다. 미니배치 점수가 실제보다 부풀었던 경우입니다. 해석하자면, 미니배치 점수는 "어디를 더 볼지" 정하는 탐색 신호이고, 전체 평가 점수는 "무엇을 내놓을지" 정하는 선택 신호입니다. 이렇게 두 신호를 나눈 구조는 미니배치에 과적합한 조합이 최종 결과로 나오는 일을 막기 위한 장치로 볼 수 있습니다. + +### 시연 예시만, 또는 지시문만 최적화하는 변형 + +**0-Shot MIPRO**는 둘을 함께 최적화하지 않고 지시문만 최적화합니다. 비용이나 맥락 길이 제약이 있을 때 적합합니다. + +**Bayesian Bootstrap**은 반대로 부트스트랩한 시연 예시만 최적화합니다. 퓨 샷 예시가 과제의 핵심이거나, 이미 좋은 지시문을 찾아서 예산을 시연 예시에만 쓰고 싶을 때 알맞습니다. MIPRO를 시연 예시 최적화로 제한한 변형입니다. + +### MIPRO++: 프로그램이 아니라 제안 방식을 최적화하기 + +MIPRO++는 같은 베이지안 대리 모델을 한 단계 위로 옮깁니다. 앞서 설명한 제안 학습을 그대로 구현한 것입니다. 두 수준을 나란히 놓으면 차이가 잘 보입니다. 아래는 설명용 예입니다. + +| 구분 | MIPRO | MIPRO++ | +| --- | --- | --- | +| 대리 모델이 고르는 값 | 모듈 1은 지시문 3번과 시연 예시 집합 7번을 씁니다. | 프로그램 요약을 켜고, 온도 0.7과 `persona` 팁을 씁니다. | +| 한 시행의 결과물 | 미리 만든 후보로 조립한 프로그램입니다. | 그 설정으로 새로 생성한 지시문을 넣은 프로그램입니다. | +| 대리 모델이 배우는 것 | 어느 후보가 좋은지 배웁니다. | 어떤 제안 방식이 좋은 지시문을 낳는지 배웁니다. | + +저자들에 따르면 완전한 형태에서는 대리 모델이 지시문 제안과 시연 예시 부트스트래핑 모두의 파라미터를 학습합니다. 이 논문에서는 지시문 제안 전략 최적화에 한정해 평가했고, 그 형태가 **0-Shot MIPRO++**입니다. 탐색 공간은 그라운딩 제안기의 설정 다섯 가지입니다. + +| 제안 하이퍼파라미터 | 유형 | 의미 | +| --- | --- | --- | +| 데이터셋 요약 사용 여부 | 불리언 | 제안 LM 맥락에 데이터셋 요약을 넣을지 정합니다. | +| 프로그램 요약 사용 여부 | 불리언 | 제안 LM 맥락에 프로그램 요약을 넣을지 정합니다. | +| 제안 온도 | 실수 | 제안 LM의 샘플링 온도를 조절합니다. | +| 팁 | 범주형 | 프롬프트 엔지니어링 팁 가운데 어느 것을 줄지 고릅니다. | +| 부트스트랩 시연 집합 | 범주형 | 제안 LM에 보여 줄 부트스트랩 시연 예시 집합을 고릅니다. | + +이 하이퍼파라미터들은 MIPRO와 같은 미니배치 전략을 쓰는 베이지안 모델이 최적화합니다. MIPRO와 가장 크게 다른 부분은 후보 목록을 미리 고정하지 않는 것입니다. 시행마다 순서는 다음과 같습니다. + +1. 대리 모델이 다섯 하이퍼파라미터의 값 조합을 제안합니다. +2. 제안 LM이 그 설정으로 새 지시문을 생성합니다. +3. 새 지시문을 넣은 프로그램을 앞서 설명한 미니배치 방식으로 평가하고, 그 점수로 대리 모델을 갱신합니다. + +최종적으로는 전체 평가를 받은 프로그램 가운데 가장 좋은 것을 반환합니다. 해석하자면, 좋은 설정에서 새 지시문을 계속 뽑을 수 있어 후보가 처음 만든 목록에 갇히지 않습니다. 대신 같은 설정에서도 시행마다 다른 지시문이 나오므로, 한 시행의 점수에는 미니배치의 변동에 더해 생성 결과의 변동도 섞인다고 볼 수 있습니다. + +## 일곱 과제와 공정한 비교를 위한 실험 설정 + +### 데이터셋, 지표, 프로그램으로 묶은 일곱 과제 + +저자들은 데이터셋, 지표, LM 프로그램을 한 묶음으로 보고 과제 일곱 개를 만들었습니다. 다단계 프로그램과 단일 모듈 프로그램이 함께 들어 있습니다. + +| 벤치마크 | 과제 유형 | 프로그램 | 모듈 수 | LM 호출 수 | 지표 | +| --- | --- | --- | --- | --- | --- | +| HotPotQA | 멀티홉 QA | 멀티홉 검색 | 2 | 3 | 정확 일치 | +| HotPotQA Conditional | 멀티홉 QA | 멀티홉 검색 | 2 | 3 | 맞춤 지표 | +| Iris | 분류 | 체인 오브 소트 | 1 | 1 | 정확도 | +| Iris-Typo | 분류 | 체인 오브 소트 | 1 | 1 | 정확도 | +| Heart Disease | 분류 | 답변 앙상블 | 2 | 4 | 정확도 | +| ScoNe | 자연어 추론 | 체인 오브 소트 | 1 | 1 | 정확 일치 | +| HoVer | 멀티홉 주장 검증 | 멀티홉 검색 | 4 | 4 | Recall@21 | + +**HotPotQA**([Yang et al.](https://doi.org/10.48550/arXiv.1809.09600))는 여러 위키백과 문서를 엮어야 답할 수 있는 질문 데이터셋입니다. 저자들은 "fullwiki" 설정을 씁니다. 이 설정에는 정답 문서가 주어지지 않으므로, 시스템이 위키백과 문서 요약 약 500만 개 전체에서 관련 문서를 직접 찾아야 합니다. 프로그램에서는 검색 질의 생성 모듈이 두 번 호출되어 홉마다 문서를 모으고, 답 생성 모듈이 모은 문서를 읽어 답을 냅니다. 다단계 옵티마이저를 시험할 때 표준처럼 쓰는 과제입니다. + +**ScoNe**([She et al.](https://doi.org/10.18653/v1/2023.acl-short.154))는 부정 추론 벤치마크입니다. 부정이 중첩된 논리 퍼즐에서 전제가 가설을 함의하는지 판단해야 합니다. 원 연구는 이 함의 형식에서 InstructGPT가 대부분의 프롬프팅 전략으로 실패했다고 보고했습니다. 저자들은 체인 오브 소트 모듈 하나가 Yes/No로 답하게 하고 정확 일치로 채점합니다. 프로그램 코드만 봐서는 드러나지 않는 데이터 특유의 뉘앙스를 옵티마이저가 지시문이나 시연 예시로 표현할 수 있는지 보려는 과제입니다. + +**HoVer**([Jiang et al.](https://doi.org/10.18653/v1/2020.findings-emnlp.309))는 여러 위키백과 문서를 넘나들어야 사실 여부를 가릴 수 있는 주장 검증 데이터셋입니다. 저자들은 검증 단계는 빼고, 필요한 근거 문서를 모두 찾는 하위 과제만 씁니다. 프로그램은 일곱 과제 가운데 가장 깁니다. + +1. 주장 자체로 검색합니다. +2. 결과를 요약합니다(LM 호출 1). +3. 요약을 맥락에 넣어 다음 질의를 만듭니다(LM 호출 2). +4. 검색하고 결과를 요약합니다(LM 호출 3). +5. 두 요약을 바탕으로 질의를 만듭니다(LM 호출 4). +6. 마지막으로 한 번 더 검색합니다. + +세 홉에서 가져온 상위 문서를 모두 모은 뒤, 정답 문서를 얼마나 찾았는지(재현율)를 Recall@21로 봅니다. 더 어려운 설정을 만들려고 지지 사실이 3개인 예시만 남겼습니다. 그래도 일부 예시는 2홉으로도 풀립니다. + +**Iris**는 꽃받침과 꽃잎의 길이·너비로 붓꽃 세 종을 가리는 고전 분류 과제입니다. 간단한 규칙 몇 개로 거의 풀리지만, 그 규칙은 LM에 주지 않습니다. 옵티마이저가 LM에 체인 오브 소트 방식의 추론을 스스로 가르칠 수 있는지 봅니다. **Iris-Typo**는 출력 설명에 'versicolor'를 'versicolour'로 잘못 적은 버전입니다. 원래는 실수였지만, 잘못 명세된 프롬프트에서 출발하는 최적화를 현실적으로 시험할 수 있어 두 설정을 모두 보고합니다. + +**Heart Disease**는 나이, 성별, 콜레스테롤 등 특성 13개로 심장병 여부를 맞히는 이진 분류 과제입니다. 결정적인 패턴 몇 개를 찾기 어려운 과제로 보고, 체인 오브 소트 호출 세 번으로 임상 의견 세 개를 만든 뒤 최종 모듈이 이를 종합해 판정하게 했습니다. + +### HotPotQA Conditional의 조건부 형식 규칙 + +저자들은 과제 LM이 바로 알아채기 어렵고 예시 몇 개로는 완전히 정의되지 않는 규칙에서 지시문 최적화가 가장 큰 효과를 내리라고 봅니다. 이를 검증하려고 HotPotQA에 답 유형별 형식 규칙을 덧붙였습니다. + +- 답이 인물이면 전부 소문자로 답합니다. +- 장소면 구두점을 넣지 않습니다. +- 날짜면 응답을 "Peace!"로 끝내고, 다른 경우에는 이렇게 끝내지 않습니다. +- 그 밖의 유형이면 전부 대문자로 답합니다. + +답 유형은 GPT-4로 주석하고 저자들이 감독했습니다. 프로그램은 HotPotQA와 같고, 규칙을 적은 시드 지시문으로 시작합니다. 맞춤 지표는 정확 일치에 정규식 파싱을 더해 나머지 조건을 지켰는지까지 확인합니다. + +### 데이터 분할 + +기본 분할은 학습 500, 개발 500, 테스트 2,000이며, 테스트 집합이 그보다 작으면 전체를 씁니다. 학습 집합은 옵티마이저가 쓰고, 개발 집합은 저자들이 방법을 다듬는 데 쓰며, 테스트 집합은 최종 보고에만 씁니다. HotPotQA Conditional은 학습 500은 같지만, 레이블을 손으로 만들어 개발과 테스트는 200씩입니다. Iris(학습 75, 테스트 75)와 Heart Disease(학습 120, 테스트 183)는 데이터가 작고 방법 개선에 쓰지 않아 개발 집합이 없습니다. + +### 세 비교군 묶음과 기준선 + +옵티마이저는 무엇을 최적화하는지에 따라 세 묶음으로 나눠 비교합니다. + +| 최적화 대상 | 옵티마이저 | +| --- | --- | +| 지시문만(제로 샷 프롬프트) | Module-Level OPRO, 0-Shot MIPRO, 0-Shot MIPRO++ | +| 시연 예시만(퓨 샷) | Bootstrap Random Search, Bayesian Bootstrap | +| 둘 다 | MIPRO | + +기준선은 최적화하지 않은 프로그램입니다. 그라운딩의 효과를 따로 보려고 그라운딩을 뺀 **Module-Level OPRO -G**도 돌립니다. 이 변형의 제안 프롬프트에는 원래 OPRO 논문의 구성 요소인 퓨 샷 예시, 그리고 이전에 제안한 지시문과 그 점수의 이력만 들어갑니다. + +### 전체 평가 시행 기준의 예산 + +예산은 과제에 따라 20~50회의 **전체 평가 시행**, 곧 학습 집합 전체를 채점하는 횟수로 정합니다. 그래서 미니배치를 쓰는 옵티마이저는 실제로 훨씬 많은 시행을 합니다. HotPotQA와 ScoNe의 예산은 전체 평가 50회이고, 미니배치 시행 약 300회에 해당합니다. HoVer는 실행 비용이 가장 큰 프로그램이라 20회로 줄였습니다. Iris, Heart Disease, HotPotQA Conditional은 30회입니다. 이 세 실험은 개별 방법을 겨루기보다 지시문 최적화와 시연 예시 최적화의 가치를 비교하는 데 초점을 두었기 때문입니다. 저자들은 방법 간 차이를 가리려면 더 많은 시행이 필요할 수 있다고 덧붙입니다. + +0-Shot MIPRO, Bayesian Bootstrap, MIPRO는 모듈당 후보 수 $$N$$을 정해야 합니다. 다른 옵티마이저는 탐색한 후보 수가 시행 수와 같아서 이 값이 따로 없습니다. 저자들은 광범위한 탐색 없이 이전 실험의 경험에 따라 값을 골랐습니다. 경험칙은 $$N answer"는 57.0점이었습니다. HoVer의 최고 프로그램(35.0점)에도 Leo Dan의 곡을 틀던 라디오 방송국이라는 특정 주장을 담은 요약 지시문이 들어 있습니다. HotPotQA Conditional의 최고 프로그램(26.6점)에서도 답 모듈 지시문이 "최초의 여성 노벨 물리학상 수상자가 태어난 나라의 GDP"라는 특정 질문에 맞춘 규칙으로 바뀌어 있습니다. + +이런 지시문이 왜 살아남는지에 대해 저자들은 두 가설을 제시하고, 결론은 후속 연구로 미룹니다. + +1. **크레딧 할당의 한계.** 이런 지시문을 걸러 내려면 더 명시적인 크레딧 할당이 필요할 수 있습니다. 다중 모듈 과제에 한정한 해석을 하나 덧붙이면, 다른 모듈의 선택 덕분에 점수가 높았던 조합에 과적합 지시문이 함께 실려 들어왔을 수 있습니다. +2. **지시문이 시연 예시처럼 작동할 가능성.** 구체적인 사례를 담은 지시문이 사실상 퓨 샷 예시 역할을 할 수 있습니다. 그렇다면 이 지시문은 과제 LM이 과제를 잘 수행하는 쪽으로 편향을 주고 있습니다. + +두 가설의 처방은 정반대입니다. 첫째가 맞으면 과적합 지시문은 제거해야 할 잡음입니다. 둘째가 맞으면 유용한 신호일 수 있습니다. 교훈 1에서 시연 예시가 추론 행동에 관한 정보를 담는다고 본 해석과 함께 보면, 둘째 가설도 가볍게 버리기 어렵습니다. + +### Heart Disease: 'high stakes' 류 지시문이 점수를 깎은 사례 + +Heart Disease의 변천은 다른 방향의 실패를 보여 줍니다. 시드 지시문으로 만든 프로그램은 23.3점이었습니다. 시행 10에서는 네 모듈 모두에 "중대한 의료 결정", "생명을 구하는 예측"처럼 위급함을 강조하는 'high stakes' 류의 지시문이 제안되었고, 점수는 12.5로 떨어졌습니다. 시행 30에서도 "응급실에서 시간이 촉박한 상황" 같은 지시문이 나왔고, 점수는 10.0으로 더 낮아졌습니다. 최종 최고 프로그램(시행 90, 22.5점)에서는 네 모듈 가운데 둘의 지시문이 시드와 똑같았고, 점수도 시드와 거의 같았습니다. + +이 사례는 교훈 2·3과 맞물립니다. 시드 지시문에 분류 기준이 없을 때, 제안 LM은 기준을 추론하지 못하고 주로 문체만 바꾸는 모습을 보입니다. 그 결과 지시문 최적화는 이득을 내지 못했고, 가장 좋은 결과도 시드 수준으로 돌아가는 데 그쳤습니다. + +## 한계와 시사점 + +실무에서 가장 쓸모 있는 강점은 요구 조건이 적다는 데 있습니다. 로그 확률, 그래디언트, 중간 레이블 없이 프로그램·지표·작은 학습 집합만 있으면 되므로 텍스트 입출력만 허용하는 API에도 그대로 적용됩니다. 지시문 생성과 크레딧 할당을 분리했고, 미니배치 점수를 탐색에, 전체 평가 점수를 최종 선택에 쓰도록 나눴습니다. 같은 예산으로 더 많은 조합을 볼 수 있어 비용 측면에서 합리적입니다. 다만 구현에는 숨은 비용이 있습니다. Llama-3-8B 결과는 GPT-3.5 제안 LM과, ScoNe·HoVer에서는 GPT-4o 교사 모델에 기대어 얻었습니다. 그래서 강한 외부 모델 없이 같은 이득이 나오는지는 따로 따져야 합니다. 통계 검정도 테스트 예시별로 5회 평균을 짝지어 계산했습니다. 실행 사이의 변동, 곧 같은 옵티마이저를 다시 돌렸을 때 어느 정도 흔들리는지는 이 검정에 직접 반영되지 않습니다. 모듈당 후보 수 $$N$$도 경험칙으로 정해서, 결과가 이 값에 얼마나 민감한지 알 수 없습니다. + +저자들이 밝힌 한계는 다음과 같습니다. 예산을 고정한 채 비교해서, 극단적으로 적거나 많은 예산에서 옵티마이저 간 우열이 바뀌는지 확인하지 않았습니다. 제안 LM과 과제 LM도 고정해서 다른 모델 조합으로 일반화되는지는 후속 검증이 필요합니다. 손으로 쓴 시드 지시문이 없으면 복잡한 과제의 규칙을 추론하는 능력이 제한적이며, 그라운딩만으로는 부족할 수 있습니다. 벤치마크를 더 복잡한 과제와 프로그램으로 넓히는 일도 과제로 남았습니다. 제안 LM이 메타 프롬프트의 퓨 샷 예시에 과적합된 지시문을 쓰는 원인 규명도 미뤄졌습니다. 저자들은 Iris-Typo의 철자 오류 같은 잘못된 명세를 프로그래밍 추상화 차원에서 감지하는 기능이 필요하다고 제안합니다. HoVer는 3홉이 필요한 예시만 남긴 더 균일한 설정에서 다시 연구할 것을 권합니다. + +적용 순서는 비교적 분명합니다. 먼저 저렴하고 강한 Bootstrap Random Search로 시연 예시를 최적화해 기준점을 잡습니다. 형식이나 판정 규칙이 조건에 따라 갈리는 과제라면 그 규칙을 시드 지시문에 직접 적은 뒤 MIPRO로 지시문과 예시를 함께 최적화합니다. 반대로 분류 기준을 모르는 채 옵티마이저가 기준을 찾아 주리라 기대하는 상황이라면 지시문 최적화에 예산을 쓰기보다 시드를 먼저 다듬는 편이 낫습니다. 최종 프로그램에 특정 사례를 담은 지시문이 섞였는지도 배포 전에 사람이 확인해야 합니다. + +- - - + +### References +* [Optimizing Instructions and Demonstrations for Multi-Stage Language Model Programs](https://arxiv.org/pdf/2406.11695v2) diff --git a/assets/images/optimizing-instructions-and-demonstrations-for-multi-stage-language-model-1.png b/assets/images/optimizing-instructions-and-demonstrations-for-multi-stage-language-model-1.png new file mode 100644 index 0000000..29c8376 Binary files /dev/null and b/assets/images/optimizing-instructions-and-demonstrations-for-multi-stage-language-model-1.png differ diff --git a/assets/images/optimizing-instructions-and-demonstrations-for-multi-stage-language-model-10.png b/assets/images/optimizing-instructions-and-demonstrations-for-multi-stage-language-model-10.png new file mode 100644 index 0000000..950d5d9 Binary files /dev/null and b/assets/images/optimizing-instructions-and-demonstrations-for-multi-stage-language-model-10.png differ diff --git a/assets/images/optimizing-instructions-and-demonstrations-for-multi-stage-language-model-11.png b/assets/images/optimizing-instructions-and-demonstrations-for-multi-stage-language-model-11.png new file mode 100644 index 0000000..854503b Binary files /dev/null and b/assets/images/optimizing-instructions-and-demonstrations-for-multi-stage-language-model-11.png differ diff --git a/assets/images/optimizing-instructions-and-demonstrations-for-multi-stage-language-model-12.png b/assets/images/optimizing-instructions-and-demonstrations-for-multi-stage-language-model-12.png new file mode 100644 index 0000000..3639a8f Binary files /dev/null and b/assets/images/optimizing-instructions-and-demonstrations-for-multi-stage-language-model-12.png differ diff --git a/assets/images/optimizing-instructions-and-demonstrations-for-multi-stage-language-model-13.png b/assets/images/optimizing-instructions-and-demonstrations-for-multi-stage-language-model-13.png new file mode 100644 index 0000000..42b3a1a Binary files /dev/null and b/assets/images/optimizing-instructions-and-demonstrations-for-multi-stage-language-model-13.png differ diff --git a/assets/images/optimizing-instructions-and-demonstrations-for-multi-stage-language-model-2.png b/assets/images/optimizing-instructions-and-demonstrations-for-multi-stage-language-model-2.png new file mode 100644 index 0000000..1769ac9 Binary files /dev/null and b/assets/images/optimizing-instructions-and-demonstrations-for-multi-stage-language-model-2.png differ diff --git a/assets/images/optimizing-instructions-and-demonstrations-for-multi-stage-language-model-3.png b/assets/images/optimizing-instructions-and-demonstrations-for-multi-stage-language-model-3.png new file mode 100644 index 0000000..e5a14ab Binary files /dev/null and b/assets/images/optimizing-instructions-and-demonstrations-for-multi-stage-language-model-3.png differ diff --git a/assets/images/optimizing-instructions-and-demonstrations-for-multi-stage-language-model-4.png b/assets/images/optimizing-instructions-and-demonstrations-for-multi-stage-language-model-4.png new file mode 100644 index 0000000..fd93b52 Binary files /dev/null and b/assets/images/optimizing-instructions-and-demonstrations-for-multi-stage-language-model-4.png differ diff --git a/assets/images/optimizing-instructions-and-demonstrations-for-multi-stage-language-model-5.png b/assets/images/optimizing-instructions-and-demonstrations-for-multi-stage-language-model-5.png new file mode 100644 index 0000000..12a5bb4 Binary files /dev/null and b/assets/images/optimizing-instructions-and-demonstrations-for-multi-stage-language-model-5.png differ diff --git a/assets/images/optimizing-instructions-and-demonstrations-for-multi-stage-language-model-6.png b/assets/images/optimizing-instructions-and-demonstrations-for-multi-stage-language-model-6.png new file mode 100644 index 0000000..2156c8e Binary files /dev/null and b/assets/images/optimizing-instructions-and-demonstrations-for-multi-stage-language-model-6.png differ diff --git a/assets/images/optimizing-instructions-and-demonstrations-for-multi-stage-language-model-7.png b/assets/images/optimizing-instructions-and-demonstrations-for-multi-stage-language-model-7.png new file mode 100644 index 0000000..f6f254e Binary files /dev/null and b/assets/images/optimizing-instructions-and-demonstrations-for-multi-stage-language-model-7.png differ diff --git a/assets/images/optimizing-instructions-and-demonstrations-for-multi-stage-language-model-8.png b/assets/images/optimizing-instructions-and-demonstrations-for-multi-stage-language-model-8.png new file mode 100644 index 0000000..d40caf0 Binary files /dev/null and b/assets/images/optimizing-instructions-and-demonstrations-for-multi-stage-language-model-8.png differ diff --git a/assets/images/optimizing-instructions-and-demonstrations-for-multi-stage-language-model-9.png b/assets/images/optimizing-instructions-and-demonstrations-for-multi-stage-language-model-9.png new file mode 100644 index 0000000..1dc5e6c Binary files /dev/null and b/assets/images/optimizing-instructions-and-demonstrations-for-multi-stage-language-model-9.png differ