Skip to content

Paper Review: Optimizing Instructions and Demonstrations for Multi-Stage Language Model Programs - #132

Merged
bits-bytes-nn merged 2 commits into
mainfrom
paper-reviews/review-2406.11695
Nov 17, 2026
Merged

bits-bytes-nn merged 2 commits into
mainfrom
paper-reviews/review-2406.11695

Conversation

@bits-bytes-nn

@bits-bytes-nn bits-bytes-nn commented Nov 17, 2026 •

Copy link
Copy Markdown
Owner

This PR adds an AI-generated paper review: Optimizing Instructions and Demonstrations for Multi-Stage Language Model Programs

  • Paper ID: 2406.11695v2
  • PDF URL: https://arxiv.org/pdf/2406.11695v2
  • PDF Parsing: disabled
  • Characters: 41,039
  • New tags: MIPRO-Optimizer, Multi-Stage-LM-Programs, Prompt-Optimization, Bayesian-Surrogate-Model, Instruction-Proposal

This pull request was automatically generated by the Scholar-Lens system.

Review checklist

  • Review section '다단계 LM 프로그램과 기존 프롬프트 최적화의 공백' was kept with 2 open must-fix/missing item(s) (score 82); the editor was asked to fix them: check it. Open: "최고 수준의 오픈소스 모델 Llama-3-8B를 사용해" → 원문 표현은 "best-in-class open-source model"이므로 한정어를 살려 "동급 최고 수준의 오픈소스 모델인 Llama-3-8B"로 ; "정확도 향상 폭은 최대 13%입니다" → 원문 "as much as 13% accuracy improvement"는 상대 향상인지 %p인지 밝히지 않습니다. 단위를 해석하지 말고 "최대 13% 정확도 향상"으로 원
  • Review section '후보 프롬프트 제안 전략: 부트스트래핑, 그라운딩, 제안 학습' was kept with 1 open must-fix/missing item(s) (score 85); the editor was asked to fix them: check it. Open: "각 요소를 넣을지 말지는 선택 사항이며, 이 선택도 제안 학습으로 정합니다." — 원문은 제안 학습의 하이퍼파라미터 예로 데이터 요약·프로그램 제어 흐름 그라운딩 여부만 듭니다. 네 요소 전부를 제안 학습으로 정한
  • Review section '모듈 간 크레딧 할당: 탐욕적, 대리 모델, 이력 기반 방식' was kept with 2 open must-fix/missing item(s) (score 80); the editor was asked to fix them: check it. Open: "BOHB는 좋은 설정과 나쁜 설정의 밀도를 차원별 커널의 곱으로 이루어진 다변량 커널 밀도 추정으로 모델링합니다. 범주형 차원에도 전용 커널을 쓰므로, 후보 번호처럼 범주형인 변수의 조합을 다루기에 맞습니다." →; "LM 프로그램 최적화에 대응시키면 다음과 같습니다." → 콜론 대용으로 쓴 형식적 도입문입니다. "LM 프로그램 최적화에서는 모듈마다 …가 각각 하나의 이산 파라미터입니다."처럼 바로 본론으로 들어가세요.
  • Review section '기준 옵티마이저: Bootstrap Random Search와 OPRO 계열' was kept with 1 open must-fix/missing item(s) (score 84); the editor was asked to fix them: check it. Open: "따라서 저자들의 주장은 그 결과를 지시문 제안 이력으로 넓혀 적용한 추론입니다." — 이 평가는 논문 본문이 아니라 인용 요약에 나온 것인데, 논문 저자들에 대한 비판처럼 단정하고 있습니다. 논문 자체는 "like
  • Review section 'MIPRO: 제안과 크레딧 할당을 분리한 베이지안 옵티마이저와 그 변형들' was kept with 4 open must-fix/missing item(s) (score 80); the editor was asked to fix them: check it. Open: "앞서 비교한 세 크레딧 할당 방식 가운데 이력 기반 방식 대신 대리 모델 방식을 택했습니다. 그 대가로 후보 집합이 고정된다는 대리 모델 방식의 한계를 감수해야 합니다." → 원문은 대리 모델 방식의 '대가'나 '; "탐색 대상은 Bootstrap Random Search와 같고, 무작위 탐색 대신 TPE를 쓴다는 것만 다릅니다." → 원문은 "restricted version of MIPRO to optimizing over ; "앞서 다룬 다변량 TPE 덕분에, 이 판단은 개별 번호가 아니라 조합 단위로 이루어집니다." → MIPRO 절은 다변량 TPE를 쓴다고 명시하지 않습니다. 원문보다 강한 주장이므로 삭제하거나 "다변량 TPE를 쓰면
  • Review section '일곱 과제 벤치마크와 실험 설정' was kept with 3 open must-fix/missing item(s) (score 80); the editor was asked to fix them: check it. Open: "HotPotQA Conditional은 레이블을 손으로 만들어 개발 200, 테스트 200으로 작습니다." — 학습 집합 500은 그대로이고 개발·테스트만 200이라고 분명히 적어야 합니다. 예: "학습 500은 ; "결과 표의 굵은 글씨로 표시한 유의성은 이 검정에 근거합니다." — 굵은 글씨 표기 규칙은 뒤의 '주요 결과' 섹션이 설명하는 내용이고, 이 원문에는 굵은 글씨 언급이 없습니다. 원문 표현에 맞춰 "두 방법의 성능; style: a sentence ends in a colon (다:); end it with a period or write a label (line 57)
  • Review section '주요 결과: 시연 최적화, 지시문 최적화, 그리고 결합 최적화' was kept with 3 open must-fix/missing item(s) (score 72); the editor was asked to fix them: check it. Open: "테스트 점수를 2위와 나란히 놓으면 다음과 같습니다. ScoNe는 79.4로 Bayesian Bootstrap의 77.4보다 높고 … Iris-Typo는 68.7로 Bootstrap Random Search의 58; "정확도 향상은 최대 13%입니다" → 계산 입력 없이 숫자만 적었습니다. 이 수치는 원문의 본문 발췌에 없습니다. 논문 서두에서 확인한 값이면 "저자들이 보고한 최대 13% 향상"으로 출처를 밝히고 상대 향상인지 ; "시드 프롬프트의 출력 설명에 'versicolor'가 'versicolour'로 잘못 적혀 있고" → 원문은 이 사실을 그래프 캡션에서 "그 실행(run)의 기본 프롬프트"에 대해서만 밝힙니다. "출력 설명에"라는
  • 1 cited reference(s) had no abstract or text to summarize: 'DSPy: Compiling declarative language model calls into state-of-the-art pipelines'.
  • Table values not found in the paper (check each is copied or derived correctly): 10번째 스텝 직후: 0.62 / 0.55, 0.57, 종료: 0.55 / 0.57
  • No controlled tag: the post shows no related reading. Add one from tags.controlled in _data/post_conventions.yml if one names its topic.
  • [list] line 122: ordered list restarts at 4 after a display, so it renders as 1.; indent the display (and any paragraph after it) into the item above

Hand fixes

  • Algorithm steps (line ~118): the σ display is indented into item 3, so the list continues at 4.
  • ExtractOptimizedSets walk-through: removed scores the paper never gives (0.62 / 0.55, 0.58, 0.57); the steps are described in words (§4.3 gives no values).
  • Lost in the Middle note: framed as what this paper does not test, not a critique of the authors (§4.5).
  • Proposer LM: no longer called a contradiction; §5 says GPT-3.5 "in the majority of experiments", App. B.4 GPT-4 for ScoNe, HoVer, Iris.
  • Tags: added Agentic-AI (controlled), so the post gets related reading.

Checked, unchanged: "best-in-class" hedge; "up to 13%" kept unit-less (Abstract); HotPotQA Conditional 500/200/200 (Table 3); versicolour typo is in the OutputField desc (App. E.6, Listing 8); all Table 2 values.

- The sigma display is indented into list item 3, so step 4 no longer
  renders as a new list starting at 1.
- The ExtractOptimizedSets walk-through drops scores the paper never gives
  (0.62/0.55/0.58/0.57); it describes the steps in words.
- The Lost in the Middle note and the proposer-LM note no longer read as a
  critique of the authors (Section 4.5, Section 5 vs Appendix B.4).
- Agentic-AI tag, so the post gets related reading.
@bits-bytes-nn
bits-bytes-nn merged commit a848f3f into main Nov 17, 2026
3 checks passed
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant