Skip to content

Paper Review: GEPA: Reflective Prompt Evolution Can Outperform Reinforcement Learning - #133

Merged
bits-bytes-nn merged 2 commits into
mainfrom
paper-reviews/review-2507.19457
Nov 17, 2026
Merged

bits-bytes-nn merged 2 commits into
mainfrom
paper-reviews/review-2507.19457

Conversation

@bits-bytes-nn

@bits-bytes-nn bits-bytes-nn commented Nov 17, 2026 •

Copy link
Copy Markdown
Owner

This PR adds an AI-generated paper review: GEPA: Reflective Prompt Evolution Can Outperform Reinforcement Learning

  • Paper ID: 2507.19457v2
  • PDF URL: https://arxiv.org/pdf/2507.19457v2
  • PDF Parsing: disabled
  • Characters: 44,275
  • New tags: Reflective-Prompt-Evolution, Pareto-Based-Candidate-Selection, Natural-Language-Reflection, Prompt-Optimization, Sample-Efficient-Optimization

This pull request was automatically generated by the Scholar-Lens system.

Review checklist

  • Review section '프롬프트 최적화와 언어 공간 학습의 계보' was kept with 2 open must-fix/missing item(s) (score 83); the editor was asked to fix them: check it. Open: "하지만 보상 계산이 느리면 강화학습은 표본 효율이 떨어집니다." → 원문은 "RL can be sample-inefficient"로 가능성만 말합니다. "보상 계산이 느리면 강화학습은 표본 효율이 떨어질 수 있습니; "Optimas는 전역 목표와 정렬된 지역 보상을 모듈마다 둡니다. 저자들은 이런 복합 시스템 옵티마이저들이 대체로 전역 보상에 의존한다고 봅니다." → 원문에서 "largely rely on global rewar
  • Review section '성찰적 프롬프트 변이와 피드백 함수' was kept with 2 open must-fix/missing item(s) (score 82); the editor was asked to fix them: check it. Open: "| 4 | 94.44 | 출력이 "Reasoning"과 "LLM Request"로 구조화되고, ..." — 노드 2 지시문에 이미 "a) A reasoning paragraph ... b) A privacy; "이는 전체 상승폭 15.34의 절반이 넘습니다. 저자들은 단일 성찰 갱신만으로도 큰 이득이 자주 나온다고 주장합니다." — 0→2가 성찰 갱신 한 번인지는 원문에 없습니다. 트리에서 후보 1이 2보다 먼저 만들어졌
  • Review section '파레토 기반 후보 선택과 시스템 인식 병합' was kept with 4 open must-fix/missing item(s) (score 80); the editor was asked to fix them: check it. Open: "부모 후보 집합이 커지지 않는 이유는 비지배 후보만 남기 때문이고, 예산이 흩어지지 않는 이유는 … 선택 확률이 배정되기 때문입니다." — 원문은 "without inflating the search"라고만 주장하; "탐색과 활용의 균형을 별도 온도 파라미터 없이 점수 구조에서 얻는다는 점도 특징입니다." — 원문에 없는 주장입니다. 삭제하십시오.; "실험에서도 최대 5회로 제한되었습니다." — 이 수치는 제공된 원문 발췌에 없습니다. 브리프의 '최대 5회'와 일치하므로 남기되, "실험에서 Merge 호출은 최대 5회로 두었습니다"처럼 저자들의 설정임을 분명히
  • Review section '실험 설정: 벤치마크, 시스템, 예산 매칭' was kept with 1 open must-fix/missing item(s) (score 80); the editor was asked to fix them: check it. Open: 표의 AIME-2025·LiveBench-Math 행 "텍스트 피드백" 칸 "정답 기반": 원문은 이 두 벤치마크의 피드백 함수를 설명하지 않으므로 지어낸 내용입니다. 칸을 "원문에 명시 없음"으로 바꾸거나, 이 열
  • Review section 'GRPO 대비 표본 효율성' was kept with 3 open must-fix/missing item(s) (score 72); the editor was asked to fix them: check it. Open: "표의 총 최적화 예산으로 계산하면 GEPA는 1,839~7,051 롤아웃을 썼으므로, 24,000 롤아웃의 GRPO보다 약 3.4배(24,000/7,051)에서 13배(24,000/1,839) 적습니다. 저자들이 ; "저자들은 다섯 과제에서의 우위를 각각 19.0%, 2.73%, 13.66%, 5.19%, 0.7%로 보고하고" — 논문은 이 값들이 어느 과제에 해당하는지 밝히지 않았고, 그 출처인 관찰 문단은 "네 벤치마크에서"; "저자들은 이 네 벤치마크의 곡선을 모든 옵티마이저의 전체 성능-롤아웃 곡선으로 제시합니다." — 곡선 해설이 아니라 그림 구성 자체를 설명하는 문장입니다. 삭제하거나, 두 곡선에서 무엇을 보면 되는지를 담은 문장으
  • Review section '프롬프트 옵티마이저 비교: 지시문 최적화, 일반화, 프롬프트 길이, 모델 간 전이' was kept with 5 open must-fix/missing item(s) (score 72); the editor was asked to fix them: check it. Open: "AIME-2025에서는 GEPA의 향상을 +12%포인트로 제시합니다. 이 AIME-2025 GPT-4.1 Mini 표에서 GEPA는 59.33, MIPROv2는 51.33입니다." — 독자가 두 값의 차이를 계산하; "이 그래프에서는 HotpotQA와 PUPA에서 기준선 대비 상승이 가장 크다는 점과, 과제에 따라 GEPA와 GEPA+Merge의 순위가 바뀐다는 점이 눈에 띕니다." — 본문에 없는 내용을 그림에서 읽어 낸 서술; "GPT-4.1 Mini의 HotpotQA에서는 GEPA의 테스트 막대가 검증 막대에 거의 붙어 있습니다. MIPROv2는 두 막대가 더 벌어져 있습니다." / "격차도 MIPROv2보다 작습니다" / "두 산점도에
  • Review section '확장 응용: 커널 생성을 위한 추론 시점 탐색과 적대적 프롬프트 탐색' was kept with 2 open must-fix/missing item(s) (score 80); the editor was asked to fix them: check it. Open: "RAG 없이 Sequential10에 GEPA를 적용하면 평균 30.52%가 되고, 일부 커널은 최대 70%에 이릅니다." 및 막대그래프 앞뒤 서술 — 문제없음. 대신: "이 막대그래프에서는 실행 중에 검색을 쓰는; "헤더 사용, 함수 시그니처, aie::vector 사용법 같은 아키텍처 지식이 지시문과 템플릿 형태로 담겨 있습니다." — 원문 본문에 없고 그림 분석(이미지 판독)에서만 읽어 낸 내용입니다. 그림에서 값을 읽
  • TL;DR, closing or description claims to check against the paper: GPT-4.1 Mini에서는 지시문만으로 종합 +12.19를 얻어 MIPROv2의 +5.64를 크게 앞섰고, 프롬프트는 최대 9.2배 짧았습니다. || wrong: 9.2배 단축은 Qwen3 8B의 PUPA(GEPA+Merge) 수치입니다(Figure 18b). GPT-4.1 Mini에서 MIPROv2 대비 최대 단축은 약 7.5배(HotpotQA, GEP
  • 3 cited reference(s) had no abstract or text to summarize: 'Policy gradient algorithms', 'DSPy: compiling declarative language model calls into state-of-the-art pipelines', 'Optimizing generative ai by backpropagating language model feedback'.
  • Table values not found in the paper (check each is copied or derived correctly): A: 1 / 1 / 1 / 0 / 0.75, B: 0 / 0 / 0 / 1 / 0.25, AIME-2025: 2022 / 24 / 2025

Hand fixes

  • TL;DR: "프롬프트는 최대 9.2배 짧았습니다" under GPT-4.1 Mini → 9.2x is Qwen3 8B PUPA (Fig. 18b); GPT-4.1 Mini max is 7.5x, HotpotQA (Fig. 18a).
  • Merge: dropped "lineage conditions make Merge rare" (not in the paper); the cap of 5 calls is the authors' setup (App. E.4).
  • GRPO margins 19.0 / 2.73 / 13.66 / 5.19 / 0.7: the paper names no tasks; the post now says they match Table 1 GEPA − GRPO for HotpotQA, IFBench, HoVer, PUPA, LiveBench-Math, in points.
  • IFBench curve sentence read off the figure → the Fig. 1 caption's claim.
  • AIME-2025 "+12%": matches Qwen3 8B (32.00 vs 20.00, Table 1), not the GPT-4.1 Mini table (59.33 vs 51.33).

Checked, unchanged: AIME-2025 / LiveBench-Math feedback cells already read "원문에 명시 없음" (App. E.1 describes only four); A/B Pareto table is the post's labelled illustration; AIME 2022–2024 train/val and AIME-2025 test (App. E.1); all Table 1/2/3 values.

- TL;DR: 9.2x shorter is Qwen3 8B PUPA (Fig. 18b); on GPT-4.1 Mini the
  maximum is 7.5x (HotpotQA, Fig. 18a).
- Merge: the paper caps it at 5 calls (App. E.4); it never says lineage
  conditions make it rare.
- The five GRPO margins are unnamed in the paper; the post says they match
  the Table 1 differences, in percentage points.
- IFBench curve sentence read off the figure is replaced by the caption's claim.
- AIME-2025 +12% matches the Qwen3 8B table (32.00 vs 20.00), not GPT-4.1 Mini.
@bits-bytes-nn
bits-bytes-nn merged commit 0340a2a into main Nov 17, 2026
3 checks passed
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant