Skip to content
Merged
Show file tree
Hide file tree
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension


Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
4 changes: 4 additions & 0 deletions .github/workflows/jekyll.yml
Original file line number Diff line number Diff line change
Expand Up @@ -53,6 +53,10 @@ jobs:
# Before the build: these plugins decide every page's description, order
# and read time.
run: bundle exec ruby test/run_all.rb
- name: Unit-test the search script
# js/search.js's matching and ranking, in node's own test runner: no
# packages to install. The runner image ships Node.
run: node --test 'test/js/*.test.js'
- name: Lint the post sources
# Front matter against _data/post_conventions.yml, plus table, math and
# heading rules the built HTML no longer shows.
Expand Down
4 changes: 4 additions & 0 deletions _data/post_conventions.yml
Original file line number Diff line number Diff line change
Expand Up @@ -38,6 +38,10 @@ topics:
# (_plugins/posted_date.rb).
forbidden_keys: [author, last_modified_at]

# A title longer than this needs a shorter `seo_title` for <title> (search
# results cut it); `seo_title` is held to it too.
seo_title_max_length: 70

# `lang` values. A translation is one post in each, sharing a translation_id;
# the language switcher (_includes/language_switcher.html) knows these two.
languages: [ko, en]
Expand Down
Original file line number Diff line number Diff line change
@@ -1,6 +1,7 @@
---
layout: post
title: "From Local to Global: A Graph RAG Approach to Query-Focused Summarization"
seo_title: "From Local to Global: A Graph RAG Approach"
subtitle: "로컬에서 글로벌로: 질의 중심 요약을 위한 Graph RAG 접근법"
date: 2024-04-24 18:38:11
paper_author: "Microsoft Research"
Expand Down
Original file line number Diff line number Diff line change
Expand Up @@ -62,7 +62,7 @@ BLOOM, LLaMA-1, Falcon과 같은 공개된 사전학습 모델들은 GPT-3나 Ch
인간 평가를 보완하기 위해 GPT-4 모델을 사용하여 상용 라이선스 파운데이션 모델들과 Llama 2-Chat 모델의 유용성과 안전성을 비교 평가했습니다. 평가의 공정성을 위해 모델 응답의 제시 순서를 무작위로 바꾸었으며, 동점을 제거하기 위해 승률을 $$\text{win}/(\text{win}+\text{loss})$$ 공식으로 계산했습니다.
### 안전성 평가 결과

![안전성 평가 결과](https://arxiv.org/html/2307.09288v1/img/safety_overall_human_temp.png)
![안전성 평가 결과](/assets/images/llama-2-open-foundation-and-fine-tuned-chat-models-1.png)

약 2,000개의 적대적 프롬프트에 대한 안전성 평가에서 Llama 2-Chat 모델은 다른 오픈소스 및 비공개 모델들과 비교하여 우수한 성능을 보여주었습니다. 특히 70b-chat 변형 모델이 가장 낮은 안전성 위반율을 기록했습니다. 하지만 이러한 안전성 평가 결과는 프롬프트 세트의 한계, 평가 가이드라인의 주관성, 그리고 개별 평가자의 주관성으로 인한 편향이 있을 수 있습니다. 또한 이러한 안전성 평가는 Llama 2-Chat 모델에 최적화된 콘텐츠 기준을 사용했을 가능성이 있다는 점을 고려해야 합니다.

Expand Down Expand Up @@ -304,7 +304,7 @@ Llama 2의 안전성 평가와 완화 방법은 크게 네 가지 주요 영역

HolisticBias 데이터셋의 인구통계학적 정체성 용어를 사용하여 다양한 집단의 대표성을 분석했습니다. 종교, 성별과 성, 국적, 인종과 민족, 성적 지향이라는 5개 축으로 구분하여 각 축의 상위 5개 용어 빈도를 측정했습니다. 성별과 성의 경우, 'She' 대명사는 적게 등장하지만 'female'이라는 용어는 더 많은 문서에서 발견되었습니다. 성적 지향의 상위 5개 용어는 모두 LGBTQ+ 정체성과 관련되어 있었으며, 국적, 인종과 민족, 종교에서는 서구적 편향이 관찰되었습니다.

![데이터 유해성](https://arxiv.org/html/2307.09288v1/img/data_toxicity.png)
![데이터 유해성](/assets/images/llama-2-open-foundation-and-fine-tuned-chat-models-2.png)

#### 데이터 유해성 평가

Expand Down Expand Up @@ -412,11 +412,11 @@ Llama 2-Chat의 안전성을 평가하기 위해 연구진은 안전성 카테

1점이나 2점은 위반으로 간주되며, 각 샘플은 세 명의 주석자가 평가하여 다수결로 위반 여부를 결정했습니다. 평가자 간 신뢰도(IRR)는 Gwet의 AC1/2 통계를 사용하여 측정했으며, 주석 배치에 따라 0.70에서 0.95 사이의 점수를 보였습니다. Llama 2-Chat 주석에 대한 평균 IRR은 Gwet의 AC2 측정에서 0.92를 기록했습니다.

![전반적인 안전성 측정](https://arxiv.org/html/2307.09288v1/img/safety_human_eval/overall_violation.png)
![전반적인 안전성 측정](/assets/images/llama-2-open-foundation-and-fine-tuned-chat-models-3.png)

Llama 2-Chat은 모든 모델 크기에서 낮은 위반율을 보여주었습니다. 다만 이러한 결과는 프롬프트 세트의 한계, 검토 가이드라인의 주관성, 콘텐츠 기준, 그리고 개별 평가자의 주관성을 고려하여 신중하게 해석해야 합니다.

![위험 카테고리별 위반율](https://arxiv.org/html/2307.09288v1/img/safety_human_eval/category.png)
![위험 카테고리별 위반율](/assets/images/llama-2-open-foundation-and-fine-tuned-chat-models-4.png)

위험 카테고리별 안전성 위반율을 분석한 결과, Llama 2-Chat은 비전문가 조언 카테고리에서 상대적으로 더 많은 위반을 보였습니다. 이는 때때로 적절한 면책 조항(예: "저는 전문가가 아닙니다")을 포함하지 않는 등의 이유 때문입니다. 다른 두 카테고리에서는 모델 크기와 관계없이 일관되게 낮은 위반율을 달성했습니다.

Expand Down
Original file line number Diff line number Diff line change
Expand Up @@ -81,11 +81,11 @@ DeepSeek LLM은 0.006의 표준편차로 초기화되었으며, AdamW 옵티마

사전 학습 과정에서는 일반적으로 사용되는 코사인 스케줄러 대신 다단계 학습률 스케줄러를 채택했습니다. 구체적으로, 모델의 학습률은 2000 웜업 스텝 이후 최대값에 도달하며, 전체 학습 토큰의 80%를 처리한 후에는 최대값의 31.6%로 감소합니다. 이어서 90%의 토큰을 처리한 후에는 최대값의 10%로 더욱 감소합니다. 학습 과정에서의 그래디언트 클리핑은 1.0으로 설정되었습니다.

![학습률 스케줄러 비교](https://arxiv.org/html/2401.02954v1/figures/loss_step_cosine.png)
![학습률 스케줄러 비교](/assets/images/deepseek-llm-scaling-open-source-language-models-with-longtermism-1.png)

위 그래프는 다단계 학습률 스케줄러와 코사인 스케줄러의 성능을 비교한 것입니다. 실험 결과에 따르면, 학습 중 손실 감소 추세에는 차이가 있지만, 최종 성능은 두 스케줄러가 실질적으로 동일한 수준을 보여주었습니다. 다단계 학습률 스케줄러를 선택한 주된 이유는 모델 크기를 고정한 상태에서 학습 규모를 조정할 때, 첫 번째 단계의 학습을 재사용할 수 있다는 독특한 이점 때문이었습니다.

![다단계 비율 비교](https://arxiv.org/html/2401.02954v1/figures/loss_diff_step.png)
![다단계 비율 비교](/assets/images/deepseek-llm-scaling-open-source-language-models-with-longtermism-2.png)

위 그래프는 다단계 학습률 스케줄러의 각 단계 비율을 조정했을 때의 영향을 보여줍니다. 실험 결과, 각 단계의 비율을 조정하면 약간 더 나은 성능을 얻을 수 있었습니다. 그러나 연속 학습에서의 재사용 비율과 모델 성능 사이의 균형을 고려하여, 최종적으로 세 단계의 비율을 80%, 10%, 10%로 설정했습니다.

Expand Down Expand Up @@ -130,18 +130,18 @@ GPU 메모리 사용을 더욱 최적화하기 위해 인플레이스 크로스

1e17의 컴퓨트 예산에서 작은 규모의 실험으로 배치 크기와 학습률에 대한 그리드 서치를 수행했으며, 특정 모델 크기(177M FLOPs/토큰)에 대한 결과는 아래 그래프와 같습니다.

![배치 크기와 학습률 관계](https://arxiv.org/html/2401.02954v1/figures/loss_bs_lr_1e17.png)
![배치 크기와 학습률 관계](/assets/images/deepseek-llm-scaling-open-source-language-models-with-longtermism-3.png)

실험 결과는 일반화 오차가 배치 크기와 학습률의 선택에 있어 넓은 범위에서 안정적으로 유지된다는 것을 보여줍니다. 이는 상대적으로 넓은 파라미터 공간 내에서 최적에 가까운 성능을 달성할 수 있다는 것을 의미합니다.

![1e20 FLOPs에서의 최적 하이퍼파라미터](https://arxiv.org/html/2401.02954v1/figures/loss_bs_lr_1e20.png)
![1e20 FLOPs에서의 최적 하이퍼파라미터](/assets/images/deepseek-llm-scaling-open-source-language-models-with-longtermism-4.png)

앞서 언급한 다단계 학습률 스케줄러를 활용하여 첫 번째 단계를 재사용함으로써 1e17에서 2e19까지의 다양한 컴퓨트 예산에서 서로 다른 배치 크기와 학습률로 여러 모델을 효과적으로 학습했습니다. 파라미터 공간의 중복성을 고려하여, 일반화 오차가 최소값보다 0.25% 이상 초과하지 않는 모델들의 파라미터를 최적에 가까운 하이퍼파라미터로 간주했습니다.
이어서 배치 크기 $$B$$와 학습률 $$\eta$$를 컴퓨트 예산 $$C$$에 대해 피팅했습니다. 피팅 결과는 아래 그래프와 같이 나타났습니다.

![배치 크기 스케일링 곡선](https://arxiv.org/html/2401.02954v1/figures/flops_bsz_fitting.png)
![배치 크기 스케일링 곡선](/assets/images/deepseek-llm-scaling-open-source-language-models-with-longtermism-5.png)

![학습률 스케일링 곡선](https://arxiv.org/html/2401.02954v1/figures/flops_lr_fitting.png)
![학습률 스케일링 곡선](/assets/images/deepseek-llm-scaling-open-source-language-models-with-longtermism-6.png)

피팅 결과에 따르면, 최적의 배치 크기 $$B$$는 컴퓨트 예산 $$C$$가 증가함에 따라 점진적으로 증가하는 반면, 최적의 학습률 $$\eta$$는 점진적으로 감소하는 것으로 나타났습니다. 이는 모델을 스케일업할 때 배치 크기와 학습률에 대한 직관적인 경험적 설정과 일치합니다. 또한 모든 최적에 가까운 하이퍼파라미터들이 넓은 밴드 범위 내에 위치하는 것으로 나타났는데, 이는 이 구간 내에서 최적에 가까운 파라미터를 선택하는 것이 상대적으로 용이하다는 것을 의미합니다.

Expand Down Expand Up @@ -219,7 +219,7 @@ DeepSeek LLM의 성능을 평가하기 위해 영어와 중국어 공개 벤치

셋째, 언어 모델링 기반 평가는 Pile-test에 적용되었으며, 테스트 코퍼스에서 바이트당 비트(bits-per-byte)를 계산하는 방식으로 진행되었습니다. 평가 시 최대 시퀀스 길이는 벤치마크에 따라 2048 또는 4096을 사용했습니다.

![벤치마크 평가 결과](https://arxiv.org/html/2401.02954v1/figures/pretrain_metric.png)
![벤치마크 평가 결과](/assets/images/deepseek-llm-scaling-open-source-language-models-with-longtermism-7.png)

위 그래프는 DeepSeek LLM Base 모델의 벤치마크 평가 결과를 보여줍니다. ChineseQA는 TriviaQA와 유사한 방식으로 구성된 내부 테스트 세트입니다. 학습이 진행됨에 따라 모든 벤치마크에서 지속적인 성능 향상이 관찰되었으며, 이는 학습이 더 진행된다면 성능이 더욱 개선될 수 있음을 시사합니다.
### DeepSeek LLM의 기본 모델 성능 분석
Expand Down
Original file line number Diff line number Diff line change
Expand Up @@ -40,7 +40,7 @@ DeepSeek-AI에서 개발된 DeepSeekMoE는 대규모 언어 모델의 새로운

대규모 언어 모델의 시대에서 혼합 전문가(Mixture-of-Experts, MoE) 아키텍처는 모델 파라미터를 확장하면서도 계산 비용을 효율적으로 관리할 수 있는 유망한 접근 방식으로 주목받고 있습니다. 그러나 GShard와 같은 기존의 MoE 아키텍처는 전체 $$N$$개의 전문가 중 상위 $$K$$개를 활성화하는 방식을 사용하면서, 전문가 특화(expert specialization)를 달성하는 데 어려움을 겪어왔습니다. 여기서 전문가 특화란 각 전문가가 서로 중복되지 않는 집중된 지식을 획득하는 것을 의미합니다.

![DeepSeekMoE와 오픈소스 모델 비교](https://arxiv.org/html/2401.06066v1/x1.png)
![DeepSeekMoE와 오픈소스 모델 비교](/assets/images/deepseekmoe-towards-ultimate-expert-specialization-in-mixture-of-experts-language-models-1.png)

이러한 문제를 해결하기 위해 연구진은 궁극적인 전문가 특화를 목표로 하는 DeepSeekMoE 아키텍처를 제안했습니다. 이 아키텍처는 두 가지 핵심 전략을 도입합니다. 첫째, 전문가들을 $$mN$$개로 세분화하고 이 중 $$mK$$개를 활성화함으로써 활성화된 전문가들의 더욱 유연한 조합을 가능하게 합니다. 둘째, $$K_s$$개의 전문가를 공유 전문가로 분리하여 공통 지식을 포착하고 라우팅된 전문가들 간의 중복성을 줄이는 것을 목표로 합니다.

Expand Down Expand Up @@ -89,7 +89,7 @@ $$\mathbf{h}_{t}^{l} = \operatorname{FFN}(\mathbf{u}_{t}^{l}) + \mathbf{u}_{t}^{

여기서 $$T$$는 시퀀스 길이를 나타내며, $$\operatorname{Self-Att}(\cdot)$$은 셀프 어텐션 모듈을, $$\operatorname{FFN}(\cdot)$$은 피드포워드 네트워크를 의미합니다. $$\mathbf{u}_{1:T}^{l} \in \mathbb{R}^{T \times d}$$는 $$l$$번째 어텐션 모듈 이후의 모든 토큰에 대한 은닉 상태를 나타내고, $$\mathbf{h}_{t}^{l} \in \mathbb{R}^{d}$$는 $$l$$번째 트랜스포머 블록 이후 $$t$$번째 토큰의 출력 은닉 상태를 나타냅니다.

![DeepSeekMoE 아키텍처](https://arxiv.org/html/2401.06066v1/x2.png)
![DeepSeekMoE 아키텍처](/assets/images/deepseekmoe-towards-ultimate-expert-specialization-in-mixture-of-experts-language-models-2.png)

MoE 언어 모델을 구성할 때는 일반적으로 트랜스포머의 FFN을 특정 간격으로 MoE 층으로 대체합니다. MoE 층은 여러 전문가로 구성되며, 각 전문가는 구조적으로 표준 FFN과 동일합니다. 각 토큰은 하나 또는 두 개의 전문가에 할당되어 처리됩니다. $$l$$번째 FFN이 MoE 층으로 대체될 때, 출력 은닉 상태 $$\mathbf{h}_{t}^{l}$$는 다음과 같이 계산됩니다.

Expand Down Expand Up @@ -226,15 +226,15 @@ DeepSeekMoE의 성능 평가는 다양한 유형의 작업을 포괄하는 광

DeepSeekMoE 2B 모델의 전문가 특화 현상을 실증적으로 분석한 결과를 살펴보겠습니다. 여기서 언급하는 DeepSeekMoE 2B는 총 2.0B 파라미터를 가지며, 1개의 공유 전문가와 63개의 라우팅된 전문가 중 7개가 활성화되는 모델을 의미합니다.

![전문가 비활성화 실험 결과](https://arxiv.org/html/2401.06066v1/x4.png)
![전문가 비활성화 실험 결과](/assets/images/deepseekmoe-towards-ultimate-expert-specialization-in-mixture-of-experts-language-models-3.png)

상위 라우팅된 전문가들을 비활성화했을 때의 영향을 분석한 결과, DeepSeekMoE는 GShard×1.5 모델과 비교하여 전문가 비활성화에 더 민감한 반응을 보였습니다. 이는 DeepSeekMoE의 라우팅된 전문가들 간의 중복성이 더 낮다는 것을 의미합니다. 구체적으로, 각 토큰에 대해 라우팅 확률이 가장 높은 전문가들의 특정 비율을 마스킹하고, 남은 전문가들 중에서 상위 K개를 선택하는 방식으로 실험을 진행했습니다.

![활성화된 전문가 수에 따른 성능](https://arxiv.org/html/2401.06066v1/x5.png)
![활성화된 전문가 수에 따른 성능](/assets/images/deepseekmoe-towards-ultimate-expert-specialization-in-mixture-of-experts-language-models-4.png)

공유 전문가의 역할을 조사하기 위해, 공유 전문가를 비활성화하고 대신 하나의 라우팅된 전문가를 추가로 활성화하는 실험을 수행했습니다. 그 결과 Pile 손실이 1.808에서 2.414로 크게 증가했는데, 이는 동일한 계산 비용을 유지했음에도 불구하고 성능이 현저히 저하되었음을 보여줍니다. 이러한 결과는 공유 전문가가 라우팅된 전문가들과 공유되지 않는 기본적이고 필수적인 지식을 포착하고 있어 라우팅된 전문가로 대체될 수 없다는 것을 입증합니다.

![GShard와 DeepSeekMoE 비교](https://arxiv.org/html/2401.06066v1/x6.png)
![GShard와 DeepSeekMoE 비교](/assets/images/deepseekmoe-towards-ultimate-expert-specialization-in-mixture-of-experts-language-models-5.png)

DeepSeekMoE가 더 정확하고 효율적으로 지식을 획득한다는 주장을 검증하기 위해, 활성화되는 라우팅된 전문가의 수를 3개에서 7개까지 변화시키면서 Pile 손실을 평가했습니다. 실험 결과, 단 4개의 라우팅된 전문가만으로도 GShard와 비슷한 수준의 Pile 손실을 달성할 수 있었습니다. 이는 DeepSeekMoE가 필요한 지식을 더 정확하고 효율적으로 획득할 수 있다는 것을 보여줍니다.

Expand Down
Loading
Loading