beginner_source/ddp_series_theory.rst 번역 #896
Conversation
| * How gradients are synchronized across GPUs | ||
| * DDP 의 내부 작동 원리 | ||
| * ``DistributedSampler`` 이란 무엇인가? | ||
| * GPU 간 기울기들이 동기화되는 방법 |
There was a problem hiding this comment.
gradient의 경우 TRANSLATION_GUIDE.md 문서에 따라 '변화도' 라고 표현하는 것을 제안 드립니다.
There was a problem hiding this comment.
기울기로 된 단어가 적용이 안된 부분이 있는것 같습니다. 확인 부탁드립니다.
There was a problem hiding this comment.
사소한 부분이지만 아래와 같이 바뀐다면 더 좋을 것 같습니다.
기울기들이 -> 기울기를
번역모범사례와 KIGO 표준 스타일 가이드에 나오는 것처럼
영어의 복수표현은 가급적 단수표현으로 나타내는 것이 권장되기 때문입니다.
|
|
||
| What is Distributed Data Parallel (DDP) | ||
| 분산 데이터 병렬 처리 (DDP) 란 무엇인가? | ||
| ======================================= | ||
|
|
||
| Authors: `Suraj Subramanian <https://github.com/suraj813>`__ |
| * How gradients are synchronized across GPUs | ||
| * DDP 의 내부 작동 원리 | ||
| * ``DistributedSampler`` 이란 무엇인가? | ||
| * GPU 간 기울기들이 동기화되는 방법 |
There was a problem hiding this comment.
기울기로 된 단어가 적용이 안된 부분이 있는것 같습니다. 확인 부탁드립니다.
| 여러 개의 디바이스에서 여러 데이터 배치들을 동시에 처리하는 방법입니다. | ||
| 파이토치에서, `분산 샘플러 <https://pytorch.org/docs/stable/data.html#torch.utils.data.distributed.DistributedSampler>`__ 는 | ||
| 각 디바이스가 서로 다른 입력 배치를 받는 것을 보장합니다. | ||
| 모델은 모든 디바이스에 복제되며, 각 사본은 기울기를 계산하는 동시에 `링 올-리듀스 |
|
|
||
| * - ``DataParallel`` | ||
| - ``DistributedDataParallel`` | ||
| * - 작업 부하가 큼; 전파될 때마다 모델이 복제 및 삭제됨 |
There was a problem hiding this comment.
한국어에서는 ;를 잘 안쓰기때문에 문장 2개로 바꾸거나, 1문장으로 합쳐도 좋을 것 같습니다.
| 여러 개의 디바이스에서 여러 데이터 배치들을 동시에 처리하는 방법입니다. | ||
| 파이토치에서, `분산 샘플러 <https://pytorch.org/docs/stable/data.html#torch.utils.data.distributed.DistributedSampler>`__ 는 | ||
| 각 디바이스가 서로 다른 입력 배치를 받는 것을 보장합니다. | ||
| 모델은 모든 디바이스에 복제되며, 각 사본은 기울기를 계산하는 동시에 `링 올-리듀스 |
There was a problem hiding this comment.
링 올-리듀스는 잘 쓰이지 않는 표현이기때문에 영어로 병기하거나
아니면 영어 그 자체로 쓰시는 게 더 가독성에 좋을 듯합니다
| 여러 개의 디바이스에서 여러 데이터 배치들을 동시에 처리하는 방법입니다. | ||
| 파이토치에서, `분산 샘플러 <https://pytorch.org/docs/stable/data.html#torch.utils.data.distributed.DistributedSampler>`__ 는 | ||
| 각 디바이스가 서로 다른 입력 배치를 받는 것을 보장합니다. | ||
| 모델은 모든 디바이스에 복제되며, 각 사본은 기울기를 계산하는 동시에 `링 올-리듀스 |
There was a problem hiding this comment.
아래와 같은 표현을 제안합니다.
링-올 리듀스 알고리즘 -> Ring-All-Reduce 알고리즘
|
안녕하세요. |
rumjie
force-pushed
the
trnsl_ddp_0818
branch
from
98b5274
to
f3edc12
Compare
|
주신 코멘트들을 모두 반영한 커밋 push 완료했습니다. 세심한 코멘트 주신 분들께 모두 감사의 말씀 드립니다 🥰 |
| * - 단일 노드 병렬 처리만 가능 | ||
| - 여러 머신으로 확장 가능 | ||
| * - 느림, 단일 프로세스에서 멀티 스레딩을 사용하기 때문에 Global Interpreter Lock (GIL) 충돌이 발생 | ||
| - 빠름, 멀티 프로세싱을 사용하기 때문에 GIL 충돌 없음 |
There was a problem hiding this comment.
ascii로된 table이 list-table형식으로 바꿔두셨는데
혹시 뭔가 이유가 있었을까요?
큰 이유가 없다면 원본 문서 형식을 맞춰두는게 차후 개선을 위해서 편리할거 같습니다
There was a problem hiding this comment.
제가 잘못 작성했을 수도 있었을 것 같은데, 빌드해서 홈페이지 확인했을 때 테이블이 깨지는 것을 발견해서 형식을 바꿔두었습니다!
라이선스 동의
변경해주시는 내용에 BSD 3항 라이선스가 적용됨을 동의해주셔야 합니다.
더 자세한 내용은 기여하기 문서를 참고해주세요.
동의하시면 아래
[ ]를[x]로 만들어주세요.관련 이슈 번호
이 Pull Request와 관련있는 이슈 번호를 적어주세요.
이슈 또는 PR 번호 앞에 #을 붙이시면 제목을 바로 확인하실 수 있습니다. (예. #999 )
PR 종류
이 PR에 해당되는 종류 앞의
[ ]을[x]로 변경해주세요.PR 설명