话说现在用PyTorch分布式训练CTR模型怎么搞速度快啊？

[guotong1988]

Parameter Server架构还是All Reduce架构？
CPU还是GPU？
有没有开源代码参考？
用不用改PyTorch源码？
性价比最高的方案是？

[amazingyyc]

CTR肯定是ps架构更好，All Reduce针对NLP/CV这种dense的大模型，不适合稀疏模型。
CPU还是GPU：看你模型了，一般CTR dense部分模型很小，在PS架构上瓶颈在于网络IO所以CPU上训练比较多。如果dense部分比较大GPU也不是不可以。
有没有开源代码参考：tf上开源的有360的tensorrnet和阿里的xdl，pytorch上暂时没有。
用不用改PyTorch源码：肯定不用，基本上是“桥接“pytorch
性价比最高的方案是：自己写一个

BTW：我业余时间写了一个基于pytorch的大规模稀疏训练框架，有兴趣可以讨论。