omnispace的博客

注意：同时，我发表了关于并行梯度下降的硕士论文 ，该论文提供了对下述概念的完整和更详细的描述。在以下博文中，我们研究分布式深度学习的主题，或者更确切地说，如何使用数据并行方法来并行化梯度下降。 我们从阐述理论开始，同时向您提供我们应用的技术方面的一些直觉。 在这篇博文的最后，我们进行了一些实验来评估不同的优化方案在相同情况下的表现。 我们还介绍了dist-keras ，它是我们在Apache Sp...

注意： 可以在这里找到示例的完整源代码 。2017年6月8日，分布式深度学习的时代开始了。 在那一天， Facebook发布了一篇文章，展示了他们用于将卷积神经网络（ImageNet上的RESNET-50）的训练时间从两周到一小时减少到32个服务器的256个GPU的方法。 在软件中，他们引入了一种技术来训练具有非常大的小批量大小的卷积神经网络（ConvNets）：使学习速率与小批量大小成比例。 这...

TL; DR：使用TensorFlow作为数据流程序的分布式计算框架，我们通过联网实现了SPDZ协议的全面实施，从而实现了对加密数据的优化机器学习。与之前我们关注安全计算背后的概念以及潜在的应用程序不同 ，我们在这里构建了一个完全正常工作（被动安全）的实现，其中运行在不同机器上的玩家以及通过典型网络堆栈进行通信。 作为其中的一部分，我们研究了在实验安全计算时使用现代分布式计算平台的好处，而不是从头...