今年5月，Graphcore在Wave Summit 2022深度学习开发者峰会上正式宣布加入硬件生态共创计划。同月，Graphcore联合百度飞桨举办了飞桨教程系列网络研讨会，介绍如何在IPU上运行百度飞桨，并深入解读如何利用飞桨平台在IPU上进行分布式训练及性能调优。
飞桨教程系列（一）：
如何在IPU上运行百度飞桨
——飞桨 x Graphcore IPU 训练和推理实例演示
适配方案
飞桨IPU版本的安装方式
  • Docker镜像方式启动，或通过源代码编译安装。
查看更多精彩？
长按扫描识别下方二维码，
观看研讨会回放
飞桨教程系列（二）：
如何利用飞桨平台在IPU上进行分布式训练及性能调优
使用百度飞桨在IPU上训练BERT
  • 模型并行和流水线并行：将大模型切分放在不同的IPU上运行，并引入流水线提高IPU的利用率。目前支持大约80个常用的Op。
  • 数据并行和RTS：降低优化器状态使用频率，减少每个replica上优化器状态所占的空间。
  • 再计算：以计算换空间，通过多计算的方法，训练更大的模型。
使用PopVision进行性能调优的常用分析方法
  • Memory report：协助调整每个IPU上的Op数量。
  • Liveness report：查看Op的空间占用情况。
  • Execution trace：查看Op的时间占用情况，定位哪些IPU的利用率偏低，进而调整模型。
查看更多精彩？
长按扫描识别下方二维码，
观看研讨会回放
五月五，麦浪黄，人间美景是端阳。
在这个龙舟竞渡的时节，Graphcore期待与您一同在IPU上划动人工智能创新的飞桨。
祝您端午安康！
获取更多Graphcore资讯，阅读深度技术文章，并与其他创新者们一起交流，请至中国官网graphcore.cn，以及关注Graphcore微信、微博和知乎创新社区。
Graphcore中国官网
Graphcore官方微信
Graphcore微博创新社区
Graphcore知乎创新社区
继续阅读
阅读原文