开始使用 hfai

High-Flyer    April 26, 2022

幻方萤火 AI 训练平台 hfai 可以为您提供简单易用的深度学习训练服务。使用 hfai,您可以在幻方萤火二号上自由部署训练大规模深度学习网络,使用幻方萤火的优化工具为您的模型训练加速。

观看以下视频快速了解如何通过控制台使用 hfai。


官方文档https://doc.hfai.high-flyer.cn/index.html

宣传推文https://mp.weixin.qq.com/s/qslsTUeq06bu09IVJ5TwBA

案例代码https://github.com/HFAiLab/hfai-models/tree/main/resnet

使用说明

您可以申请使用,审批通过后就可以获得 hfai 专属账号和资源。您通过 VPN 接入幻方萤火的网络,浏览器访问 https://studio.yinghuo.high-flyer.cn,通过预设账号登录即可使用。

使用样本数据格式 ffrecord

ffrecord 是 hfai 提供的适用于模型训练场景的样本数据格式,其与幻方萤火集群的结构相适应,能提供高性能的批次数据读取。更多信息,请参见《幻方萤火 | 高性能数据格式 ffrecord》

使用并行训练工具 hfreduce

hfreduce 是 hfai 提供的高速模型并行训练工具,根据幻方萤火集群的特性专为计算节点设计的 All Reduce 工具。其使用 CPU 做加法运算以计算总梯度。更多信息,请参见《幻方萤火 | 模型并行训练工具 hfreduce》

使用深度学习算子 hfai.nn

hfai.nn 是 hfai 中的算子模块,其提供了比 Pytorch 原生算子性能更优异的优化算子,助力一些常见场景下的模型训练加速。更多信息,请参见《幻方萤火 | 性能卓越的深度学习算子 hfai.nn》


本文作者: High-Flyer


You are free to reprint the content in this Blog or excerpt or quote it without contravening the authors' intentions under the following terms: Attribution — You shall give credit to the author(s), but not in any way that suggests High-Flyer endorses you or imposes any negative influence on High-Flyer's rights. Non Commercial — You may not use the content in this Blog for commercial purposes. No Derivatives — If you remix, transform or create upon the content, you may not publish or distribute the modified content but for personal use only.