Ceph - 每个 NVMe 推荐安装1个还是2个 OSD?
新钛云服已累计为您分享778篇技术干货
Nodes | 10 x Dell PowerEdge R6515 |
---|---|
CPU | 1 x AMD EPYC 7742 64C/128T |
Memory | 128GiB DDR4 |
Network | 1 x 100GbE Mellanox ConnectX-6 |
NVMe | 6 x 4TB Samsung PM983 |
OS Version | CentOS Stream release 8 |
Ceph Version | Reef v18.2.0 (built from source) |
osd_memory_target
在 1 OSD/NVMe 情况下设置为 16GB,在 2 OSD/NVMe 情况下设置为 8GB。 Numactl 用于控制每个 OSD 的 CPU 线程数。 OSD 被分配给两个“处理器”池,试图同时扩展物理核心和 HT 核心。为此,使用以下 bash 单行代码生成处理器到物理核心的映射:paste <(cat /proc/cpuinfo | grep"core id") <(cat /proc/cpuinfo | grep"processor") | sed 's/[[:blank:]]/ /g'
...numactl --physcpubind=0-12,64-76 /usr/local/bin/ceph-osd
使用默认调整时,OSD 的扩展范围不会超过每个 14-16 个 CPU 线程。 在高 CPU 线程数下,随机读取比随机写入更能从多个 OSD 中受益。 在 CPU 线程数较低的情况下,每个 NVMe 运行多个 OSD 会增加一定量的额外开销。
我们之前看到,两种 OSD 配置在最多 16 个 CPU 线程时表现相似。此后,每个 NVMe 配置的 2 个 OSD 继续扩展,而单个 OSD 配置则达到顶峰。我们还发现,每个 NVMe 配置 2 个 OSD 的尾部延迟显着降低。在这里,我们看到每个 CPU 线程在每个 NVMe 配置的 2 个 OSD 中更加努力地工作,以实现相同的 IOPS,尽管还有其他优势。这可能会导致更高的功耗和更多的热量产生。需要注意的是:此处报告的随机写入结果将复制因素纳入其中,以与我们去年秋天在这里发布的太平洋地区结果相匹配。虽然测试配置与去年秋天并不完全相同,但看来我们在这些 Reef 测试中实现了适度的效率改进。
1 OSD per NVMe Pros | 2 OSDs per NVMe Pros |
---|---|
+ Simpler Configuration | + Slightly Better Large Read Throughput |
+ Better Large Write Throughput | + Better IOPS when Very CPU Dense |
+ Slightly Better IOPS when CPU Starved | + Better Latency when Very CPU Dense |
+ Better CPU Efficiency | + Significantly Better Tail Latency |
+ Slightly Better Memory Usage |
原文: https://ceph.io/en/news/blog/2023/reef-osds-per-nvme/
最新评论
推荐文章
作者最新文章
你可能感兴趣的文章
Copyright Disclaimer: The copyright of contents (including texts, images, videos and audios) posted above belong to the User who shared or the third-party website which the User shared from. If you found your copyright have been infringed, please send a DMCA takedown notice to [email protected]. For more detail of the source, please click on the button "Read Original Post" below. For other communications, please send to [email protected].
版权声明:以上内容为用户推荐收藏至CareerEngine平台,其内容(含文字、图片、视频、音频等)及知识版权均属用户或用户转发自的第三方网站,如涉嫌侵权,请通知[email protected]进行信息删除。如需查看信息来源,请点击“查看原文”。如需洽谈其它事宜,请联系[email protected]。
版权声明:以上内容为用户推荐收藏至CareerEngine平台,其内容(含文字、图片、视频、音频等)及知识版权均属用户或用户转发自的第三方网站,如涉嫌侵权,请通知[email protected]进行信息删除。如需查看信息来源,请点击“查看原文”。如需洽谈其它事宜,请联系[email protected]。