<var id="lf1hj"></var>
<menuitem id="lf1hj"></menuitem>
<menuitem id="lf1hj"><strike id="lf1hj"></strike></menuitem><menuitem id="lf1hj"></menuitem><var id="lf1hj"><strike id="lf1hj"></strike></var>
<var id="lf1hj"><strike id="lf1hj"></strike></var>
<var id="lf1hj"></var>
<var id="lf1hj"><strike id="lf1hj"><listing id="lf1hj"></listing></strike></var>
<var id="lf1hj"><strike id="lf1hj"></strike></var>
<var id="lf1hj"><dl id="lf1hj"></dl></var>
<var id="lf1hj"></var><var id="lf1hj"><strike id="lf1hj"><listing id="lf1hj"></listing></strike></var>
<menuitem id="lf1hj"><dl id="lf1hj"><progress id="lf1hj"></progress></dl></menuitem>
<var id="lf1hj"><strike id="lf1hj"><listing id="lf1hj"></listing></strike></var>
<var id="lf1hj"></var><cite id="lf1hj"></cite>
Storage

Millions of IOPS from a Networked File System Using Weka?

By Ryan Meredith - 2020-06-24

How do we share the performance of modern NVMe™ drives across a data center? There are many competing answers to that question and many companies with exciting solutions.

The right solution depends on the needs of the application in use. The simplest way to share data across servers and applications is to load it on a remote file system. File-based solutions such as NFS and Windows SMB are ubiquitous because of their ease of use, but they aren’t known to be particularly performant. What if you need remote file-system storage and ultra-high performance? Many high-value, file-system-based workloads, like artificial intelligence training and inference, can benefit from high-performance file storage. That’s where Weka™ comes in.

My team at the Micron Solutions Engineering Lab recently completed a proof of concept using Weka to share a pool of our mainstream Micron 7300 PRO with NVMe SSDs. The results — millions of IOPS from a file system — are exciting to consider.

Test Configuration

Weka has built a high-performance, parallel, shared file system called WekaFS. According to Weka, a deployment typically runs with a minimum of eight nodes in production environments, but it can run with as few as six nodes if the user does not need virtual spare capacity for a node rebuild.

Our testing uses six nodes in a 4 + 2 (data + parity) erasure-coding configuration for data protection. Weka supports N + 2 and N + 4 erasure-coding configurations supporting either two or four data protection nodes. As the number of data-focused nodes increases, two things happen: write performance increases and the probability of data exposure decreases. (See Weka data protection white paper for details.)

Here is the configuration we use in our testing (Figure 1):

  • 6x Dell™ R740xd 2U with 2x Intel 6142 processors (16 core 2.60GHz)
  • 1x 100 GbE Mellanox™ ConnectX™-5 NIC per server
  • 6x 7300 PRO 7.68TB SSDs per server (36 drives total)
  • 9 FIO load generators, each with 100 GbE NICs
  • Cumulus™ Linux™ 100 GbE switch (jumbo frames enabled)
  • WekaFS version 3.6.1
  • CentOS™ 7.6.1810 (kernel 3.10.0-957.el7.x86_64)

Figure 1: Test infrastructure overview
Figure 1: Test infrastructure overview

 

We use the Micron 7300 PRO 7.68TB SSD for this test due to its high capacity and compelling performance (Table 1).

Installation and configuration of Weka is straightforward, enabling us to provision this system quickly. For those who need help during installation, Weka has a great support team.

Table 1: Micron 7300 performance characteristics

Model Capacity
4KB
Random Read (IOPs)
4KB
Random Write (IOPs)
4KB Random 
70/30 (IOPs)
128KB
Sequential Read 
128KB 
Sequential Write 
Micron 7300 PRO 7.68TB
520k 85k 190k 3.0 GB/s 1.8 GB/s

Test Methodology

To evaluate the performance of the Weka solutions using Micron 7300 PRO SSDs, we perform a traditional “four corners” testing strategy, providing 100% read, 100% write and 70% read/30% write mixed, small-block workloads to test operations per second and 100% read and write large-block workloads to test throughput.

We conduct all tests using nine client nodes (each node running eight fio execution jobs), with each client targeting separate file folders on the shared file system. For each workload, we increase queue depth (QD) until we determine maximum performance levels. We configure Weka to use 19 CPU cores, with six of those cores dedicated to managing I/O to the six data drives in each Weka data node.

Performance Results

Our first three tests focus on 4KB block size measured in input/output operations per second (IOPS). We also provide average latency measured in microseconds (µs).

Figure 2: Small-block, 100% random read performance results

Figure 2: Small-block, 100% random read performance results

Using 100% 4KB random reads, we see a consistent increase of performance as queue depth increases. At QD32, maximum attained performance is achieved at over 4.6 million IOPS, while average latency increases to 487 µs, a 63% increase over QD16 (Figure 2).

Figure 3: Small-block, 100% random write performance results

Figure 3: Small-block, 100% random write performance results

Using 100% 4KB random writes, we see a rapid increase in performance as we move from QD1 to QD4 at around 626,000 IOPS. Moving to higher queue depths, IOPS level off significantly, reaching a maximum of 696,000 IOPS while latency increases from 830 µs at QD8 to 1.6 ms at QD16 (Figure 3).

In our experience, achieving submillisecond latencies for 4KB random writes to a remote file system at this level of performance is impressive. It is important to note that write performance is heavily influenced by the number of deployed data nodes. Using more nodes increases overall write performance.

Figure 4: Small-block, 70% read/30% write performance results

Figure 4: Small-block, 70% read/30% write performance results

Finally, for IOPS performance, we test using a 4KB 70% read/30% write workload. I/O performance peaks at over 1.6 million IOPS, with a latency of 467 µs for reads and a latency of 3.6 ms for writes at QD16 (Figure 4).

Our next series of tests focus on large block — 128KB — sequential workloads. Large-block I/O testing attempts to simulate use cases such as video streaming, database decision support systems, or big data analytics workloads. This type of workload test measures the rate of data throughput in gigabytes per second (GB/s).

Figure 5: Large-block, 100% sequential read performance results

Figure 5: Large-block, 100% sequential read performance results

First, we test 128KB sequential 100% reads across a range of queue depths. Our maximum performance is reached at QD16, hitting 62 GB/s at 2.3 ms average latency (Figure 5).

Figure 6: Large-block, 100% sequential write performance results

Figure 6: Large-block, 100% sequential write performance results

Our test shows that 100% 128KB sequential write workloads also reach a maximum throughput at QD16. But like the 128KB sequential read workload, the QD16 write performance reflects an increase in latency relative to QD8, in this case, approximately 86% higher (Figure 6).

Conclusion

Our testing shows that it’s possible to achieve impressive performance using Weka. Micron NVMe SSDs, such as the Micron 7300, can reach high levels of performance in an easy-to-manage file-system solution. Generating millions of IOPS and GB/s of throughput from a software-defined solution that also provides data protection, Weka pushes the boundaries of high-performance file storage.

Micron’s 7300 SSD with NVMe offers great performance that you expect from NVMe with the cost profile and power consumption typically seen in SATA solutions. These factors make the 7300 the go-to drive for broad deployment scenarios such as file-based storage infrastructures offered by Weka.

More Info

To learn more about Weka’s distributed file system, download the WekaFS datasheet.

To learn more about Micron NVMe SSDs like the Micron 7300, visit micron.com/nvme.

Also, stay up to date on future discussions about using SSDs in data center solutions, like those offered by Weka, by following us on Twitter and connecting with us on LinkedIn.

Ryan Meredith

Ryan Meredith

Ryan Meredith is a senior manager of Storage Solutions Engineering at Micron. He's worked in enterprise storage since 2007 for U.S. Bank, IBM and Gemalto. He currently leads a team focused on architecting and performance testing enterprise solutions using Micron's DRAM and flash technologies. He likes dogs, games, travel and scuba diving.

Ryan has a Master of Science in management information systems from the University of South Florida.

+
彩神ll 彩神ll
我吃西红柿 大主宰 天蚕土豆 小说 小说阅读网 重生之毒妃 梅果 小说 风凌天下 有声 豆豆小说阅读网 好看的小说 君子以泽 玄幻小说排行榜 唐家三少 好看的言情小说 怎么写网络小说 手机推荐排行榜 盗墓笔记小说下载 女强穿越玄幻完结小说 雪鹰领主 盗墓笔记小说下载 女强穿越玄幻完结小说 管理书籍排行榜 小说网 最好看的小说排行 欢乐颂第一季免费阅读 完美世界有声小说全集 好看的言情小说 古风 完美世界小说txt下载 旷世神医 管理书籍排行榜 网络小说排行榜 古风 耳根 网络小说排行榜 有声小说下载 武道至尊 帝临 小说 怎样写网络小说 兽性总裁的爱奴 完美世界官网 我欲封天txt下载 网络小说排行榜 小说阅读网免费小说 《完美世界》txt全集 武道至尊 帝临 小说 完美世界txt全集下载 言情小说 君子以泽 古风小说 完美世界前传下载 玄幻小说排行榜 怎样写网络小说 神武八荒 一颗 小说 我欲封天txt下载 我欲封天 耳根 小说零 完美世界txt全集下载 已完结小说排行榜 耳根 小说网 怎样写网络小说 手机推荐排行榜 武道至尊 帝临 小说 有声 好看的电视剧 小说改编的网页游戏 欢乐颂第一季免费阅读 殿上欢 欢乐颂第一季免费阅读 完美世界有声小说全集 魔天记 忘语 小说 我欲封天txt下载 大主宰之灵路天蚕土豆 天下 高月 小说 小说排行榜 完美世界小说txt下载 琅琊榜 海宴 小说 欢乐颂第三季 玄幻小说完本 魔天记 忘语 小说 已完本玄幻小说排行榜 如何发布网络小说 好看的言情小说 魔天记 忘语 小说 有声小说在线收听网 欢乐颂小说 完美世界前传下载 欢乐颂小说结局是什么 辰东完美世界有声小说 如何发布网络小说 盗墓笔记第二季 管理书籍排行榜 完美世界有声小说 雪鹰领主 魔天记 忘语 小说 盗墓笔记全集 盗墓笔记同人小说 盛世嫡妃 凤轻 小说 我欲封天 耳根 小说 小说阅读网站 绝色狂妃 仙魅 小说 小说阅读网 女强穿越玄幻完结小说 好看的小说 君子以泽 如何发布网络小说 雪鹰领主 雪鹰领主 盗墓笔记小说txt下载 小说排行榜完结版 女人书籍排行榜 豆豆小说阅读网 完美世界辰东小说下载 小说阅读网 小说改编的网页游戏 已完本玄幻小说排行榜 有声小说下载 有声小说打包下载 完美世界有声小说 有声 欢乐颂小说结局是什么 雪鹰领主 有声小说在线收听网 手机推荐排行榜 欢乐颂第三季 大主宰 好看的历史书籍推荐 完美世界有声小说全集 小说改编的网页游戏 完美世界小说txt下载 大主宰 天蚕土豆 官场小说排行榜 好看的小说完本推荐 欢乐颂第三季 有声小说打包下载 小说阅读网 好看的电视剧 小说阅读网 玄幻小说完本 欢乐颂 小说阅读器 完美世界有声小说全集 择天记 将夜 猫腻 小说 将夜 猫腻 小说 盗墓笔记第二季 完美世界有声小说 手机推荐排行榜 完美世界辰东 斗破苍穹续集 好看的电视剧 盗墓笔记同人小说 如何发布网络小说 风凌天下 好看的玄幻小说 古风名字 小说阅读网 小说排行榜完结版 网络小说排行榜 风凌天下 如何发布网络小说 豆豆小说阅读网 好看的历史书籍推荐 遮天 辰东 小说笔趣阁 大主宰 天蚕土豆 小说 完美世界辰东小说下载 我欲封天 耳根 小说 小说阅读网 已完本玄幻小说排行榜 雪鹰领主 遮天 欢乐颂第二季 欢乐颂小说结局是什么 有声读物 玄幻小说排行榜 盗墓笔记 有声小说下载 好看的小说 完美世界有声小说全集 有声读物 古风小说 古风小说 辰东 欢乐颂第三季 欢乐颂小说结局是什么 有声小说 最好看的小说排行 耳根 将夜 猫腻 小说 盛世嫡妃 凤轻 小说 最好看的小说排行 小说阅读网 盗墓笔记 好看的电视剧 好看的玄幻小说 最好看的小说排行 玄幻小说排行榜完本 好看的玄幻小说 盗墓笔记txt全集下载 欢乐颂第一季免费阅读 遮天 辰东 小说笔趣阁 好看的小说 有声读物 好看的电视剧 完美世界txt全集下载 梦入神机 玄幻小说完本 君子以泽 兽性总裁的爱奴 穿越小说排行榜 有声 yy玄幻小说排行榜完本 欢乐颂小说在线阅读 大主宰txt全集下载 辰东完美世界有声小说 神武八荒 一颗 小说 绝色狂妃 仙魅 小说 好看的言情小说 完结小说 穿越小说排行榜 将夜 猫腻 小说 性爱有声小说在线收听 玄幻小说改编的电视剧 完美世界辰东小说下载 玄幻小说排行榜完本 欢乐颂小说在线阅读 小说阅读网站 yy玄幻小说排行榜完本 武道至尊 帝临 小说 欢乐颂第三季 完美世界辰东小说下载 小说阅读网 小说阅读网免费小说 盗墓笔记同人小说 有声小说 小说 怎么写网络小说 欢乐颂第二季 玄幻小说改编的电视剧 玄幻小说排行榜 大主宰 玄幻小说排行榜 唐家三少 小说阅读网免费小说 完美世界前传下载 大主宰 小说阅读网站 欢乐颂小说结局是什么 盛世嫡妃 凤轻 小说 小说改编的网页游戏 小说阅读网站 殿上欢 风凌天下 古风名字 小说 完美的世界 1993 电影 我欲封天txt下载 穿越小说排行榜 我欲封天 耳根 小说零 天蚕土豆 盗墓笔记小说下载 殿上欢 穿越小说完本 大主宰之灵路天蚕土豆 小说阅读网 完美世界有声小说 手机推荐排行榜 完美世界辰东 好看的课外书 女强穿越玄幻完结小说 天蚕土豆 盗墓笔记txt全集下载 耳根 女人书籍排行榜 完美世界辰东小说下载 盗墓笔记txt全集下载 辰东全部小说 将夜 猫腻 小说 梦入神机 长生界 辰东 小说 最好看的小说排行 完美世界小说下载 小说阅读网免费小说 古风 古风小说 君子以泽 绝色狂妃 仙魅 小说 国际完美世界下载 灵域 小说阅读网免费小说 武道至尊 帝临 小说 怎么写网络小说 盗墓笔记同人小说 懒人听书 武道至尊 帝临 小说 欢乐颂小说 官场小说排行榜 我欲封天txt下载 小说排行榜完结版 怎么写网络小说 盛世嫡妃 凤轻 小说 性爱有声小说在线收听 小说阅读网站 国际完美世界下载 有声读物 重生之毒妃 梅果 小说 盗墓笔记小说全集 完美世界辰东 大主宰之灵路天蚕土豆 盗墓笔记txt全集下载 小说阅读器 盗墓笔记全集 性爱有声小说在线收听 完美世界辰东小说下载 玄幻小说排行榜完本 欢乐颂小说结局是什么 欢乐颂第二季 武道至尊 帝临 小说 欢乐颂小说结局是什么 我欲封天 怎么写网络小说 有声小说打包下载 小说网 完结小说排行榜 玄幻小说改编的电视剧 盗墓笔记txt全集下载 天域苍穹 神武八荒 一颗 小说 完美世界有声小说 将夜 猫腻 小说 盗墓笔记小说txt下载 懒人听书 欢乐颂第三季 完美世界txt下载 如何发布网络小说 完美世界官网 小说排行榜完结版 古风名字 重生之毒妃 梅果 小说 小说阅读网站 完美世界有声小说 完美世界小说下载 好看的小说 君子以泽 好看的电视剧 魔天记 忘语 小说 兽性总裁的爱奴 完美世界txt下载 欢乐颂 玄幻小说改编的电视剧 大主宰之灵路天蚕土豆 盗墓笔记txt全集下载 玄幻小说完本 玄幻小说排行榜完本 豆豆小说阅读网 古风小说 天蚕土豆 小说 耳根 古风名字 斗破苍穹续集 好看的小说完本推荐 小说排行榜 欢乐颂第三季 小说阅读网 管理书籍排行榜 新寡妇村传奇 兽性总裁的爱奴 梦入神机 古风小说 重生之毒妃 梅果 小说 小说网 yy玄幻小说排行榜完本 完美世界官网 雪鹰领主 耳根 完美的世界 1993 电影 辰东完美世界有声小说 武道至尊 帝临 小说 完美世界txt全集下载 欢乐颂小说结局是什么 小说阅读网免费小说 懒人听书 好看的言情小说 《完美世界》txt全集 完美世界有声小说 大主宰 兽性总裁的爱奴 辰东 旷世神医 殿上欢 完美世界官网 古风小说 君子以泽 好看的课外书 好看的言情小说 魔天记 忘语 小说 穿越小说完本 辰东完美世界有声小说 言情小说 君子以泽 穿越小说排行榜 有声 完结小说 新寡妇村传奇 豆豆小说阅读网 琅琊榜 海宴 小说 欢乐颂第一季 小说阅读网站 完美世界辰东 完美世界国际版下载 小说阅读网站 小说网 雪鹰领主 斗破苍穹续集 天下 高月 小说 有声读物 辰东全部小说 欢乐颂 好看的电视剧 小说网 穿越小说排行榜 欢乐颂小说txt 女强穿越玄幻完结小说 我欲封天txt下载 盗墓笔记同人小说 盗墓笔记 有声读物 yy玄幻小说排行榜完本 我欲封天 耳根 小说 有声读物 盗墓笔记小说下载 完美世界辰东 长生界 辰东 小说 怎样写网络小说 有声读物 斗破苍穹续集 yy玄幻小说排行榜完本 欢乐颂小说结局是什么 辰东 我欲封天txt下载 重生之毒妃 梅果 小说 完美世界 辰东 小说 欢乐颂小说结局 雪鹰领主 完美世界小说下载 欢乐颂第一季 盗墓笔记 古风名字 女强穿越玄幻完结小说 完美世界小说下载 兽性总裁的爱奴 玄幻小说完本 小说排行榜完结版 小说阅读网 小说阅读网免费小说 唐家三少 神武八荒 一颗 小说 武道至尊 帝临 小说 有声小说下载 玄幻小说改编的电视剧 手机推荐排行榜 我欲封天 耳根 小说 古风 盗墓笔记第二季 我欲封天 耳根 小说 风凌天下 盛世嫡妃 凤轻 小说 豆豆小说阅读网 完结小说 豆豆小说阅读网 古风君子以泽 穿越小说完本 完美世界小说下载 古风小说 君子以泽 女强穿越玄幻完结小说 盗墓笔记全集 盗墓笔记txt全集下载 我欲封天txt下载 大主宰txt全集下载 盗墓笔记小说txt下载 盗墓笔记txt全集下载 欢乐颂第一季 怎么写网络小说 我欲封天 雪鹰领主 欢乐颂第一季 手机推荐排行榜 已完结小说排行榜 好看的电视剧 好看的小说完本推荐 盗墓笔记小说下载 欢乐颂第二季 怎么写网络小说 盗墓笔记小说txt下载 已完本玄幻小说排行榜 大主宰txt全集下载 重生之毒妃 梅果 小说 大主宰 天蚕土豆 小说 怎么写网络小说 小说阅读网免费小说 欢乐颂小说结局是什么 欢乐颂小说结局是什么 古风 完美世界txt全集下载 辰东 琅琊榜 海宴 小说 梦入神机 完美世界txt下载 天域苍穹