我正在尝试使用Linux在某些Sun硬件上优化存储设置。任何想法将不胜感激。

我们有以下硬件：

太阳之刃X6270

2个LSISAS1068E SAS控制器

2个带1 TB磁盘的Sun J4400 JBOD(每个JBOD 24个磁盘)

Fedora Core 12

FC13的2.6.33发行版内核(也尝试使用FC12的最新2.6.31内核，结果相同)

这是SAS硬件的数据表：

它使用8个通道的PCI Express 1.0a。每个通道的带宽为250 MB /秒，每个SAS控制器应该能够做到2000 MB /秒。

每个控制器每个端口可以执行3 Gb /秒的速度，并具有两个4端口PHY。我们将两个PHY从控制器连接到JBOD。因此，在JBOD和控制器之间，我们有2个PHY * 4个SAS端口* 3 Gb /秒= 24 Gb /秒的带宽，这比PCI Express带宽还大。

启用写缓存并进行大写操作时，每个磁盘可以维持大约80 MB /秒的速度(接近磁盘开始位置)。如果使用24个磁盘，则意味着每个JBOD我们应该能够实现1920 MB /秒的速度。

多路径{

rr_min_io 100

uid 0

path_grouping_policy多总线

故障回复手册

path_selector“循环0”

rr_weight优先级

别名somealias

no_path_retry队列

模式0644

吉德0

某某

}

我为rr_min_io尝试了50、100、1000的值，但这似乎没有太大的区别。

随着rr_min_io的变化，我尝试在启动dd之间添加一些延迟，以防止它们同时在同一PHY上进行写入，但这没有任何区别，因此，我认为I / O正在适当地扩展。

根据/ proc / interrupts，SAS控制器正在使用“ IR-IO-APIC-fasteoi”中断方案。由于某些原因，只有机器中的核心＃0正在处理这些中断。我可以通过分配一个单独的内核来处理每个SAS控制器的中断来稍微提高性能：

回声2> / proc / irq / 24 / smp_affinity

回声4> / proc / irq / 26 / smp_affinity

使用dd写入磁盘会生成“函数调用中断”(不知道它们是什么)，这些中断由内核4处理，因此我也将其他进程置于该内核之外。

我运行48 dd(每个磁盘一个)，将它们分配给不处理中断的内核，如下所示：

任务集-c somecore dd if = / dev / zero of = / dev / mapper / mpathx oflag = direct bs = 128M

oflag = direct可防止涉及任何类型的缓冲区高速缓存。

我的核心似乎都没有被用尽。处理中断的内核大多处于空闲状态，所有其他内核都在等待I / O，正如人们所期望的那样。

Cpu0：0.0％us，1.0％sy，0.0％ni，91.2％id，7.5％wa，0.0％hi，0.2％si，0.0％st

Cpu1：0.0％us，0.8％sy，0.0％ni，93.0％id，0.2％wa，0.0％hi，6.0％si，0.0％st

Cpu2：0.0％us，0.6％sy，0.0％ni，94.4％id，0.1％wa，0.0％hi，4.8％si，0.0％st

Cpu3：0.0％us，7.5％sy，0.0％ni，36.3％id，56.1％wa，0.0％hi，0.0％si，0.0％st

Cpu4：0.0％us，1.3％sy，0.0％ni，85.7％id，4.9％wa，0.0％hi，8.1％si，0.0％st

Cpu5：0.1％us，5.5％sy，0.0％ni，36.2％id，58.3％wa，0.0％hi，0.0％si，0.0％st

Cpu6：0.0％us，5.0％sy，0.0％ni，36.3％id，58.7％wa，0.0％hi，0.0％si，0.0％st

Cpu7：0.0％us，5.1％sy，0.0％ni，36.3％id，58.5％wa，0.0％hi，0.0％si，0.0％st

Cpu8：0.1％us，8.3％sy，0.0％ni，27.2％id，64.4％wa，0.0％hi，0.0％si，0.0％st

Cpu9：0.1％us，7.9％sy，0.0％ni，36.2％id，55.8％wa，0.0％hi，0.0％si，0.0％st

Cpu10：0.0％us，7.8％sy，0.0％ni，36.2％id，56.0％wa，0.0％hi，0.0％si，0.0％st

Cpu11：0.0％us，7.3％sy，0.0％ni，36.3％id，56.4％wa，0.0％hi，0.0％si，0.0％st

Cpu12：0.0％us，5.6％sy，0.0％ni，33.1％id，61.2％wa，0.0％hi，0.0％si，0.0％st

Cpu13：0.1％us，5.3％sy，0.0％ni，36.1％id，58.5％wa，0.0％hi，0.0％si，0.0％st

Cpu14：0.0％us，4.9％sy，0.0％ni，36.4％id，58.7％wa，0.0％hi，0.0％si，0.0％st

Cpu15：0.1％us，5.4％sy，0.0％ni，36.5％id，58.1％wa，0.0％hi，0.0％si，0.0％st

考虑到所有这些，运行“ dstat 10”报告的吞吐量在2200-2300 MB /秒的范围内。

鉴于上述数学原理，我期望范围为2 * 1920〜= 3600+ MB / sec。

有人知道我丢失的带宽去了哪里吗？

谢谢！