ボトルネックを探せ@17号機 Asus Z9PE-D8 WS

ボトルネックを探せシリーズ第四弾

今回は17号機のダイヤグラムを将来的な構成で(CPU以外は現状を、GPUは現在GTX780tiを2基搭載を)書いてみました。今迄で一番巨大です。(4K2Kより縦方向に若干大きいです)
No17_Diagram10.png
※物理配置的にはGPUをもう一枚挿せますし、ARC-1882iをPCIe x8スロットへ移動すれば3スロット仕様GPUの2枚挿しも可能です。

DSC01634.jpg


ノースブリッジが完全にCPUに内臓された為、構造上のボトルネックは最大限回避されていて、今後しばらくはこれ以上望めそうも無い所に達していると思いますが、CPU間のQuickPathがメモリ帯域に満たない為、リモートノードのメモリへのアクセスがボトルネックに成る可能性があります。つまり次期ソケットではQPIを3~4本に増やしたXEON E7系が登場するかもしれませんしQPIがQDR(Quad-Data-Rate)に成るかもしれません。

他に強いて言えば、Z9PE-D8 WSのPCIeスロット1~4の信号線に挿入されているx8⇔x16切り替えバッファ(スイッチ)が悪影響を及ぼす可能性が有るかも?という程度です。

CPU間を結ぶQPIがマニュアルによりますと2本接続と書いてありましたので片側32GB/sの全二重ですから合計64GB/sです。これが何を意味するかと云いますと、合計32GBのメインメモリ全域にアクセスするのに理論上は1秒掛からないという事です。後ほど帯域を実測してみますがクアッドチャネルではバス幅が256Bitですから相応の命令セットで測定しないとピーク性能は出せないかもしれません。

実測してみました@XEON E5-2603
SandyMEM2.png
この様にCPUが異なるとは言え理論値の概ね1/10しか出ませんでしたorz
但しPentium4時代の測定ツールで32Bitのシングルスレッドです。

Sandra2012 SP5c でキャッシュと主メモリの帯域測定をしてみました。
SandyMEMCache2.png
計測方法でこんなにも違うんですね。
測定中にCPUとメモリの負荷をモニタリングしていましたら、どうやらSandra2012は全コアを使ってメモリに負荷を掛けている様です。4GBブロックで33GB/sしか出ないのは計測に使ったメモリの配置が片側ノードに偏った結果かもしれません。

CrystalMarkは32Bitですし古い物ですからSSE4とかAVXなんかは使っていないと思いますが、こんな感じの微妙な結果です。
SandyMEMCM.png
測定中にCPUとメモリの負荷をモニタリングしていましたら、どうやらCrystalMarkはメモリ帯域の測定を4スレッド固定で行っている様で、4スレッドを全て1つのNUMAノードに限定すると計測結果が半分程度に成る事と、NUMAノードを限定しない場合は計測値が測定の都度乱れる事から推測しますと、4スレッドで各スレッドが個々にメモリをアロケートし、その合算帯域をスコアにしていると思われ、かつ、NUMAを無視したプログラミングに成っていて、ローカルメモリとリモートメモリを意図せずランダムにアクセスした結果としてスコアが乱れると思われます。
また、恐らくコアとスレッドを固定していない為、キャッシュ帯域の計測が不正確で計測の都度スコアが大きく乱れます。

IntelのCPU向けにはパフォーマンスモニターの機能を拡張するツールが提供されていますので、後ほどこのツールを使って更に検証を続けてみます。
関連記事
スポンサーサイト

コメントの投稿

非公開コメント

プロフィール

DualSocketTheWorld

Author:DualSocketTheWorld
自作を始めて20台目くらいになりますが、最初からデュアルソケット限定(始めた当時はデュアルスロット)で自作しており、近年になってAMD K6を試したくなりSocket7でK6-2+のシングル構成で組んだのがシングル初です。

シングルマザー(含:シングルソケットマルチコア)や4ソケット以上の自作は基本的にしませんし、メーカー製PCの改造も基本的にはしません(ノートPCのSSD化くらいはしますが・・・)

基本路線はワークステーションと呼ばれる分野での自作で、OSもWindows系であればProfesionalが主な対象に成ります。

ゲーマーの様なOverClockは行わず、WS路線としてハイエンドCPUとハイエンドGPUの組み合わせで定格或いはDownClockで発熱を抑えつつ、その時のアーキテクチャに置いて爆速かつ静音を目指し、30年以上の長期に渡り稼動状態をキープする事を目指します。

※基本的にリンクフリーです。どこでも自由にどうぞ。

※画像は時々変ります。

※お決まりの文章ですが、改造は個人の責任で行ってください。ここに記載された情報は間違いを含んでいる可能性が有り、それを元に製作や改造などをして失敗しても筆者は一切責任持てませんので悪しからず。

筆者略歴:
小学生時代にゴミ捨て場で拾ったジャンクテレビ数台を分解して部品を取り出し真空管アンプを自作、中学生時代にPC8801mkⅡsrでZ80アセンブラを始める。社会人になって初のプログラムは弾道計算、後に医療系・金融系プログラマ~SEを経て100~200人規模プロジェクトのジェネラルマネジャを数年経験、独立して起業。現在は不動産所得で半引退生活。
(人物特定を避ける目的で一部経歴を変更しています)

最新記事
最新コメント
最新トラックバック
月別アーカイブ
カテゴリ
アクセスカウンター
検索フォーム
RSSリンクの表示
リンク
ブロとも申請フォーム

この人とブロともになる

QRコード
QR