EPYCマザー 来ました!

->デュアルソケット・ザ・ワールドの目次は こちら へ。
-----------------------------------------------

執筆時点でEPYC対応のデュアルソケットマザーを公式発表したメーカは私の知る限りSupermicroのみです。AMDマザーで毎回先行してきたTyanからは未だシングルソケットしか登場していません。自作に使えそうなデュアルソケットは筆者が調べた限りSupermicroのH11DSiと、それに10GbEを搭載したH11DSi-NTのみです。
Supermicr H11DSi
H11DSi.jpg
※上の写真ではPCIeスロット脇に10GbE用のヒートシンクが装着されている事から、写真自体はバリエーションモデルのH11DSi-NTと思われます。

来たと言ってもネット上の情報が来たに過ぎず、我が家には未だ到着していません。

読者の方に教えて頂きましたが、当面は発熱や電力事情などからマザーボートに乗らないCPUの組み合わせが有る様で、マザーとCPUの相性でセット販売からスタートする様です。

マザーボードのサイズは標準的な E-ATX ですから、既存のデュアルソケット向けPCケースに難なく収まるハズですが、自作する上での問題はソケットSP3に対応したCPUヒートシンク!が未だ市場に見当たらない事ですね。GPUもVega待ちですし見ての通り、E-ATXではGPUの2枚挿しが限界です(とは言え、筆者は普段から2枚挿しで満足なので問題ありません)。

特徴と言いますか、既存のデュアルソケットマザーとの大きな違いは、マザーボード上にチップセットが無い!という事でしょうか。SoC化によるのですが、NICとコンソール用VGAの他はVRMと各種ソケットがちりばめられた板になっていると思います。筆者的には、ソケット間のインフィニティーファブリックが密結合しているであろう部位にノイズ源であるVRMを集中配置している様に見えるのが少し不安ですが、これで安定して高速動作するのであれば凄い技術力だと思います。

それと、想定していた事ですが現時点でのEPYCのベースクロックは未だ2GHz程度の物しか登場していないので、現時点での用途は並列演算か鯖です・・・けどこれ、32C/64T x 2CPU ですから、トータルで64C/128Tに成り、理論値で単精度2~3TFLOPS、倍精度1~2TFLOPS程度、MIPS換算で10,000,000MIPS(10TIPS)程度の並列演算性能になるかと。

加えて、PCIeスロット構成(Naplesなら5本全てをx16に出来るはず)から推察しますにNaplesのみでなくSnowyOwl(Threadripper同等品)搭載も視野に入れた設計が為されているのかもしれません。但し、その場合にはメモリスロットの扱いがどうなるのか?気に成ります。筆者的にはSnowyOwl版の [ 4Core/8Thread × 2CCX ] × 2die x 2Socket = 32C/64T でベースクロック2.8GHzが登場してくれたら満足ですが既に発表の有ったThreadripperのラインナップですとベースクロックで3GHz超の様ですから待てばEPYCでも2.8GHz以上が出るかもしれませんね。

色々総合的に考えると、インフィニティファブリックやPCIeの信号線が結構電力食いなのかもしれず、その結果として上のマザーでは電力的な事情から信号本数を削減しているのかもしれません。その事は合計88レーンを装備しているはずのH11DSU-iNのベアボーン構成からも類推されるかと。
 
こちらのEPYC対応GIGABYTE品はシングルソケットですが、メモリ容量的には上のマザーと同じ(公式には半分)で、PCIeスロットはブリッジを介さない為、過去のどのマザーよりも高帯域(CPU直結88レーン)が得られるのではないかと思われます。但し上のマザー同様にE-ATXサイズですからシングルソケットの自作経験しかない人は御注意下さい。
GIGABYTE MZ30-AR0
MZ30-AR0.png
R9-nanoの様なショートサイズのグラボと組み合わせると用途次第ではこちらの方が強力な物が作れるかもしれませんし、延長ケーブルと自作ケース(もしくは、こういった所に依頼してカスタムケース)を使えばフルサイズGPU4枚のフル帯域CPU直結やx8帯域でのGPU7枚直結も出来そうですからGPGPU重視の場合こちらの方が選択筋として向いているかと思います。延長ケーブルを使う場合はx16ソケット側のPCIe電源が不足する可能性が有るのでこういった給電改造を延長ケーブルに施す必要が有るかもしれません。
 
Tyanはサーバ向けに完全に特化していますね。欠けている部位には10GbEのNICがオプションで刺さるのだと推察致します。
Tyan S8026
S8026.jpg

EPYCは性能を盛り過ぎて電力バランスを保つのが課題なのかもしれず、K10世代の6コア品が登場した当時も似た様な問題が有りVRM強化版のリビジョンアップが登場したりと色々有りましたが、EPYCでも同様に(特に立ち上がり初期は)電力バランスが足枷になりそうですね(逆に言えば、そこを解決して行けば盛り過ぎている性能をフルに引き出せる・・・)。

自作業界で性能盛り過ぎて電力食い・・・の元祖は恐らくSIMDをx86に初めて搭載して当時としては性能を盛り過ぎたMMX-Pentiumではないかと思いますが、左記のMMX-Pentiumデュアルソケットに比べてEPYCデュアルソケットはTDPは10倍でも、演算性能は5千倍って事になろうかと・・・ つまり電力効率は500倍くらいですね。
 

スポンサーサイト

SuperMicro X11DPI / X11DRi Skylake-EP マザー

->デュアルソケット・ザ・ワールドの目次は こちら へ。
-----------------------------------------------

22号機は下の写真のモデル ( 恐らく SuperMicr X11DRI ) を予定しています(未発売ですから入手出来るか不明ですが)。

私が入手した情報によりますと、SuperMicroでは既に少なくとも下記の6種の基本モデルのラインナップが量産体制にある様です。

X11DPI / X11DPL / X11DPT /X11DPU
X11DRI / X11DRU

型番末尾がUのX11DPUとX11DRUは専用ラックマウントケースとライザカードの組み合わせで2UブレードサーバにGPGPUを2枚~4枚接続するタイプ、X11DPLはPCIe x8スロットを多数装備したモデル、X11DPIは下の写真からPCIeスロットを省いた1Uブレード向けの廉価版、写真の現物はシルク印刷の通り X11DRi であると思われます。

x11dpi_mf_PR.jpg

こちらの画像は今年(2017)2月の記事で既にご紹介しましたドイツ語のサイト様から拝借したものをPhotoshopで遠近補正など行った物ですが、あれから三ヶ月経過して未だ正式発表が有りません。

説明書きには X11DPI (-T) (-N) で記載されていますが、スロット#4 と #5 の間にシルク印刷で X11DRi-T Rev 1.01 と刻印されていますので、NIC違いなどの数パターンの品が既に量産品の品質まで到達していて在庫もある程度有り、コア数や性能でガチバトルに成りそうなAMD EPYC(Naples/Zen) に被せるように発売時期を見計らっているのではないでしょうか?もしくは3D-Xpoint絡みでNVDIMM対応にマーケティング的な横槍が入り右往左往している最中かもしれません。

この世代のデュアルソケットは、CPUそのものが既に XEON Phi 並みの多コア品でありながら、それを2個搭載する前提のマザーボードですから、GPGPU不要論さえ出てきそうな演算性能に成っているはずで、それに合わせて帯域拡充の為に両社ともインターコネクトを刷新しています。

AMD EPYC (Naples/Zen) では、インターコネクトであるインフィニティファブリックとPCI-Expressの物理層を共有化し論理層で更に高速なI/Fに仕上げていますのでEPYCとVegaは物理層がPCI-Expressの接続であっても実際にはインフィニティファブリックで接続されるNUMA構成になると思われます。

対するIntelは少なくともコンシューマ向けにはAMDのGPUをCPUに内蔵するらしいので内部的にインフィニティファブリックで接続する可能性もあり、その上で更にIBMの様にnVLinkをも取り込むのか?この板の様にx16スロットを多数搭載して何を接続する前提なのか興味津々ですね。もしくは、伝統に習いとりあえず E-ATX / SSI-EEB で設計してみました的なマザーボードかもしれませんが、筆者にとっては有難いレイアウトの設計です(普段通りに組める為)。

AMD Naples は 単機でもNUMAか?それとも・・・

->デュアルソケット・ザ・ワールドの目次は こちら へ。
-----------------------------------------------
21号機はZen世代で2.8GHz以上の多コア品を搭載可能なデュアルソケットのE-ATX板を探しています。

こちらはネットから拾ってきた画像を遠近補正したものです。シルク印刷や基板色から推測するとAMD謹製の試作品かもしれませんが、この様なレイアウトの板が入手出来ると良いなと・・・但し、この写真の固定穴の位置から推察しますにE-ATX/SSI-EEBよりも若干ですがはみ出していると思われ、このままだと収まらないケースが有るかもしれません。
AMD_Naples_Board.jpg

※必然的にメモリはチャネル辺り1枚(8チャネル=ソケット辺り8枚)の構成が面積的に限界です。
※AMDが言う様にSoC化によりチップセットがマザーボード上にありません。

ここから本題ですが、Ryzenは2つの4Core-CCXをオンダイのインターコネクトで結んだ構成でした。

これがCCX毎に1chのメモリインターフェースを備えたNUMAなのか、それともインターコネクトであるインフィニティファブリック経由で2chのメモコンにシンメトリに接続するタイプのFSB的な接続なのかは筆者は知りませんが、ダイレイアウト的には前者(つまり物理的にはNUMAで理論設定上はNode Interleavingしている)と思われます。ですが、少なくとも筆者所有のASRockマザーではNode InterleavingをOFFに切り替えが出来ない様です(後ほど、最新BIOSをDLして試してみます)。

で、本題のNaplesですが、恐らく、Ryzenと同じ(もしくはSoC的な部分をブラッシュアップした)ダイをCPUパッケージ内に4個搭載すると思われ、

 [ 4Core/8Thread × 2CCX ] × 4die

という構成になると思われますから、8CCX を相互にインターコネクトであるインフィニティファブリックで接続する事になり、これをNode Interleavingするのはちょっとアレな気がするのです。かつ、Naplesの用途としてはVMを使うケースも多いと思われ、必然的にNUMA設定の方がパフォーマンスが出せる事になります。ですが逆にディープラーニング的な用途では8CCXで8chをInterleavingした方が早いこともありそうですね・・・

という事で、BIOS/UEFI設定で色々な切り替えが出来て、パフォーマンスの違いを云々出来るマザーボードの登場を期待しています。

16コア/32スレッドのSnowy OwlはBGAらしいので自作向けじゃなくMacBook Proの様な製品向けか、もしくは高密度鯖向けなんでしょうね・・・

筆者的には2.8GHzで動作してくれる最多コア品はどんな構成か?というのが最も気になるという・・・
 
 

3年前に企画した20号機

マザーが到着しました。
IMG00633.jpg
3年前の予定通りSuperMicro H8DGiです。 時間的余裕が無かったのでなかなか組めませんでしたが、円安の影響で3年前より値段は高くなっているかも?です・・・

パッシブヒートシンク搭載のノースブリッジが2個ありますが、ここはグラボとマザボのスキマを通して冷やさないと駄目な部分なのでエアフローには注意が必要です。
IMG006332.jpg

下の写真中央上の穴がE-ATXとは異なる位置にあり、SSI-EEB規格を調査してPCケースを加工しました。
IMG00634.jpg

予定通り19号機からのマザー&CPU載せ替えです。
IMG00635.jpg
とは言え、19号機のDIMM4枚では不足する為、同規格同容量のメモリを4枚買い足して8枚搭載32GB、まだ8スロット余ってますが、32GBあればとりあえず不満はありません。

メモリI/Fは2chですが、Socket G34 の デュアルソケットは合計4ノードでの NodeInterleaveで恐らく8ch化しますから後ほど効果を試してみます。

こちらは3年前に書いたブロック図です、画像は巨大なので注意下さい(4K2Kより大きいです)。
No20_Diagram12.png
GPUは2017年にR9-nanoへと換装しています。

CPUクーラにはnoctuaのヒートシンク NH-U9DO A3 を使うのですが、noctua付属ファンには以前問題が有ったのでファンを SANYO DENKI 製の F9-PWM に変更しました。快調です。ところで自分で写真を見て気付いたのですが、 F9-PWM は Owltech が OEM 販売しているSANYO DENKI製ファンですが、SANYO DENKIオリジナルファンにはブランド名があり San Ace のはずです。しかし写真には San Cooler という文字が写っていますね・・・気になって調べたところカタログには違いに付いての記載が見当たりませんでしたが San Ace の廉価版という情報もあります・・・San Ace並みの値段で買ったので、どこがどの様に廉価版なのか凄く気になって問い合わせしましたら盆休みでした・・・盆休みが終わり回答を頂きましたが廉価版ではない様です。 San Cooler は旧名称で現在では San Ace に統一した様で少し安心しました。パッケージにはMADE IN PHILIPPINESと書いてあります。以前、高品質長寿命タイプの量産モデルを San Cooler ブランドで大々的に広告していたらしいのですが、現在では全てのモデルを San Ace に統一した様です。では量産モデル以外には何が有るかと言えば1個1万円くらいする超長寿命モデルがあります。
IMG00639.jpg

完成写真を撮り忘れてしまいましたが、既に利用中です(この記事も20号機で書いています)。

次に組む21号機は、LGA2011 v3/v4 に成ると思いますが、マザーボード3種( GIGABYTE MW70-3S0 / Asus Z10PE-D8 WS / SuperMicro X10DRG-Q )のどれにするかで迷っています。X10DRG-Qで組んでみたいのですがSuperMicro純正のPCケースは腰痛に成るくらい重たいのでアルミでPCケースを自作しなければならず、迷っているうちにZenが登場しそうな気もしています。ZenはAMD最後のデュアルソケットに成るか?それとも・・・


ボトルネックを探せ@19号機 Tyan S8225

ボトルネックを探せシリーズ第三弾

今回も巨大な19号機のダイヤグラムを実装状況含め書いてみました。
4K2Kより縦横ともに若干大きいです

19号機①:
No19_Diagram7.png

19号機②:
No19_Diagram6.png


計算上は11号機や15号機と同じ場所にボトルネックが存在しますが、ボトルネック箇所の帯域自体は向上していますので性能も向上しているはずですし、ボトルネック自体が解消している箇所もあります。というか、当初掲載していた図はHyperTransportがDDR(Double Data Rate)な事を忘れていて半分の帯域で書いていましたorz

演算のボトルネックを探す場合はキャッシュの帯域やパイプライン本数も重要ですから、今後は更に図が巨大化するかもしれません。

DSC01715.jpg

プロフィール

DualSocketTheWorld

Author:DualSocketTheWorld
自作を始めて20台目くらいになりますが、最初からデュアルソケット限定(始めた当時はデュアルスロット)で自作しており、近年になってAMD K6を試したくなりSocket7でK6-2+のシングル構成で組んだのがシングル初です。

シングルマザー(含:シングルソケットマルチコア)や4ソケット以上の自作は基本的にしませんし、メーカー製PCの改造も基本的にはしません(ノートPCのSSD化くらいはしますが・・・)

基本路線はワークステーションと呼ばれる分野での自作で、OSもWindows系であればProfesionalが主な対象に成ります。

ゲーマーの様なOverClockは行わず、WS路線としてハイエンドCPUとハイエンドGPUの組み合わせで定格或いはDownClockで発熱を抑えつつ、その時のアーキテクチャに置いて爆速かつ静音を目指し、30年以上の長期に渡り稼動状態をキープする事を目指します。

※基本的にリンクフリーです。どこでも自由にどうぞ。

※画像は時々変ります。

※お決まりの文章ですが、改造は個人の責任で行ってください。ここに記載された情報は間違いを含んでいる可能性が有り、それを元に製作や改造などをして失敗しても筆者は一切責任持てませんので悪しからず。

筆者略歴:
小学生時代にゴミ捨て場で拾ったジャンクテレビ数台を分解して部品を取り出し真空管アンプを自作、中学生時代にPC8801mkⅡsrでZ80アセンブラを始める。社会人になって初のプログラムは弾道計算、後に医療系・金融系プログラマ~SEを経て100~200人規模プロジェクトのジェネラルマネジャを数年経験、独立して起業。現在は不動産所得で半引退生活。
(人物特定を避ける目的で一部経歴を変更しています)

最新記事
最新コメント
最新トラックバック
月別アーカイブ
カテゴリ
アクセスカウンター
検索フォーム
RSSリンクの表示
リンク
ブロとも申請フォーム

この人とブロともになる

QRコード
QR