現在取り組んでいる研究
現在取り組んでいる研究
Embedded Files
AC2 Labでは，疎・不規則で，通信性能の影響を受けやすいAI／HPCシステムを研究しています．対象とするのは，性能が演算量だけで決まらず，不規則なメモリアクセス，動的なデータ依存，データ移動，同期，システム間通信にも大きく左右されるワークロードです．長期的には，こうしたワークロードを演算加速器上で効率よく実行するためのシステム設計と，実行時制御の設計原理を確立することを目指しています．この研究は，将来のAI for Scienceや，現実世界を高い精度で再現するデジタルツインを見据えたものです．これらの分野では，観測・学習・制御を繰り返しながら，モデルを更新し，何度も実行する必要があります．
AC2 Labでは，疎・不規則で，通信性能の影響を受けやすいAI／HPCシステムを研究しています．対象とするのは，性能が演算量だけで決まらず，不規則なメモリアクセス，動的なデータ依存，データ移動，同期，システム間通信にも大きく左右されるワークロードです．長期的には，こうしたワークロードを演算加速器上で効率よく実行するためのシステム設計と，実行時制御の設計原理を確立することを目指しています．この研究は，将来のAI for Scienceや，現実世界を高い精度で再現するデジタルツインを見据えたものです．これらの分野では，観測・学習・制御を繰り返しながら，モデルを更新し，何度も実行する必要があります．
ウェハースケール計算機を用いたGNN学習
ウェハースケール計算機を用いたGNN学習
現在進めているプロジェクトの一つでは，疎・不規則で，通信性能の影響を受けやすいAIワークロードの最初の事例として，Cerebras CS-3を用いたGNN学習に取り組んでいます．GPU上のGNN学習は，不規則なメモリアクセスや分散メモリ環境のオーバーヘッドの影響を受けやすく，グラフ構造，分割方法，同期の取り方によって効率が大きく変わります．そこで，より単純な実行モデルと大容量・高帯域メモリを備えるウェハースケール計算機が，従来のマルチGPUシステムよりも有利になる条件を明らかにします．目標は，GPUを全面的に置き換えられると主張することではなく，グラフ学習においてウェハースケール計算機が効果を発揮する領域を見極めることです．
現在進めているプロジェクトの一つでは，疎・不規則で，通信性能の影響を受けやすいAIワークロードの最初の事例として，Cerebras CS-3を用いたGNN学習に取り組んでいます．GPU上のGNN学習は，不規則なメモリアクセスや分散メモリ環境のオーバーヘッドの影響を受けやすく，グラフ構造，分割方法，同期の取り方によって効率が大きく変わります．そこで，より単純な実行モデルと大容量・高帯域メモリを備えるウェハースケール計算機が，従来のマルチGPUシステムよりも有利になる条件を明らかにします．目標は，GPUを全面的に置き換えられると主張することではなく，グラフ学習においてウェハースケール計算機が効果を発揮する領域を見極めることです．
マルチGPU LLM学習における通信圧縮・オフロード
マルチGPU LLM学習における通信圧縮・オフロード
もう一つのプロジェクトでは，通信がスケーリングの主要なボトルネックになりやすい，マルチGPUによるLLM学習を対象としています．NVIDIA BlueField DPU上で通信データを圧縮することにより，集合通信のコストを抑え，学習全体のスループットを向上できるかを検証します．GPU，DPU，通信ソフトウェアを一体として捉え，どのデータをそのままGPU間でやり取りし，どのデータをDPUで圧縮・オフロードすべきかを明らかにします．LLM学習そのものは密な計算ですが，ここでは，将来の疎・不規則ワークロードにも必要となる通信基盤を研究するための，実用的な検証対象として用いています．
もう一つのプロジェクトでは，通信がスケーリングの主要なボトルネックになりやすい，マルチGPUによるLLM学習を対象としています．NVIDIA BlueField DPU上で通信データを圧縮することにより，集合通信のコストを抑え，学習全体のスループットを向上できるかを検証します．GPU，DPU，通信ソフトウェアを一体として捉え，どのデータをそのままGPU間でやり取りし，どのデータをDPUで圧縮・オフロードすべきかを明らかにします．LLM学習そのものは密な計算ですが，ここでは，将来の疎・不規則ワークロードにも必要となる通信基盤を研究するための，実用的な検証対象として用いています．
今後の研究方向：動的な疎・不規則ワークロードを支える実行時基盤
今後の研究方向：動的な疎・不規則ワークロードを支える実行時基盤
今後は，個別のアプリケーションを超えた，より一般的なシステム上の課題に取り組みます．疎・不規則で，通信性能の影響を受けやすいワークロードを，マルチGPUクラスタ，GPU＋DPUシステム，ウェハースケール計算機へ，どのように割り当てるべきでしょうか．長期的には，実行中に変化するデータ依存を捉え，その情報をデータ配置，通信，実行順序の最適化に生かす実行時制御の設計原理を確立します．この研究方向は，現在のGNN／ウェハースケール計算機とLLM／DPUの研究を，将来のAI for Scienceやデジタルツインを支える演算加速システムという，一つの研究課題へと統合するものです．
今後は，個別のアプリケーションを超えた，より一般的なシステム上の課題に取り組みます．疎・不規則で，通信性能の影響を受けやすいワークロードを，マルチGPUクラスタ，GPU＋DPUシステム，ウェハースケール計算機へ，どのように割り当てるべきでしょうか．長期的には，実行中に変化するデータ依存を捉え，その情報をデータ配置，通信，実行順序の最適化に生かす実行時制御の設計原理を確立します．この研究方向は，現在のGNN／ウェハースケール計算機とLLM／DPUの研究を，将来のAI for Scienceやデジタルツインを支える演算加速システムという，一つの研究課題へと統合するものです．
長期的な展望
長期的な展望
現在取り組んでいるGNN学習や大規模学習を，「演算加速器上で疎・不規則計算を安定して効率よく実行する」という，より広い課題を検証するための実用的な題材と位置付けています．実際の計算機上で，不規則なメモリ挙動，通信ボトルネック，異種計算資源を組み合わせた実行を明らかにすることで，計算基盤がより大規模・専用化し，現実世界の観測・学習・制御と密接に結び付く将来にも通用する設計原理の確立を目指します．
現在取り組んでいるGNN学習や大規模学習を，「演算加速器上で疎・不規則計算を安定して効率よく実行する」という，より広い課題を検証するための実用的な題材と位置付けています．実際の計算機上で，不規則なメモリ挙動，通信ボトルネック，異種計算資源を組み合わせた実行を明らかにすることで，計算基盤がより大規模・専用化し，現実世界の観測・学習・制御と密接に結び付く将来にも通用する設計原理の確立を目指します．
Page updated
Google Sites
Report abuse