AI橋渡しクラウド（AI Bridging Cloud Infrastructure、ABCI) は、国立研究開発法人 産業技術総合研究所が構築・運用する、世界最大規模の人工知能処理向け計算インフラストラクチャです。2018年8月に本格運用を開始し、2021年5月には最新のGPUノード等を追加して「ABCI 2.0」にアップグレードを行っています。
ABCIの狙いは、合算で851.5ペタフロップス（半精度）という膨大なAI処理能力を研究者や開発者に提供することにより、我が国のAI／ビッグデータ処理の進歩を加速することです。産総研では、ABCIの莫大な演算能力によりはじめて可能になる人工知能分野の最重要課題や人工知能やビッグデータを活用した社会的重要課題への挑戦を支援するため、「ABCIグランドチャレンジ」プログラムを実施しています。本プログラムは、ABCIがもつ最大計算ノード数、計算ノード（A）においては120ノード（960GPU）、計算ノード（V）においては1,088ノード（4,352GPU）を最大24時間、1研究グループでの占有利用ができる公募型チャレンジプログラムです。
本セミナーでは、ABCIグランドチャレンジ2020の第3回とABCIグランドチャレンジ2021の第1回と第2回の参加者を講師としてお招きして、各チームでのチャレンジの内容や成果、今後の取り組みについてご紹介いただきます。

※今回は4番目の陳 鵬さん、および7番目のTruong Thao Nguyenさんは英語でのご講演です。通訳はありません。

15:00- 15:10	「ABCI グランドチャレンジ 2020 & 2021 概要」 谷村 勇輔（産総研デジタルアーキテクチャ研究センター　研究チーム長）
15:10- 15:30	「大規模計算を用いたプリント回路基板設計における放射EMI(電磁妨害波)予測」 巨智部 陽一（富士通株式会社）
	電子機器製品の設計開発において、回路動作の高速化・低電圧化とともにEMI（回路動作により発生する電磁妨害波）規格への適合は設計段階での対策が難しく、開発工数が増加する要因となっている。そこで、プリント基板の設計段階で電磁界シミュレーションによる仮想的な評価を実施することにより、試作と測定評価の工数を削減する取組みが盛んである。富士通では、プリント回路基板における電磁ノイズ対策設計の更なる効率化と、解析専任者でなくとも扱える簡易なCAE（設計者CAE）の実現を目的として、この電磁界シミュレーションとマルチGPU 学習を組み合わせた、電磁波予測 AI の大規模学習システムの構築を行った。構築されたAIは、様々なパターンを含む複雑なプリント回路基板からの放射電磁界の予測をすることで、設計者がシミュレーションをバイパスし、設計回路の性能を即時評価することを可能にする。本研究により、設計プロセスのフロントローディングを実現し、設計プロセスの革新を目指している。
15:30- 15:50	「日本語大規模モデルの分散並列学習」 笠置 明彦 （富士通株式会社 研究本部ICTシステム研究所　シニアリサーチャー）
	深層学習における自然言語処理分野のワークロードは、ニューラルネットワークモデルと学習用データのサイズの急激な増加によって巨大化してきている。学習処理には巨大な計算処理を要求されるため、単一のプロセッサによる演算能力では数カ月以上を必要とし、現実的な開発時間で実施するためには複数の演算機を用いた分散並列処理が必須である。我々は高い精度を実現するために巨大なBERTモデルと日本語データセットを利用し、ABCIの計算資源を用いて事前学習を実施した。精度検証を行った結果、短時間の事前学習で世界トップレベルの精度を達成した。
15:50- 16:10	「High-performance Image Reconstruction on ABCI supercomputer」 陳 鵬（産業技術総合研究所　研究員）
	Tomographic imaging is a widely used technology that requires intensive computations. We will introduce our activity on high-performance image reconstruction using ABCI supercomputer. We take advantage of the heterogeneity of GPU-accelerated systems by overlapping the filtering computation and back-projection on CPUs and GPUs, respectively. We propose a novel decomposition scheme and reconstruction algorithm for distributed image reconstruction. This scheme enables arbitrarily large input/output sizes, eliminates the redundancy arising in the end-to-end pipeline, and improves the scalability by replacing two communication collectives with only one segmented reduction. More specifically, we propose a distributed framework for high-resolution image reconstruction on ABCI supercomputer and implement the proposed decomposition scheme in a framework that is useful for most of the current-generation tomographic imaging devices.
16:10- 16:20	休憩
16:20- 16:40	「画像・言語モデル学習における最適化手法の分布外汎化に対する網羅検証」 長沼 大樹 （モントリオール大学・Mila　博士後期課程学生）
	機械学習の分野では、最適化手法の選択が分布内汎化にどのような影響を与えるかが研究されてきた。しかし、最適化手法の分布外汎化能力については、実用上非常に重要であるのにも関わらず、まだ未解明である。本論文では、ERMとIRM(Invariant Risk Minimization)で、異なる種類のデータシフトの下で、一般的な最適化手法の網羅的な性能比較を行う。広範囲のハイパーパラメータを探索し、25,000以上のモデルの分類精度（分布内、分布外）を調べた。結果として、OOD汎化のための学習アルゴリズムであるIRMを用いた場合、SGD 系のOptimizerは、相関を線形に補正するのに対し、Adamなどの適応的最適化手法は、In-Distributionの性能にフィッティングしやすいことがわかりました。この結果は、適応的最適化手法の分布内テスト精度が、必ずしも分布外テスト精度の信頼できる指標ではない可能性を示唆しています。
16:40- 17:00	「人工画像を用いたVision Transformerの超大規模事前学習」 横田 理央 （東京工業大学 学術国際情報センター　准教授）
	巨大なTransformerの事前学習は画像処理分野においてもベンチマークの上位を独占しており、今後その性能はさらに向上することが予想される。しかし、このような超大規模事前学習にはJFT-300MやJFT-3Bのような超大規模データセットが必要であり、Googleはこれらのデータセットを公開していないため再現が困難となっている。一方、Fractalなどの人工画像を事前学習に用いることでImageNetなどの自然画像で事前学習を行った場合とほぼ同等のファインチューニング精度が得られることが示されている。ただし、Fractalによる事前学習は現時点ではImageNet-1k規模の事前学習でしかその精度は確認できていない。本研究課題では、Fractal画像による事前学習をImageNet-21k規模にまで拡張することで、人工画像によって大規模事前学習の精度をどこまで向上できるかを検証した。
17:00- 17:20	「High Performance IO for Large Scale Deep Learning」 Truong Thao Nguyen（産業技術総合研究所　Researcher）
	Stochastic gradient descent (SGD), the most prevalent training algorithm for Deep Learning (DL), iterates through the entire data set in each training epoch processing data samples in a random access fashion. Scientists have performed a great deal of work to optimize the computational performance of deep learning frameworks. However, the same cannot be said for I/O performance. The state-of-the-art approach to distributed SGD in HPC environments is to replicate the entire dataset to node's local SSDs. However, due to rapidly growing data set sizes this approach has become increasingly infeasible. Surprisingly, the question of why and to what extent random access is required has not received a lot of attention in the literature. In this work, we revisit data shuffling in DL workloads and investigate the viability of partitioning the dataset among workers and performing only a partial distributed exchange of samples in each training epoch. we plan to demonstrate that in practice (i) validation accuracy can be maintained and (ii) significantly reduce the IO time through extensive experiments on ABCI, especially for large-scale training, e.g. 1000s of GPUs.
17:20- 17:30	クロージング