東京都立大学大学院 理学研究科物理学専攻 椎名拳太 大学院生、森弘之 教授、岡部豊 客員教授と、シンガポール科学技術庁・バイオ情報学研究所の Hwee Kuan Lee（李恵光）主任研究員・副所長は、物質の相転移の研究に、教師あり学習の「分類」の手法を応用した研究を行い1)、その Scientific Reports 誌に掲載した研究論文は、”TOP 100 downloaded physics paper in 2020” に選ばれました2)。 同じ研究グループは、芝浦工業大学工学部 富田裕介 教授も参加した研究で、今回、教師あり学習の「回帰」の手法を使った「機械学習の超解像技術を応用したスピン系の逆くりこみ群変換の研究」を実施しました。
ポイント
（１）機械学習の超解像技術を用いて、相転移の研究の逆くりこみ群変換を実現する、新しい方法を提案しました。
（２）相転移・臨界現象の理解の基本となるくりこみ群変換の具体的な操作である、ブロックスピン変換と相補的な関係にある、ブロッククラスター変換を提案しました。
（３）スピン系のモンテカルロシミュレーションの有効な方法であるクラスターフリップ法を利用して、機械学習の超解像技術を応用することにより、多成分系など広い範囲のモデルの取り扱いを可能にし、全温度領域で精度のよい、逆くりこみ群変換を実現しました。
（４）逆くりこみ群変換という、概念として新しい相転移の研究手法を確立し、今後、量子系を含む広い分野の相転移研究への展開が期待されます。
■本研究成果は、５月５日付け（英国時間）で、Nature Publishing Group が発行する英文誌 Scientific Reports に 発表されました。本研究の一部は、JSPS 科研費JP19K03657、20J12472、シンガポール科学技術庁A*STAR Research Attachment Programme (ARAP) の助成を受けたものです。
研究の背景
水が固体（氷）、液体（水）、気体（水蒸気）と相を変えたり、永久磁石がある温度以上で磁化を失ったり、相転移は日常生活に広く見られる現象で、物質系の性質の重要な研究対象です。1982年のノーベル物理学賞は、相転移の研究の新しい理論を構築したウィルソンに贈られました。ウィルソンは、相転移ではゆらぎ（乱れ）の効果が重要であることを指摘し、ゆらぎの拡がりの長さの変換の性質を、素粒子物理学における場の量子論で芽生えた、くりこみ群（注２）変換理論で理解することを提唱しました。その理論の構築には、カダノフのブロックスピン変換の考えが大きく貢献をしました。磁性体の相転移を記述する簡単なミクロモデルとして、イジングモデル（注３）があります。ミクロな磁性粒子（スピンと呼ぶ）が、上向き(+1)、下向き(-1)の２つの状態のみをとり、格子上に配置されたスピンの隣り合ったスピン同士が、平行か反平行かで、局所的エネルギーが異なるモデルです。あるスピン配位をとる系を2×2のブロックに分け、ブロックごとの代表的なスピンを決めることを考えます。これが、カダノフのブロックスピン変換です。イジングスピンの場合、多数決原理といって、4つのスピンの中から多数のスピンをブロックスピンにすることがよく行われます。同数の場合には、確率1/2で選びます。ブロックスピン変換と、ゆらぎの拡がりの長さの変換を関連付けることにより、相転移を数学的に記述することができます。図１は2次元イジングモデルの場合に、ブロックスピン変換を実行した例を示していますが、(a)は相転移温度以下の強磁性相のふるまいで、(b)は転移温度以上の常磁性相のふるまいです。ブロックスピン変換は粗く上向き下向きの配位を表すことになり、粗視化の手続きと言われます。くりこみ群変換により、臨界現象（相転移の転移点近傍のふるまい）を理解し、転移に特徴的な臨界指数の計算が可能になります。くりこみ群変換の逆の手続き、すなわち、粗視化された小さなサイズの系から、元のサイズの系を作り出す手続きが議論されました。なぜこのようなことを考えるかというと、シミュレーションを実行する際に、大きな系では、相転移点近くで平衡になるまでの計算時間が飛躍的に長くなるので、平衡時間の短い、小さな系のシミュレーションから、大きな系の量が推定できればよいという期待です。しかし、情報量の少ない小さな系から、大きな系を再現する、効果的な方法が見つからず、この逆くりこみ群変換は発展しませんでした。
【画像：https://kyodonewsprwire.jp/img/202105074580-O5-30OO3Ds5】
【画像：https://kyodonewsprwire.jp/img/202105074580-O2-7ZDuE8j6】
図１を見ると、イジングスピン系のスピン配位は、デジタル画像のピクセル表示に対応することがわかります。くりこみ群変換の手続きは、高解像度画像から粗く低解像度に落とすことに相当し、逆くりこみ群変換は、低解像度画像から高解像度画像を作成する手続き（画像処理の技術として超解像(super resolution)技術と呼ぶ）に対応します。機械学習の手法は、教師あり学習と教師なし学習に分類されますが、教師あり学習で解く問題で代表的なものは、「分類」と「回帰」で、「回帰」の例として超解像技術が挙げられ、機械学習の深層学習、特に畳込みニューラルネットワーク（CNN）（注４）を応用することにより、超解像の精度が飛躍的に向上しました。
この機械学習の超解像をイジングモデルのブロックスピン変換の逆変換と関連付ける試みが、 Efthymiou らによりなされました３)。しかし、その方法がイジングモデルに限られていること、高温で精度のよい変換が実行できないこと、などの弱点がありました。そこで、椎名大学院生らは、広いモデルに応用できる、全温度領域で精度よく逆くりこみ群変換を実行できる手法を開発しました。
研究の詳細
カダノフのブロックスピン変換は、数値的なモンテカルロシミュレーションと結び付けて実行できます。例えば、32x32の系についてモンテカルロシミュレーションを実行して、ブロックスピン変換を行えば、16x16のブロックスピン系を作り出すことができますが、ブロックスピン系から元のサイズの系のスピン配位を推測することは簡単にはできません。大量の元のスピン配位（教師）と得られたブロックスピン配位を比較して、逆に戻す規則を学習することが、機械学習の役割で、多層の中間層を持つ手続きである深層学習の手法を応用します。深層と言っても、超解像技術の場合には、3層の中間層を用います。単純なブロックスピン変換では、（その理由は後述しますが）高温で困難が生ずるので、椎名大学院生らは、スピン系のモンテカルロシミュレーションで有効な方法として定着している、クラスターフリップ法（注５）に注目しました。スピンの集合を、数学的な変換により温度に依存するクラスターに分解して、クラスター内のスピンを一斉に反転させるもので、また、相関関数の測定には、improved estimator（注６）と呼ばれる、クラスターフリップの利点を生かした測定法を用います。そのため、ブロックスピン変換と相補的な、ブロッククラスター変換を提案しました。また、スピン配位そのものを扱うのではなく、長距離のスピン相関の配位を扱いました。
このような手順で、32x32の系から、16x16のブロッククラスターを作り、大量の変換例から、逆変換を行う確率的規則を作り上げます。その規則を32x32の系に適用して64x64の系を作り、順に、128x128、256x256の系を作り出します。これが逆くりこみ群変換の手続きです。手続きの概念図を図２に示しています。
【画像：https://kyodonewsprwire.jp/img/202105074580-O1-epU8bwFr】
一方、超階層技術による逆くりこみ群変換の手順も示している。
平衡時間の短い、小さな系のシミュレーションから、大きな系の量が推定できればよいという、期待です。実際のモンテカルロシミュレーションは32x32の系だけについて、実行していることに注意して下さい。このクラスター表現に基づいた手順を実行すれば、イジングモデルだけでなく、多成分であるポッツモデルにも容易に拡張できます。2次元イジングモデル（成分数２）と3状態ポッツモデルに対して、逆くりこみ群変換を実行した結果を図３、４に示します。
【画像：https://kyodonewsprwire.jp/img/202105074580-O4-6fu5klc2】
【画像：https://kyodonewsprwire.jp/img/202105074580-O3-xBgGInHz】
ここまでの手続きは、スピン配位（ブロック配位）の幾何学的変換で、熱力学を取り扱っているわけではなく、相転移を議論することはできません。ウィルソンの議論では、このような変換に対して、ある量が同形である点が相転移点で、それからのずれを調べることにより、臨界現象（相転移点近傍のふるまい）を論じることができます。今の問題の場合、温度rescaling という手続きを行うことにより、相転移の議論ができます。
高温で、単純なブロックスピン変換だと、逆くりこみ群変換が難しいという意味を考えてみましょう。図1を見ると、相転移の低温側では、スピンがかなりそろっているのに対して、高温側ではバラバラで、ブロックスピン系から元のスピン配位を推測しようとすると、何かの事前情報を与えない限り、難しいことがわかります。スピン系のスピン配位は、デジタル写真のピクセル情報と対応しますが、画像処理の対象は、何らかの意味のある画像で、抽象画は画像処理の対象になりにくいものです。自然言語処理という概念が自動翻訳に利用されますが、意味のある文脈が自然言語処理の対象で、ランダムな文字列は対象となりません。高温側のスピン配位は、ランダムです。しかし、スピン系では、単なる画像ではなく、長距離の相関があり（関連がある）、また、いろいろな対称性を持つという性質があります。今の問題、スピン系のクラスター表現を用いて、機械学習技術による画像処理の方法を有効に活用できるような工夫がされています。
このことは、一般的な機械学習について言える教訓です。あらゆる分野の問題に、AI（機械学習）が応用されていますが、それぞれの分野のデータを用いる場合、そのまま用いるのではなく、機械学習に適合しやすいデータを抽出、加工することが有効です。
研究の意義と波及効果
本研究では、機械学習による画像の超解像技術を、スピン系の相転移の逆くりこみ群変換の研究に応用したもので、ユニークな研究であると言えます。精度のよい逆くりこみ群変換を実現するために、くりこみ群変換の基本とされるブロックスピン変換ではなく、モンテカルロシミュレーションのクラスターフリップ法に基づいたブロッククラスター変換を提唱するなど、相転移研究の新しい基礎手法を切り開きました。本研究は、機械学習の適用範囲を広げると共に、基礎科学の相転移の研究の新しい概念を作ること、特に、量子系への応用も期待されます。
【用語解説】
注１）機械学習
人工知能（AI）の一つの技術であり、機械に大量のデータからパターンや規則を発見させ、それをさまざまな物事に利用することで判別や予測をします。教師あり学習と教師なし学習に分類されます（強化学習を加える場合もある）。
注２）くりこみ群
理論物理の枠組みとして、長さのスケールを変えることによる物理量の変換の性質を系統的に調べる方法で、素粒子物理学における場の量子論の研究の中で発展しました。ウィルソン（1982年ノーベル物理学賞受賞）が、統計物理学でカダノフらが発展させてきたスケーリング理論や粗視化のアイディアと融合させて、現代的なくりこみ群の枠組みを完成させました。
注３）イジングモデル
二つの配位状態（上向き、下向き）をとる格子点から構成され、最隣接する格子点のみの相互作用を考慮する格子モデル。強磁性体のモデルであるとともに、二元合金、格子気体などの模型としても用いられます。スピン系のモデルとしては単純化されたモデルですが、相転移現象を記述可能で、多くの物理学者によって研究されてきました。
注４）畳込みニューラルネットワーク（CNN）
脳内の神経細胞（ニューロン）とそのつながり、つまり神経回路網を数式モデルで表現したものが、ニューラルネットワークです。機械学習の一つで、深層学習（ディープラーニング）の基礎となっています。特に、隠れ層としてフィルタ処理を行う畳込みニューラルネットワークが画像認識で成功をおさめました。
注５）クラスターフリップ法
通常のスピン系のモンテカルロ法は、１つのスピンを反転したときのエネルギー変化に応じて、温度に依存する確率に従い、スピンを反転させます。それに対して、スピンを数学的変換によりクラスターに分解して、クラスター内のスピンを一斉に反転させる手法をクラスターフリップ法とよびます。
注６） improved estimator
クラスターフリップ法と連動して、スピン相関を効率よく計算する量。その方法。同じクラスターに属する２スピン間の相関は１、それ以外は０と計算します。分解したクラスターの数をN_cとすると、スピンを一斉に反転する2^(N_c )通りの計算を一度に実行することになり、特に、小さなサイズの多数のクラスターに分解される高温で有効になります。
【プレスリリース・参考論文】
１）2020年2月14日：大学HP「機械学習によるスピン系の相転移の研究」
２）202１年４月７日：大学HP「理学研究科物理学専攻 椎名 拳太大学院生、森 弘之教授、岡部 豊名誉教授らの発表論文が『Scientific Reports』2020の TOP100に選ばれました！」
３）“Super-resolving the Ising model with convolutional neural networks” S. Efthymiou, M. J. S. Beach and R. G. Melko, Phys. Rev. B 99, 075113 (2019)
【発表論文】
“Inverse Renormalization Group based on Image Super-Resolution using Deep Convolutional Networks” Kenta Shiina, Hiroyuki Mori, Yusuke Tomita, Hwee Kuan Lee, and Yutaka Okabe,
Scientific Reports 11, Article number: 9617 (2021) DOI: 10.1038/s41598-021-88605-w
