医科学画像セグメンテーションを革新するFedDP：連合学習のデュアル・パーソナライゼーション

July 11, 2026 · 論文解説

🎧 この記事を音声で聴く（AI生成Podcast）

解説対象論文: FedDP: Dual Personalization in Federated Medical Image Segmentation （IEEE Transactions on Medical Imaging, 被引用数: 47）

医科学画像診断の未来は、AIとプライバシー保護の融合にかかっています。本記事では、この課題に挑む革新的な技術「FedDP」に焦点を当てます。FedDPは、複数の医科学機関がデータを共有することなく、高精度な医科学画像セグメンテーションモデルを共同で訓練する「パーソナライズド連合学習」を次のレベルへと引き上げます。特に、各施設特有のデータ異質性に対応するため、「特徴レベル」と「予測レベル」の両方でモデルを最適化するデュアル・パーソナライゼーションを提案。自己注意ネットワークの活用と、施設間の予測の不整合という新たな情報源の発見により、既存手法を上回る卓越した性能を実現しました。

研究サマリー（FINER & PICO）

Feasible実施可能性	既存の連合学習パラダイムに統合可能で、追加コストを抑えつつデュアル・パーソナライゼーションを実現します。
Ethical倫理面	各施設の生データを共有することなく、プライバシー保護を維持しつつ医科学画像セグメンテーションモデルを訓練します。
Interesting面白さ	医科学画像セグメンテーションにおけるデータ異質性課題に対し、自己注意ネットワークと予測不整合の新たな活用法を提案しています。
Novel新規性	自己注意ネットワークにおける長距離依存性のパーソナライゼーションと、施設間予測不整合を活用した予測レベルのキャリブレーションを提案します。
Relevant切実さ	医科学画像分析におけるデータ異質性とプライバシー保護という重要な課題に直接対応し、臨床応用への道を開きます。
Measurable測定可能性	DiceスコアとASSDを用いて医科学画像セグメンテーション性能を定量的に評価し、最先端手法を上回る結果を示しています。
Modifiable派生・改善	提案されたLQとIGCモジュールは、自己注意ネットワークベースの既存のPFLフレームワークに容易に組み込み可能です。
Structured文章構造	特徴レベルと予測レベルのデュアル・パーソナライゼーションという明確な構造を持ち、実験的にもその有効性が示されています。
PICO / PECO対象・介入・比較・結果	参加施設（P）の医科学画像セグメンテーションモデル訓練（I）において、既存PFL手法（C）と比較して優れた精度（O）を達成します。

はじめに：医科学画像における連合学習の進化

どうも、Beyond the Pixelです。近年、医科学画像処理分野では、データプライバシー保護の重要性が増す中で、複数の施設が連携してモデルを訓練する「連合学習（FL）」が注目されています。特に、脳腫瘍、ポリープ病変、多臓器セグメンテーションといった様々な病変セグメンテーションタスクで目覚ましい成果を上げています。従来の連合学習（GFL）では、各データ施設がデータを中央に集めることなく、単一のグローバルモデルを訓練します。知識の集約は、クラウドサーバー上で各ローカルモデルのパラメータを平均化することで実現されます。しかし、このアプローチは、各施設のデータ分布が異なる「データ異質性」という大きな課題に直面します。単一のグローバルモデルでは、個々のデータ分布のばらつきに対応しきれず、各施設で最適な予測を生成することが困難になることがあります。このような課題を解決するために登場したのが、「パーソナライズド連合学習（PFL）」です。PFLは、単一のグローバルモデルを学習するのではなく、各施設の固有のデータ特性に合わせて調整された複数のローカルモデルを学習することを目指します。しかし、既存のPFL手法の多くは、データ異質性に対処するために長距離依存性モデリングを活用できる「自己注意ネットワーク」を十分に活用していません。また、各ローカルモデルにおける予測の不整合が、各施設の独自性を示す指標となり得るにもかかわらず、この情報を利用するケースも稀でした。本稿では、これらの課題を克服する新しい連合学習手法「FedDP」についてご紹介します。FedDPは、「デュアル・パーソナライゼーション」という革新的なアプローチにより、特徴レベルと予測レベルの両面からモデルのパーソナライゼーションを強化し、医科学画像セグメンテーションの精度を大幅に向上させます。

**Figure 1.** Fig. 1. Illustration of the intuition behind our proposed method FedDP. We use the learned different local self-attention models (Model A to D) to infer the same image sample and visualize the (a) attention maps for the center pixel and (b) predicted boundaries. FedDP performs dual personalization focusing on these two aspects, (a) long-range dependency modeling (feature-level) and (b) inter-site inconsistencies (prediction-level) to improve local segmentation. Note that we use local models to predict the same sample only for illustration. Data in one site is not transferred to others in the real federation training process.解説: 本提案手法FedDPの基本的な考え方を示す図です。学習済みの異なるローカル自己注意モデル（モデルAからD）を使用して同じ画像サンプルを推論し、(a)中心ピクセルの注意マップと(b)予測された境界を視覚化しています。FedDPは、(a)長距離依存性モデリング（特徴レベル）と(b)施設間の不整合（予測レベル）という2つの側面に着目したデュアル・パーソナライゼーションを実行し、ローカルセグメンテーションを改善します。

この図は、提案手法FedDPの基本的な考え方を示しています。学習済みの異なるローカル自己注意モデル（モデルAからD）を使用して同じ画像サンプルを推論し、(a)中心ピクセルの注意マップと(b)予測された境界を視覚化しています。FedDPは、(a)長距離依存性モデリング（特徴レベル）と(b)施設間の不整合（予測レベル）という2つの側面に着目したデュアル・パーソナライゼーションを実行し、ローカルセグメンテーションを改善します。なお、この図は説明のためにローカルモデルが同じサンプルを予測する様子を示していますが、実際の連合学習プロセスでは、ある施設のデータが他の施設に転送されることはありません。

FedDPの革新性：デュアル・パーソナライゼーション

FedDPは、長距離依存性のモデリングと施設間予測の不整合の活用という二つの側面から、パーソナライゼーションを強化します。これにより、ローカルな医科学画像セグメンテーションの性能を大幅に向上させることを目指します。

特徴レベルのパーソナライゼーション：ローカルクエリ（LQ）

既存のPFL手法は、畳み込みニューラルネットワーク（CNN）に基づいているため、長距離依存性のモデリングに関する特徴パーソナライゼーションが限られていました。しかし、自己注意ネットワーク（ビジョン・トランスフォーマーとも呼ばれる）は、画像全体のコンテキストを集約し、より良い表現学習を可能にする長距離依存性モデリングにおいて高い有効性を示しています。FedDPは、この自己注意ネットワークの利点を活用するために「ローカルクエリ（LQ）」を提案します。LQは、自己注意ネットワークにおけるクエリ埋め込み層を各ローカルモデルから分離し、そのパラメータをローカルでプライベートに訓練します。クエリ埋め込みは通常、各ピクセルの専門的な特徴を表し、キー埋め込みは他のピクセルからの補助的な特徴を示します。したがって、クエリ埋め込み層をローカルで訓練することで、各施設がその特別な長距離のヒントをより良く探索できるようになります。これにより、各施設の固有の特徴分布に適応した、パーソナライズされた長距離依存性モデリングが可能になります。

**Figure 2.** Fig. 2. Visualization of the feature-level personalization by decoupling the query embedding layers Uq (red) out of the self-attention networks to be trained locally. Instead, the key embedding Uk and the value embedding layers Uv (blue and green) are shared in all local sites. The unique long-range dependency modeling paradigm can be constructed in each local site, contributing to a better feature distribution adaptation.解説: 自己注意ネットワークからクエリ埋め込み層Uq（赤色）を分離し、ローカルで訓練することで実現される特徴レベルのパーソナライゼーションの視覚化です。キー埋め込みUkと値埋め込みUv（青色と緑色）の層は、すべてのローカル施設で共有されます。これにより、各ローカル施設で独自の長距離依存性モデリングパラダイムを構築でき、より良い特徴分布への適応に貢献します。

この図は、自己注意ネットワークからクエリ埋め込み層Uq（赤色）を分離し、ローカルで訓練することで実現される特徴レベルのパーソナライゼーションを視覚的に示しています。一方で、キー埋め込みUkと値埋め込みUv（青色と緑色）の層は、すべてのローカル施設で共有されます。これにより、各ローカル施設で独自の長距離依存性モデリングパラダイムを構築でき、より良い特徴分布への適応に貢献します。

予測レベルのパーソナライゼーション：不整合ガイド型キャリブレーション（IGC）

医科学画像では、異なる臨床専門家や評価者による複数のアノテーション間に不整合が見られることがあります。このような不整合の情報は、表現学習を強化し、セグメンテーション結果を改善する上で有用であることが示されています。連合学習のパラダイムでは、異なる施設からの専門家が異なるラベリング基準を持つことが多く、その結果、訓練されたローカルモデルは、各施設における独自性を強調する豊富な情報を持つ不整合な予測を生成する可能性があります。しかし、多くの既存のPFL手法は、この施設間の知識の可能性を見過ごしていました。FedDPは、このような施設間予測の不整合をコスト効率の良い方法で活用するために、「不整合ガイド型キャリブレーション（IGC）」を提案します。IGCでは、まずすべてのローカルモデルがセグメンテーションマップを予測し、そのマップ間の不一致度を計算することで、ピクセルレベルの不整合を算出します。そして、不整合が大きいピクセルに対してより大きなペナルティを与える新しい損失関数を設計することで、モデルがこれらのピクセルに集中するよう促します。これにより、各ローカルサイトの予測レベルのパターンをより正確に調整します。このアプローチは、推論時に余分な計算コストを発生させることなく、予測のパーソナライゼーションを強化します。

**Figure 3.** Fig. 3. Visualization of the proposed inconsistency-guided calibration (IGC) in the k-th site. It explores the inter-site prediction inconsistencies (red) and enlarges the supervision of pixels with large inconsistencies. Note that the red heart denotes the pixels with large inconsistencies and the white heart denotes the pixels with no inconsistencies. The errors are calculated through the entropy loss in our implementation and we simplify the process using the minus in this figure.解説: 提案された不整合ガイド型キャリブレーション（IGC）が、k番目の施設においてどのように機能するかを視覚的に示した図です。IGCは施設間予測の不整合（赤色）を探索し、不整合が大きいピクセルに対する教師信号を増幅します。赤いハートは不整合が大きいピクセルを、白いハートは不整合がないピクセルを示しています。

この図は、提案された不整合ガイド型キャリブレーション（IGC）が、k番目の施設においてどのように機能するかを視覚的に示しています。IGCは施設間予測の不整合（赤色）を探索し、不整合が大きいピクセルに対する教師信号（学習の目安となる情報）を増幅します。赤いハートは不整合が大きいピクセルを、白いハートは不整合がないピクセルを示しています。誤差は実装ではエントロピー損失によって計算されますが、この図では簡略化のために減算で示されています。

実験と成果：最先端手法との比較

本研究では、FedDPの有効性を評価するため、異なるモダリティを持つ2つの医科学画像セグメンテーションタスク（内視鏡画像からのポリープセグメンテーションと網膜眼底画像からの視神経乳頭/杯セグメンテーション）で実験を行いました。我々のFedDPは、これらのタスクにおいて、最先端のPFL手法と比較して一貫して優れた性能を発揮しました。

データセットと評価指標

EndoPolypデータセット: 2187サンプルのポリープセグメンテーションデータで、4つの異なるデータセンターから収集・ラベリングされています。各施設にはそれぞれ1000、380、196、612枚の画像とラベルが含まれています。
RIFデータセット: 網膜画像における視神経乳頭と杯のセグメンテーションデータで、4つの異なる臨床施設から収集されています。各データ施設にはそれぞれ101、159、400、400枚のサンプルが含まれています。
評価指標には、領域ベースのDiceスコアと境界ベースの平均対称表面距離（ASSD）を使用しました。Diceスコアが高いほど、ASSDが低いほど、より良いセグメンテーション結果を示します。

定量的結果

EndoPolypデータセットの実験結果をに示します。我々のFedDPは、平均DiceスコアとASSDスコアの両方で最高の性能を達成しました。特に、データ数が少ないSite Cでは、FedDPが最も大きな性能向上をもたらしました。また、FedLCとFedDPのように、施設間の不整合を探索する手法が、この情報を使用しない他の手法よりも優れた性能を達成していることは注目に値します。これは、施設間の不整合をモデリングし、その利点を活用することがローカル精度を向上させる上で有用であることを裏付けています。RIFデータセットの実験結果もに示されており、FedDPがすべての施設で一貫して最高のスコアを達成していることを確認できます。網膜画像における異質性はそれほど深刻ではないものの、すべての施設でモデル間のコミュニケーション後に性能が向上しており、FedDPが最も大きな向上をもたらしました。

視覚的結果

性能をさらに直感的に比較するため、2つのデータセットにおけるセグメンテーション結果を視覚化しました。ポリープセグメンテーションの結果は

**Figure 4.** Fig. 4. Visual comparison of our method, FedDP, and other GFL and state-of-the-art PFL methods in EndoPolyp dataset. Each row denotes a randomly selected sample from a unique site.解説: EndoPolypデータセットにおける、FedDPと他のGFLおよび最先端PFL手法の視覚的比較です。各行は、固有のサイトからランダムに選択されたサンプルを示しています。

に示されています。Site AやSite Cの挑戦的な症例では、ローカル訓練、GFL、PFLのほとんどすべての既存手法が多数の誤検出により悪いセグメンテーション結果を示しています。これに対し、FedDPは病変の位置を正確に認識し、病変境界をより高い精度でセグメンテーションできることがわかります。視神経乳頭と杯のセグメンテーションの結果は

**Figure 5.** Fig. 5. Visual comparison of our method, FedDP, and other GFL and state-of-the-art PFL methods in RIF dataset. Each row denotes a randomly selected sample from a unique site.解説: RIFデータセットにおける、FedDPと他のGFLおよび最先端PFL手法の視覚的比較です。各行は、固有のサイトからランダムに選択されたサンプルを示しています。

に示されており、他のPFL手法が境界知識を認識する能力に欠けるため、セグメンテーション精度を大幅に向上させていない中で、我々のIGCが境界予測の違いを探索し、この情報を最大限に活用して結果を向上させていることが示されています。

アブレーションスタディ

FedDPの各主要コンポーネントの有効性を詳細に分析しました。に示されているように、自己注意ネットワーク（SA）の使用が全体的なセグメンテーション精度と境界精度を向上させることが明らかになりました。さらに、ローカルクエリ（LQ）を導入することで、EndoPolypで2.6%のDiceスコア、RIFで1.08%のDiceスコアの向上が見られました。IGCもセグメンテーションをさらに強化し、特にEndoPolypデータセットではDiceスコアが1.78%増加し、ASSDが0.99減少しました。

**Figure 6.** Fig. 6. Test IoU scores changing with the communication rounds on the EndoPolyp dataset using different backbones under FedAVG [9] algorithm (left) and FedRep [16] algorithm (right).解説: EndoPolypデータセットにおいて、FedAVGアルゴリズム（左）とFedRepアルゴリズム（右）の異なるバックボーン（ResNet-18, ResNet-50, PVT-b0, PVT-b2）を用いた場合の通信ラウンドによるテストIoUスコアの変化を示すグラフです。

この図は、FedAVGアルゴリズム（左）およびFedRepアルゴリズム（右）における異なるバックボーンを使用した場合のEndoPolypデータセットでの通信ラウンドによるテストIoUスコアの変化を示しています。自己注意バックボーンが畳み込みバックボーンよりも優れた性能と速い収束速度を示すことが証明されています。

**Figure 7.** Fig. 7. Test IoU scores versus the communication rounds of the average and each participated site (from left to right) on the (a) EndoPolyp dataset and the (b) RIF dataset. To simplify the learning curves and make them clearer, we present the maximum score every ten rounds.解説: EndoPolypデータセット（a）とRIFデータセット（b）における、平均および各参加施設（左から右へ）のテストIoUスコアと通信ラウンドの関係を示す学習曲線です。学習曲線を簡潔にするため、10ラウンドごとの最大スコアを示しています。

この図は、EndoPolypデータセット（a）とRIFデータセット（b）における、比較手法の平均および各参加施設のテストIoUスコアと通信ラウンドの関係を示す学習曲線です。学習曲線を簡潔かつ明確にするため、10ラウンドごとの最大スコアを示しています。自己注意機構の異なる部分をパーソナライズした場合の定量的比較結果は

**Figure 8.** Fig. 8. Quantitative comparison of personalizing different layers in the self-attention networks on EndoPolyp dataset. q,k,v denote the query, key, value embedding layers and qk denotes to personalize two types.解説: EndoPolypデータセットにおける、自己注意ネットワークの異なる層（q: クエリ、k: キー、v: 値、qk: クエリとキーの両方）をパーソナライズした場合の定量的比較です。(a) Diceスコアと(b) ASSDスコアが示されています。

に示されており、クエリ埋め込み層をパーソナライズすることが両方の指標で最も効果的な代替案であることが明確に示されています。また、IGCにおけるバランス重みλの異なる値での定量的比較は

**Figure 9.** Fig. 9. Quantitative comparison of different λ on two datasets. The white circles denote the averaged Dice scores.解説: 2つのデータセットにおける異なるλ値の定量的比較です。白い丸は平均Diceスコアを示しています。

に示されており、λ=0.1、1、10のモデルがλ=0のモデルを上回り、施設間の不整合を探索することがローカル精度向上に常に有益であることを示しています。

**Figure 10.** Fig. 10. Effect analysis of integrating IGC to other PFL methods, i.e., IOP-FL [19] and FedBABU [17]. The original (No Calib.) and calibrated results on EndoPolyp dataset are presented.解説: IOP-FLとFedBABUといった他のPFL手法にIGCを統合した場合の効果分析です。EndoPolypデータセットにおける元の結果（No Calib.）とキャリブレーションされた結果が示されています。

この図は、IOP-FLおよびFedBABUといった他のPFL手法にIGCを統合した場合の効果分析です。EndoPolypデータセットにおける元の結果（No Calib.）とキャリブレーションされた結果が示されています。

拡張分析

未知データにおける汎化性能: FedDPは、主に連合学習フレームワークに参加するデータ施設のパーソナライズド性能を向上させることを目指しています。未知のデータサイト（Polyp-Genから収集したC1サイト）における汎化性能を評価したところ、FedDPの単一ローカルモデルでは他の分布への適合にずれが生じる可能性がありますが、4つのローカルモデルのアンサンブル結果では最高の性能を達成しました。この表は、ポリープ病変の未知データにおける汎化分析の定量的結果を示しています。A-Dは各施設からのローカルモデルを、Ensembleは4つのローカルモデルのアンサンブル結果を示します。FedDPは、単一のローカルモデルでは未知データに対して高い性能を示さないこともありますが、モデルアンサンブルでは最高の性能を達成し、対象セグメンテーションにおけるその強力で汎化可能な知識を示しています。
計算および通信効率: FedDPの計算と通信効率を分析しました。に示されているように、FedDPは推論時に余分なレイヤーを導入しないため、FedAVGと同じ推論時間（17.79ミリ秒）を要します。他の手法が推論に余分なコストを要するのに対し、IGCは追加の教師信号損失として不整合をモデリングするため、効率的です。通信コストに関しては、すべての手法で並列訓練段階でほぼ同じ負荷がかかりますが、ローカルファインチューニング段階では、FedLCが各訓練エポックで他の施設のパーソナライズドレイヤーを必要とするため、FedDPよりもはるかに高い通信コストを要します。FedDPは、この段階で一度だけの通信で済みます。

研究の限界と今後の展望

FedDPは、医科学画像セグメンテーションにおけるデータ異質性の課題に対処するため、特徴レベルと予測レベルの両方でデュアル・パーソナライゼーションを実現する革新的なアプローチを提案しました。長距離依存性モデリングのためのローカルクエリ（LQ）と、施設間予測の不整合を活用する不整合ガイド型キャリブレーション（IGC）により、既存のパーソナライズド連合学習手法を凌駕する性能を達成しました。

本研究の主な貢献と利点：
* 自己注意ネットワークの活用: 従来の畳み込みネットワークベースの手法では困難だった長距離依存性モデリングを、自己注意ネットワークのクエリ埋め込み層をローカルでパーソナライズすることで可能にしました。
* 予測不整合の活用: 施設間予測の不整合という貴重な情報を、推論時に追加の計算コストなしで損失関数に組み込むことで、モデルが各施設の固有の予測パターンを学習することを促進しました。
* 効率性: IGCは、一度の通信で不整合情報を取得し、それを損失関数に組み込むことで、従来の不整合探索手法が抱えていた高い通信負荷や計算コストの問題を解決しました。

限界と今後の展望：
FedDPは、連合学習に参加するデータ施設のパーソナライズド性能向上に焦点を当てています。そのため、フレームワークに参加していない「未知のデータサイト」における性能については、最適化の対象外となる可能性があります。新しい施設が連合学習プロセスに参加する場合や、訓練済みモデルを使用しようとする場合、継続学習、ファインチューニング、パーソナライズドモデルのアンサンブルなど、様々な手法を用いてこれらの新しいデータ分布におけるセグメンテーション性能を向上させることが可能です。本論文ではパーソナライズド性能の向上に焦点を当てるため、この未知データサイトへの汎化能力に関する研究は、今後の課題として位置付けられています。これは、より広範な医科学分野での実用化に向けた重要なステップとなるでしょう。

用語集

連合学習（FL）: 複数のデータ施設がデータを中央に集めることなく、協力して共通の機械学習モデルを訓練する手法。プライバシー保護に貢献します。
データ異質性: 異なるデータ施設のデータセットが、分布、特性、または統計的性質において異なる状態を指します。
パーソナライズド連合学習（PFL）: データ異質性に対応するため、各データ施設の固有の特性に合わせて調整されたローカルモデルを学習する連合学習の一種です。
自己注意ネットワーク: 画像全体の長距離依存性を捉えることに優れており、ビジョン・トランスフォーマーとしても知られるニューラルネットワークのアーキテクチャです。
長距離依存性モデリング: 画像内の遠く離れたピクセル間の関係性を捉え、より広いコンテキストに基づいて特徴を学習する能力を指します。
ローカルクエリ（LQ）: 自己注意ネットワークのクエリ埋め込み層を各ローカルモデルで個別に訓練することで、特徴レベルのパーソナライゼーションを行う手法です。
不整合ガイド型キャリブレーション（IGC）: 施設間での予測の不整合情報を活用し、不整合が大きいピクセルに重み付けをしてモデルの学習を導くことで、予測レベルのパーソナライゼーションを行う手法です。
Diceスコア: セグメンテーション結果の正確さを評価する指標の一つで、予測領域と正解領域の重なり具合を0から1で示します。高いほど良いです。
平均対称表面距離（ASSD）: セグメンテーション結果の境界の正確さを評価する指標の一つで、予測境界と正解境界間の平均距離を示します。低いほど良いです。
クエリ/キー/値埋め込み: 自己注意メカニズムで使用される要素で、クエリは現在の要素の特徴、キーはサポート情報、値は重み付けされたコンテキストを提供します。