1
ICML2017
正例とラベルなしデータからの分類に
基づく半教師付き分類
(Semi-Supervised Classification Based on
Classification from Positive and Unlabeled Data)
坂井智哉,
1,2 Marthinus C. du Plessis,
Gang Niu,
1,2 杉山将2,1
1
2
東京大学
理化学研究所
コードが利用可能:
http://www.ms.k.u-tokyo.ac.jp/software.html#PNU
または，https://github.com/t-sakai-kure/PNU (Python実装)
@夏のトップカンファレンス論文読み会

分類問題
2
データ点のクラス（カテゴリー）を明らかにする
具体例
ウェブサイトがフィッシングサイトか否か
画像がネコか否か
決定境界
画像出典： http://www.image-net.org/ http://sozaing.com/

教師付き分類
3
ラベル付きデータ (正例と負例) からの分類
: 正例
: 負例
クラス: +1
クラス：-1
決定境界
たくさんラベル付きデータがあれば高い分類精度
ラベル付きデータは高価

教師なし分類
4
ラベルのないラベルなしデータだけを用いる
ラベルなしデータ
クラスタリングとも呼ばれる
ラベル付けの費用がかからない
データがクラスタに分かれていないと，
正しく結果を得られない

半教師付き分類
5
ラベル付きデータとラベルなしデータからの分類
: 正例
: 負例
: ラベルなしデータ
ラベル付けの費用を抑えられる
従来法は分布に対する強い仮定を必要とする
例）クラスタ仮定: 同じクラスタに属するデータ点は
同じラベルを持つことを要求 (Chapelle et al., NIPS, 2002)
従来法は，仮定が成り立たないデータで性能が出ない

Positive and Unlabeled data
6
正例とラベルなしデータからの分類
負例の代わりにラベルなしデータが与えられる
: 正例
: ラベルなしデータ
クラス: +1
ラベルなし
PUデータの例: 広告クリックデータ
クリックされなかった広告は負例としてよいか？
ページの後部にあったため，途中で別のページに移ったかも．
その広告にも興味があるが，同時に興味のある別の広告を…
データ分布に対する強い仮定なしでラベルなしデータを
利用可能 (du Plessis et al., NIPS, 2014)

提案する方法の概要
7
教師付き分類とPU分類を組み合わせる
教師付き分類
PU分類
半教師付き分類
決定境界
正例と負例
正例とラベルなしデータ
正例と負例と
ラベルなしデータ
データ分布に対する強い仮定なしにラベルなしデータを
利用可能

発表の流れ
8
1. 背景
2. 問題設定と従来法
3. 提案法
4. 解析
5. 実験
6. まとめ

問題設定
9
正例 (P), 負例 (N), ラベルなしデータ (U):
分類器: (例
)
損失関数: (例
)
リスク:
0-1損失を選べば誤識別率と等価
リスクを小さくする分類器が欲しい

PN分類 (教師付き分類)
10
正例と負例から計算されるPNリスクを最小化する
ように分類器を訓練:
正例を誤って負例と
負例を誤って正例と
分類すると損失を被る
分類すると損失を被る
実用上は，訓練データで近似した経験PNリスクを利用：
* 損失関数として，例えばヒンジ損失を選べば，
SVMの目的関数になる

PU分類
11
正例とラベルなしデータから計算されるPUリスクを
最小化するように分類器を訓練(du Plessis et al., 2014; 2015)
PUリスク:
負データの期待値が現れない
経験PUリスク:
＊ PUリスクはPNリスクと等価
ラベルなしデータの性質から
よって，
上式をPUリスクの第二項，第三項と置き換えるとPNリスクを得る

発表の流れ
12
1. 背景
2. 問題設定と従来法
3. 提案法
4. 解析
5. 実験
6. まとめ

PUNU分類 = PU+NU
13
PU分類と対称なNU分類を組み合わせる
PU分類
NU分類
PUNU分類におけるリスク（PUNUリスク):

PNU分類 = PN+PU & PN+NU
14
あるいは，PN分類とPUまたはNU分類を組み合わせる
PNUリスク:
PNPUリスク:
PNNUリスク:

PUNU vs. PNU分類
15
PN, PU, NU分類を比較した理論解析によると，
(Niu et al., NIPS, 2016)
(場合I)
が十分大きいとき
PU < PN < NU分類の順に分類誤差が小さい
または，
NU < PN < PU
PUまたはNU分類がベスト
(場合II)
が小さいとき
PN < PU < NU
または，
PN < NU < PU
PN分類が常にベスト
PNU分類は場合Iと場合IIにおいてベストなものの
組み合わせであるが，PUNU分類はそうではない
PNU分類がPUNU分類よりも有望

PNU分類の振る舞い
16
２次元の人工データでの提案法の挙動
入力データと決定境界
の影響（試行回数２０回）
組み合わせで
誤識別率最小
誤識別率
正データ
NU
PN
PU
負データ
ラベルなしデータ
最適な決定境界
実用上は， を交差確認法で選ぶ
推定した決定境界

発表の流れ
17
1. 背景
2. 問題設定と従来法
3. 提案法
4. 解析
5. 実験
6. まとめ

ラベルなしデータの役割
18
Q. どのようにラベルなしデータが役立つか?
良い
誤識別率
A.
が増加するにつれて誤識別率が減少

汎化誤差上界
19
汎化誤差:
0-1損失:
分布に対する強い仮定なしに, 汎化誤差上界を証明:
どのような
に対しても,
が確率
以上で，すべての
に対して成り立つ
ラベルなしデータが汎化誤差上界の減少に役立つ
PNNUとPUNUともに同様の性質を持つ
(Ref. )

PNUリスクを用いたハイパーパラメータ選択
20
Q. PNリスク
とPNUリスク
，
どちらを検証スコアに用いると良いか？
: を検証スコアに使用
: を検証スコアに使用
誤識別率
は
より良い
A. PNUリスク

分散低減効果
21
分布に対する強い仮定なしに，以下を証明:
ただし
ただし
のとき
PNUリスクの方がPNリスクよりも分散が小さい (安定)
安定なPNUリスクがハイパーパラメータ選択時の
検証スコアに有用
(交差確認法）

発表の流れ
22
1. 背景
2. 問題設定と従来法
3. 提案法
4. 解析
5. 実験
6. まとめ

ベンチマークデータでの実験設定 23
ガウスカーネルモデルを利用:
比較手法:
エントロピー正則化 (ER) (Grandvalet & Bengio, NIPS, 2004)
ラプラシアンSVM (LapSVM) (Belkin et al., JMLR, 2006)
二乗損失相互情報量正則化 (SMIR) (Niu et al., ICML, 2013)
弱ラベル付きSVM (WellSVM) (Li et al., JMLR, 2013)
安全半教師付きSVM (S4VM) (Li & Zhou, PAMI, 2015)

誤識別率（低いほど良い）
24
平均と標準誤差
全体的に，PNU分類の分類精度が良い
また，理論解析の通り，PUNUよりもPNUの精度が良い
＊色付きのセルは平均誤識別率が最も低い手法と，それと有意差５％のt検定で同等の手法を示す

計算時間
25
平均計算時間
]
秒[
計算時間
PNU分類は計算効率が良い

画像分類での実験設定
26
二つの似た景色を分類する (データセット: Places 205）
(Zhou et al., NIPS, 2014)
タスクの例
Desert sand vs. Desert vegetation
Subway station platforms vs. Train station platforms
AlexNetを用いて抽出した特徴ベクトル
を使用
入力に関する線形モデルを利用:

誤識別率（低いほど良い）
27
平均と標準誤差
PNU分類は性能が良い
クラス事前確率
はエネルギー距離最小化に基づいた手法により推定
(Kawakubo et al., IEICE, 2015)
＊”N/A”は計算時間が２時間を超えた手法

まとめ
28
PU分類に基づく半教師付き分類手法を提案
PNU分類
提案したリスク推定量を理論的に解析
汎化誤差上界
分散低減効果
提案法の有用性を実験的に示した
手法について更に知りたい方は論文[link]へ
コードが利用可能:
http://www.ms.k.u-tokyo.ac.jp/software.html#PNU
または，https://github.com/t-sakai-kure/PNU (Python実装あり)