半教師あり学習とは

半教師あり学習は、ラベル付きトレーニング・データ・セットとラベルなしトレーニング・データ・セットの両方を含む機械学習の一種です。このメソッドには、その名前で推測されるとおり、教師あり学習と教師なし学習の両方の要素が組み込まれます。半教師あり学習では、2ステップのプロセスを使用します。まず、プロジェクトのアルゴリズムは、教師あり学習と同様に、ラベル付きデータ・セットを使用して最初にトレーニングされます。その後、アルゴリズムはラベルなしのデータ・セットを使用してトレーニングすることで前進します。

半教師あり学習は、プロジェクトに多数のトレーニング・データがあるが、そのほとんどまたはすべてにラベルが付いていない場合に理想的です。ラベルなしデータのみが使用可能なプロジェクトの場合、半教師あり学習では、ラベルなしのトレーニング・データのみに切り替える前に、手動でラベル付けしたデータを使用して初期トレーニングを行うことで、プロジェクトの稼働を開始できます。このアプローチを使用するプロジェクトでは、チームはデータを手動でラベル付けする際に注意する必要があります。これは、プロジェクトの残りの部分が構築される基盤となるためです。

半教師あり学習を使用する決定は、多くの場合、使用可能なデータセットの内容によって決まります。ビッグデータの時代においては、ラベル付きデータよりもラベルなしデータの方がはるかに入手しやすく、アクセスも容易です。そして、データの取得元によっては、ラベルなしデータの方がコストも安く済みます。

それでも、ラベルが付いていないデータのみを使用してプロジェクトを進める必要がある場合があります。このような場合、チームは、教師なし学習の探索的な性質を活用する方が有用か、それとも初期アルゴリズムのトレーニング手段としてデータセットの一部にラベルを付けるために時間と費用をかける方が有用かを判断しなければなりません。

半教師あり学習とは

半教師あり学習は、教師あり学習と教師なし学習の間に位置する機械学習手法です。ラベル付きデータとラベルなしデータの両方を使用してアルゴリズムをトレーニングし、ラベル付きデータのみを使用するよりも優れた結果をもたらす可能性があります。

半教師あり学習がプロジェクトに適しているかどうかを判断するには、次のような質問をする必要があります。

• このプロジェクトではどのようなデータ・セットを使用できますか。
• これらのデータ・セットのラベルはありますか。財務データ・セットのラベルの例として、トランザクションが不正か正当かを示すラベルを持つトランザクション・データがあります。
• データ・セットがすべてラベル付けされていない場合、チームには少なくとも一部のデータにラベル付けするリソースがありますか。
• このプロジェクトの目標は、教師あり学習と教師なし学習のどちらで達成しやすいですか？ここでの評価要素には、コンピュート・リソース、予算、締め切り、望ましい結果など、実用的および技術的な組合せが含まれます。
• 不正と正当な取引のパターンや特徴をモデルに学習させるために、ラベル付きデータは十分にありますか？

これらの質問に対する回答によって、実現可能性が決まります。半教師あり学習の実施を決定したら、次のステップは2つのトレーニング・データ・セットを準備することです。1つ目は、通常、プロジェクトの基礎トレーニングに使用するための小さなラベル付きデータ・セットです。2番目のトレーニング・データ・セットは大きく、ラベルなしです。ラベルなしのデータセットが処理されると、ラベル付きセットから学習した内容を使用して疑似ラベルが生成されます。このプロセスは、アルゴリズムを改良してパフォーマンスを最適化するために反復されます。

半教師あり学習の最も一般的なタイプは、次のとおりです。

• 自己トレーニング: 自己トレーニングでは、ラベル付きデータ・セットを使用してアルゴリズムをトレーニングし、後続のトレーニングでは、すべてのレコードにラベルが付くように、ラベルなしデータ・セットに対して高信頼度(99%を超える確率)疑似ラベルを生成します。次に、拡張されたデータ・セットに、元のラベル付きトレーニング・データが疑似ラベルを使用してラベルなしデータ・セットと連結され、元のラベル付きデータ・セットと比較して大量のデータをトレーニングできます。
• 共同トレーニング: 共同トレーニングでは、このプロセスは小さなラベル付きデータ・セットを取得し、補完的および独立した情報に焦点を当てた2つの異なるビュー(機能グループ)でアプローチします。各グループは個別のアルゴリズムをトレーニングし、ラベルなしのデータ・セットで予測を行い、結果のモデルごとに疑似ラベルを分類します。分類子によって生成される各疑似ラベル(ラベルを予測するアルゴリズム)には確率スコアが付属しており、確率スコアの高い疑似ラベルが他のトレーニング・データ・セットに追加されます。

たとえば、気象予測モデルは、風速、大気圧、湿度などの記録されたメトリックのラベルを使用してデータ・セットから開始し、もう一方のモデルでは、地理的な場所、日時、記録された平均降水量などのより一般的なデータを使用します。どちらのモデルも疑似ラベルを生成し、メトリック・モデルの確率スコアが一般モデルより高い場合、その疑似ラベルは一般モデルに適用され、その逆も同様です。

各方法では、包括的な最終モデルが作成されるまで、低確率の結果で領域を改善するためのトレーニングを継続します。

半教師あり学習の長所と短所

半教師あり機械学習は、教師あり学習を使用してプロジェクトを開始する構造と、高度な異常検出やラベルなしデータ内の隠れたパターンや構造を発見する機能など、教師なし学習のメリットを組み合わせたものです。すべての状況に適しているわけではありませんが、固有の柔軟性により、幅広いプロジェクトのニーズと目標を実現できます。

半教師あり学習に関するFAQ

半教師あり学習は通常どのような状況で使用されますか。

利用可能なデータの大部分、もしくはすべてがラベルなしである場合に、半教師あり学習は最も効果を発揮します。このような状況では、チームはデータのサブセットを手動でラベル付けして最初のステップのトレーニング・データ・セットを作成し、モデルでラベルなしのデータ・セットを調べることができます。

半教師あり学習と教師なし学習の違いは何ですか。

教師なし学習では、ラベルなしデータセットを使って、モデルが入力と出力の間のパターンや関係性を自律的に発見することを目的とします。一方、半教師あり学習はこのアプローチに加えて、まず小規模なラベル付きデータセットでアルゴリズムをトレーニングし、プロジェクトにとっての方向性や基盤を構築してから、ラベルなしデータでの学習に進むというステップが加わります。

半教師あり学習の長所と短所は何ですか?

半教師あり学習の長所は次のとおりです。

• ラベル付きデータとラベルなしデータの両方を活用できる
• テキスト、動画、音声などの非構造化データに対する適性が高い
• 入手しやすくコストの低いラベルなしデータを利用可能
• ラベル付きデータが少ない場合でも、モデルの性能向上が期待できる

半教師あり学習の短所は次のとおりです。

• 初期のトレーニングデータに手動でラベルを付けるには時間とコストがかかる
• 高品質なラベル付きデータを使った教師あり学習と比較すると、精度や透明性が劣る可能性がある
• 安全性や精度に関する厳格な要件があるプロジェクトには不向き
• 複雑かつ多様性のあるデータセットには対応しにくい