반지도 학습이란 무엇인가요?

반지도 학습은 레이블이 있는 학습 데이터 세트와 레이블이 없는 학습 데이터 세트를 모두 포함하는 머신러닝의 한 형태입니다. 그 이름과 같이, 이 방법은 지도 학습과 비지도 학습의 요소를 통합합니다. 반지도 학습은 2단계 프로세스를 사용합니다. 첫째, 프로젝트의 알고리즘은 초기에 지도 학습에서와 같이 레이블이 있는 데이터 세트를 사용하여 학습됩니다. 그 후 알고리즘은 레이블이 없는 데이터 세트를 학습합니다.

반지도 학습은 프로젝트에 많은 학습 데이터가 있지만 대부분 또는 모든 데이터에 레이블이 없는 경우에 이상적입니다. 레이블이 없는 데이터만 있는 프로젝트의 경우 반지도 학습은 레이블이 없는 학습 데이터로만 전환하기 전에 수동으로 레이블이 지정된 데이터로 초기 교육을 수행하여 프로젝트를 시작하고 실행할 수 있습니다. 이 접근 방식을 사용하는 프로젝트를 통해 팀은 데이터에 수동으로 레이블을 지정할 때 주의를 기울여야 합니다. 이는 나머지 프로젝트가 구축되는 기반이 되기 때문입니다.

반지도 학습을 사용할지 여부에 대한 결정은 종종 사용 가능한 데이터 세트를 지반으로 내려집니다. 빅 데이터 시대에 레이블이 없는 데이터는 레이블이 있는 데이터보다 훨씬 더 많은 가용성과 액세스가 가능하며 소스에 따라 얻는 데 드는 비용이 줄어듭니다.

그래도 프로젝트는 레이블이 없는 데이터만을 사용해야 할 수도 있습니다. 이 경우 팀은 비지도 학습의 탐색적 특성을 사용하는 것이 유용한지 여부, 데이터 세트의 일부를 초기 알고리즘 교육 수단으로 레이블 지정하는 데 시간과 비용을 소비하는 것이 유용한지 여부를 결정해야 합니다.

반지도 학습이란 무엇인가요?

반지도 학습은 지도 학습과 비지도 학습 사이에 놓인 머신러닝 기술입니다. 레이블이 있는 데이터와 레이블이 없는 데이터를 모두 사용하여 알고리즘을 학습시키고 레이블이 있는 데이터만 사용하는 것보다 더 나은 결과를 제공할 수 있습니다.

반지도 학습이 프로젝트에 적합한지 여부를 결정하려면 팀이 다음을 포함한 질문을 해야 합니다.

• 이 프로젝트에 사용할 수 있는 데이터 세트는 무엇입니까?
• 이 데이터 세트 중 레이블이 지정된 데이터 세트가 있습니까? 금융 데이터 세트 레이블의 예로는 거래가 사기성인지 합법적인지를 나타내는 레이블이 있는 거래 데이터가 있습니다.
• 데이터 세트에 레이블이 모두 없는 경우 팀에서 적어도 일부 데이터에 레이블을 지정할 리소스가 있습니까?
• 감독 또는 비지도 학습을 통해 프로젝트의 목표를 달성할 수 있습니까? 여기서 평가해야 할 요소에는 컴퓨팅 리소스, 예산, 기한 및 원하는 결과 등 실용적이고 기술적인 요소가 혼합되어 있습니다.
• 레이블이 지정된 데이터 세트는 사기성 및 합법적 거래와 같은 패턴과 특성을 모델에 충분히 설명할 수 있습니까?

이 질문에 대한 대답은 타당성을 결정합니다. 반지도 학습으로 결정되면 다음 단계는 두 개의 학습 데이터 세트를 준비하는 것입니다. 첫 번째는 일반적으로 프로젝트의 기본 교육을 고정시키는 작은 레이블의 데이터 세트입니다. 두 번째 학습 데이터 세트는 더 크고 레이블이 없는 경우가 많습니다. 레이블이 없는 데이터 세트를 처리하면 레이블이 있는 세트에서 얻은 내용을 사용하여 의사 레이블이 생성됩니다. 그런 다음 이 프로세스를 반복하여 알고리즘을 세분화하고 성능을 최적화합니다.

반지도 학습의 가장 일반적인 유형은 다음과 같습니다.

• 자율 교육: 프로세스에서는 자체 교육을 통해 레이블이 있는 데이터 세트를 사용하여 알고리즘을 학습한 다음 후속 교육에서 레이블이 없는 데이터 세트에 대해 높은 신뢰도(99% 이상 확률) 의사 레이블을 생성하여 모든 레코드에 레이블이 지정됩니다. 그런 다음 시스템에서는 의사 레이블을 사용하여 레이블이 없는 데이터 세트와 연결된 원래 레이블이 있는 교육 데이터가 포함된 확장된 데이터 세트를 학습하여 원래 레이블이 있는 데이터 세트에 비해 더 많은 양의 데이터를 학습할 수 있습니다.
• 공동 교육: 이 프로세스는 공동 교육을 통해 작은 레이블의 데이터 세트를 가져와서 상호 보완적이고 독립적인 정보에 초점을 맞춘 두 개의 개별 뷰(기능 그룹)로 접근합니다. 각 그룹은 별도의 알고리즘을 학습한 다음, 각 결과 모델에 대해 의사 레이블을 분류하기 위해 레이블이 없는 데이터 세트에 대한 예측을 진행합니다. 분류기(레이블을 예측하는 알고리즘)에 의해 생성된 각 의사 레이블에는 확률 점수가 포함되며 확률 점수가 높은 의사 레이블은 다른 교육 데이터 세트에 추가됩니다.

예를 들어 일기 예보 모델은 풍속, 대기압 및 습도와 같은 기록된 측정지표의 레이블을 사용하여 데이터 세트로 시작할 수 있으며, 다른 모델은 지리적 위치, 날짜/시간 및 기록된 평균 강수량과 같은 보다 일반적인 데이터를 사용합니다. 두 모델 모두 의사 레이블을 생성하고 척도 모델에 일반 모델보다 높은 확률 점수가 있는 경우 의사 레이블이 일반 모델에 적용되고 그 반대의 경우도 마찬가지입니다.

각 방법은 포괄적인 최종 모델이 생성될 때까지 낮은 확률의 결과로 영역을 세분화하는 교육을 계속합니다.

반지도 학습 장단점

반지도 머신러닝은 지도 학습을 사용하여 프로젝트를 시작하는 구조와 고급 이상 감지, 레이블이 없는 데이터 내에서 숨겨진 패턴 및 구조를 발견하는 기능 등 비지도 학습의 이점을 결합합니다. 모든 상황에 적합하지는 않지만 고유한 유연성으로 인해 광범위한 프로젝트 요구 사항 및 목표에 대해 실현 가능한 옵션이 됩니다.

반지도 학습 FAQ

반지도 학습은 일반적으로 어떤 상황에서 사용됩니까?

반지도 학습은 프로젝트를 위해 레이블이 없는 데이터에만, 또는 대부분 그러한 데이터만 액세스할 수 있는 경우에 가장 효과적입니다. 이러한 상황에서 팀은 수동으로 데이터 하위 세트에 레이블을 지정하여 첫 번째 단계에 대한 교육 데이터 세트를 생성하고, 다음 단계로 모델이 레이블이 없는 데이터 세트를 탐색하도록 합니다.

반지도 학습과 비지도 학습의 차이점은 무엇입니까?

비지도 학습을 통해 모델은 입력과 출력 간의 패턴 및 관계를 자체적으로 발견하기 위해 레이블이 없는 데이터 세트를 탐색할 수 있습니다. 반지도 학습에서는 이 방법을 사용하지만, 프로젝트에 대한 기본 방향을 작성하기 위해 작은 레이블이 있는 데이터 세트에 대해 알고리즘을 교육하는 사전 준비 단계가 있습니다.

반지도 학습의 장단점은 무엇입니까?

반지도 학습의 장점은 다음과 같습니다.

• 레이블이 있는 데이터 세트와 레이블이 없는 데이터 세트를 모두 사용합니다.
• 대량의 텍스트, 비디오 또는 오디오와 같은 비구조적 데이터에 더 나은 기능이 있습니다.
• 또한 보다 쉽게 액세스할 수 있고 레이블이 없는 데이터 세트를 저렴하게 사용합니다.
• 제한된 데이터로 모델 성능이 향상됩니다.

반지도 학습에는 다음이 포함됩니다.

• 학습 데이터 세트에 수동으로 레이블을 지정하는 데 시간과 비용이 필요할 수 있습니다.
• 품질 레이블이 지정된 데이터 세트가 있는 감독 학습에 비해 정확성과 투명성이 낮을 수 있습니다.
• 엄격한 지침이 있거나 안전을 위해 높은 정확도 표준이 필요한 프로젝트와 같은 일부 유형의 프로젝트에는 적합하지 않습니다.
• 복잡하고 다양한 데이터 세트에 적합하지 않습니다.