O que É Aprendizagem Semisupervisionada?

O aprendizado semisupervisionado é uma forma de machine learning que envolve conjuntos de dados de treinamento rotulados e não rotulados. Como inferido pelo seu nome, este método incorpora elementos de aprendizagem supervisionada e aprendizagem não supervisionada. O aprendizado semisupervisionado usa um processo de duas etapas. Primeiro, o algoritmo de um projeto é inicialmente treinado usando um conjunto de dados rotulado, como no aprendizado supervisionado. Depois disso, o algoritmo avança treinando com um conjunto de dados não rotulado.

O aprendizado semisupervisionado é ideal quando os projetos têm muitos dados de treinamento, mas a maioria ou tudo é não rotulado. No caso de projetos com apenas dados não rotulados disponíveis, o aprendizado semisupervisionado pode colocar os projetos em funcionamento fazendo o treinamento inicial com dados rotulados manualmente antes de alternar para dados de treinamento exclusivamente não rotulados. Com os projetos usando essa abordagem, as equipes devem ter cuidado ao rotular manualmente os dados porque eles se tornam a base sobre a qual o resto do projeto é construído.

A decisão de usar o aprendizado semisupervisionado geralmente se resume aos conjuntos de dados disponíveis. Na era do big data, os dados não rotulados estão muito mais disponíveis e acessíveis do que os dados rotulados e, dependendo da origem, custará menos para obter.

Ainda assim, um projeto pode ter que avançar com apenas dados não rotulados. Quando isso acontece, as equipes devem decidir se é útil empregar a natureza exploratória do aprendizado não supervisionado em vez de gastar tempo e dinheiro para rotular parte do conjunto de dados como um meio de treinamento inicial do algoritmo.

O que É Aprendizagem Semisupervisionada?

O aprendizado semisupervisionado é uma técnica de machine learning que fica entre o aprendizado supervisionado e o aprendizado não supervisionado. Ele usa dados rotulados e não rotulados para treinar algoritmos e pode fornecer melhores resultados do que usar dados rotulados sozinhos.

Para decidir se a aprendizagem semisupervisionada é apropriada para um projeto, as equipes devem fazer perguntas, incluindo:

• Quais conjuntos de dados estão disponíveis para este projeto?
• Algum desses conjuntos de dados é rotulado? Um exemplo de rótulos para um conjunto de dados financeiros pode ser dados de transação com rótulos indicando se uma transação é fraudulenta ou legítima.
• Se todos os conjuntos de dados forem não rotulados, a equipe terá os recursos para rotular pelo menos alguns dados?
• Os objetivos do projeto são mais alcançáveis por meio de aprendizado supervisionado ou não supervisionado? Os fatores a serem considerados aqui incluem uma combinação de recursos práticos e técnicos, incluindo recursos de computação, orçamento, prazos e resultados desejados.
• O nosso conjunto de dados rotulados é suficiente para ensinar ao modelo os padrões e características de, por exemplo, transações fraudulentas e legítimas?

As respostas a essas perguntas determinarão a viabilidade. Uma vez que a decisão é tomada para ir com a aprendizagem semisupervisionada, o próximo passo é preparar dois conjuntos de dados de treinamento. O primeiro é geralmente um pequeno conjunto de dados rotulado para ancorar o treinamento básico do projeto. O segundo conjunto de dados de treinamento é maior — muitas vezes muito maior — e não rotulado. Quando o sistema processa o conjunto de dados não rotulado, ele gera pseudo-rótulos usando o que aprendeu com o conjunto rotulado. Esse processo então é iterado para refinar o algoritmo e otimizar o desempenho.

Os tipos mais comuns de aprendizagem semisupervisionada são:

• Autotreinamento: com o autotreinamento, o processo usa o conjunto de dados rotulado para treinar o algoritmo e, em seguida, o treinamento subsequente gera pseudo-rótulos de alta confiança (mais de 99% de probabilidade) para o conjunto de dados não rotulado de forma que todos os registros tenham rótulos. Em seguida, o sistema treina no conjunto de dados expandido com os dados de treinamento rotulados originais concatenados com o conjunto de dados não rotulados usando pseudo-rótulos, permitindo o treinamento em maiores volumes de dados em comparação com o conjunto de dados rotulado original.
• Co-treinamento: com o co-treinamento, o processo pega um pequeno conjunto de dados rotulado e o aborda com duas visualizações distintas (grupos de recursos) com foco em informações complementares e independentes. Cada grupo treina um algoritmo separado e, em seguida, faz previsões em um conjunto de dados não rotulado para classificar pseudo-rótulos para cada modelo resultante. Cada pseudo-rótulo gerado por um classificador (um algoritmo que prevê um rótulo) vem com uma pontuação de probabilidade, e o pseudo-rótulo com a maior pontuação de probabilidade é então adicionado ao outro conjunto de dados de treinamento.

Por exemplo, um modelo de previsão do tempo pode começar com um conjunto de dados usando rótulos em métricas registradas, como velocidade do vento, pressão atmosférica e umidade, enquanto o outro modelo usa dados mais generalizados, como localização geográfica, data/hora e precipitação média registrada. Ambos os modelos geram pseudo-rótulos, e quando o modelo de métricas tem uma pontuação de probabilidade maior do que o modelo geral, esse pseudo-rótulo é aplicado ao modelo geral e vice-versa.

Cada método continua treinando para refinar áreas com resultados de baixa probabilidade até que um modelo final abrangente seja produzido.

Prós e contras de aprendizagem semisupervisionada

O machine learning semisupervisionado combina a estrutura de lançamento de um projeto usando aprendizado supervisionado com os benefícios do aprendizado não supervisionado, como detecção avançada de anomalias e a capacidade de descobrir padrões e estruturas ocultos dentro de dados não rotulados. Embora não seja adequado para todas as situações, sua flexibilidade inerente torna uma opção viável para um amplo espectro de necessidades e objetivos do projeto.

Perguntas Frequentes sobre Aprendizagem Semisupervisionada

Em que situações a aprendizagem semisupervisionada é normalmente usada?

A aprendizagem semisupervisionada funciona melhor quando os projetos têm acesso apenas a dados ou, na maioria das vezes, a dados não rotulados. Nessas circunstâncias, as equipes podem rotular manualmente um subconjunto de dados para criar o conjunto de dados de treinamento para a primeira etapa e permitir que o modelo explore o conjunto de dados não rotulado.

Qual é a diferença entre aprendizagem semisupervisionada e não supervisionada?

O aprendizado não supervisionado permite que os modelos explorem conjuntos de dados não rotulados com o objetivo de descobrir padrões e relações entre entradas e saídas por conta própria. A aprendizagem semisupervisionada usa esse método, mas com uma etapa precursora de treinamento do algoritmo em um pequeno conjunto de dados rotulados para construir uma direção fundamental para o projeto.

Quais são alguns prós e contras da aprendizagem semisupervisionada?

Os prós da aprendizagem semisupervisionada incluem:

• Ele usa conjuntos de dados rotulados e não rotulados.
• Há melhores recursos para dados não estruturados, como volumes pesados de texto, vídeo ou áudio.
• Ele usa conjuntos de dados não rotulados mais fáceis de acessar e mais baratos.
• Melhor desempenho do modelo, especialmente com dados limitados.

Os contras da aprendizagem semisupervisionada incluem:

• Pode ser necessário tempo e dinheiro para rotular manualmente um conjunto de dados de treinamento.
• Há uma precisão e transparência potencialmente menores em comparação com o aprendizado supervisionado com conjuntos de dados rotulados de qualidade.
• É inadequado para alguns tipos de projetos, como aqueles com diretrizes rigorosas ou que exigem padrões de alta precisão para segurança.
• Não adequado a conjuntos de dados complexos e diversos.