“Ainda não dá para prever, não temos dados suficientes” é um dos motivos mais comuns para um projeto preditivo nunca sair do papel. Parece uma atitude responsável. Mas geralmente está errado, ou pelo menos vago demais para servir de base, porque a resposta honesta não é um número fixo de linhas. Depende do ritmo daquilo que você está tentando prever.
O erro por trás da desculpa é tratar o volume de dados como o requisito. O que uma previsão realmente precisa é de histórico suficiente para ver o padrão se repetir. Um sinal que se repete diariamente chega a esse ponto em semanas. Um sinal que se repete anualmente não chega, por mais leituras por segundo que você colete nesse meio-tempo. Acerte essa distinção e você quase sempre consegue começar bem antes do que temia.
A regra que importa: cobrir o ciclo algumas vezes
Uma previsão aprende ao ver um padrão acontecer mais de uma vez. Então o requisito está ligado ao seu ciclo relevante mais longo, não a uma contagem de linhas.
Se o seu sinal se repete diariamente, como carga de energia, ocupação ou consumo de água, você quer pelo menos algumas semanas de histórico para que o modelo veja as formas de dias úteis e de fins de semana várias vezes. Se o ciclo dominante é semanal, você quer alguns meses. Se ele é sazonal ao longo do ano, você realmente precisa de mais de um ano, e não há atalho, porque um modelo não consegue prever um verão que nunca viu.
Uma alta frequência de amostragem não substitui o período de tempo. Um milhão de leituras de três dias ainda mostra ao modelo apenas três dias. Para previsão, a cobertura de calendário vence o volume bruto quase sempre.
Mais dados não é automaticamente melhor
Há uma segunda armadilha do outro lado: acumular anos de histórico e alimentar o modelo com tudo isso. Dados antigos podem prejudicar. Se o seu processo mudou, uma linha foi atualizada, um prédio foi reformado, uma estrutura de tarifas mudou, então os dados de antes da mudança ensinam ao modelo um mundo que não existe mais. Ele vai prever o passado.
Uma postura prática: use histórico suficiente para cobrir o seu ciclo várias vezes, prefira dados recentes e esteja disposto a descartar tudo o que for anterior a uma mudança brusca conhecida. Um modelo treinado com o último período representativo geralmente supera um treinado com tudo desde a instalação.
O que você precisa depende também do modelo
Modelos mais simples têm mais fome de estrutura do que de volume. Uma linha de base sazonal ou um ajuste com o Prophet consegue produzir uma previsão útil a partir de alguns ciclos de dados limpos. Modelos de deep learning, o LSTM em particular, são o oposto: eles querem muitos exemplos para aprender padrões não lineares e sofrem de overfitting em históricos curtos, produzindo bobagens cheias de confiança.
Esse é mais um motivo para começar simples. No início de uma implantação, quando o histórico é escasso, um modelo sazonal não é só mais fácil, ele é mais apropriado. Reserve os modelos famintos por dados para quando você tiver o volume e uma necessidade comprovada.
Como começar antes de ter dados “suficientes”
Você não precisa esperar no escuro enquanto os dados se acumulam. Coloque no ar a previsão mais simples no momento em que tiver alguns ciclos, uma média móvel, depois uma linha de base sazonal, e deixe rodar. As primeiras previsões dela serão grosseiras. Tudo bem, porque você também está avaliando a previsão, então descobre exatamente o quão grosseira ela é e vê o erro diminuir à medida que o histórico cresce.
Rodar uma previsão fraca ao vivo ensina mais do que esperar por um conjunto de dados perfeito. Isso revela problemas de qualidade de dados, lacunas e desvios enquanto os riscos são baixos, e dá aos operadores algo a que reagir e corrigir. Quando você tiver histórico suficiente para um modelo sério, já terá um ciclo em funcionamento para encaixá-lo.
A resposta curta
Histórico suficiente significa algumas repetições do seu ciclo importante mais longo, com peso maior para os dados recentes, cortado na última mudança real do seu processo. Para a maioria dos sinais de IoT com padrão diário, isso é questão de semanas, não de anos. Comece agora com um modelo simples, avalie-o e faça o upgrade conforme os dados justificarem.
O ciclo que torna isso fácil, ler dados recentes, prever, avaliar, repetir, roda de forma agendada no TagoIO Analytics, para que você possa começar a prever na mesma semana em que seus sensores entram em operação.
Você também pode descobrir até onde o seu histórico consegue levar sem precisar escrever nada. Acesse o TagoIO Analytics em sight.tago.io/login com a sua conta TagoIO, escolha um sinal e treine um modelo em minutos. Ele gera previsões e detecção de anomalias a partir dos dados que você já tem, sem código e sem cientista de dados.
