Crie um pipeline de dados

Data: 13/03/2024
5/5

O desejo de analisar dados que gerem insights e uma diferenciação competitiva é mais antigo que a computação. A digitalização só acelerou tudo. Richard Miller Devens usou o termo “business intelligence” em 1865. O computador LEO estava calculando o nível ideal de estoque com base no desempenho de vendas gerando relatórios de gestão para a cadeia de casas de chá de Lyon em 1951. E a primeira edição da revista CIO, publicada em 1987, incluiu um editorial sobre “um crescente quadro de clientes exigindo acesso mais rápido às informações”.

Avançando para hoje, temos o tedioso meme “dados são o novo petróleo” que deve ser repetido cerimoniosamente em todas as conferências de tecnologia. O poder dos dados é cada vez melhor compreendido mas, para muitos, aproveitar os dados, verificar sua qualidade e aplicar o contexto para auxiliar na tomada de decisões ainda é um desafio. Os CIOs reclamam de fragmentação, lentidão e silos, mesmo com a transformação digital acelerada pela pandemia.

Mas ainda há razão para otimismo, na forma de amplos pipelines modernos de dados que impulsionam ações e permitem o que a Qlik chama de “Inteligência Ativa” – a capacidade de agir com dados confiáveis com um amplo tecido de apoio de contexto e colaboração para tomar as decisões certas e tomar ações informadas no momento certo. Combinando processos, as empresas estão seguindo o caminho de descobrir dados para fornecê-los onde são necessários, governando-os por meio de catálogos, compreendendo-os, ampliando-os e utilizando-os via alertas sensíveis ao contexto e ações tomadas quase em tempo real.

Na década de 1990 o crescimento dos bancos de dados ligados a consultas em linguagem estruturada (SQL) levou a um excesso de desenvolvedores e especialistas e criou um boom nas atividades de analytics. Mas o segredo sujo do SQL é que “ele é ótimo para movimentar dados, mas não para analytics”, afirmou Mike Potter, Chief Technology Officer na Qlik, acabamos usando a ferramenta errada para a tarefa.

“Para mudar isso, você precisa capturar dados e estabelecer as bases de uma cadeia de suprimento de analytics e um pipeline baseado nela para habilitar a Inteligência Ativa”, explicou Potter. “Você não consegue criar valor em nenhum processo de negócio, a menos que faça algo.” Se você acredita que o analytics só trata de impulsionar a pessoas inteligentes que compreendem a área dos negócios, o contexto e o risco. Sejam eles progressivos (“é uma ótima hora para abrir uma loja que venda spinners de dedo em Nova York”) ou defensivos (“esse acordo de nível de serviço está muito próximo de falhar e temos de resolver isso agora”), as decisões devem ser tomadas rapidamente antes do contexto mudar e o momento passar. Aproveite o momento e a promessa é imensa.

A importância da velocidade e das primeiras etapas não pode ser exagerada. Temos de liberar os dados, descobri-los e só então investir nos processos de qualidade dos dados e agregar valor via dados ampliados durante o processo, para criar uma base contextual, holística, para as ações. Na gigante de avaliação de crédito Experian, por exemplo, a integração de dados foi essencial para garantir que os dados fossem dinâmicos e atuais para incorporá-los em uma verificação em tempo real. Depois, naturalmente, temos de conseguir interrogar os dados e criar insights, indo além dos dashboard e adicionando a praticidade e o imediatismo do suporte à linguagem natural, para que não especialistas possam fazer perguntas e receber respostas sensatas sem mudança, aumentar receitas e lucros e habilitar a transformação digital, nenhuma dessas pode acontecer se você não agir.”

“Precisamos de sistemas que orientem,
trabalhando junto com pessoas”

Hoje, quem toma decisões tem muitas ferramentas disponíveis para auxiliá-lo – desde o imenso e flexível poder computacional das plataformas na nuvem e da Internet das Coisas,  gerando dados por meio de sensores que complementam fontes existentes, até redes que transportam dados instantaneamente para onde as decisões são tomadas. Mas Potter certamente está correto ao destacar a ligação entre a sobrecarga de informações e a paralisia na tomada de decisões.

Então, precisamos de sistemas que orientem, trabalhando junto com pessoas inteligentes que compreendem a área dos negócios, o contexto e o risco. Sejam eles progressivos (“é uma ótima hora para abrir uma loja que venda spinners de dedo em Nova York”) ou defensivos (“esse acordo de nível de serviço está muito próximo de falhar e temos de resolver isso agora”), as decisões devem ser tomadas rapidamente antes do contexto mudar e o momento passar. Aproveite o momento e a promessa é imensa.

À medida que mais fontes de dados são acrescentadas, surgem conexões ainda não previstas, levando a descobertas reveladoras. Para isso, os CDOs estão se tornando indicações populares e as equipes de DataOps se tornando convencionais, mas deve existir adesão de toda a empresa para criar uma cultura de sucesso dos dados.

Reúna aquela cadeia de suprimento de elementos e começaremos a cumprir a promessa do analytics em tempo real. Na prática, pode não ser exatamente em tempo real, mas se puder tomar melhores decisões, mais rápido que o concorrente, você está realizando a remota profecia da TI de fornecer uma plataforma de suporte a decisões auditável de ponta a ponta que permite grandes decisões no momento certo. Por muito tempo lutamos para conectar os pontos entre o necessário para uma abordagem holística aos dados e analytics, mas hoje não há mais desculpas pois todos os componentes da tecnologia estão disponíveis.

Agora, os líderes devem liderar escreveu em The Innovator´s Dilemma, muitas empresas fracassaram porque continuaram no rumo que as tornou bem sucedidas quando deveriam ter percebido que estavam indo a um beco sem saída. A paralisia da análise é um assassino silencioso da inovação e da  mudança estratégica. Mas para as empresas dinâmicas as recompensas são grandes. Por exemplo, o departamento financeiro da Schneider Electric é capaz de prever o desempenho financeiro trimestral com precisão de 1%  usando analytics. “Os dados determinam o brilho do farol na neblina da incerteza”, afirmou Clint Clark, Vice President, Finance Performance Systems and Data, Global Finance da empresa.

“Quando constrói um pipeline robusto, você pode iluminar esses sinais mais claramente e no melhor momento, e as pessoas podem tomar decisões melhores mais rapidamente. “Você tem de criar uma cultura de confiança e mostrar o valor dos dados com demonstrações repetidas”, acrescentou. “Você precisa encontrar uma maneira de colocar os dados no centro de seu processo de tomada de decisões e ser honesto sobre o que faz, incluindo compreender seus próprios preconceitos e suposições ocultas.”.  O que pode ser negligenciado? Clark aconselha a não descartar a importância da governança de dados para evitar o efeito “entra lixo, sai lixo”. Além disso, ele lembra, atenção à potencial “tragédia dos comuns”, em que as pessoas agem com individualismo, egoísmo ou usam dados para reforçar seus preconceitos.

Sintetizando todos os ativos que temos à mão, podemos criar uma nova onda de empresas capacitadas com dados que tomem as decisões corretas na hora certa.

Elif Tutuk, Vice President, Innovation and Design da Qlik, acredita que podemos avançar muito se combinarmos o melhor das ferramentas, pessoas e robôs trabalhando juntos, usando a linguagem natural nas interações. “Precisamos selecionar o momento dos negócios que corresponda aos dados. A Inteligência Ativa permite a ação correta no momento certo … e dá superpoderes aos usuários”, ela diz. Agora só precisamos que os homens e mulheres apliquem esse conselho. Preparar, definir… ação.

Fonte: Revista Inteligência Ativa. Verão de 2021, publicado pela Qlik

Veja também
Inscreva-se em nossa newsletter
Crie, treine e implemente modelos de Machine Learning. Ganhe produtividade em sua equipe!
× Como posso te ajudar?