Ideia em resumo

O problema

Embora os dados ofereçam enormes oportunidades, as estratégias da maioria das empresas para realizá-las são ineficazes.

Por que isso acontece

Muitas vezes, os esforços de dados das empresas falham em estabelecer as bases para usos futuros de dados. Equipes individuais criam um pipeline de dados personalizado para cada aplicativo que não pode ser facilmente reaproveitado.

A solução

Crie produtos de dados padrão que podem ser personalizados para atender às necessidades de vários tipos de usuários e muitos aplicativos. Os produtos podem ser gerenciados por equipes dedicadas dentro das unidades de negócios, apoiadas por uma função central que coordena e padroniza o design.

Aviso: este texto foi traduzido com o uso de tradução automática e pode conter erros. Responda a esta pesquisa para nos enviar seus comentários e obtenha mais informações em nossas perguntas frequentes.
Read in English

Embora todas as empresas reconheçam o poder dos dados, a maioria luta para liberar todo o seu potencial. O problema é que os investimentos em dados devem oferecer valor a curto prazo e, ao mesmo tempo, estabelecer as bases para o rápido desenvolvimento de usos futuros, enquanto as tecnologias de dados evoluem de maneiras imprevisíveis, surgem novos tipos de dados e o volume de dados continua aumentando.

As experiências de duas empresas globais ilustram como as estratégias de dados predominantes de hoje são ineficazes no gerenciamento desses desafios. O primeiro, um grande banco da Ásia-Pacífico, adotou a abordagem “big bang”, assumindo que poderia acomodar as necessidades de cada equipe de desenvolvimento de análise e usuário final de dados de uma só vez. Ela lançou um programa massivo para criar pipelines para extrair todos os dados em seus sistemas, limpá-los e agregá-los em um data lake na nuvem, sem levar muito tempo adiantado para alinhar seus esforços com casos de uso de negócios. Depois de passar quase três anos criando uma nova plataforma, o banco descobriu que apenas alguns usuários, como aqueles que buscam dados históricos brutos para análise ad hoc, poderiam usá-la facilmente. Além disso, as necessidades arquitetônicas críticas de muitos aplicativos em potencial, como feeds de dados em tempo real para ofertas personalizadas aos clientes, foram negligenciadas. Como resultado, o programa não gerou muito valor para a empresa.

A segunda empresa, um grande banco norte-americano, tinha equipes individuais explorando fontes de dados e sistemas existentes por conta própria e, em seguida, reunindo todas as tecnologias adicionais que seus casos de uso de negócios exigiam. As equipes criaram algum valor resolvendo desafios como melhorar a segmentação de clientes para canais digitais e permitir relatórios de riscos eficientes. Mas o resultado geral foi uma confusão de pipelines de dados personalizados que não podiam ser facilmente reaproveitados. Cada equipe teve que começar do zero, o que tornou os esforços de transformação digital dolorosamente caros e lentos.

Então, se nem uma estratégia de dados monolítica nem de base funcionar, qual é a abordagem correta?

Descobrimos que as empresas têm mais sucesso quando tratam os dados como um produto. Quando uma empresa desenvolve um produto comercial, ela normalmente tenta criar uma oferta que possa atender às necessidades do maior número possível de usuários para maximizar as vendas. Muitas vezes, isso significa desenvolver um produto básico que pode ser personalizado para diferentes usuários. As montadoras fazem isso permitindo que os clientes adicionem uma variedade de opções especiais - estofamento de couro, vidros escuros, dispositivos antirroubo e assim por diante - aos modelos padrão. Da mesma forma, os aplicativos digitais geralmente permitem que os usuários personalizem seus painéis, incluindo a personalização do layout, esquemas de cores e conteúdo exibido, ou oferecem planos e estruturas de preços diferentes para diferentes necessidades do usuário.

As empresas que tratam os dados como um produto podem reduzir o tempo necessário para implementá-los em novos casos de uso em até 90%.

Com o tempo, as empresas aprimoram seus produtos, adicionando novos recursos (modificações no motor que aumentam a economia de combustível em um carro ou novas funcionalidades em um aplicativo) e introduzem ofertas totalmente novas em resposta ao feedback do usuário, avaliações de desempenho e mudanças no mercado. Enquanto isso, as empresas buscam aumentar a eficiência da produção. Sempre que possível, eles reutilizam processos, máquinas e componentes existentes. (As montadoras usam um chassi comum em carros muito diferentes, por exemplo, e os desenvolvedores de aplicativos reutilizam blocos de código.) Tratar os dados da mesma maneira ajuda as empresas a equilibrar a entrega de valor com eles hoje e a preparar o caminho para obter mais valor deles no futuro.

Em nosso trabalho, vimos que as empresas que tratam os dados como um produto podem reduzir o tempo necessário para implementá-los em novos casos de uso em até 90%, diminuir seus custos totais de propriedade (tecnologia, desenvolvimento e manutenção) em até 30% e reduzir o risco e a carga de governança de dados. Nas páginas a seguir, descreveremos o que constitui um produto de dados e descreveremos as práticas recomendadas para criar um.

O que é um produto de dados?

Um produto de dados fornece um conjunto de dados de alta qualidade e pronto para uso que as pessoas em uma organização podem acessar e aplicar facilmente a diferentes desafios de negócios. Ele pode, por exemplo, fornecer visualizações de 360 graus dos clientes, incluindo todos os detalhes que as unidades de negócios e sistemas de uma empresa coletam sobre eles: comportamento de compra on-line e na loja, informações demográficas, métodos de pagamento, suas interações com o atendimento ao cliente e muito mais. Ou pode fornecer visualizações de 360 graus dos funcionários ou de um canal, como as agências de um banco. Outro produto pode permitir “gêmeos digitais”, usando dados para replicar virtualmente a operação de ativos ou processos do mundo real, como peças críticas de máquinas ou uma linha de produção inteira da fábrica.

Como eles têm muitas aplicações, os produtos de dados podem gerar retornos impressionantes. Em um grande banco nacional, um produto de dados de clientes impulsionou quase 60 casos de uso, desde pontuação em tempo real do risco de crédito até chatbots que respondem às perguntas dos clientes, em vários canais. Esses aplicativos já fornecem $60 milhões em receita incremental e eliminam $40 milhões em perdas anualmente. E à medida que o produto é aplicado a novos casos de uso, seu impacto continuará a crescer.

Os produtos de dados ficam em cima dos armazenamentos de dados operacionais existentes, como armazéns ou lagos. As equipes que os usam não precisam perder tempo pesquisando dados, processando-os no formato certo e criando conjuntos de dados e pipelines de dados personalizados (o que acaba criando uma bagunça arquitetônica e desafios de governança).

Cada produto de dados oferece suporte a “consumidores” de dados com necessidades variadas, da mesma forma que um produto de software oferece suporte a usuários que trabalham em computadores com sistemas operacionais diferentes. Esses consumidores são sistemas, não pessoas, e nosso trabalho sugere que as organizações normalmente têm cinco tipos. Nós os chamamos de “arquétipos de consumo” porque eles descrevem para que os dados são usados. Eles incluem:

1. Aplicativos digitais.

Eles exigem dados específicos que são limpos, armazenados no formato necessário — talvez como mensagens individuais em um fluxo de eventos ou uma tabela de registros em um data mart (uma área de armazenamento de dados orientada para um tópico, função de negócios ou equipe) — e entregues com uma frequência específica. Por exemplo, um aplicativo digital que rastreia a localização de um veículo precisará acessar em tempo real fluxos de eventos de GPS ou dados de sensores. Um aplicativo de marketing projetado para encontrar tendências no comportamento de navegação do cliente precisará acessar grandes volumes de dados de log da web sob demanda (geralmente chamados de dados de “lote”) de um data mart.

2. Sistemas de análise avançada.

Eles também precisam de dados limpos e entregues em uma determinada frequência, mas devem ser projetados para permitir sistemas de aprendizado de máquina e IA, como mecanismos de simulação e otimização, para processá-lo.

3. Sistemas de relatórios.

Eles precisam de dados altamente governados (dados com definições claras que são gerenciados de perto para qualidade, segurança e alterações) para serem agregados em um nível básico e entregues de forma auditada para uso em painéis ou atividades regulatórias e de conformidade. Normalmente, os dados devem ser entregues em lotes, mas as empresas estão cada vez mais adotando modelos de autoatendimento e atualizações intradiárias incorporando feeds em tempo real.

4. Sandboxes Discovery.

Isso permite a análise exploratória ad hoc de uma combinação de dados brutos e agregados. Cientistas de dados e engenheiros de dados frequentemente os usam para se aprofundar nos dados e descobrir novos casos de uso em potencial.

5. Sistemas externos de compartilhamento de dados.

Eles devem aderir a políticas e acordos rigorosos sobre onde os dados ficam e como eles são gerenciados e protegidos. Os bancos usam esses sistemas para compartilhar insights sobre fraudes uns com os outros, por exemplo, e os varejistas para compartilhar dados com fornecedores na esperança de melhorar as cadeias de suprimentos.

Cada arquétipo de consumo requer tecnologias diferentes para armazenar, processar e entregar dados e exige que essas tecnologias sejam montadas em um padrão específico. Esse padrão é essencialmente um modelo arquitetônico de como as tecnologias necessárias devem se encaixar. Por exemplo, um padrão para um sandbox provavelmente incluiria tecnologias para configurar um ambiente de autoatendimento multiusuário que pode ser acessado por engenheiros de dados em toda a empresa. O padrão para um sistema de análise avançada usando feeds de dados em tempo real pode incluir tecnologias para processar grandes volumes de dados não estruturados.

Como um bloco de Lego, um produto de dados conectado para suportar um ou mais desses arquétipos de consumo pode ser rapidamente encaixado em qualquer número de aplicativos de negócios.

Harry Campbell

Considere uma empresa de mineração que criou um produto de dados fornecendo feeds de dados GPS ao vivo de locais de caminhões de transporte de minério. Ele foi projetado para suportar todos os arquétipos, exceto o compartilhamento de dados externos para seu primeiro caso de uso - melhorando os rendimentos de processamento de minério. A empresa logo descobriu que o produto tinha usos muito além disso. Uma vez disponibilizado de forma mais ampla na organização, vários funcionários empreendedores imediatamente o aproveitaram para eliminar gargalos no sistema de transporte da mina. Em apenas três dias, eles construíram um protótipo de uma ferramenta de suporte à decisão de roteamento de caminhões que reduziu o tempo de fila e as emissões de carbono. Se eles tivessem que projetar os dados do zero, levaria quase três meses.

À medida que a notícia continuava a se espalhar, os funcionários interessados em outros problemas que envolviam caminhões, como segurança, manutenção e agendamento de motoristas, acessavam os dados para encontrar respostas a perguntas espinhosas e criar soluções geradoras de receita que antes seriam impossíveis.

Gerenciando e desenvolvendo produtos de dados

Quer estejam vendendo sedans, software ou tênis, a maioria das empresas terá gerentes de produto internos que se dedicam a pesquisar as necessidades do mercado, desenvolver roteiros de capacidades de produtos e projetar e marketing os produtos de forma lucrativa.

Da mesma forma, cada produto de dados deve ter um gerente de produto designado, encarregado de reunir uma equipe de especialistas para construí-lo, apoiá-lo e melhorá-lo ao longo do tempo. Tanto o gerente quanto os especialistas devem estar dentro de um grupo de utilitários de dados que esteja dentro de uma unidade de negócios. Normalmente, esses grupos incluem engenheiros de dados, arquitetos de dados, modeladores de dados, engenheiros de plataforma de dados e engenheiros de confiabilidade de sites. Incorporá-los nas unidades de negócios dá às equipes de produtos de dados acesso imediato aos especialistas no assunto de negócios e à assistência operacional, de processo, jurídica e de risco de que precisam para desenvolver produtos de dados úteis e compatíveis. Ele também conecta as equipes diretamente com o feedback dos usuários, o que os ajuda a continuar melhorando seus produtos e a identificar novos usos. O primeiro lançamento do produto de dados do cliente no banco nacional, por exemplo, concentrou-se em perfis demográficos de clientes e informações sobre transações. Versões subsequentes incluíram dados sobre interações com clientes e clientes potenciais, atraindo significativamente mais usuários de dados e equipes de apoio ao desenvolvimento de outros aplicativos. A economia de custos e a receita incremental obtida pelos primeiros usos do produto financiaram as próximas fases, criando um modelo de negócios sustentável.

Uma empresa também precisa de um centro de excelência para apoiar as equipes de produtos e determinar padrões e práticas recomendadas para a criação de produtos de dados em toda a organização. Por exemplo, o centro deve definir como as equipes documentarão a proveniência dos dados, auditarão o uso dos dados e medirão a qualidade dos dados, além de projetar os padrões de arquétipo de consumo para as equipes de produtos de dados usarem. Essa abordagem pode eliminar a complexidade e o desperdício. Além disso, o centro pode ser um recurso para talentos especializados ou especialistas em dados quando a demanda por eles aumenta em grupos de serviços públicos ou equipes de casos de uso de negócios. Por exemplo, em um provedor de telecomunicações com quem trabalhamos, especialistas em visão computacional, que são escassos, mas frequentemente em demanda, ficam no hub central e são implantados em unidades de negócios mediante solicitação.

Como um bloco de Lego, um produto de dados conectado para suportar um ou mais arquétipos de consumo pode ser rapidamente encaixado em qualquer número de aplicativos de negócios.

Embora a maioria das empresas já tenha alguns, se não todos, do talento necessário para construir seus grupos de serviços públicos e centros de excelência, muitas precisarão aprofundar seu banco de certos especialistas, particularmente engenheiros de dados que podem limpar, transformar e agregar dados para análise e exploração.

Isso foi especialmente verdadeiro para a empresa de mineração, que precisava aumentar sua equipe de engenharia de dados de três para 40 pessoas. Para preencher essa grande lacuna, seus líderes adotaram uma abordagem escalonada. Eles contrataram empreiteiros para realizar o trabalho imediato e, em seguida, embarcaram em esforços de recrutamento de longo alcance: hospedar eventos de networking, publicar artigos no LinkedIn, atualizar as habilidades dos engenheiros de software já existentes na equipe e desenvolver programas de estágio com faculdades e universidades locais. Para melhorar a retenção, eles criaram uma guilda para engenheiros de dados, o que os ajudou a desenvolver suas habilidades e compartilhar as melhores práticas. A empresa também elaborou planos individualizados para engenheiros de dados que garantiram que esses profissionais tivessem um caminho de crescimento claro após ingressar na empresa.

Acompanhamento do desempenho e da qualidade

Para ver se os produtos comerciais são sucessos, as organizações analisam barômetros como vendas de clientes, retenção, engajamento, satisfação e lucratividade. Os produtos de dados podem ser avaliados com métricas proporcionais, como o número de usuários mensais ativos, o número de aplicativos em toda a empresa, a satisfação do usuário e o retorno sobre o investimento para casos de uso.

A empresa de telecomunicações acompanhou o impacto de seu primeiro produto de dados — que forneceu dados abrangentes sobre equipamentos críticos de rede celular — em 150 casos de uso. Eles incluíram sistemas de decisão de investimento, sistemas de planejamento de cenários e mecanismos de otimização de rede. No total, eles devem produzir centenas de milhões de dólares em economia de custos e novas receitas em três anos. A empresa estima que, nos primeiros 10 anos, os casos de uso terão um impacto financeiro cumulativo de US$5 bilhões, proporcionando um retorno muitas vezes sobre seu investimento inicial.

E assim como os fabricantes usam rotineiramente testes de garantia de qualidade ou inspeções de linha de produção para garantir que seus produtos funcionem conforme prometido, os gerentes de produtos de dados podem garantir a qualidade dos dados de suas ofertas. Para fazer isso, eles devem gerenciar rigorosamente as definições de dados (descrevendo, digamos, se os dados do cliente incluem apenas clientes ativos ou clientes antigos e potenciais também), disponibilidade e controles de acesso. Eles também devem trabalhar em estreita colaboração com os funcionários que possuem os sistemas de fonte de dados ou são responsáveis pela integridade dos dados. (Os últimos às vezes são chamados de “administradores de dados”.)

A qualidade pode sofrer, por exemplo, quando os mesmos dados são capturados de maneiras diferentes em sistemas diferentes, resultando em entradas duplicadas. Esse era um risco com o produto de dados de clientes do banco nacional. Assim, seu gerente de produto trabalhou com os administradores dos vários repositórios de dados e aplicativos de clientes da empresa para instituir uma ID exclusiva para cada cliente. Isso permitiu que os dados do cliente fossem perfeitamente integrados em qualquer caso de uso ou com qualquer produto de dados relacionado. O gerente de produto também fez parceria com o centro de excelência para desenvolver os padrões e políticas governando dados do cliente em toda a empresa e para monitorar a conformidade — tudo isso facilitou a reutilização do produto de dados enquanto criava confiança entre os usuários.

Por onde começar

Os líderes frequentemente perguntam quais produtos de dados e arquétipos de consumo obterão o maior e mais rápido retorno sobre o investimento. A resposta é diferente para cada organização.

Para encontrar a abordagem certa para suas empresas, os executivos precisam avaliar a viabilidade e o valor potencial de casos de uso em cada domínio de negócios (pode ser um processo de negócios central, uma jornada de cliente ou funcionário ou uma função) e agrupá-los primeiro pelos produtos de dados de que necessitam e, em seguida, pelos arquétipos de consumo envolvidos. Categorizar os casos de uso como esse ajuda os líderes a sequenciar o trabalho com mais eficiência e obter um retorno sobre o investimento mais rápido. Por exemplo, eles podem acabar empurrando alguns casos de uso de menor valor se aproveitarem os produtos de dados e os arquétipos de consumo de casos de uso de maior valor.

Para os executivos do banco nacional, essa abordagem iluminou várias prioridades. Primeiro, eles viram que um produto de dados de clientes que suportasse seus casos de uso mais críticos de gerenciamento de fraudes e marketing poderia gerar um valor tremendo. Em seguida, eles identificaram os tipos de dados que o produto precisava coletar primeiro. Alguns desses casos de uso exigiam identificadores básicos de clientes e dados de referência (como dados demográficos ou de segmentação), enquanto outros exigiam dados comportamentais abrangentes do cliente. O banco também percebeu que os dois arquétipos de consumo que deveria buscar primeiro eram uma sandbox de descoberta e análises avançadas, que, em combinação, apoiariam a maioria dos casos de uso prioritários de fraude e marketing da empresa.

As decisões sobre produtos de dados geralmente envolvem compensações entre impacto, viabilidade e velocidade. Idealmente, os produtos-alvo iniciais e os arquétipos de consumo serão aplicados imediatamente a casos de uso de alto valor e a um longo pipeline de outros, como fez o produto do provedor de telecomunicações para seu equipamento de rede.

No entanto, considerações de viabilidade podem fazer com que uma empresa ajuste sua abordagem. Por exemplo, pode fazer sentido criar impulso primeiro em uma área da organização que tem experiência em dados e obteve alguma força com produtos de dados, mesmo que não seja aí que reside a maior oportunidade. Vimos isso acontecer na mineradora. Inicialmente, optou por desenvolver dois produtos que apoiassem sua planta de processamento de minério, onde os casos de uso já haviam sido comprovados com sucesso, os gerentes estavam entusiasmados em buscar mais, a equipe tinha muitos dados preparados para trabalhar e especialistas com profundo conhecimento estavam disponíveis para ajudar.

. . .

Atualmente, a maioria dos líderes está fazendo grandes esforços para transformar os dados em uma fonte de vantagem competitiva. Mas essas iniciativas podem falhar rapidamente se as organizações não garantirem que o trabalho árduo que fazem hoje seja reutilizável amanhã. As empresas que gerenciam seus dados como um produto terão uma vantagem significativa no mercado nos próximos anos, graças ao aumento da velocidade e flexibilidade e às novas oportunidades que a abordagem pode desbloquear.

A version of this article appeared in the July–August 2022 issue of Harvard Business Review.