Animal classification algorithms and Go-playing_agents dominate the AI hype cycle, but algorithms are just one part of the entire data product ecosystem. Na maioria das configurações de negócios, os modelos podem realmente ser responsáveis pela menor quantidade de impacto. Um grande ecossistema de suporte deve estar no lugar, a fim de que os dados fluam através das veias de sua organização:

  1. os eventos e transacções em bruto têm de ser recolhidos, armazenados e servidos
  2. os dados têm de ser processados, descobertos e partilhados com equipas relevantes.Os modelos
  3. precisam ser construídos, implantados e monitorados na produção.As empresas em causa têm de produzir resultados concretos. Como deve uma organização priorizar entre milhares de direções potenciais?

    na Insight, onde temos ajudado milhares de Companheiros a passar para vários papéis na indústria de dados, vemos um aumento na demanda da indústria por gerentes de produtos que podem enfrentar esses desafios de priorização e coordenação entre as equipes de dados. Este artigo tem como objetivo explicar como a gestão de produtos se parece no espaço de dados e por que é importante.

    Porquê A Gestão Dos Dados Do Produto?

    em pequenas equipas de dados sem MMS formais, as responsabilidades de produto padrão, tais como avaliação de oportunidades, cartografia de estradas e gestão de stakeholders são provavelmente realizadas por gestores técnicos e colaboradores individuais (ICs). Isto não tem grande escala por muitas razões, sendo as quatro principais::

    1. o trabalho do Produto acaba contabilizando todo o tempo do IC.
    2. nem todos os CI estão bem equipados ou dispostos a lidar com o trabalho do produto à escala.
    3. as diferenças entre as unidades de negócio e as equipas técnicas aumentam.
    4. as diferenças entre equipas técnicas individuais aumentam.

    neste ponto de inflexão, há duas respostas potenciais. A primeira abordagem consiste em dividir o trabalho em projectos que sejam suficientemente autónomos para que um único IC ou uma pequena equipa técnica possam lidar de ponta a ponta, reduzindo a necessidade de algum tipo de coordenadores centrais.

    a segunda abordagem é criar um org formal de gestão de produtos que seja responsável pela manutenção de roteiros fonte-de-verdade e pela coordenação de diferentes equipas e ICs a executar. Isto é especialmente comum para produtos altamente multifuncionais, como o comércio electrónico e os Serviços a pedido.

    se for possível para um único IC fazer ajustes a um produto, imediatamente obter feedback objetivo sobre como ele está se apresentando, e roll-back em cenários piores sem grandes ramificações, então a primeira abordagem é extremamente poderosa. Enquanto isso pode funcionar para um produto de rede social livre, é potencialmente catastrófico para um produto pago e operação-pesado como serviços a pedido. A maioria das empresas em escala, em última análise, vai com a segunda abordagem de ter uma organização de produto.

    The State of Data Product Management Roles

    In the early days of the data revolution, orthogonal data skills like software engineering, statistics and modeling were rolled under the same umbrella of data science. Estas competências estão a ser formalizadas rapidamente em papéis separados, tais como engenheiros de dados, cientistas de dados, cientistas de investigação e engenheiros da ML.

    no âmbito da gestão do produto, está a tomar-se forma uma tendência semelhante. Tal como os seus homólogos técnicos, vemos a ampla cobertura de dados PMs a tornar-se ainda mais dividida em sub-áreas: infrastructure, analytics, applied ML / AI, discovery and standardization, and platform. Estes não são necessariamente títulos formais de data PM no momento. Pelo contrário, reflectem áreas relativamente distintas do trabalho do produto de dados.

    embora cada caso de uso de dados exija um tipo ligeiramente diferente de compreensão técnica e domínio, que abordamos abaixo, é importante enfatizar que as habilidades generalistas de gestão de produtos ainda são os principais motores de sucesso. 90% do que uma PM de dados faz no dia-a-dia ainda será priorização, comunicações, gerenciamento de stakeholders, design e especificações.

    infra-estrutura

    à escala, cada equipa de produtos terá diferentes casos de utilização e requisitos de dados. A tendência natural dessas equipes é construir suas próprias infraestruturas de dados para começar rapidamente. Esta tendência leva a trabalhos duplicados, silos de dados, e, em última análise, as equipes irão ter problemas semelhantes de escalabilidade de dados.

    a última entrega para uma infra-estrutura PM é uma infra-estrutura de dados comum que recolhe, armazena e processa dados relevantes de forma eficiente para permitir casos de baixa utilização. Esta infra-estrutura comum ajuda as equipas a concentrarem-se na utilização em vez de recolherem e armazenarem dados brutos.

    infra-estrutura PMs principais KPIs são a disponibilidade de dados, escalabilidade e confiabilidade. Eles são bem versados em tecnologias de engenharia de dados, tais como a ingestão de dados, processamento em lote e em tempo real, sistema de arquivos e entrega.As decisões no local de trabalho moderno são cada vez mais informadas pelos dados. A análise precisa apoiar uma ampla gama de decisões, desde estratégia a produto e ops, tanto offline quanto em tempo real. Enquanto a infraestrutura PMs garante que as consultas podem ser executadas de forma eficiente em conjuntos de dados massivos (o como), a análise PMs se concentra em como transformar esses dados brutos em insights para os tomadores de decisão, como executores, PMs e equipe de ops. Em outros casos, a análise PMs também está ativamente envolvida na definição de indicadores-chave de desempenho e na realização de exploração de dados para ajudar a recomendar decisões de negócios.

    no contexto da construção de produtos, uma PM analítica é responsável pela criação de uma mistura de análise de auto-serviço, painéis personalizados e ferramentas de relatórios para ajudar a emergir e compartilhar insights em uma organização. Os seus stakeholders são diversos, desde cientistas experientes em dados a consumidores apenas de leitura, como os executivos.

    os KPIs que estão a analisar são provavelmente o número de consultas executadas, relatórios gerados, etc. o que indica a facilidade para os usuários de dados extrair os insights que eles precisam de dados brutos.

    ML / AI

    certos produtos e características, tais como pesquisa, recomendação, detecção de fraudes, etc. prestar-se naturalmente a soluções ML / AI. Ml aplicados PMs pensar sobre como os dados podem ser aproveitados para melhorar um produto existente (por exemplo, analisar logs de chat para automatizar roteamento de serviço ao cliente) ou como projetar uma experiência inteiramente nova completamente usando IA avançada (por exemplo, filtros para aplicações de compartilhamento de fotos). Em última análise, todos eles trabalham em melhorar diretamente métricas chave para um recurso voltado para o usuário.

    PMs working on these features, though not always titled Data PM, generally have a strong understanding of the data science workflow and underlying machine learning models. Eles têm uma forte intuição sobre alavancar o poder de ML enquanto projetam em torno de suas limitações para oferecer uma experiência de usuário superior em comparação com abordagens baseadas em regras.Como uma empresa cresce em tamanho, a necessidade de frameworks padronizados torna-se mais aparente, particularmente na experimentação e aprendizagem de máquinas. Os casos de uso nestes dois fluxos de trabalho são muitas vezes muito fortemente integrados com a natureza do produto em si, tão poucas soluções de código aberto podem realmente atender às necessidades de todos.

    por esta razão, as equipas de dados individuais em grandes empresas começaram com os seus próprios sistemas únicos, o que levou à duplicação de trabalho e a uma redução do tempo de Introdução no mercado. Os gostos do Google, Facebook e Uber, assim, embarcaram em plataforma: quadros comuns para ajudar a reduzir os esforços despendidos em tarefas comuns, como ferramentas, implantação e monitorização.

    estas plataformas visam abstrair a necessidade de Gerenciar dados, implantar e monitorar resultados, libertando equipes de dados para se concentrar em torno dos modelos e das próprias experiências. Eles também promovem a reutilização, tornando os dados e características comuns acessíveis a todos os usuários da plataforma.

    plataforma PMs começar por provar como a plataforma poderia ser útil e convencer os primeiros adotantes a dar-lhe uma tentativa. Uma vez que a plataforma atingiu o ponto de inflexão, o papel muda para a identificação de denominadores comuns de alto ROI para construir na plataforma. Eles olham para os KPIs, como modelos ou experiências executadas na plataforma, tempo médio para o mercado, etc.Padronização e descoberta é mais um problema com o crescimento de equipes de dados. À medida que uma empresa cresce, a quantidade de dados criados por equipes individuais e pessoas também cresce exponencialmente. Esta saída rápida de dados cria um problema onde não há lugar central para ver todos os dados que existem em uma organização.Sem uma estrutura para documentar, centralizar e exibir metadados, o conhecimento institucional das fontes de dados está limitado aos proprietários dos dados. Torna-se incerto o que os dados realmente significam, de onde eles vêm, quão confiáveis eles são, etc. Além disso, qualquer conhecimento destes aspectos das fontes de dados desaparece quando os funcionários mais familiarizados com esses dados deixam a equipe. Outro problema comum é que as equipes que usam os mesmos dados muitas vezes definem métricas de som similar de forma diferente. Por exemplo, uma equipe pode definir o último-7-dia como últimos 7 dias completos, enquanto outra equipe pode defini-lo como último 168 horas.

    uma padronização e descoberta de dados PM é responsável por garantir que toda a organização se torna consciente dos dados que existem e usá-los de uma forma consistentemente definida. Uma manifestação de produto comum deste esforço é um catálogo de dados ou um portal de dados que facilita a descoberta e definição de dados / painéis / métricas, bem como identifica os proprietários de dados que podem ser contatados para mais conversas. Uma versão mais avançada de um dataportal também faz métricas computadas facilmente acessíveis e incorporadas em diferentes casos de uso (modelagem, análise).

    Palavras Finais

    a paisagem de gestão de dados do produto ainda está em evolução e esta não é, de modo algum, uma panorâmica exaustiva dos papéis dos produtos disponíveis na indústria. Dependendo da fase e estrutura de organização de uma empresa, o papel de Data PM Pode ser uma mistura dessas diferentes responsabilidades. Analytics pode ser uma parte da infra-estrutura, e padronização e descoberta pode ser uma parte da plataforma. Como um ML PM aplicado, você pode encontrar-se alienando recursos para construir a infra-estrutura e ambientes de implantação necessários para a produção do seu modelo.

    em última análise, estes papéis resumem-se à elaboração de uma valiosa experiência de utilizador com base em dados e à remoção de todos os obstáculos que impedem uma equipa de entregar esse valor.

Deixe uma resposta

O seu endereço de email não será publicado.

lg