Como as indústrias mais maduras digitalmente usam a Data Science – Parte 1

Estamos conversando há bastante tempo aqui no blog que as tecnologias emergentes, como as técnicas de Data Science, estão redesenhando nosso mundo e a forma como nos relacionamos. Obviamente, a maneira como consumimos também está mudando de acordo com as tecnologias. E se o consumidor muda, os negócios não podem ficar no passado. 

A transformação digital já não é mais uma opção para as empresas que querem ser competitivas no mercado, é uma necessidade. E foi-se o tempo em que apenas os setores de tecnologia e comunicação precisavam se atualizar. Hoje, a transformação é imprescindível para qualquer tipo de negócio. Mas quais são as indústrias que estão na frente no quesito digital? 

Tentando responder a essa pergunta, a Dell Tecnologia, em colaboração com a Intel e com a Vanson Bourne, criou o Índice de Transformação Digital. Foram entrevistados 4.600 líderes de empresas espalhadas por mais de 40 países, com o objetivo de analisar em que pé está sua transformação digital e quais são os seus maiores investimentos na área de tecnologia. 

Em nosso artigo anterior, você pode ler mais detalhes sobre a pesquisa e o progresso digital das empresas pelo mundo. CLIQUE AQUI.

No artigo de hoje, focaremos no fato de que a transformação digital precisa ocorrer em todos os segmentos, mas obviamente ela não ocorre na mesma velocidade e nem da mesma maneira em todas as áreas. Em alguns setores, a transição ocorre mais rapidamente, por eles já serem intrinsecamente conectados ao uso de tecnologia, como o setor de telecomunicações. Em outros, como a indústria de manufatura, a adesão é mais lenta. 

Essa transição pode ser diferente até mesmo entre as empresas que fazem parte de um mesmo setor, como é o caso do varejo e das finanças no Brasil, segundo uma pesquisa da Capgemini, de 2016. 

Primeiro, vamos recapitular o que é a transformação digital: 


Conforme a pesquisa, os setores com maior transformação digital em 2018 eram: 

Mas a pesquisa mapeou 12 setores de mercado, e para mostrar como a transformação digital é possível em todos eles, vamos compartilhar alguns exemplos de como novas tecnologias estão sendo utilizadas para melhorar os serviços oferecidos aos consumidores. 
Apresentaremos alguns exemplos na ordem de mais madura para a menos madura, segundo o Índice de Transformação Digital Dell.

1º – Setor de Telecomunicações

Empresas de telecomunicações são aquelas que detêm a concessão ou autorização para prestar serviços como telefonia fixa, comunicações móveis e de multimídia, serviços de acesso à internet, TV por assinatura, radiodifusão, entre outros.  Vamos ver como algumas empresas estão aderindo à cultura digital abaixo:

A Vivo iniciou o processo de transformação digital com uma mudança de cultura, que englobou adotar uma metodologia de trabalho muito usada no Vale do Silício, conhecida como Squads. Ela consiste na formação de  equipes multidisciplinares que agilizam o desenvolvimento dos produtos digitais. 

A metodologia foi implantada primeiramente nas áreas que lidam com tecnologia e inovação, mas a ideia é expandir o sistema para 80% da empresa futuramente. 

A Área de Estratégia Digital da empresa definiu quatro pilares para as iniciativas digitais: Canais Digitais, BI e Big Data, Produtos Digitais e Inovação e Empreendedorismo. 

Vamos destacar dois pontos, começando por Business Intelligence e Big Data. O time desse setor tem mais de 120 pessoas, que coletam e filtram os dados dos clientes, como forma de acesso, consumo e tempo

Outro projeto digital bem-sucedido da Vivo é a atendente virtual Vivi, que realiza cerca de 500 mil atendimentos mensais, meio milhão a menos na rotina dos call centers.

Sendo uma das maiores empresas de telecomunicações do Brasil, o problema de irregularidade na distribuição de acessos de banda larga não poderia continuar acontecendo. Então, a Telebrás resolveu utilizar estratégias de Big Data e Business Analytics para mapear em tempo real onde estão as demandas existentes e onde será necessário construir novas redes.  O mapeamento também possibilita a segmentação de mercado e personalização de ofertas, e antecipação da viabilidade técnica para novas redes. 

A empresa também focou em estratégias de distribuição de leads altamente qualificados aos vendedores em tempo real, através do celular do vendedor. 

2º – Setor de Tecnologia

O setor de tecnologia já está mais acostumado à transformação digital, já que ele próprio é um fator que permite que empresas de outros segmentos implementem o digital em suas rotinas. Mas isso não quer dizer que que as próprias empresas do segmento não possam se beneficiar com recursos que a transformação digital traz para os processos, serviços e produtos de um negócio. 

A Maplink é uma empresa brasileira de soluções em logística e otimização de rotas, ou seja, ela digitaliza mapas (explicando de forma simplificada) para serviços de geolocalização de empresas e consumidores. Ela é, inclusive, a maior revendedora do Google Maps no Brasil.

Com isso, a empresa realiza diagnósticos precisos do trânsito da cidade para apontar pontos de lentidão, possíveis alternativas e rotas de fuga.

A Precifica é uma empresa especializada em soluções de preços para e-commerce de diversos setores do varejo. Conforme o consumo por esse tipo de plataforma aumenta cada vez mais no Brasil, é importante manter as estratégias de preço e concorrência na mesma velocidade da internet. 

A empresa então criou uma solução inteligente para as lojas on-line. O objetivo do serviço é alterar os preços dos produtos automaticamente, de acordo com as oscilações do mercado e dos concorrentes, por meio da coleta de dados de compras dos consumidores. Além disso, a Precifica também monitora valores de frete, auxiliando as lojas virtuais a determinar a melhor política de entregas e remessas, facilitando ainda mais a implementação de uma cultura digital no varejo. 

3º – Serviços Financeiros

No mercado financeiro, as instituições estão tão avançadas no processo de transformação digital, tendo até empresas de serviços financeiros que nascem digitais, sem atendimento físico. Segundo uma pesquisa da Capgemini, que entrevistou 33 instituições, 

O Bradesco é um dos maiores exemplos no que diz respeito a propagar a cultura digital em um dos setores com os modelos de negócios mais tradicionais, o financeiro. Segundo a consultoria E-consulting Corp, o Bradesco foi eleito líder entre cem instituições financeiras registradas no Banco Central,  na implementação de evidências e elementos da transformação digital. 

Duas iniciativas se destacaram: o Next, bando digital criado pelo Bradesco para competir com as fintechs, e o projeto Habitat, um espaço de coinovação criado para apoiar outras iniciativas de inovação bancária. 

O banco está se adaptando também às demandas das gerações mais novas, já nativas digitais. O aplicativo do Next, por exemplo, terá ferramentas que auxiliam os clientes na tomada de decisões financeiras, podendo criar objetivos e um orçamento mensal, e até organizar as populares “vaquinhas”. 

Através do uso de uma plataforma de análise de dados, o Santander reforçou ainda mais suas estratégias de prospecção de clientes de alto potencial. Assim, foi possível aumentar a base de empresas correntistas com maior potencial financeiro, além de oferecer oportunidades para os já clientes, apoiando o time comercial das agências. 

O resultado foi alcançado através do cruzamento de dados do próprio banco, com fontes externas, incluindo informações sobre faixa de faturamento, raio de atuação por agência e clientes pré-aprovados. Com os dados precisos das necessidades e interesses dos clientes, marketing e vendas personalizaram as ofertas de cada caso, aumentando as chances de fechar negócio, fechando mais de 2,2 mil novos clientes em um ano.

Além das ações realizadas nos bancos tradicionais para que ofereçam serviços digitais e iniciem a transformação, algumas instituições de serviços já estão nascendo digitais. São as chamadas fintechs, das quais um dos destaques é o Nubank. 

Fundada em 2013, oferece um cartão de crédito sem taxa de anuidade, com juros menores que os dos bancos e utiliza um aplicativo por onde os usuários controlam as compras e seus limites em tempo real, sem nenhuma fatura impressa. 

A equipe é treinada e qualificada, resolvendo o problema do cliente com certa leveza e informalidade, porém com eficiência e rapidez. A empresa revelou que já recebeu mais de 2 milhões de solicitações do produto. 

Em 2017, a Nubank inovou mais uma vez e passou a oferecer uma conta corrente totalmente online, que também tem taxas menores e a mesma qualidade do serviço, sem a burocracia do banco físico. 

4º – Ciências da Vida

Em português, o termo “life sciences” ainda precisa de uma tradução exata, pois tem um amplo significado. A área combina conhecimento de biologia, farmácia e química, e desenvolve tecnologias que serão aplicadas a organismos vivos e sistemas biológicos, assim como na fabricação de bens. No quesito digital, ela pode envolver até mesmo grandes empresas de tecnologia como a Apple, que lançou um produto de eletrocardiograma em um de seus modelos do Apple Watch. 

O investimento em tecnologia e estratégias digitais nesse setor vai desde a produção de equipamentos mais sofisticados para a medicina, a melhora nos diagnósticos de doenças, até a aproximação das empresas de planos de saúde com seus clientes. Vamos conhecer alguns casos: 

A Merck KGaA é uma empresa alemã da indústria química e farmacêutica, que se tornou um negócio global de 40 bilhões de dólares, operando em 140 mercados no mundo. Ao utilizar dados coletados do ERP e sistemas centrais de fabricação e controle de estoque para obter insights do negócio, os empresários da Merck perceberam que a maior parte do esforço, cerca de 80%, era utilizado apenas para encontrar, acessar e ingerir esses dados de cada projeto, e não nas análises para obter melhores resultados comerciais. 

Então, surgiu o MANTIS (Manufacturing and Analytics Intelligence), um sistema de armazenamento e processamento de dados que consegue lidar com dados estruturados e não estruturados vindos de várias fontes, incluindo texto, vídeo e mídia social. 

Com o novo sistema de Data Science, o tempo e o custo geral de projetos de análise de TI da Merck foram reduzidos em 45%. Quanto aos resultados comerciais, o tempo médio de entrega reduziu em 30% e os custos médios de estoque tiveram uma redução de 50%.

A Tismoo é a primeira startup de medicina personalizada do Brasil. Isso mesmo, ela é especializada em testes de sequenciamento genéticos para casos de autismo e doenças neurogenéticas. Também conhecidas como biotechs, as startups de biotecnologia estão cada vez mais presentes no setor. 

Além dos serviços de mapeamento e aconselhamento genético, a Tismoo oferece também o monitoramento e análise das novidades na literatura médica mundial relacionadas ao autismo. 

O principal desafio do Hospital Samaritano era melhorar a gestão do relacionamento com os pacientes, médicos, fornecedores e operadoras de saúde. Com a contratação de uma ferramenta digital de CRM, hospedada em nuvem, o hospital agora consegue conectar e engajar todo o ecossistema. 

5º – Mídia e Entretenimento

No setor de mídia e entretenimento estão colocadas uma gama enorme de tipos de negócios, desde a indústria de livros, jornais e revistas, televisão, produções audiovisuais como séries de TV e filmes, a indústria fonográfica, até provedoras de TV a cabo. É uma das indústrias que mais sofreu com a chegada do digital e finalmente parece estar compreendendo que precisa incorporar o digital em sua cultura, e não lutar contra ele. 

Entre as 10 maiores empresas de mídia, segundo a FORBES, estão Walt Disney, CBS, Comcast (dona de várias produtoras audiovisuais), 21st Century Fox, Sky e Viacom, só para termos uma ideia do porte de alguns negócios desse setor. 

A Disney estava perdendo a satisfação de seus usuários, acredite se quiser. Então, a empresa investiu em um pacote de produtos para melhorar a experiência do cliente. 

Foi lançado o MyMagic+, que consiste em um site, um aplicativo mobile e uma pulseira. Tanto pelo site, quanto pelo app, o cliente planeja e reserva o itinerário pelos parques do Disney World. Ao garantir a reserva, as MagicBands são enviadas para a casa dos consumidores. Elas são pulseiras com um chip de identificação que servem como chave do quarto do hotel, ingressos de entrada, carteira e FastPass. 

Além de facilitar a vida do visitante dos parques, a pulseira vai rastrear e analisar o comportamento do consumidor, oferecendo uma experiência personalizada durante a visitação.

Outra situação que o dispositivo identifica é se o cliente está enfrentando uma fila muito longa em alguma das atrações. Nesse caso, alguns personagens são enviados para distrair os visitantes ou mesmo encaminhá-los para uma atividade menos lotada naquele momento. 

6º – Saúde Privada

A área da saúde privada é uma das que mais podem ser beneficiadas não só pela tecnologia, mas pela cultura digital dentro das instituições que cuidam de pacientes. Mas, apesar de algumas organizações de saúde, como o Hospital Albert Einstein, já estarem bastante à frente em relação à transformação digital, ainda existem outros hospitais ancorados em modelos de atendimento tradicionais e off-lines. Isso significa que muitos paradigmas ainda precisam ser quebrados no setor. 

Entre as principais questões que já podem ser solucionadas com a tecnologia estão: 

Para o futuro, profissionais especializados na área indicam que será possível pensar em saúde populacional, com dados e processos suficientes para atingirmos uma saúde personalizada e preditiva. (Vide o exemplo de empresas como a Tismoo). Além disso, sairemos de um modelo de saúde focado em hospitais para um com mais cuidado de transição, cuidado em casa, nas empresas e em outros lugares (vide a Telemedicina que vem se estruturando e tomando espaço). 

O prontuário eletrônico (PEP) é uma das soluções tecnológicas de coleta de dados já utilizadas em hospitais pelo Brasil. 

Para isso, foi montado um grupo assistencial de profissionais médicos que entendia e conhecia muito bem os processos hospitalares. Esse grupo participou ativamente do projeto por 30 meses, sendo responsáveis pela redução da resistência na adoção do novo modelo. 

O hospital também incentiva o pensamento no digital, aumentando a cultura de tecnologia entre seus funcionários: foi criado um fórum que auxilia colaboradores com boas ideias para a transformação digital a como viabilizar tecnicamente suas propostas, por meio de um grupo de apoio de especialistas em TI e engenheiros. 

Tem uma empresa em qualquer um desses setores e gostaria de avaliar como é possível iniciar o processo de transformação digital nela? A Propus pode ajudar! Entre em contato e comece a mudar a cultura digital do seu negócio através da análise de dados: 

]]>

Data Science: como extrair valor de dados pode revolucionar o seu negócio

Já ouviu falar em Data Science, ou Ciência de Dados? Em dados, provavelmente sim. Pois a cada dia, milhões de operações os geram no mundo todo, em diversos setores da sociedade, principalmente por conta da internet. O mundo dos negócios é um dos que mais pode se beneficiar disso. Mas não basta apenas coletar essa enorme quantidade de dados, já passamos desta fase. Após utilizar ferramentas para recolher e armazenar esses dados, se quiser que eles gerem valor ao seu negócio, é preciso interpretar de forma inteligente todo esse acervo de informações. É aqui que a Ciência de Dados entra. Segundo o estudo “The Global Data Management Benchmark Report”, realizado pela Experian, que consultou mil profissionais de diversos países como Brasil, Estados Unidos, Inglaterra e Austrália, existe um crescimento da preocupação com o uso de dados nas empresas: O estudo ilustra como cada vez mais empresas estão entendendo a importência de coletar e analisar dados, extraindo valor deles para tomar decisões de negócio mais assertivas e ágeis.

O que é Data Science?

Ciência de Dados, em português, é um conjunto de técnicas e ferramentas, algoritmos e princípios que descobrem padrões escondidos em dados brutos. A partir do conceito de Big Data, que é quando temos uma enorme quantidade de dados armazenada em bancos de dados interligados, é preciso organizar essa avalanche de informações, identificar padrões e extrair valor deles, através de análises e formulação de novas perspectivas entre as conexões destes dados, de maneira a solucionar algum problema ou mesmo prever questões futuras. Para simplificar, Data Science é o processo de transformar dados em informação e, por fim, em conhecimento que pode ser usado nos negócios. O principal foco da Data Science é extrair VALOR do conjunto de dados, transformando aqueles estruturados e não-estruturados em insights de negócio. Isso acontece através de diversas técnicas de análise avançada e soluções de Inteligência Artificial, como o Data Mining e o Machine Learning, que automatizam a criação de modelos analíticos através de algoritmos. Mas, traduzindo: se você conseguir coletar e analisar os dados do seu negócio, sua tomada de decisão será muito mais eficaz e rápida.

Com essas tecnologias, fica mais fácil:

Existem algumas ferramentas disponíveis para que as empresas possam rastrear, coletar e analisar os seus dados, muitas delas são até mesmo gratuitas. Porém, para se chegar às respostas desejadas sobre o mercado, clientes e tendências, é preciso fazer as perguntas certas. Neste ponto, é preciso conhecimento específico sobre o que irá ser analisado, podendo contratar um especialista para orientar a pesquisa.

Como a Data Science pode ajudar um negócio

Tudo parece muito prático, mas como exatamente a Data Science ajuda empresas? Você pode nunca ter pensado nisso, mas até mesmo a redução dos custos em opções de armazenamento de dados em nuvem (cloud), por exemplo, pode causar uma aumento do volume de dados armazenados pelas empresas. Porém, muitas vezes, esses dados acabam ficando esquecidos e não agregam nenhum valor ao negócio. É aqui que entra o Data Mining, que é capaz de revelar conhecimentos escondidos dentro dos bancos de dados de organizações, através de análises antecipadas, prevendo comportamentos e tendências e auxiliando no desenho das estratégias empresariais, que se tornam baseadas em fatos e dados e não mais na emoção.

Aplicações da Ciência de Dados em negócios

É possível aplicar as técnicas de análise de dados em diversos ramos empresariais, como o varejo, ramo industrial, de comunicação, segurança digital, gestão de estoque, e muitos outros. Cada um deles tem a sua demanda específica, além de processos distintos, o que requer estratégias de análise de dados também personalizadas. Vamos conhecer alguns exemplos abaixo.

Marketing digital

Aquela situação clássica de procurar um produto na internet e logo depois receber um anúncio dele no Google ou no Facebook já aconteceu com você? Esse é um dos exemplos de como o trabalho de Data Science e Machine Learning pode auxiliar nesta área. A Ciência de Dados usa a lógica de que se você pesquisou o preço de um celular, por exemplo, é porque provavelmente tenha a intenção de comprar um, ou ao menos o interesse. Então, o mecanismo aprende esse dado e consegue enviar anúncios mais assertivos para os consumidores.

Sistemas de Recomendação

Já comprou um produto, como um livro, e recebeu um e-mail com indicações de outros exemplares que têm a ver com o seu gosto? Ou então entrou na loja virtual novamente e na capa estavam os livros que você já buscou? Essa é uma maneira de empresas, como a Amazon, direcionarem os clientes para os produtos de seu interesse dentro de um mundo de milhares de opções. Ou, então, você está ouvindo um tipo de música no Spotify e são sugeridas alternativas que você talvez goste e compre também, assim como filmes na Netflix. Isso faz com que as empresas destaquem produtos que você possa ter interesse, aumentando as chances de compra.

Detecção de risco de fraude

Hoje em dia, instituições bancárias e financeiras usam dados coletados no início das transações de empréstimos para evitar rombos com dívidas não pagas. Elas aprenderam a obter informações pelo perfil do cliente, gastos passados e outras variáveis que auxiliam na análise do risco de inadimplência, tanto em bancos como na gestão de crédito do varejo, por exemplo. O Ministério da Justiça é um case que utiliza o Big Data para identificar ações ilícitas, especialmente relacionadas com lavagem de dinheiro. Conheça agora algumas demandas que podem ser supridas com estratégias de Data Science: Na Retenção de clientes É essencial para a saúde de um negócio entender o número de clientes entrando e saindo de sua carteira. Através da Ciência de Dados, é possível estudar o comportamento dos clientes, determinar tendências e identificar fatores que influenciam nestas ações. Se for identificado um padrão de saída, por exemplo, é possível elaborar uma estratégia de engajamento mais assertiva para melhorar a retenção destes clientes, de acordo com as necessidades deles. Outro exemplo é conhecer melhor a concorrência, para então se destacar entre os consumidores. Uma loja de roupas, por exemplo, pode utilizar a análise de metadados para conhecer outros estabelecimentos da região e do ramo em que atua, adicionando informações para uma melhor estratégia de vendas como em preços e produtos oferecidos. O Grupo Pão de Açúcar, por exemplo, criou um sistema de relacionamento com o cliente que acumula pontos de lojas online ou físicas. Esses dados são utilizados para relacionar os clientes com os produtos mais consumidos e marcas favoritas, otimizando o estoque. → Personalização de produtos e serviços Você sabia que o custo para fidelizar um cliente é menor do que o custo para conquistar novos? Com a Ciência de Dados, é possível trabalhar nessa fidelização (além da atração de novos, é claro) descobrindo as principais demandas dos seus atuais clientes e o que eles esperam do seu produto. Através do Big ou do Small Data, é possível coletar dados e transformá-los em insights interessantes sobre os diferenciais do seu produto ou da sua experiência de compra. A loja Zara utiliza dados para antever tendências de roupas através dos comentários dos clientes. Analistas divulgam atualizações diárias sobre o que os clientes das lojas estão pedindo. Essa informação é enviada para uma equipe de mais de 300 designers de projetos, que, em 21 dias, disponibilizam novas peças baseadas nessas informações no varejo. → Aumento da produtividade Ao analisar e sistematizar dados, você conseguirá conduzir as decisões em seu negócio de maneira melhor fundamentada, evitando a perda de tempo com estratégias que não estão gerando resultados, tornando as operações mais produtivas e evitando gastos com investimentos sem retorno. A convergência entre os ambientes operacionais e analíticos das empresas melhora a experiência dos usuários e a velocidade da tomada de decisões. A empresa UPS, da área de logística, faz mais de 4 milhões de entregas através de uma frota de quase 100 mil veículos. O Big Data é utilizado para otimizar a frota, auxiliando com rotas, tempo ocioso dos motores e manutenção preventiva a partir de telemática instalada nos caminhões e algoritmos avançados. A empresa já economizou mais de 39 milhões de galões de combustível e evitou a direção por 364 milhas desnecessárias. → Gestão de Estoque Uma aplicação prática da Análise de Dados e Big Data é na hora de planejar compras futuras ou administrar o estoque de uma loja. Para evitar ficar com produtos parados, é possível analisar o histórico de vendas de uma loja de sapatos, por exemplo, para saber quais números e modelos têm mais procura em uma determinada região. As ferramentas são tão abrangentes que é possível usar dados meteorológicos para descobrir o melhor momento para ter calçados de chuva no estoque, por exemplo. → Antecipar tendências e problemas Antecipar tendências, comportamentos e mesmo problemas pode ser vital para o seu negócio. Mas para isso, é preciso que haja um acompanhamento regular, com o menor intervalo entre o acesso e as análises de dados possível, para que se obtenha o máximo de precisão. Para antecipar fenômenos de mercado, como produtos que podem ser sucesso no próximo verão, por exemplo, entender os custos envolvidos e as necessidades dos clientes possibilita que se faça a melhor oferta entre a concorrência. Tudo isso depende de estar munido de um bom banco de dados, indicadores estratégicos e, principalmente, uma equipe preparada para interpretar e extrair valor desses dados.   A Tesla, da área automotiva e já famosa por inovar no mercado, utiliza o cluster Apache Hadoop em sensores instalados em seus carros, que enviam os dados para a central de análise. A empresa é notificada quando algum veículo não está funcionando perfeitamente e, pode então, orientar o consumidor a procurar um serviço de forma proativa.

Se interessou?

Conheça os nossos serviços de consultoria em Ciência de Dados e Big Data. Conte com uma equipe de profissionais para aplicar a Data Science em sua empresa. Também desenvolvemos projetos específicos com essas tecnologias. Além disso, oferecemos treinamentos, workshops e garantimos a continuidade operacional da sua estrutura de Big Data e Data Science. Entre em contato conosco e saiba mais sobre nossos produtos e serviços:    ]]>

Estágios de maturidade em Big Data: seus dados estão prontos para se tornarem um produto?

A ideia de transformar dados de negócios em um produto, também chamada de “dados como produto”, é um conceito já conhecido e bem documentado em whitepapers de organizações especializadas no assunto. É comum as empresas sentirem que, devido à experiência em uma indústria específica ou dos muitos anos em TI, já estão prontas para a introdução do Big Data via arquitetura de data lake. Mas, o quão difícil isso pode ser? Na realidade, a maioria das empresas encontram-se em estágios iniciais de maturidade em Big Data. O mundo dos negócios está inundado de estímulo para uma utopia ou terra prometida onde os dados se tornam seu grande produto. No entanto, entender as etapas que outras organizações tomaram através dos estágios de maturidade de dados ajuda a compreender as próprias aspirações para uma abordagem potencial de dados como produto.

Estágios da maturidade de dados

Inicial

Geralmente representa o estágio no qual a maioria das empresas percebe que precisa de algo além de um data warehouse tradicional. Às vezes, as equipes de TI ou de desenvolvimento podem possuir alguma experiência limitada com o Hadoop. Algumas equipes podem até ter pelo menos um caso de uso em ação, mas geralmente em um sistema de laboratório que não é mais que um protótipo. A maioria dos grupos na fase inicial estão começando a aprender como eliminar silos de dados e data lakes como um conceito com uma meta declarada de auto-serviço de dados. O processamento manual é em grande parte o procedimento padrão do dia. Realisticamente não há conceito de auto-atendimento e a maioria das requisições precisa ser executada pela infraestrutura de suporte de TI para o menor dos casos de uso. Pior ainda, pode levar longos períodos para ser implementada devido a concorrência entre outras tarefas paralelas da equipe. Geralmente, há muito pouca segurança implementada além da integração de autenticação de usuário. O planejamento do ciclo de vida dos dados ainda não é compreendido em sua totalidade e a criação de um “pântano” de dados é muito possível.

Conscientização

Nesta fase, dados externos são combinados com dados da empresa para fornecer algum valor adicional. O despertar mais próximo do Hadoop e longe do RDBMS tradicional começa a permear a organização. A compreensão da natureza mutável das competências requeridas e a disrupção geral dos processos existentes tornam-se evidentes. Nenhum auto-serviço existe formalmente, mas uma infraestrutura de data lake está à disposição e os estágios iniciais de uso do data lake estão ocorrendo. Geralmente, um ou dois casos de uso bem-sucedidos foram implementados. Mas com o sucesso inicial surge também uma avalanche de ideias de outras unidades de negócios buscando fazer uso do novo sistema. A ingestão de dados com algum nível de automação está em operação, alguns silos de dados foram eliminados ou dependência deles foi reduzida. Algum uso adicional de políticas de segurança como criptografia sobre dados correntes, em repouso e possivelmente Kerberos foram implementadas ou estão em processo de implementação. O planejamento do ciclo de vida dos dados está no lugar, mas potencialmente ainda não automatizado nesta fase.

Proficiência

Nesta fase, as equipes estão obtendo ao menos o valor interno do negócio a partir dos dados. Pode haver algum uso inicial de relatórios de autoatendimento e possível transformação de dados. Toda engenharia de dados está bem definida e padronizada. Os sistemas agora estão ingerindo dados facilmente. Esse processo é maduro e inclui metadados automatizados, dados de qualidade e transformações. Os sistemas RDBMS tradicionais foram adequadamente dimensionados ou eliminados completamente. Aditamentos de novos conjuntos de dados no framework são feitos através de um procedimento operacional padrão, e levam menos de uma semana. A segurança é totalmente implementada com autenticação robusta, autorização e administração geral muito bem definidas. O resultado desses processos encontra-se agora no cerne da organização e é considerado crítico para os negócios.

Mature Data Processes/Data Driven

Esta é a fase final em que os dados agora representam um produto que pode ser vendido para outras organizações. Isso pode incluir múltiplos clusters Hadoop geograficamente dispersos funcionando em uníssono via processos automatizados para agregar e transformar dados em commodity. Muitas vezes esse estágio também pode incluir o uso de virtualização ou camadas de nuvem. Essa estratégia também pode incluir uma camada de apresentação de autoatendimento externa como parte da estratégia de nuvem. Este é o estágio mais altamente refinado, alavancando processos bem compreendidos e codificados em uma pilha de tecnologia reutilizável e confiável. E que inclui subsídio e alinhamento de visão em toda a organização, combinado com um plano executivo no intervalo de 3 a 5 anos para expansão e planejamento do ciclo de vida. O ciclo de vida dos dados e a política de retenção estão no estado mais maduro. O ciclo de vida dos dados é totalmente automatizado.

Avalie a saúde da sua estratégia de Big Data

Chegar ao estágio mais maduro do Big Data é mais do que uma escolha de tecnologia. É preciso também entender o estado atual de maturidade em várias áreas funcionais. O alinhamento executivo como empresa para uma visão de Big Data também é fundamental para o sucesso de projetos de Big Data. Considere também quantos projetos subsidiados de dados e de desenvolvimento de TI podem ser considerados substanciais, quando talvez não sejam mais que extensas provas de conceito. Há também questões de maturidade de infraestrutura, de pessoal e de processos de negócios que se fundem para fornecer uma imagem de onde se encontra a organização no processo como um todo. Entender esses conceitos faz a diferença entre projetos de modernização eficazes e falhas absolutas. É importante usar a tecnologia certa e o parceiro ideal para ajudar a orientar projetos em um crescente e incipiente cenário de tecnologia orientada por análises de grandes volumes de dados. Fonte: DZone.com]]>