Através da evolução contínua da plataforma de dados moderna, há uma mudança emocionante em direção a novos padrões e termos arquitetônicos. O que começou com “armazéns de dados” logo se tornou “lagos de dados” e posteriormente “casas em lago”. Conjuntos de dados com valor tornaram-se ativos de dados, que são então agrupados em produtos de dados. Termos como “produto de dados” costumam ser muito subjetivos, mas na verdade não precisam ser. É curioso implementar vários projetos de arquitetura focados em produtos de dados. Este blog busca esclarecer o assunto, da forma mais simples possível, para o benefício de todos.
"Se você não pode explicar isso simplesmente, você não entende bem o suficiente."
Albert Einstein
O segredo está no nome. Considere o gigante mercado de varejo, a Amazon. Amazon é uma plataforma que permite aos vendedores criar e administrar uma loja virtual e vender produtos ao consumidor final. Pense em qualquer produto que você possa comprar. Quando você acessa a Amazon e pesquisa um item, há uma lista de produtos que é retornada da pesquisa. Sua seleção de pesquisa pode ser baseada em análises de produtos da Amazon, preços, classificações, comentários, tamanho ou prazo de entrega. Amazon não é o produto. Amazon é o mercado que permite navegar pelos produtos oferecidos. Esses produtos terão lojas e proprietários (vendedores) nos bastidores, e esses proprietários gerenciarão seu estoque, incluindo estoque, uso, distribuição, entrega e informações administrativas sobre o produto. Isso é uma espécie de metadados.
Os produtos na Amazon não estão restritos a um item de valor ou ativo. É possível adquirir diversos itens; de escovas de dente a equipamentos de ginástica. Um produto não é definido como um tipo de objeto ou ativo, mas sim um item que pode ser adquirido, independentemente do que seja.
Agora vamos pensar em dados
Um mercado de dados, que permite navegar por vários ativos de dados que você pode usar por qualquer motivo, é gerenciado como um produto da Amazon. Em nossos termos, é assim que definimos o produto de dados.
Os produtos de dados incluem:
- Conjuntos de dados distribuíveis
- Relatórios e os pipelines que os criam
- Modelos de aprendizado de máquina
Cada um desses produtos de dados é desenvolvido, gerenciado, governado e distribuído como uma solução ponta a ponta. Pode haver ativos múltiplos ou únicos, que por sua vez constituem o produto. Mas o resultado valioso e utilizável do processo é o produto.
Historicamente, as empresas construíram soluções holísticas combinando diferentes domínios num único recurso. Vários itens de valor díspares e não relacionados poderiam ser produzidos em uma única instalação.
Isso parece ótimo, mas é como se a Amazon dissesse a todos que desejam vender algo no mercado que eles precisam usar uma loja holística, que é gerenciada por um proprietário de loja, incluindo todo o estoque. Nesse cenário, os produtos de todos dependem de um ótimo gerenciamento daquela única loja. Embora isso possa significar menos administração para os vendedores individuais, há um alto risco e muito mais dependência caso o proprietário da loja não seja bom na manutenção de sua loja. Se isso acontecesse, seria mais provável que o vendedor criasse sua própria loja em outro lugar.
De volta aos dados – no mercado, existe um preconceito predominante de que as soluções de dados empresariais não têm sucesso. Essa visão é impulsionada pela experiência de projetos fracassados de data warehouse/data lake que se estenderam por vários anos. O cerne da questão reside na natureza em constante evolução dos requisitos de cada unidade de negócios, que se metamorfoseiam em taxas díspares. Embora uma facção da organização possa clamar por uma implementação rápida, outra pode exibir uma postura indiferente. Esses perigos, infelizmente, surgem quando se contempla um repositório de dados centralizado.
Uma maneira de contornar esse desafio é implementar o padrão de design arquitetônico “dados como produto”, que devolve a propriedade ao próprio domínio. Os méritos de tal paradigma arquitetônico são substanciais. Permite implementações de domínio mais rápidas, um perfil de risco reduzido, uma gestão vigilante da qualidade dos dados ao nível do domínio, uma governação simplificada e uma delimitação inequívoca da propriedade dos dados; tudo definido no padrão de design da malha de dados.
Do ativo de dados aos 'dados como produto' e ao produto de dados
Não vamos confundir produtos de dados com o termo “dados como produto”, conforme definido na malha de dados. Eles são semelhantes, mas não iguais. Se o ativo de dados é o objeto de valor e o produto é o ativo com capacidade de gerenciamento de suporte, “dados como produto” é o método de design sobre como chegar lá, ou seja, parte da malha de dados.
Tratar os dados como um produto muda a forma como você projeta sua arquitetura, o que leva a padrões de design em nível de domínio. O ativo gerenciado de ponta a ponta é o produto de dados e o projeto arquitetônico para chegar lá se deve ao tratamento dos “dados como um produto”.
O conceito de “produto de dados” é uma nova evolução?
O produto de dados é certamente o próximo passo na plataforma de dados moderna, mas não é necessariamente o único padrão de design a ser considerado. Ter várias equipes produzindo produtos de dados é simplesmente um exagero se a empresa em questão não for grande. Às vezes, a TI e a governança centralizadas não são apenas úteis, mas também necessárias.
Existem várias maneiras de projetar qualquer arquitetura de dados e, embora o design de produtos de dados seja altamente eficaz para entrega mais rápida ou criação de valor, não é o único caminho.
- Conteúdo com tecnologia de SEO e distribuição de relações públicas. Seja amplificado hoje.
- PlatoData.Network Gerativa Vertical Ai. Capacite-se. Acesse aqui.
- PlatoAiStream. Inteligência Web3. Conhecimento Amplificado. Acesse aqui.
- PlatãoESG. Carbono Tecnologia Limpa, Energia, Ambiente, Solar, Gestão de resíduos. Acesse aqui.
- PlatoHealth. Inteligência em Biotecnologia e Ensaios Clínicos. Acesse aqui.
- Fonte: https://www.finextra.com/blogposting/24980/simplifying-the-data-product?utm_medium=rssfinextra&utm_source=finextrablogs
- :é
- :não
- $UP
- a
- Capaz
- Sobre
- admin
- administrar
- administrativo
- Todos os Produtos
- permite
- Apesar
- Amazon
- an
- e
- Outro
- qualquer
- arquitetônico
- arquitetura
- SOMOS
- por aí
- AS
- ativo
- Ativos
- At
- em caminho duplo
- baseado
- BE
- passou a ser
- tornam-se
- atrás
- Por trás das cenas
- beneficiar
- Blog
- construído
- negócio
- mas a
- by
- capacidade
- centralizado
- certamente
- desafiar
- Alterações
- combinando
- comentários
- conceito
- Considerar
- Consumidores
- continuar
- poderia
- crio
- criação
- dados,
- lago data
- Plataforma de dados
- conjuntos de dados
- definir
- definido
- Entrega
- Dependência
- dependente
- Implantações
- Design
- Padrões de design
- projetos
- desenvolvido
- diferente
- díspar
- distribuído
- distribuição
- domínio
- domínios
- não
- dirigido
- dois
- e
- cada
- Eficaz
- em outro lugar
- permite
- final
- end-to-end
- suficiente
- Empreendimento
- empresas
- equipamento
- todos
- todo mundo está
- evolução
- emocionante
- apresentar
- existe
- vasta experiência
- Explicação
- Facilidade
- fracassado
- longe
- mais rápido
- Finextra
- Foco
- Escolha
- da
- ter
- gigante
- dá
- Go
- governo
- governado
- ótimo
- ginásio
- aconteceu
- Ter
- ter
- cabeças
- Alta
- altamente
- sua
- holística
- Como funciona o dobrador de carta de canal
- Como Negociar
- HTTPS
- i
- if
- executar
- implementação
- implementação
- in
- incluir
- Incluindo
- Individual
- INFORMAÇÕES
- para dentro
- inventário
- IT
- Unid
- se
- jpg
- lago
- grande
- Leads
- aprendizagem
- menos
- Permite
- Nível
- encontra-se
- leve
- como
- Provável
- Lista
- Manter
- fazer
- gerencia
- gerenciados
- de grupos
- mercado
- marketplace
- Importância
- Posso..
- significar
- méritos
- malha
- metadados
- método
- poder
- EQUIPAMENTOS
- mais
- a maioria
- muito
- múltiplo
- nome
- Natureza
- necessariamente
- necessário
- você merece...
- Novo
- Próximo
- numeroso
- objeto
- of
- oferecer
- frequentemente
- on
- ONE
- só
- para
- or
- A Nossa
- Acima de
- próprio
- proprietário
- proprietários
- propriedade
- paradigma
- parte
- padrão
- padrões
- plataforma
- platão
- Inteligência de Dados Platão
- PlatãoData
- possível
- preços
- Produzido
- produtor
- Produto
- design de produto
- Opiniões
- Produtos
- Perfil
- projetos
- compra
- comprado
- qualidade
- questão
- Preços
- avaliações
- clientes
- razão
- Independentemente
- repositório
- Requisitos
- recurso
- restringido
- varejo
- Opinões
- Risco
- mesmo
- cenário
- Cenas
- Pesquisar
- Segredo
- Procura
- doadores,
- vender
- VENDEDORES
- Conjuntos
- vários
- derramar
- rede de apoio social
- semelhante
- simplificando
- simplesmente
- solteiro
- Tamanho
- solução
- Soluções
- algo
- em breve
- posição
- começado
- Passo
- estoque
- loja
- lojas
- simplificada
- sujeito
- Subseqüentemente
- substancial
- tal
- Apoiar
- SWIFT
- equipes
- dizendo
- prazo
- condições
- que
- A
- deles
- então
- Lá.
- Este
- deles
- think
- isto
- aqueles
- tempo
- para
- para
- tratamento
- VIRAR
- tipo
- compreender
- infelizmente
- Uso
- usar
- Valioso
- valor
- Criação de valor
- variedade
- vário
- muito
- Ver
- Virtual
- Caminho..
- maneiras
- we
- BEM
- O Quê
- quando
- qual
- Enquanto
- precisarão
- desejando
- de
- Atividades:
- Equivalente há
- seria
- anos
- Vocês
- investimentos
- zefirnet