MicroStrategy ONE

Armazenamento no Data Lake Azure de Gen2

Azure Data Lake Storage Gen2 (ADLS2) é uma plataforma de data lake totalmente integrada ao Blob Azure Armazenamento. O MicroStrategy Cloud Object Connector fornece acesso a ADLS2 para navegar rapidamente por pastas e arquivos e importá-los para cubos MicroStrategy .

Explore os seguintes tópicos nesta página:

  1. Preparar parâmetros de conexão
  2. Criar uma DBRole
  3. Importar dados
  4. Limitações

Preparar parâmetros de conexão

Para que o Cloud Object Connector navegue com êxito no sistema de arquivos ADLS2, você precisa de uma conta de armazenamento com um namespace hierárquico. Para obter mais detalhes sobre como criar uma conta de armazenamento, consulte o Documentação da Microsoft de .

Depois que a conta de armazenamento é criada, duas chaves de acesso são concedidas. Qualquer um pode ser usado para criar uma conexão.

Criar uma DBRole

Acesse o conector de objeto de nuvem Azure Data Lake Storage Gen2 no MicroStrategy Web ou Workstation.

  • Web
  • Workstation
  1. Selecione Adicionar Dados > Novos Dados.

  2. Localizar e selecionar Azure Data Lake Storage Gen2 Conector de objeto em nuvem da lista de fontes de dados.

  3. Ao lado de Fontes de dados, clique em Nova fonte de dados para adicionar uma nova conexão.

  4. Insira suas credenciais de conexão.

    • Nome da conexão: Um nome para a nova conexão
    • Contêiner: O contêiner que você deseja acessar
    • Autenticação: O método de autenticação que você deseja usar
    • Código do diretório (locatário): O código associado a cada assinatura
    • Conta de armazenamento do Azure: A conta de armazenamento contendo seus objetos de dados do Armazenamento do Azure
    • Segredo de armazenamento do Azure: O segredo associado ao armazenamento do Azure

  1. No painel esquerdo, ao lado de Conjuntos de dados, clique em Criar um novo conjunto de dados de .

  2. Localizar e selecionar Azure Data Lake Storage Gen2 Conector de objeto em nuvem da lista de fontes de dados.

  3. Ao lado de Fontes de dados, clique em Nova fonte de dados para adicionar uma nova conexão.

  4. Insira suas credenciais de conexão.

    • Nome da conexão: Um nome para a nova conexão
    • Código do diretório (locatário): O código associado a cada assinatura
    • Conta de armazenamento do Azure: A conta de armazenamento
    • Contêiner: O contêiner que você deseja acessar
    • ID de cliente: O ID do cliente usado
    • Segredo do cliente: O segredo do cliente associado ao ID do cliente

Importar dados

Depois de criar o conector com êxito, você poderá importar dados para o MicroStrategy.

  1. Selecione a conexão recém-criada.
  2. Navegue pelas pastas ou arquivos no contêiner específico,

  3. Clique duas vezes nos arquivos ou arraste-os para o painel direito.

    No painel de Visualização, você pode ver os dados de amostra e ajustar o tipo de coluna.

  4. Publique o cubo no MicroStrategy com os dados selecionados.

Limitações

Tipos de arquivo compatíveis

Somente os seguintes tipos de arquivo são compatíveis:

  • .json
  • .parquet
  • .avro
  • .orc
  • .csv
  • Formato delta

Selecionar pastas

Ao selecionar a pasta inteira, a pasta deve atender aos seguintes requisitos:

  • Todos os arquivos na pasta precisam ter os mesmos tipos de arquivo. Uma caixa de diálogo solicitará que você escolha o tipo de arquivo
  • Todos os arquivos compartilham o mesmo esquema

  • Se a pasta tiver subpastas, as subpastas deverão estar em um formato particionado válido. Veja a seguir um exemplo de uma estrutura de pastas válida

Limitações do Spark

  • Somente arquivos JSON com cada nova linha como um JSON completo podem ser lidos
  • Arquivos Parquet que contêm caracteres especiais (, ; { } \ = " .) não podem ser lidos
  • Arquivos Parquet com tipos de dados de coluna como INT32(UINT_8)/(UNIT_16)/(UNIT_32)/(TIME_MILLIS) não são compatíveis
  • Colunas com o tipo binário não podem ser publicadas no cubo
  • Arquivos ORC com nomes de campo prefixados com "_col" (por exemplo, _col0, _col1), onde o esquema de arquivo contém pelo menos uma estrutura aninhada, matriz ou campo de mapa, não podem ser importados

Recursos

Os seguintes recursos não são compatíveis:

  • Carregamento de arquivos da MicroStrategy conectando-se ao Cloud Object Connector
  • Wrangling de dados na importação de dados
  • Definição de geografia na importação de dados
  • Programação avançada para Programar publicação de cubo
  • Agrupar tabelas na importação de dados