Version 2021

Armazenamento no Data Lake Azure de Gen2

O Azure Data Lake Storage Gen2 (ADLS2) é uma plataforma de data lake totalmente integrada ao Armazenamento de Blobs do Azure. O MicroStrategy Cloud Object Connector fornece acesso ao ADLS2 para navegar rapidamente por pastas e arquivos e importá-los para cubos MicroStrategy.

Explore os seguintes tópicos nesta página:

  1. Preparar Parâmetros de Conexão
  2. Criar uma Função de Banco de Dados
  3. Importar Dados
  4. Limitações

Preparar Parâmetros de Conexão

Para que o Cloud Object Connector navegue com êxito no sistema de arquivos ADLS2, você precisa de uma conta de armazenamento com um namespace hierárquico. Para obter mais detalhes sobre a criação de uma conta de armazenamento, consulte o Documentação da Microsoft.

Depois que a conta de armazenamento é criada, duas chaves de acesso são concedidas. Qualquer um pode ser usado para criar uma conexão.

Criar uma Função de Banco de Dados

Acesse o Cloud Object Connector do Azure Data Lake Storage Gen2 no MicroStrategy Web ou Workstation.

  • Web
  • Workstation
  1. Selecione Adicionar Dados > Novos Dados.

  2. Localizar e selecionar Azure Data Lake Storage Gen2 Cloud Object Connector da lista de fontes de dados.

  3. Ao lado de Fontes de Dados, clique emNova fonte de dados para adicionar uma nova conexão.

  4. Insira suas credenciais de conexão.

    • Nome da Conexão: Um nome para a nova conexão
    • Recipiente: O recipiente que você deseja acessar
    • Autenticação: O método de autenticação que você deseja usar
    • ID do diretório (locatário): O ID associado a cada assinatura
    • Conta de Armazenamento do Azure: A conta de armazenamento que contém seus objetos de dados do Armazenamento do Azure
    • Segredo de Armazenamento do Azure: O segredo associado ao Armazenamento do Azure

  1. No painel esquerdo, ao lado de Conjuntos de Dados, clique em Criar um novo conjunto de dados .

  2. Localizar e selecionar Azure Data Lake Storage Gen2 Cloud Object Connector da lista de fontes de dados.

  3. Ao lado de Fontes de Dados, clique emNova fonte de dados para adicionar uma nova conexão.

  4. Insira suas credenciais de conexão.

    • Nome da Conexão: Um nome para a nova conexão
    • ID do diretório (locatário): O ID associado a cada assinatura
    • Conta de Armazenamento do Azure: A conta de armazenamento
    • Recipiente: O recipiente que você deseja acessar
    • ID do Cliente: O ID do cliente usado
    • Segredo do Cliente: O segredo do cliente associado ao ID do cliente

Importar Dados

Depois de criar o conector com êxito, você pode importar dados para o MicroStrategy.

  1. Selecione a conexão recém-criada.
  2. Procure as pastas ou arquivos no recipiente específico,

  3. Clique duas vezes nos arquivos ou arraste-os para o painel direito.

    No painel Visualização, você pode ver os dados de amostra e ajustar o tipo de coluna.

  4. Publique o cubo no MicroStrategy com os dados selecionados.

Limitações

Tipos de arquivo com suporte

Somente os seguintes tipos de arquivo são suportados:

  • .json
  • .parquet
  • .avro
  • .orc
  • .csv
  • Formato delta

Selecionar pastas

Ao selecionar a pasta inteira, ela deve atender aos seguintes requisitos:

  • Todos os arquivos na pasta precisam ter os mesmos tipos de arquivo. Uma caixa de diálogo solicitará que você escolha o tipo de arquivo
  • Todos os arquivos compartilham o mesmo esquema

  • Se a pasta tiver subpastas, elas devem estar em um formato particionado válido. Veja a seguir um exemplo de uma estrutura de pastas válida

Limitações do Spark

  • Somente arquivos JSON com cada nova linha como um JSON completo podem ser lidos
  • Os arquivos Parquet que contêm caracteres especiais (, ; { } \ = " .) não podem ser lidos
  • Não há suporte para arquivos Parquet com tipos de dados de coluna como INT32(UINT_8)/(UNIT_16)/(UNIT_32)/(TIME_MILLIS)
  • Colunas com o tipo binário não podem ser publicadas no cubo
  • Não é possível importar arquivos ORC com nomes de campo prefixados com "_col" (por exemplo, _col0, _col1), em que o esquema de arquivo contém pelo menos uma estrutura aninhada, uma matriz ou um campo de mapa

Recursos

Os seguintes recursos não são suportados:

  • Carregando arquivos do MicroStrategy conectando-se ao Cloud Object Connector
  • Transformação de dados na importação de dados
  • Definindo geografia na importação de dados
  • Programação avançada para Programar publicação de cubo
  • Tabelas de grupo na Importação de Dados