Hadoop Gateway가 Namenode 고 가용성을 지원하도록 활성화

Hadoop Gateway는 MicroStrategy 10.10부터 Hadoop Namenode 고가용성을 지원할 수 있습니다. 더 이상 Hadoop WebHDFS로 파일을 검색할 필요가 없습니다. HDFS 카탈로그 정보는 WebHDFS 대신 Hadoop Gateway를 통해 검색됩니다.

Hadoop Gateway를 통해 HDFS 찾아보기

아래 단계를 시작하기 전에 Hadoop 관리자에게 문의하여 Hadoop Namenode 고 가용성, Hadoop Namenode IP 주소 및 HDFS 포트 번호에 대한 네임 서비스를 얻으십시오.

1. Connect to Hadoop(Hadoop에 연결) 대화 상자에서 Change Connection(연결 변경)을 클릭합니다.

   

2. Data Source(데이터 소스) 대화 상자에서 Edit Connection String(연결 문자열 편)집 확인란을 선택합니다.

   

3. 단일 Namenode의 경우:

   위 예제와 같이 Hadoop Namenode IP / Host 및 HDFS 포트가 연결 문자열에 올바르게 구성되어 있는지 확인합니다.

   Hadoop High Namenode 고가용성 :

   속성 hadoopNameService 및 nameservice 태그를 연결 문자열 끝에 추가합니다.

   예를 들어 고가용성 태그가 nameservice1인 경우 연결 문자열은 다음과 같이 나타나야 합니다.

   hadoopName=10.242.109.2;hdfsPort=8020;

   BDEIP=10.242.109.10;BDEPORT=10109;hadoopNameService=nameservice1;

4. OK(확인)를 클릭합니다.

보안

Hadoop Gateway는 MicroStrategy ONE에서 HDFS 검색을 위해 HTTP 프로토콜 인터페이스에 액세스할 수 있으며 HTTPS는 지원되지 않습니다.

Hadoop Gateway를 통한 HDFS 검색은 Kerberos 인증 클러스터를 지원할 수 있습니다. Intelligence Server에 대한 별도의 Kerberos 사용자 이름은 더 이상 필요하지 않습니다. Hadoop Gateway가 Kerberos 인증 클러스터에 구성되고 성공적으로 시작되면 Intelligence Server가 Hadoop Gateway를 통해 HDFS를 자동으로 검색할 수 있습니다. 모든 액세스 제어는 Hadoop Gateway에서 처리합니다.

Hadoop Gateway는 Kerberos 인증을 사용하는 클러스터의 프록시 노드에 배포되어야 합니다. Hadoop Gateway가 클러스터 외부에 배포된 경우 보안 클러스터를 찾을 수 없습니다.

문제 해결

• HDFS 검색은 Intelligence Server 대신 Hadoop Gateway에 의해 수행됩니다. 검색 전에 Hadoop Gateway를 실행해야 합니다.
• Hadoop Gateway는 HDFS 검색을 위해 port 4020에 HTTP RESTful API를 노출합니다. 따라서 Hadoop Gateway를 배포하는 시스템에 해당 포트가 열려 있어야 합니다.
• hadoopName 및 hadoopNameService 둘 다 연결 문자열에 제공됩니다. Hadoop Gateway는 기본적으로 hadoopNameService 값을 사용하여 클러스터에 액세스합니다.
• 모든 속성 이름과 값은 연결 문자열에서 대/소문자를 구분합니다.