빅데이터 네트워크 빅데이터 네트워크
    데이터큐브 데이터큐브입니다
    분석활용 분석활용
    비식별조치 비식별조치
    지식공유 지식공유
    주요사업 주요사업
    센터소개 센터소개

소개

분석활용
빅데이터 분석 인프라를 보유하기 어려운 중소기업, 1인 창조기업, 대학, 연구소 등이 대용량 데이터 분석 및 기술개발 · 검증에 사용할 수 있는 테스트베드를 제공합니다. 빅데이터 솔루션/기술에 대한 성능 검증 및 서비스 개발을 위해 다양한 데이터를 활용할 수 있습니다.
교육실습
데이터 과학자 및 빅데이터 기술인력 양성을 위해 실무중심 교육 커리큘럼에 맞는 실습 환경을 제공합니다. 원격으로 교육실습 인프라에 접속하여 시스템 구축 및 데이터 분석, 프로그램 개발 등 다양한 실습을 수행할 수 있습니다.
개발자포털
창업 및 중소기업의 신규 서비스 개발 및 테스트 환경으로 개발자가 원하는 형태로 환경을 구성하여 원격으로 개발자포털 인프라에 접속하여 테스트 할 수 있습니다.
딥러닝
오픈소스 기반의 딥러닝 라이브러리와 분석도구를 활용한 빅데이터 인공지능 분석환경으로 사용자별, 프로젝트 별 GPU를 활용한 인공지능 학습환경, 오픈소스, 딥러닝 알고리즘, 시각화 등 기능을 활용할 수 있습니다.
사업화
창업자가 일정기간 상용 서비스 할 수 있는 가상머신 기반 운영 서버 제공으로 상용 클라우드 기반으로 창업자가 원하는 서비스 제공에 필요한 환경(웹서버, DB, WAS 서버 등)을 설치하고 관리할 수 있습니다.

인프라 구성

분석클러스터란?

정형, 비정형 데이터 저장과 분석을 위한 서버들로 클러스터를 구성하였으며, 통합분석환경과 데이터셋을 제공합니다. 통합분석환경은 하둡 및 에코시스템으로 구성된 빅데이터 분석/처리 구조 위에 스크립트 개발, 워크플로우 관리, 시각화 등의 기능을 제공하는 통합분석 사용자 인터페이스로 구성됩니다.데이터 분석, 워크플로우 관리, 시각화 등을 위해 다음과 같은 하둡관련 오픈소스 S/W들을 사용할 수 있습니다.

실습인프라란?

실습서버 30대, 실습지원서버 1대로 구성되며, 가상화 기술을 적용하여 동시에 180대의 실습용 가상머신을 제공합니다. 제공되는 가상머신은 리눅스, 하둡, 분석 S/W 등이 설치 되어 있으며, 다음과 같은 오픈소스 S/W들이 사용되고 있습니다.

  • hadoop
  • hive
  • pig
  • mahout
  • r
  • flume
  • sqoop
  • spark
  • tajo
  • flamingo
가상머신이미지종류
가상머신
이미지종류
설명
인력양성과정(초급,중급,고급) 분석가용 스크립팅 환경(Pig, Hive, R)이 설치된 가상머신 이미지
리눅스 리눅스(CentOS 6.4)만 설치된 가상머신 이미지, 하둡 등 S/W 설치 및 설정 단계부터 실습시 사용
하둡-ECO 하둡과 하이브가 설치된 가상머신 이미지
한국데이터진흥원(초급,중급,고급) 리눅스(CentOS 6.5 ~ 6.8)가 설치된 가상머신 이미지, 하둡 등 S/W 설치 및 설정 단계부터 실습시 사용
누리꿈(초급,중급) 리눅스(CentOS 7.0) 기반 스크립팅 환경(R-Studio, Python)이 설치된 가상머신
멀티캠퍼스(A,B) 리눅스(CentOS 6.5 ~ 7.4)기반 스크립팅 환경(R-Studio, Python)이 설치된 가상머신

사용절차

① 사용 예약 : 인프라 사용을 위해 기간, 필요한 컴퓨팅 자원 등을 선택하고 예약 신청을 합니다.

② 사용 승인 : 사용 예약 후 1~2일 내 승인여부 확인을 합니다.

③ 사용 하기 : 예약된 기간 동안 컴퓨팅 자원을 사용 합니다.

※ 시험검증 클러스터 사용을 희망하시는 분은 이메일(bigdatamanager@nia.or.kr)이나 전화(1670-1317)로 문의 부탁드립니다.

※ 사업화 인프라 사용을 희망하시는 분은 이메일(bigdatamanager@nia.or.kr)이나 전화(1670-1317)로 문의 부탁드립니다.

※ 딥러닝 인프라 사용을 희망하시는 분은 컨테이너 선택 후 이메일(bigdatamanager@nia.or.kr)이나 전화(1670-1317)로 문의 부탁드립니다.

교육실습

① 실습서버 예약 : 실습기간 및 실습서버 종류를 선택하고 예약을 신청합니다.

② 실습서버 승인 : 서버 예약 후 1~2일 내 승인여부 확인, 승인된 신청에 대해서는 “서버코드”가 발급됩니다.

③ 실습서버 사용 : 실습시 학생/교육생에게 발급된 “서버코드”를 알려주고, 강의를 진행 합니다.

④ 강의 수강 : 해당 강의 시간에 로그인한 후, 강사로부터 전달받은 서버코드를 입력하여 실습서버(가상머신)을 할당 받아 실습을 합니다.

개발자 포털 API 등록

서비스 게시판, API 게시판, 앱 게시판, 알고리즘 게시판으로 구성되어 있습니다.

개발자들이 홈페이지에 제공할 OPNE API를직접 개발하여 서비스합니다.

① 개발자들이 홈페이지에 제공할 OPNE API를직접 개발하여 서비스합니다.

② 개발자들이 홈페이지에 직접 개발한서비스에 대한 정보를 등록합니다.

- 하나의 vm에 하나의 서비스만 등록이 가능합니다.

- 서비스는 지정 포트(8080)로만 등록 됩니다.

③ 개발자들이 홈페이지에 해당 서비스의API 에 대한 정보를 등록합니다.

개발자 포털 API 사용

① 사용자들이 서비스 정보 및 해당 API 에 대한 정보를 얻습니다.

② 개발자들이 홈페이지에 직접 개발한 서비스에 대한 정보를 등록합니다.

③ 사용자들이 서비스 정보 보기 화면에서 인증키를 발급 받습니다.

④ 사용자들이 외부 개발 환경에서 해당 API에 대한 호출을 합니다.

- API 호출시 Header값에 서비스 정보 및 인증키 정보를 넣어주어야 합니다.