[KT Cloud] Data Lake Storage 사용을 위한 MinIO 설치 및 사용 가이드

실습 환경

KT VM : windows-2019-std-64bit-230816 1vcore 1GB

KT Cloud Object Storage : Storage 3.0

 

MinIO는 클라우드 Object Storage와 호환되는 오픈소스 기반의 서버/클라이언트 도구이다. MinIO Client는 Command Line S3 관리도구로 Window, Macm Linux를 지원한다. MinIO는 KT Data Lake 서비스에서 파일 업로드 등 관리를 위해 사용할 수 있다.

 

MinIO Client 다운로드

https://min.io/docs/minio/linux/reference/minio-mc-admin.html?ref=docs#installation

MinIO Admin Client — MinIO Object Storage for Linux

 

MinIO Client는 Command Line 명령어를 사용하여 Host/Bucket/Object를 관리 할 수 있다.

 

Configuration 설정

- 명령어 형식 : mc config host add host_name URL:port acesskey secretkey

 

 

Object Storage url 

https://ss1.gcloud.kt.com:1000

 

 

Host 관리 (Host List Segments)

- 명령어 형식 : mc config host ls

 

버킷 & 디렉토리 만들기 

- 명령어 형식 : mc mb host_name/bucket_name

 

- 디렉토리는 버킷 내에 mb 명령어를 사용하여 만들 수 있다.

- 명령어 형식 : mc mb host_name/bucket_name/directory_name

 

 

버킷 & Object 리스트 확인

- 명령어 형식 : mc ls host_name

 

- Ojbect 리스트도 ls 명령어를 통해 확인 할 수 있다.

- 명령어 형식 : mc ls host_name/bucket_name

 

 

버킷 & 디렉토리 삭제

- 명령어 형식 : mc rb host_name/bucket_name

 

 

단, 버킷 내에 Directory 또는 Object 가 존재하여 버킷이 비어있지 않을 경우 rb 명령어를 사용하여 직접 버킷을 삭제할 수 없다. 포털을 통해 삭제하거나 하단의 명령어를 사용하여 강제로 버킷을 삭제할 수 있습니다.

mc rb --force host_name/bucket_name

 

파일 올리기

- 명령어 형식 : mc cp object_name host_name/bucket_name

test.csv 파일을 ptty 버킷에 업로드 한다.

ptty 버킷에 test.csv 파일이 업로드 됐다.

 

파일 삭제하기

- 명령어 형식 : mc rm host_name/bucket_name/object_name

 

 

리스트에서 test.csv Object가 존재하지 않음을 확인한다.

 

 

 

KT Cloud 포털에서 확인 및 관리하기 (Storage 3.0)

MinIO Client를 통해 생성한 버킷, 업로드한 Object 파일 등은 모두 KT Cloud 콘솔 Storage 3.0 에서 확인된다.

 

MinIO Client를 사용하여 KT_SS1/ptty/ptty_dir 위치에 test.csv 파일을 업로드 한다.

 

 

포털에서 해당 파일을 확인해보자.

 

파일 박스 클릭 후, 파일 목록을 클릭한다.

MinIO Client를 통해 업로드한 Objecct 파일을 확인할 수 있다.