Snowflake?
Snowflake는 2014년에 출시한 데이터 저장부터 시각화, 머신러닝까지 가능한 클라우드 플랫폼이다. 글로벌 클라우드라고 불리는 AWS, GCP, Azure에서 모두 동작할 수 있어 많은 회사들이 Snowflake를 선택하고 있기도하다. 데이터 판매가 가능하기도 하며, ETL과 관련된 다양한 데이터 통합 기능을 제공한다.
Snowflake의 특징
- 가변 비용 모델: 스토리지와 컴퓨팅 인프라가 별도로 설정됨
- SQL 기반 데이터 처리 가능
- CSV, JSON, Parquet 등 다양한 데이터 포맷 지원
- 배치 데이터 중심이지만 실시간 데이터 처리도 지원
- Time Travel 기능으로 과거 데이터까지 분석 가능
- 웹 콘솔 및 Python API로 관리/제어 가능 (ODBC, JDBC 연결 지원)
- 클라우드 스토리지를 외부 테이블로 사용 가능
- Data Marketplace를 통한 데이터 판매 가능
- Data Sharing을 통해 사내 또는 파트너 회사에게 데이터 공유 가능
Snowflake의 계정 구성
Snowflake의 계정은 Organization, Account, Database 순서로 구성되어있다.
- Oraganization은 고객(회사)이며, 말 그대로 최상위 레벨의 컨테이너를 뜻한다.
- Account는 자체 사용자(1명)를 뜻하며, 접근권한을 독립적으로 가진다.
- Database는 1개의 Account에 속한 데이터를 다루는 논리적인 컨테이너다.
Snowflake 30일 무료 평가판 사용해보기
https://www.snowflake.com/en/emea/
위 링크를 통해 snowflake 홈페이지로 진입해보자.
'START FOR FREE' 클릭!
위 정보를 차례대로 입력해준다.
그 다음 에디션 선택과 클라우드 공급자를 선택할 수 있는데, 나는 Standard 에디션과 AWS를 선택했다. (지역 = 서울)
이어지는 몇 가지 설문에 대답하면, 위와 같이 등록이 완료되었다는 메시지가 노출된다. 이제 이메일로 가서 확인하면,
위와 같이 활성화 버튼이 있는 메일을 받은 것을 확인할 수 있다. 'CLICK TO ACTIVATE' 버튼을 클릭한다.
여기에 사용할 계정의 이름과 암호를 입력해준다.
이제 위와 같이 Snowflake를 사용할 수 있게 되었다. 무료 평가판은 30일 또는 400달러가 한도이니 이에 유의하자.
Snowflake는 따로 프로그램이 있는게 아닌 특정 URL로 로그인해야 서비스를 이용할 수 있다.
이메일에서 수신한 URL을 기억해두어야 한다.
Snowflake 둘러보기 & 기본설정
Worksheet
Worksheet에서 다양한 예시가 담긴 노트북 파일을 확인할 수 있다.
Worksheet는 웹 SQL 에디터 기능으로, 위와 같이 일종의 노트북 같은 방식으로 작동한다.
Database
Snowflake는 기본적으로 2개의 데이터베이스를 세팅해놓는다. 좌측 메뉴 바에서 Data - Databases를 클릭해보자.
'SNOWFLAKE'와 'SNOWFLAKE_SAMPLE_DATA'라는 2개의 데이터베이스 밑에 수많은 스키마가 있고, 그 아래에 존재하는게 테이블이다.
Warehouse
스토리지에 있는 데이터를 프로세싱하는 컴퓨팅 리소스인 웨어하우스는 Admin - Warehouses에서 확인할 수 있다. 무료 평가판에서는 COMPUTE_WH라는 웨어하우스가 가장 작은 사이즈로 제공된다. 만약 더 큰 사이즈의 웨어하우스가 필요하다면 우측 상단 '+ Warehouse' 버튼을 통해 새롭게 추가 가능하다.
'Minding's Programming > Knowledge' 카테고리의 다른 글
[CI/CD] CI, CD 개념 및 Github Actions (1) | 2024.11.14 |
---|---|
[BI/시각화] Superset (1) | 2024.10.31 |
[Docker] Docker의 개념 및 기본 실행 명령어 (1) | 2024.10.28 |
[POSTMAN] POSTMAN으로 API 호출해보기 (1) | 2024.10.11 |
[Python] 딕셔너리 max value에 대한 key 찾기 (0) | 2024.10.08 |