스노우플레이크 Snow flake 스노우데이

​

오늘은 코엑스에서 스노우플레이크 스노우데이 행사가 있었다

원래부터 관심있던 스노우플레이크 였기 때문에 아침에 바삐 준비해서 행사 시작 전에 도착했다

영업이익은 별로 좋지 않지만... 사실 이 기업은 미래가치를 보고 판단하는 게 맞다.

사실 옆동네 팔란티어 이익도 그다지 나진 않는다

하지만 미래에 모든 영역의 정보가 디지털화될 것이고 그때 이를 분석하는 능력이 더 중요해질 것이다

​

https://m.stock.naver.com/worldstock/stock/SNOW.K/finance/income/quarter

​

​

스낵뽑기 이벤트, 다과준비, 기념품 그리고 각종 행사들이 많았다

돈 좀 많이 쓴 티가 났다.

내가 받아온 것도 얼마인지 이게 ㅋㅋㅋ...

​

​

​

1년에 2번 큰 행사를 연다

겨울에 snowday

그리고 여름에 라스베가스에서 행사가 열린다 snowflake summit

그 중에 스노우데이는 이 회사에 꽤 큰 행사라고 할 수 있다

​

​

스노우플레이크 현재 개발 중인 소프트웨어

3단계를 거쳐서 개발한다

개발단계. 오늘 보는 건 각자 개발 단계가 다르다

1. Private view

2. Public preview / Validation work

3. GA general available

​

One product, single platform

단일화된 플렛폼을 사용 <- 이를 강조하였다.

​

오늘의 어잰다

플랫폼코어

데이터 클라우드 컨텐츠

Snowflkake 기반 구축

​

​

​

1. 플랫폼코어 platform core

​

Snowgrid- crosscloud

3가지 이슈

​

1) 비즈니스 연속성

A. 크로스 클라우드 비즈니스 연속성 – 카톡사태. 제로에 가까운 데이터 손실 복제. AWS 오리건 – Azure 에 있는 데이터가 복제되어 있다. 앤드유저는 모른다

​

2) 어떻게 다 같이 협업을 할지?

A. 30개 넘는 지역에서 클라우드 3사 이용이 가능하다

B. Add 하는 속도가 빠르다. 올해 50~100개국이 커진다

C. 각 Region 발생한 데이터를 자동으로 공유되게 가능

D. 애널리틱스 개발 중. private view 중이다. 데이터 마켓에서 거래 가능?

​

3) 데이터 스킬과 거버넌스

A. Account 복재. 그대로 복제된다.

B. 태그 기반 마스킹

C. 데이터 테이블이 있다. 마케팅 IT finance. 부서에서 협업.=> impact analysis object dependencies

D. UI도 개발 중

​

Optimized storage 최적화된 스토리지

유니스토어

아이스버그

​

유연한 엔진 성능

Performance

쓴 시간만 비용이 청구된다 – 쿼리가 빨라졌다. 비용이 줄어든다

​

Snowflake 빌드

Snowflake SQL 퍼블릭 프리뷰

Snowpark

최적화된 ram 개발

App development

​

Streamlit in snowflake

인수했음

그리고 이를 시각화하는 플랫폼 능력이 정말 놀라웠다

​

​

파이썬 기반의 의사결정 및 의사소통

위에 사진에서 보면 마케팅을 하는데 4가지의 수단이 있다고 가정했을때,

서치엔진, 비디오, 소셜미디어, 이메일 등의 수단에 얼만큼의 예산을 써야 이익이 극대화될 것인지 보여주는 것이다

물론 컨텐츠적인 능력이 좀 평가되긴 힘들겠지만, 이정도 시각화만 되도 정말 훌륭하다

무엇보다 ppt 같은 자료를 만들지 않고 의사소통이 될 수 있다는 것이 인상적이었다.

​

​

모던 데이터 스택 – silo

-> 모던 데이터가 단일 플렛폼에서 사용

-> 데이터를 넘겨주는 행위를 가로막는다. => 도입하지 않을 수 있겠다

-> Silo 이슈가 계속 존재한다

-> AML 하나의 플렛폼에서 사용 가능

데이터셋 거래가 가능

​

스노우플레이크 아키텍처

3사의 인프라 사용 – 구글 aws azure

아마존을 사용하고 있다

언제든지 확장 가능 데이터 웨어하우스 아마존 S3 사용

데이터 쿼리를 각자 관리된다

클라우드 서비스 – 3층 레이어

3가지 방향의 독립적인 웨어하우스에서 구동

스케일업이 잘된다

데이터 쉐어링.

​

현대화된 데이터 공유

(전통적)DBMS간의 데이터 이동 – 데이블 A 데이터를 고객에게 준다. 라이브 데이터가 아니다.개발 운영 환경 gap이 만들어진다

​

킥보드 데이터, 뉴욕 킥보드 데이터

Reader account 데이터를 볼 수 있다

​

​

​

​

Snowflake data warehouse 정현아

​

모두 다 각자 저장됨

멀티 클러스터링 제공 가능

Sass 솔루션.

Workload등을 침범하지 않도록 한다

Aws 3

​

1. 마이크로 파티션&푸루닝 기술 pruning

Row 기반으로 잘라서 저장한다 파티션 하나

실제로 접근한 파티션을 나타난다

파티션마다 여러 개의 column 값을 모두 메모리단에 보관한다

Ms 단위의 결과값을 볼 수 있다

​

복합적으로 클러스터링키를 바탕으로 리클러스터링을 한다

​

2. 서치 옵티마이제이션 search optimization

각자 조건을 만족시키는 행을 반환하는 쿼리

추가적인 비용이 든다

10기가 100기가 이하 데이터에는 이게 필요가 없다

비용예측 함수

지오그래픽 까지 가능하게

​

3. Materialized view

테이블에서 매출데이터에서 시간별로 매출액을 뽑아내는 걸 수행

매번 수행하지 말고 물리적으로 보관 가능

서머리 테이블은 원본이 변경됐을 때 변경해야 한다는 불편함

Sacle fac

엔진별로 켜고 끄고 할 수 있다

​

​

4. 비용 최적화

A. 모니터링

B. 비용 결제가 사용 가능

C. 파티션 프루닝

​

​

​

​

​

​

​

2월 행사도 참여해봐야겠다

​