Natural born IT Natural born IT

데이터 분석 플랫폼인 Databricks 를 GCP 에서 사용하고자 할때, Bigquery를 Data source로 어떻게 사용하는지에 대한 가이드를 작성해보았다. 관련 문서 Databricks 공식 guide Google BigQuery | Databricks on Google Cloud 사전 진행 조건 Databricks 가 Enable된 프로젝트 A가 존재(Billing Project) — Billing 권한을 가진 유저가 Marketplace에서 ‘Databricks’를 검색하여 해당 페이지에서 ‘SUBSCRIBE’를 진행해야함 — Billing 권한이 없을경우 아래와 같은 에러 메세지 발생 Databricks에서 read를 할 수 있는 데이터가 존재 — Databricks를 Enable한 프로젝..

참고 링크 : cloud.google.com/compute/docs/autoscaler/predictive-autoscaling 예측 자동 확장 사용 | Compute Engine 문서 | Google Cloud 미리보기 - Predictive autoscaling 이 기능에는 Google Cloud Platform 서비스 약관의 GA 출시 전 제공 서비스 약관이 적용됩니다. GA 이전 기능은 지원이 제한될 수 있으며, GA 이전 기능의 변경사항이 다른 GA cloud.google.com 기존 관리형 인스턴스 그룹을 이용하여 auto scaling을 사용하였던 경우, 실시간성으로 인스턴스를 추가해도 애플리케이션 용량이 빠르게 늘어나지 않아서 일부 유저가 지연을 경험했을것이다. 이러한 현상을 예방하기 위해..

원문 link ​https://static.googleusercontent.com/media/www.google.com/ko//appsstatus/ir/bd9m3vkqwpvkk4j.pdf ㅇ 원인 구글 서비스 대다수가 Blob (binary large objects) storage 사용중 (비정형 데이터의 내부 분산 시스템)으로 이 저장 시스템은 구글 내부 클라이언트 서비스와 상호작용하는 Frontend, Metadata 관리하는 Middle layer, Blob Backend storage를 가지고 있음 클라이언트가 Frontend에 요청하면 Metadata 서비스로 전달이 되는데 Metadata 서비스가 오버로딩 되기 시작하면서 다른 구글 서비스로부터 트래픽이 증가함 → 오버로딩된 작업이 재시도되면서..

ㅇ Cloud Dataproc : GCP에서 Hadoop, Spark, Hive 및 Pig를 빠르고 쉽게 관리 할 수있는 방법 Compute Engine 가상 머신 위에 90초 이내에 구축 가능 클러스터가 실행되는 동안 확장 or 축소 가능 Stackdriver를 사용하여 클러스터 모니터링 가능 dataset 크기를 알고 있거나 클러스터 크기를 직접 관리하는 경우에 좋음 사용 이유 : - On premise 환경에서 Hadoop 사용시 HW가 필요하지만 Dataproc에서 작업하면 사용하는 동안만 리소스에 대한 비용 지불 - On premise 환경의 Hadoop 작업을 클라우드로 쉽게 Migration 가능 - Cloud Storage에 있는 데이터를 빠르게 분석 가능( 클러스터를 평균 90초 이내 생..

출처 : https://cloud.google.com/certification/guides/professional-cloud-architect/ [영문version] 1. Designing and planning a cloud solution architecture 1.1 Designing a solution infrastructure that meets business requirements. Considerations include: Business use cases and product strategy Cost optimization Supporting the application design Integration with external systems Movement of data Design d..

- Cloud Datastore : 비정형 객체 저장 or 트랜잭션, SQL 같은 쿼리 지원 해야하는 경우 Entity당 최대 단위 크기가 1MB 인 테라 바이트 용량 제공 App engine의 application에 사용되는 반구조화된 App data에 적합 - Cloud Bigtable : 대량의 구조화된 객제 저장시 적합 셀당 최대 단위크기 10MB, 행당 100MB인 Peta byte 용량 제공, AdTech, Financial 또는 IoT 데이터와 같이 대량의 읽기 / 쓰기 이벤트가있는 분석 데이터에 가장 적합 - Cloud Storage : 큰 이미지나 영화와 같이 10MB보다 큰 파일 저장 경우 개체당 최대 5 TB 단위 크기로 Peta byte 용량 제공 이미지, 대용량 미디어 파일 및 백..

출처 : https://cloud.google.com/certification/guides/cloud-engineer/ [한국어판] 1. 클라우드 솔루션 환경 설정 1.1 클라우드 프로젝트 및 계정 설정 활동은 다음과 같습니다. 프로젝트 만들기 프로젝트 내에서 사전 정의 된 IAM 역할에 사용자 할당 Cloud Identity에서 사용자 관리 (수동 및 자동화) 프로젝트 내에서 API 사용 하나 이상의 Stackdriver 작업 공간 프로비저닝 1.2 결제 구성 관리. 활동은 다음과 같습니다. 하나 이상의 결제 계정 만들기 결제 계정에 프로젝트 연결 청구 예산 및 알림 설정 일별 / 월별 요금을 계산하기위한 결제 내보내기 설정 1.3 명령 줄 인터페이스 (CLI), 특히 Cloud SDK 설치 및 구성 ..