IT/클라우드 컴퓨팅 (5) 썸네일형 리스트형 GCS) DELETE - CLOUD SHELL $ gsutil ls -r gs://{project_name}/{category}/1_basic/2024-03-23/**/*.json | while read file; do size=$(gsutil du "$file" | awk '{print $1}'); if [[ $size -lt 3072 ]]; then gsutil rm "$file"; fi; done 폴터 안에 폴더들을 순회하며 3KB 이하의 데이터들을 삭제하고자 해당 코드를 Cloud Shell 에서 실행하였다. gsutil ls -l 명령을 사용하여 파일 세부 정보를 가져와서 첫 번째 줄에서 파일 크기를 추출하고 있으나 두 번째 스크립트에서는 gsutil du 명령을 사용하여 직접 파일 크기를 가져오고 있다. 삭제시에는 백업을 하지 않는 이상 .. GCP - 데이터 웨어하우스 아키텍처 Google BigQuery 1. 빠른 SQL 쿼리 엔진 2. 데이터 저장을 위한 관리형 스토리 일괄 데이터나 스트리밍 데이터들 수집하여 SQL 구문을 통하여 쿼리 할 수 있다. 기존에 SQL 구문과 동일하게 작성 가능하다. 필터링,그룹핑 등 활용 가능. FROM '프로젝트. 데이터셋.데이터테이블' # 데이터셋은 테이블의 집합 BigQuery는 직접 또는 Cloud Dataflow 파이프라인을 통한 스트리밍 데이터 수집을 지원합니다. BigQuery는 데이터 유형으로 ARRAY를 기본적으로 지원하고 STRUCT 가능. STRUCT 과 ARRAY를 써서 JOIN을 최소화 할 수 있다. 데이터 레이크 - 빅테이블,클라우드스토리지로 구축 가능 데이터 웨어하우스 - ETL 과정을 거쳐서 빅쿼리로 구축 데이터 마.. GCP - 선점형 VM 디렉토리를 gs로만 변경해주면 된다! Dataproc 의 장점 - 선점형 VM으로 가격 절감성 높아짐 SSH(Secure Shell) - (2) SSH 생성 윈도우 10 또는 11 에서 선택적 기능을 검색해서 OpenSSH 를 검색해서 설치해 줍니다. 관리자 권한으로 CMD 창을 실행하고 ssh-keygen을 입력합니다. 엔터 키를 누르면 개인 키가 저장될 경로를 묻는데 아무것도 입력하지 않고 엔터 키를 누르면 기본 경로로 자동 저장 됩니다. 그후 passphrase를 입력하라는 문구가 뜨는데 개인 키 자체에 대한 비밀번호입니다. 이 암호를 설정시 보안성이 더 강화되니 추천드립니다. 입력 안하고 엔터키를 두번 누르면 개인 키 비번이 생성되지 않습니다. 위 과정을 마치면 그림이 나오면서 생성 완료가 되었다는 것을 알려주는 데요. 실제 로컬 컴퓨터의 경로를 들어가 보면 아래 그림처럼 생성된 것을 확인할 수 있습니다. 키 페어를 완성했으니 서버에 공개.. SSH(Secure Shell) - (1) SSH 란 무엇일까요? SSH는 Secure Shell의 줄임말로, 원격 호스트에 접속하기 위해 사용되는 보안 프로토콜입니다. (*Shell(쉘): 명령어와 프로그램을 사용할 때 쓰는 인터페이스를 말합니다. 좀 더 자세하게 표현하자면 커널과 사용자 간의 다리 역할을 하는 것으로, 사용자로부터 명령을 받아 그것을 해석하고 실행하는 역할을 합니다. 흔히 검은 바탕에 흰 글자가 나오는 명령어 입력 환경을 떠올리시면 됩니다.) 기존 원격 접속은 ‘텔넷(Telnet)’이라는 방식을 사용했는데, 탈취가 너무 쉬워서 이를 보안하기 위해 SSH 기술이 등장했고, 현재 원격 접속 보안을 위한 필수적인 요소로 자리잡고 있습니다. SSH는 서버 보안에 있어서 가장 대표적이고 유용한 수단이기 때문에 많은 클라우드 서비스에서 .. 이전 1 다음
