IT (42) 썸네일형 리스트형 데이터 구조 변경에 따른 예외값 설정 for item in data: selling_info_vo = item.get('sellingInfoVo', None) selling_info = selling_info_vo.get('sellingInfo', {}) if selling_info_vo is not None else {} for 문에서 selling_info_vo 키가 없을 경우가 있다. 최초 데이터 구조는 같지만 예외인 경우가 발생할 경우를 대비해서 코드를 한줄 더 추가해주었다. None 이 아닐때 sellinginfo 키에 해당하는 값을 가져오고 None 일때는 빈 딕셔너리가 sellinginfo 변수에 할당되게 수정. 뭔가 코드상에 예외값이 발견되어 코드가 추가됬다는 것을 알 수 있다. for item in data: selling_.. 1. Git 으로 버전 관리하기 중앙집중식 버전 관리(CVCS) - CVS, Subversion, Perforce 같은 시스템은 파일을 관리하는 서버가 별도로 있고 클라이언트가 중앙 서버에서 파일을 받아서 사용(Checkout) 중앙 데이터베이스가 있는 하드디스크에 문제가 생기면 프로젝트의 모든 히스토리를 잃는다. 물론 사람마다 하나씩 가진 스냅샷은 괜찮다. 로컬 VCS 시스템도 이와 비슷한 결점이 있고 이런 문제가 발생하면 모든 것을 잃는다. 관리자는 누가 무엇을 할지 꼼꼼하게 관리할 수 있다. 모든 클라이언트의 로컬 데이터베이스를 관리하는 것보다 VCS 하나를 관리하기가 훨씬 쉽다. 분산 버전 관리 시스템 - DVCS(분산 버전 관리 시스템)을 설명할 차례다. Git, Mecurial, Bazaar, Darcs 같은 DVCS에서의 .. API 와 SDK API API는 Application Programming Interface의 약자입니다. 인터페이스는 두 가지 시스템이 상호 작용할 수 있는 지점을 의미합니다. API는 이러한 상호 작용을 위한 통로로 생각할 수 있습니다. API는 서로 다른 두 애플리케이션이 데이터를 주고받고 서비스를 공유할 수 있도록 연결해주는 역할을 합니다. 예를 들어, 페이스북의 공유하기 기능을 티스토리 블로그 페이지에서 사용하고 싶다고 가정해봅시다. 이때 API를 사용하면 티스토리와 페이스북이 연결되어, 티스토리 블로그 페이지에서 공유하기 버튼을 누르면 페이스북 서버와 통신하여 해당 기능을 실행할 수 있습니다. 간단히 말하면, API는 다른 애플리케이션의 기능을 가져와 우리가 원하는 방식으로 사용할 수 있도록 도와주는 도구라고.. (seleniumwire) install Installation Install using pip: # pip install selenium-wire 암호화를 구축할 수 없다는 오류가 발생하면 이전 버전의 pip를 실행 중일 수 있습니다. pip 업그레이드를 시도하기 위해 python -m pip install --upgrade pip다음 명령을 다시 실행해보세요. 관련하여 자세한 사항은 아래 링크에서 확인 가능합니다. https://github.com/wkeeling/selenium-wire#bot-detection (conda) 자주 쓰는 명령어 모음 conda --version # 현재 conda 버전 확인 conda update conda # conda 업데이트 conda env list # 기존 가상 환경 확인 conda list # 현재 환경에서 설치된 패키지 확인 conda create -n [환경 이름] python=3.6 # 가급적 python 버전은 명시하자 conda create -n [환경 이름] --clone base # base 환경에 깔린 의존성 설치하면서 환경 생성 conda env create -f environment.yml # environment.yml 있으면 참고해서 환경 생성 conda activate [환경 이름] conda deactivate conda env remove -n [환경 이름] # env를 적으면 .. GCP - 데이터 웨어하우스 아키텍처 Google BigQuery 1. 빠른 SQL 쿼리 엔진 2. 데이터 저장을 위한 관리형 스토리 일괄 데이터나 스트리밍 데이터들 수집하여 SQL 구문을 통하여 쿼리 할 수 있다. 기존에 SQL 구문과 동일하게 작성 가능하다. 필터링,그룹핑 등 활용 가능. FROM '프로젝트. 데이터셋.데이터테이블' # 데이터셋은 테이블의 집합 BigQuery는 직접 또는 Cloud Dataflow 파이프라인을 통한 스트리밍 데이터 수집을 지원합니다. BigQuery는 데이터 유형으로 ARRAY를 기본적으로 지원하고 STRUCT 가능. STRUCT 과 ARRAY를 써서 JOIN을 최소화 할 수 있다. 데이터 레이크 - 빅테이블,클라우드스토리지로 구축 가능 데이터 웨어하우스 - ETL 과정을 거쳐서 빅쿼리로 구축 데이터 마.. GCP - 선점형 VM 디렉토리를 gs로만 변경해주면 된다! Dataproc 의 장점 - 선점형 VM으로 가격 절감성 높아짐 GitHub- 깃허브 레파지토리 복구 *위 그림 한장으로 설명 끝 1. 프로필의 셋팅 클릭 2. 좌측 사이드바 레파지토리 클릭 3. 딜리티드 레파지토리 클릭 4. 휴지통에서 레파지토리 복원 버튼 클릭 # 방금 삭제한 repository 는 10 여분 뒤에 휴지통에 노출되니 하염없이 기다리지 마세요. 이전 1 2 3 4 5 6 다음
