용범 up해

이번 포스팅에서는 AWS EC2 인스턴스에 로컬 VSCode를 연결하는 방법입니다. 1. 플러그인 설치 F1을 눌러서 Remote Development를 설치한다. 2.SSH Config 파일 생성 F1을 눌러서 Remote-SSH : Connect to Host을 연다 yong은 이미 생성한 호스트이며 처음 생성할 경우 Configure SSH Host를 선택해서 Config를 생성해야 합니다. conf 파일을 생성할 경로를 선택합니다. Host는 저장할 호스트명이고, 나중에 Remote-SSH:Connect to Host에서 호스트명으로 선택할 수 있습니다. HostName은 ip를 지정해주면 됩니다. EC2같은 경우 Public DNS 이름을 입력하면 됩니다. 3.ssh 접속 F1을 눌러 Remot..

Redshift 클라우드에서 완벽하게 관리되는 페타바이트급 데이터 웨어하우스(DW) 서비스입니다. 레드시프트가 가진 페타바이트 규모의 데이터와 S3에 구축된 데이터 레이크에 있는 엑사바이트 규모의 데이터에 대해 쿼리를 실행할 수 있습니다. 기존의 데이터 웨어하우스 보다 10배 빠른 성능을 자랑합니다 기계학습을 통해 프로세스들의 부하량을 계산하고 가장 빠른 처리가 가능하게 대기열을 구성합니다. 클라우드 기반이다 보니 간단 신속한 확장과 백업이 가능합니다. 여러 조인 및 하위 쿼리가 포함된 매우 복잡한 SQL과 관련된 워크로드에 대해 가장 빠른 쿼리 성능을 가짐 Athena 표준 SQL을 사용해 Amazon S3에 저장된 데이터를 간편하게 분석할 수 있는 대화식 쿼리 서비스입니다. 서버리스 서비스이므로 설정..

빅데이터의 시대가 되면서 데이터의 양이 많아지고 ETL 프로세스가 복잡해져가고 있습니다. 빅데이터를 위한 데이터 스토리지 리파지토리인 Data Warehouse와 Data Lake 2가지 방법이 있습니다. 본 포스팅은 Data Lake를 구축해보는 실습입니다. 💡 Data Warehose? 먼저 테이블을 설계를 제대로 정한 후에 데이터를 가공하고 축적합니다. 일반적인 RDB와는 달리 대량의 데이터를 장기 보존하는 것에 최적화되어 있습니다. 💡 Data Lake? 데이터를 원래의 형태로 축적해두고 나중에 그것을 필요에 따라 가공하고 테이블을 설계합니다. 데이터 저장 형식은 자유지만, 대부분의 경우는 CSV나 JSON 등의 범용적인 텍스트 형식이 사용됩니다. 아키텍처 💡 AWS Glue? AWS Glue는 ..

python에서 AWS 객체 스토리지 서비스인 S3에 접근하여 로컬에 저장된 이미지 파일을 업로드하는 실습입니다. S3란? Amazon S3(Amazon Simple Storage Service)는 업계 최고의 확장성과 데이터 가용성 및 보안과 성능을 제공하는 객체 스토리지 서비스이다. 즉, 어떤 규모 어떤 사업의 고객이든 이 서비스를 사용하여 웹 사이트, 모바일 애플리케이션, 백업 및 복원, 아카이브, 엔터프라이즈 애플리케이션, IoT 디바이스, 빅데이터 분석 등과 같은 다양한 사용 사례에서 원하는 만큼의 데이터를 저장하고 보호할 수 있다. Amazon S3 작동 방식 S3는 데이터를 버킷 내의 객체로 저장하는 객체 스토리지 서비스다. 객체는 해당 파일을 설명하는 모든 메타데이터이다. S3에 데이터를 ..

💡 S3 ? Amazon S3(Amazon Simple Storage Service)는 업계 최고의 확장성과 데이터 가용성 및 보안과 성능을 제공하는 객체 스토리지 서비스이다. 즉, 어떤 규모 어떤 사업의 고객이든 이 서비스를 사용하여 웹 사이트, 모바일 애플리케이션, 백업 및 복원, 아카이브, 엔터프라이즈 애플리케이션, IoT 디바이스, 빅데이터 분석 등과 같은 다양한 사용 사례에서 원하는 만큼의 데이터를 저장하고 보호할 수 있다. Amazon S3 작동 방식 S3는 데이터를 버킷 내의 객체로 저장하는 객체 스토리지 서비스다. 객체는 해당 파일을 설명하는 모든 메타데이터이다. S3에 데이터를 저장하려면 먼저 버킷을 생성하고 버킷 이름 및 AWS 리전을 지정해야 한다. 그런 다음 S3에서 객체를 해당 버..