별의 콤퓨타 공부

그동안 배운 1. Azure function trigger,2. ms teams webhook,3. event hubs 를 바탕으로 날씨 api를 통해 실시간으로 날씨정보를 가져오고 이것저것 활용하는 시스템을 구상해봤다. 배운 것들 기반으로 구현한 기능들을 정리하자면 아래와 같다.1 - 1. http트리거로 검색기록 input-weather 컨테이너에 저장,1 - 2. 1분마다 timer 트리거로 자동으로 받은 날씨 정보 auto-weather컨테이너에 저장1 - 3, 10분마다 timer 트리거로 auto-weather 컨테이너의 10분내의 정보 요약본(평균)만들고 output-weather컨테이너에 저장2. 10분마다 저장하는 날씨 요약본을 ms teams에 메세지로 보냄3. 10분마다 저장하는 날씨..

참고자료 : Azure Functions 시작 | Microsoft Learn 지금까지는 이렇게 vs code에서 azure function을 통해 함수를 만들었는데, 이번에는 azure potal을 통해 한 번 해보겠다. 1. Function app 만들기리소스 그룹에서 만들기를 선택후 함수앱을 만들어준다. 여러가지 호스팅 옵션을 선택할 수 있는데, 나는 사용량으로 선택했다.각 호스팅 옵션에 대한 설명은 아래의 링크에 자세하게 나와있다. Azure Functions 비율 크기 조정 및 호스팅 | Microsoft Learn 아래의 옵션대로 만들어줬다 (지역은 후에 East US 2로 옮겼다.)지금은 안 쓸건데 배포를 보니까 깃허브랑 연결해서 리포지토리에 코드 변경 사항이 있을 때마다 콘텐츠를 앱에 ..

Cold data드물게 사용되거나 아예 사용되지 않는 데이터Cold Storage에너지 절감을 위해 연산 능력에서 손해를 보더라도 낮은 가격과 저전력으로 자주 사용되지 않는 데이터를 처리하는 데이터 저장 장치 및 시스템 Cold Storage 소개 Blob 데이터를 위한 액세스 계층핫 계층 - 자주 액세스하거나 수정하는 데이터를 저장하는 데 최적화된 온라인 계층입니다. 핫 계층은 스토리지 비용이 가장 높지만 액세스 비용은 가장 낮습니다.쿨 계층 - 자주 액세스하거나 수정하지 않는 데이터를 저장하는 데 최적화된 온라인 계층입니다. 쿨 계층의 데이터는 최소 30일 동안 저장해야 합니다. 쿨 계층은 핫 계층에 비해 스토리지 비용이 낮고 액세스 비용은 높습니다.콜드 계층 - 거의 액세스하거나 수정하지 않지만 여..

Azure Event HubAzure Event Hub는 확장성이 뚸어난 데이터 스트리밍 플랫폼이자 이벤트 수집 서비스이다. 이점 : • 실시간으로대량의데이터를안정적이고신뢰성있게수집, 처리및저장• IoT 센서, 모바일 앱, 웹사이트 클릭스트림등다양한소스에서발생하는이벤트처리• 수집된데이터를실시간분석, 대시보드구축, 트랜잭션처리등다양한목적으로활용• Event Hubs의 주요 특징: 대규모 병렬 처리, 쉬운 연동 (Kafka 프로토콜 지원 등) Evnet Hub의 핵심기능 : Kafka 호환, 스키마 레지스트리 +) 사담이지만 Kafka를 사용하지 않았을 경우 예시를 들어보자면 [1. API 엔드 포인트와 데이터베이스 사용, 2. API 엔드 포인트와 Kafka 데이터베이스 사용]NFT를 민팅하는 이벤트를..

태양광 발전량 예측 - 일사량 예측정보 기반 태양광 발전량 전망 태양광 발전량 예측 - 일사량 예측정보 기반 태양광 발전량 전망커뮤니티 사용시 아래 각 호에 해당하는 경우에는 이용자의 서비스 이용을 일부 또는 전부 제한할 수 있습니다. 서비스 이용을 일부 또는 전부 제한하는 것에는 이용자의 회원자격 박탈, 서비스bd.kma.go.kr 태양광 발전량 예측 API는 일반적으로 JSON 형식(Key/Value 쌍)으로 응답 데이터를 반환한다. fcstDate: 예측 날짜fcstTime: 예측 시간regCd: 지역 코드qgen: 예측 발전량pcap: 설비 용량srad: 일사량temp: 기온wspd: 풍속웹 훅이란웹 훅은 다른 애플리케이션이나 서비스와의 통합을 위한 HTTP 호출 지점으로, 특정 이벤트가 발생했을..

실시간데이터의 이점- 과거 데이터에 의존하지 않고 빠르게 변화하는 시장과 상황에 빠르게 대응할 수 있다.- 잠재적인 문제를 사전에 발견하고 예방도치를 취할 수 있다- 실시간 고객 행동 분석을 통해 맞춤형 고객 경험 제공- 새로운 고객 요구를 파악하여 숨겨진 비즈니스 기회 창출 실시간 데이터 분석의 주의점- 실시간성- 내결함성 : 시스템에 장애가 발생하더라도 손실없이 지속적으로 처리- 확장성 : 데이터 양과 속도 변화에 따라 성능 변화- 분석정확도- 다양한 데이터 형식 처리 배치처리데이터를 일정 시간 모아 한번에 처리대용량 처리, 복잡한 처리에 유용분석결과가 늦고 실시간 데이터 처리가 불가능정해진 기간동안 모은 데이터를 분석하는 경우, 실시간성이 중요치 않은 경우 실시간 처리데이터가 생성되는 즉시 분석하고..