별의 콤퓨타 공부

Commercy: 마케터를 위한 실시간 이커머스 분석 솔루션 (4) 통합 플랫폼 & 마무리이커머스 마케팅은 점점 더 실시간성과 정밀도를 요구하고 있습니다.매출, 전환율, 방문자 수, 이탈률 등 핵심 지표들이 수시로 변하는 가운데, 마케터는 복잡한 데이터를 해석하고 전략을 빠르게 수립해야 합니다.Commercy는 이러한 니즈에 맞춰 '대시보드 + 전략 챗봇 + 알림 시스템'을 하나의 플랫폼에 통합한 서비스입니다.통합 플랫폼 구조Commercy는 세 가지 핵심 기능을 포함하고 있습니다.Power BI 대시보드실시간 KPI 모니터링, 필터링 분석, 유입/이탈 등 주요 지표 확인AI 전략 챗봇자연어 질문에 대해 SQL 및 문서 기반 전략 응답 제공Teams 자동 리포트병목 발생 등 이상 탐지 시 자동 경고 메시..

Commercy: 마케터를 위한 실시간 이커머스 분석 솔루션 (3) AI Agent & RAG모델 Commercy 프로젝트에서는 마케터가 직접 데이터를 다루지 않더라도 실시간으로 마케팅 전략을 수립할 수 있도록 AI 챗봇 기반 코파일럿을 구현했습니다. 단순히 모델에 질문을 던지는 구조를 넘어서, 실제 데이터베이스 조회, 문서 검색, 논리적 추론을 병합하여 응답을 구성할 수 있는 시스템입니다. 더불어, 이러한 지능형 응답이 가능하도록 뒷단의 RAG 문서 처리 파이프라인도 함께 자동화하였습니다.1. 실시간 인터랙션을 고려한 챗봇 UI 설계Commercy의 챗봇은 단순한 QA 인터페이스가 아닌, 대시보드와 함께 병렬적으로 사용되는 환경을 고려하여 설계되었습니다.사용자의 몰입도를 높이고 흐름을 방해받지 않도록 ..

k08b : Microsoft Fabric에서 Data Wrangler 로 데이터 전처리하기 1. 사전작업으로 새로운 workspace를 만들어주고, create로 새 노트북을 추가해준다.2. 링크를 통해 데이터셋을 받아와주고 data wragler를 사용하기 위해 판다스로 변환해준다.3. Data Wrangler에 들어간다. 컬럼을 선택하면 요약 정보들을 볼 수 있다. 컬럼의 값에 . 이 섞여있는 것들이 있어서 이를 replace하는 기능을 추가한다.왼쪽의 오퍼레이션에서 기능을 추가하면 아래에 실제 수행 코드가 생기고, 정제된 데이터로 프레임이 보인다. 첫 문자를 대문자로 바꾸는 등의 기능도 간편하게 가능하다. Apply를 하면 지금까지 추가했던 오퍼레이션이 코드의 형태로 노트북에 추가된다.코드를 ..

보안 관련 프로세스Git 설정1. .gitignore를 통해 .env 등의 민간/불필요 파일을 제외하였다.2. Requirement.txt로 실행환경을 고정하였다.3. Security_guide를 작성해 작업시 보안 내용을 수시로 확인 가능하게 문서화하였다.4. 각 폴더마다 사용법 및 보안 준수 내용을 적어 명시화 Azure Storage 선택문제점 : Raw-Data가 14GB의 대용량 데이터를 깃만으로 공유하기가 힘들었으며, 금융정보는 민감데이터를 대량 함유하고 있으므오 전송/저장 중 암호화가 가능한 외부 저장소를 경우해 접근할 필요성이 있었다. 따라서 Azure Storage를 사용하기로 했다. Azure Storage1. Azure 서비스에서 텍스트 및 이진 데이터에 대한 확장성(Data lake..

이론Fabric의 주요 구성요소Lakehouse파일 기반 저장소 + 테이블 뷰WarehouseSQL 기반 분석 저장소NotebookPython 또는 Spark SQL 기반 분석 환경Dataflow Gen2Power Query 기반 ETLPipeline워크플로 자동화 도구Power BI시각화 및 리포팅 도구 1. Microsoft Fabric 개요1.1 통합 SaaS 플랫폼Power BI, Azure Data Factory, Synapse Analytics 기능이 Microsoft Fabric 내에서 통합된 형태로 제공됨완전한 SaaS 기반 데이터 분석 플랫폼으로 설치 필요 없음1.2 OneLakeMicrosoft Fabric의 기본 데이터 레이크 저장소조직 전체 데이터를 단일한 논리 공간(Logical ..

google analytics sample 데이터를 사용하여 구글 굿즈샵 페이지의 유저, 쇼핑몰의 로그를 데이터로 실시간 저장하고, 페이지 관리자를 위해 Power BI와 연결해주고, AI Agent를 제공하는 서비스를 구상했다. 그 과정에서 구현해봤는 기능 구현을 소개한다. 일단 google analytics 데이터는 정적으로 이미 저장된 데이터인데, 이걸 실시간 데이터로 보이게 하기 위해 로그데이터를 azure stream anlytics와 event hubs를 이용하여, 일정시간 마다 데이터를 보내주는 형태로 실시간 데이터 형태를 구상했다.일단 이 작업은 기본 open ai 와 power bi 서비스를 어느정도 만들고 이어주는 방식으로 진행하기로 하고,일단 SQL DB에 미리 데이터를 적재하고 이를..

Commercy: 마케터를 위한 실시간 이커머스 분석 솔루션 (2) 실시간 로그데이터와 대시보드&웹훅이번 게시글에서는 실시간 대시보드 기능과모니터링 자동 팀즈 메신저 (웹훅) 기능에 대해 설명하겠습니다. 아래는 두 기능의 기본 파이프라인입나다. 대시보드1. 대시보드 상세 구성 Commercy는 Power BI를 기반으로 하여, 실시간 KPI를 추적하고 고객군·행동 분석은 물론 감성 뉴스 수집까지 통합한 대시보드를 제공합니다.이를 구현하기 위해 저희는 SQL Server와 Power BI를 직접 연결하지 않고,MS Fabric의 기능들(Dataflow Gen2, Lakehouse, SQL Endpoint, Semantic Model)을 중간 계층으로 두는 방식으로 성능과 안정성을 고려한 파이프라인을 설계했..

Commercy: 마케터를 위한 실시간 이커머스 분석 솔루션 구축기1. 프로젝트 개요Commercy는 이커머스 마케터가 실시간 고객 행동 데이터를 기반으로 마케팅 전략을 수립하고 이상 상황에 신속히 대응할 수 있도록 돕는 통합 분석 솔루션입니다.주요 문제 인식실적 대시보드는 있지만 실시간 데이터가 아닌 경우 전략 수립에 한계가 있음KPI 수치를 보더라도 직관적인 전략 도출이 어려움이상징후를 실시간으로 감지하지 못해 사고 이후 인지하는 경우 많음솔루션 목표실시간 KPI 및 고객 행동 모니터링데이터 기반 마케팅 전략 자동 제안위기 알림 시스템 구축을 통한 즉각 대응 2. 주요 기능 및 시스템 구조대시보드 (MS Fabric & Power BI 기반)실시간 KPI 추적매출, 유입/이탈, 고객군별 분석, 뉴스 ..

https://school.programmers.co.kr/learn/courses/30/lessons/301646 프로그래머스SW개발자를 위한 평가, 교육의 Total Solution을 제공하는 개발자 성장을 위한 베이스캠프programmers.co.kr 문제 설명 대장균들은 일정 주기로 분화하며, 분화를 시작한 개체를 부모 개체, 분화가 되어 나온 개체를 자식 개체라고 합니다.다음은 실험실에서 배양한 대장균들의 정보를 담은 ECOLI_DATA 테이블입니다. ECOLI_DATA 테이블의 구조는 다음과 같으며, ID, PARENT_ID, SIZE_OF_COLONY, DIFFERENTIATION_DATE, GENOTYPE 은 각각 대장균 개체의 ID, 부모 개체의 ID, 개체의 크기, 분화되어 나온 날..

1. 사물인터넷(IoT, Internet of Things)이란사람의 개입 없이 사물(디바이스)이 인터넷을 통해 서로 연결되어 데이터를 수집, 전송, 분석, 제어하는 기술 및 개념입니다.센서, 엑추에이터, 네트워크, 클라우드, 애플리케이션으로 구성됨.예: 스마트홈(온도조절, 조명제어), 스마트팩토리(설비 모니터링), 헬스케어 웨어러블 기기 등.2. Azure IoT Hub란Microsoft Azure의 클라우드 기반 IoT 디바이스 관리 및 메시지 허브 서비스.수백만 개의 IoT 디바이스에서 데이터를 안전하게 수집, 모니터링, 관리, 제어 가능.양방향 통신 지원:디바이스 → 클라우드 (업링크)클라우드 → 디바이스 (다운링크)3. Azure IoT Hub의 다양한 기능규모 확장 가능: 수백만 개의 디바이스..