Soo 배움일지

비정형 금융 데이터를 다루는 방법과 이를 바탕으로 머신러닝 알고리즘에서 활용할 수 있는 데이터셋을 도출하는 방법을 알아보겠습니다. 가장 이상적인 방법은 비정형 데이터를 수집한 후 의미 있는 특성을 알아낼 수 있는 방법으로 처리하는 것입니다. 금융 데이터의 근본적 형태기본 데이터시장 데이터분석대체 데이터자산가격/이자율/내재 변동성분석가 추천위성/CCTV부채거래량신용 평가구글 검색영업배당/쿠폰이익 예측트위터 / 채팅비용/수익호가/취소뉴스 감성메타 데이터거시/변수공격적 포지션 방향... 기본 데이터감독 기관 제출 자료에서 찾을 수 있는 정보와 비즈니스 분석이 포함, 대개 분기별 회계 데이터자료의 특징자료 보고에 시간 지연이 있다데이터가 소급(당시에는 값을 알 수 없으나 일단 값을 할당)되거나 수정(최초 발표에..

안녕하세요 이번에 쏘카 시승하기 이벤트에 당첨되어 차량을 7일간 탑승할 수 있는 기회를 얻게 되었습니다! 후기를 작성해보겠습니다 쏘카 모바일 어플이 있다면 아래 링크로 26.3.6(금)까지 신청 가능합니다!! https://www.socar.kr/?airbridge_deeplink=https%3A%2F%2Fwww.socar.kr%2F&airbridge_referrer=airbridge%3Dtrue%26event_uuid%3D6034e99f-f3f4-4fc9-a949-7aa1df760b00%26client_id%3Dfb38b0ba-5cb6-465e-afa8-f1bd373d7f88%26channel%3Dairbridge.websdk%26referrer_timestamp%3D1771846570546 쏘카라이프..

안녕하세요 이번에 접하게 된 책인 Advances in Financial Machine Learning 을 읽고 느낀 부분이나 기록하면 좋을 부분과 새로 검색해 알게된 내용을 소개하겠습니다.사일로(Silo) 아키텍처의 구조적 분석과 한계 : 토너먼트 모델의 붕괴1.1-1 역사적 배경과 사일로 모델의 정의금융 투자 산업, 특히 헤지펀드 업계는 오랜 기간 스타 매니저 중심의 사일로 구조를 유지해 왔습니다. 이 구조아래 개별 포트폴리오 매니저(Portfolio Manager, PM)는 하나의 독립된 사업 단위 처럼 기능합니다. 회사는 PM에게 자본, 사무 공간, 기본적인 데이터 접근 권한, 법적 컴플라이언스 인프라를 제공하는 플랫폼 역할만을 수행합니다. 대신 PM은 투자 아이디어의 생성부터 데이터 정제, 모델..

경제학에서 시장 점유율의 집중도를 측정하여 독과점 여부를 판단할 때 사용하는 지표입니다허핀달-허쉬만 지수의 값이 클수록 산업에서 특정 시장 집중도가 더욱 커진다는 것을 의미합니다.특정 기업의 시장 점유율이 큰 경우에 보다 높은 가중치를 두게 됩니다.특정 카테고리의 구매 비중 (0~1)- 제곱을 하는 이유는 점유율이 높은 항목에 가중치를 주기 위해서 입니다. 작은 구매는 무시하고, 굵직한 구매가 어디에 쏠려 있는지 알기 위함입니다.허핀달-허쉬만 지수는 계산 값에 10,000을 곱한 값으로 쓰이기도 하며, 이 경우 최대값은 10,000이 됩니다. 시장 내에 소수 기업만이 가지고 있는 과점 시장에서 점유율 격차가 큰 시장에서 시장 집중도를 높게 측정하는 장점이 있습니다.점유율이 각각 60%, 20%, 15%,..

Interaction(상호작용 비율) 지표가 포함된 모델에서 K-Means 클러스터링을 수행하기 전에 적용하면 좋습니다. MinMaxScaler모든 피처(Feature)값을 0과 1사이로 압축하는 기법입니다. X(sclaed) = ( X - X(min) ) / ( X(max) - X(min) )최솟값 (x min) 은 0이 되고 최댓값(x max)는 1이 됩니다.데이터의 상대적 분포는 유지하면서 오직 단위(Scale)만 통일합니다.K-means에서 스케일링을 해야하는 이유K-Means는 데이터 포인트 사이의 유클리드 거리를 계산하여 군집을 나눕니다.(평균값)만약 매출은 수천만원인데 비율은 0~1 사이라면 매출을 더 중요한 변수로 착각하기 때문에 문제가 생깁니다. MinMaxSclaer를 통해 모든 변..

1. 선형회귀(Linear) vs 이차회귀(Quadratic)선형회귀 : y = Ax + b이 식은 x 가 오를 때마다 y가 일정한 비율(A)으로 계속 증가하거나 감소한다고 가정합니다.다만 실제 세상에서는, 적당히 따뜻할 땐 좋지만, 너무 더우면 나가기 싫어지는 현상을 설명하지 못합니다 (변곡점)이차회귀 : y = Ax^2 + Bx + C그래서 이런 변곡점을 설명하기 위해 X의 제곱항을 추가한 다항 회귀식을 만듭니다.여기서 A는 그래프의 곡률(Curvature)을 결정하는 핵심 변수 입니다.A가 음수나 양수에 따라 이차함수의 그래프 모양이 달라집니다.A > 0 = 아래로 볼록한(U자) 모양A 따라서 이차항의 계수(A)가 음수이면서 통계적으로 유의미(p 수학적으로 이 데이터는 위로 볼록한 포물선 형태를 ..

가장 중요한 황금률 : 브랜치에서 직접 작업하지 않기한가지 중요한 규칙이 있다면 main 브랜치(or master)는 언제나 모두가 믿고 사용할 수 있는, 안정적인 '최종버전'이어야 합니다. 1. 프로젝트 복제하기팀의 원격 저장소(Github)에 있는 프로젝트를 내 컴퓨터에 그대로 복제해오는 과정입니다.git clone [GitHub 저장소 주소]2. 내 작업 공간 만들기main 브랜치를 건들지 않기 위해, 새로운 기능을 만들거나 버그를 수정할 나먼의 branch를 만듭니다.# 'feature/login' 이라는 이름의 새 브랜치를 만들고, 그 브랜치로 이동합니다.git checkout -b feature/login브랜치 이름은 보통 feature/기능이름 또는 bugfix/버그이름처럼 짓습니다. 3...

분석과 주문의 역할을 분리하기 위해 메시지 큐(Message Queue) 기반의 아키텍처를 사용합니다. 1. 메시지 큐(Message Queue)란?메시지 큐는 주문서 레일과 같습니다.분석 프로그램 : 시장 분석 중 매수 신호를 발견하면 이 신호를 주문서(메시지)에 적어 주문서 레일 (Active MQ)에 올린 후 분석을 지속합니다.주문 프로그램 : 주문서 레일에서 대기하다가 주문서가 올라오면 증권사 API에게 전달합니다.장점비동기 처리 (Asynchronous)예시: 온라인 쇼핑몰에서 '주문하기' 버튼을 누르면, "주문 접수 완료!" 메시지가 바로 뜹니다. 실제 재고 처리, 카드 승인, 배송 준비 등 시간이 걸리는 작업들은 메시지 큐에 차곡차곡 쌓여 백그라운드에서 순차적으로 처리됩니다.결합도 감소 (D..

yfinance로 수집한 주가 데이터를 MySQL에 저장하고 다시 불러오는 과정에서, Unknown column 'Date', Unknown column 'Open' 이라는 에러에 대해 제가 해결했던 방법을 기록합니다.Pandas의 'MultiIndex(다중 인덱스)' 구조를 이해하고 해결하는 과정을 담은 기록입니다.yf.download()로 데이터를 수집하고, to_sql()로 DB에 저장한 뒤, read_sql()로 다시 데이터를 읽어오는 간단한 코드였습니다. 하지만 SQL 쿼리 실행 단계에서 계속해서 특정 컬럼을 찾을 수 없다는 ProgrammingError가 발생했습니다.# 문제가 발생했던 SQL 쿼리sql_query = "SELECT Open, High, Low, Close FROM ohlcv ..

안녕하세요 최근 구글 클라우드 shell 환경에서 개발하다가 재밌는 Docker 기능을 접해서 글을 적습니다.제가 직접 경험하며 느낀 이 기능의 매력적인 장점들을 공유해봅니다.1. 환경 설정이 필요 없는 즉각적인 개발가장 큰 장점은 바로 '즉시성'입니다. 클라우드 셸은 웹 브라우저만 있으면 접속할 수 있는 리눅스 기반 환경으로, Docker, Git 등 개발에 필요한 모든 도구가 이미 완벽하게 설치되어 있습니다. 로컬 PC에 복잡한 개발 환경을 따로 구축할 필요가 없죠.예를 들어, 저는 로컬에서 Dockerfile을 작성한 뒤, 클라우드 셸에 접속해 바로 docker build 명령어를 실행했습니다.# cloud-shell-app 이라는 이름의 Docker 이미지 빌드docker build -t clou..