전체 글150 빅데이터란, 금융 빅데이터 활용 분야, 최신 활용 사례 빅데이터(Big Data)가 무엇인지 개념에 대해 정리하고, 과연 금융 산업에서는 빅데이터를 어떻게 활용하고 있는지, 각 분야별 구체적인 활용 사례에 대해 알아보겠습니다. 또한 금융당국, 증권사, 은행 등 금융권에서의 최신 빅데이터 동향/활용 트렌드는 무엇인지, 구체적으로 기관별 적용사례는 어떤 것들이 있는지 알아보겠습니다. 빅데이터란 빅데이터란 이름에서 알 수 있듯이 거대한 양의 데이터를 말합니다. 하지만 단순히 데이터의 양만을 가지고 빅데이터라고 말할 수는 없습니다. 빅데이터는 아래와 같은 3V의 특성을 가집니다. Volume(거대한 양) : 2023년 1월 기준 2.5 quintillion byte(퀸틸리언 바이트)의 data가 매일 생산되고 있다고 합니다. 이 숫자는 해가 갈수록 점점 더 커지고 .. 2023. 2. 17. 파이썬 판다스 EDA하는 방법 : 데이터 분석 A to Z 데이터 분석하는 과정을 EDA(Exploratory Data Anlaysis)라고 말합니다. 데이터를 클렌징하고 구성 및 분포를 확인하고, 통계 및 상관관계 분석 또는 시각화를 통해 데이터를 깊이있게 이해하고 이를 통해 인사이트를 얻는 과정입니다. 파이썬 판다스를 이용하여 EDA하는 과정을 상세하게 다뤄보겠습니다. 파이썬 판다스(Pandas) 데이터프레임으로 EDA(Exploratory Data Analysis, 데이터 분석) 해보기 1. 데이터 로드 및 데이터 클렌징 데이터 로드하기 Scikit learn 패키지에서 로드해서 쓸 수 있는 데이터들이 있는데 이번 포스팅에서는 그 중 하나인 Wine 관련 데이터를 사용하도록 하겠습니다. Wine 데이터는 알코올 농도, 마그네슘 농도 등 와인이 가지는 요소들.. 2023. 2. 16. 파이썬으로 웹스크래핑 크롤링 하는 방법 (BeautifulSoup 사용) 웹스크래핑 또는 웹크롤링을 이용해서 웹사이트에서 데이터를 추출해오는 방법에 대해 소개하고자 합니다. 파이썬 라이브러리인 BeautifulSoup을 이용하여 코드 몇줄로 초보자도 쉽게 데이터를 추출할 수 있습니다. 설치하는 방법부터 최종 데이터 추출까지 코드 예시와 함께 살펴보겠습니다. 웹스크래핑 / 크롤링이란? 특정 웹사이트내 데이터들을 추출해오는 것을 웹스크래핑(Web Scraping) 또는 웹 크롤링(Web Crawling)이라고 말합니다. 어떤 사이트에 나와있는 정보들을 엑셀 등의 잘 정리된 표로 추출을 하고 싶은데, 해당 사이트에서 엑셀 등으로 다운로드 받는 기능을 제공하고 있지 않을 때 하나하나 복사 붙여넣기 하는 대신 웹 스크래핑 또는 웹 크롤링을 이용하면 프로그램으로 데이터를 추출해올 수 있.. 2023. 2. 15. 노코드 머신러닝 툴 WEKA 사용방법(코딩 없이 Machine Learning하기) 코딩을 할 줄 몰라도 머신러닝을 할 수 있는 방법이 있습니다. 잘 만들어진 GUI 툴을 이용하는 것인데요. 데이터만 로드하면 수십가지 머신러닝 모델을 적용해보고 퍼포먼스를 평가해보고 결과를 시각화할 수 있습니다. 이 포스팅에서는 무료로 이용이 가능한 Weka라는 툴을 소개드리고 사용방법에 대해 알아보겠습니다. WEKA란? 파이썬 등 코딩 없이 머신러닝을 해볼 수 있는 툴이 있어 소개드리고자 합니다. Weka라는 툴인데 이 툴은 뉴질랜드 Waikato 대학에서 만들었고, Weka는 뉴질랜드에 있는 새(bird) 이름이라고 합니다. 이 툴은 Java기반으로 만들어졌으며 머신러닝을 활용한 데이터 분석, 데이터 마이닝, 의사 결정 지원을 위한 툴입니다. 보통 머신러닝 하면 코딩을 할 줄 알아야 가능하다고 생각하.. 2023. 2. 15. 이전 1 ··· 28 29 30 31 32 33 34 ··· 38 다음
