오픈소스기반데이터분석 6강 - 데이터 전처리 (1) 분석 결과의 품질을 좌우하는 데이터 전처리의 필요성과 주요 작업을 학습한다. 측정·정제·통합·축소·변환의 차이를 구분하고, Pandas의 기술통계 지표와 describe() 메소드로 데이터의 구조와 분포를 파악하는 방법을 정리한다. 1. 데이터 전처리가 필요한 이유 GIGO: 입력 품질이 결과 품질을 결정한다 GIGO(Garbage In, Garbage Out) 는 잘못되거나 부정확한 데이터를 입력하면 아무리 정교한 분석 기법을 적용하더라도 잘못된 결과가 나온다는 원칙이다. 분석 알고리즘이 스스로 잘못된 입력을 모두 바로잡아 주는 것은 아니므로, 데이터의 품질을 먼저 높여야 분석 결과의 품질도 향상될 수 있다. 예를 들어 판매 데이터에 가격이 비어 있거나 문자로 된 오류 값이 들어 있고, 판매 수량에 음수가 기록되거나 광고 여부가 누락되어 있다면 그대로 분석하기 어렵다. 데이터가 어떤 구조인지 파악하고 결측치, 이상치, 불일치 값을 찾아 적절히 처리하는 작업이 선행되어야 한다. 핵심 원리: 입력 데이터의 품질이 분석 결과의 품질을 좌우한다. 전처리는 분석 기법을 적용하기 전에 데이터의 정확성과 신뢰성을 확보하는 필수 과정이다. 데이터 환경의 변화 최근에는 분석에 사용되는 데이터의 규모가 계속 증가하고, 신기술의 대중화로 수치뿐 아니라 텍스트, 이미지, 로그 등 새롭고 다양한 유형의 데이터가 수집된다. 또한 여러 이질적인 저장소와 출처에서 데이터를 모으기 때문에 형식이나 값의 기준이 서로 다를 수 있다. 이 과정에서 불필요한 데이터, 불일치 데이터, 중복 데이터, 결측치, 이상치가 포함되기 쉽다. 따라서 데이터 정제, 통합, 축소, 변환을 통해 데이터의 정확성과 일관성을 높여야 한다. 많은 시간과 노력이 드는 단계 강의에서는 2021년 Forbes가 데이터 과학자 80명...