[시리즈] 공공데이터를 활용한 데이터과학(파이썬)

import pandas as pd # 파일 불러오기 temp_df = pd.read_csv('서울 일별 평균 기온 데이터(2015-2024).csv', encoding='cp949') # 데이터 프레임 출력 temp_df

# 날짜 형식으로 변환 temp_df['일시'] = pd.to_datetime(temp_df['일시']) # 연도, 월, 일 추출 temp_df['연도'] = temp_df['일시'].dt.year temp_df['월'] = temp_df['일시'].dt.month temp_df['일'] = temp_df['일시'].dt.day # 데이터 프레임 출력 temp_df

temp_df['7일_이동평균'] = temp_df['평균기온(°C)'].rolling(window=7, center=True).mean()

temp_df

import matplotlib.pyplot as plt # 2015년 데이터 필터링 df_2015 = temp_df[temp_df['연도'] == 2015] # 그래프 크기 설정 plt.figure(figsize=(15, 5)) # 평균기온과 7일_이동평균 선 그래프 그리기 plt.plot(df_2015['일시'], df_2015['평균기온(°C)'], label='일일 평균기온', alpha=0.5) plt.plot(df_2015['일시'], df_2015['7일_이동평균'], label='7일 이동 평균', color='red') # 그래프 제목 및 축 레이블 설정 plt.title('2015년 평균기온 및 7일 이동평균') plt.xlabel('날짜') plt.ylabel('기온 (°C)') # 격자 설정 plt.grid(True) # 범례 표기 plt.legend() # 그래프 레이아웃 조정 plt.tight_layout() # 그래프 출력 plt.show()

# 2015년 데이터 중에서 7일 이동평균이 가장 높은 날의 정보를 추출 최고_2015 = df_2015.loc[df_2015['7일_이동평균'].idxmax()] # 2015년 데이터 중에서 7일 이동평균이 가장 낮은 날의 정보를 추출 최저_2015 = df_2015.loc[df_2015['7일_이동평균'].idxmin()] # 최고 이동평균 정보 출력 print("2015년 가장 높은 이동평균:") print(f"날짜: {최고_2015['일시']}, 7일 이동평균: {최고_2015['7일_이동평균']} °C") # 최저 이동평균 정보 출력 print("\n2015년 가장 낮은 이동평균:") print(f"날짜: {최저_2015['일시']}, 7일 이동평균: {최저_2015['7일_이동평균']} °C")

# 그래프 plt.figure(figsize=(15, 5)) plt.plot(df_2015['일시'], df_2015['평균기온(°C)'], label='일일 평균기온', alpha=0.5) plt.plot(df_2015['일시'], df_2015['7일_이동평균'], label='7일 이동평균', color='red') # 최고점 표시 plt.scatter(최고_2015['일시'], 최고_2015['7일_이동평균'], color='green', s=100, zorder=3, label='최고 이동평균') plt.text(최고_2015['일시'], 최고_2015['7일_이동평균'] + 0.5, f"최고\n{최고_2015['일시'].date()}\n{최고_2015['7일_이동평균']:.1f}°C", ha='center', va='bottom', color='green', fontsize=9) # 최저점 표시 plt.scatter(최저_2015['일시'], 최저_2015['7일_이동평균'], color='blue', s=100, zorder=3, label='최저 이동평균') plt.text(최저_2015['일시'], 최저_2015['7일_이동평균'] - 1, f"최저\n{최저_2015['일시'].date()}\n{최저_2015['7일_이동평균']:.1f}°C", ha='center', va='top', color='blue', fontsize=9) # 기본 그래프 설정 # 그래프 제목 및 축 레이블 설정 plt.title('2015년 평균기온 및 7일 이동평균 (최고/최저 표시)') plt.xlabel('날짜') plt.ylabel('기온 (°C)') # 격자 설정 plt.grid(True) # 범례 표기 plt.legend() # 그래프 레이아웃 조정 plt.tight_layout() # 그래프 출력 plt.show()

# 연도별 최고 기온 추출 peak_dates = temp_df.loc[temp_df.groupby('연도')['7일_이동평균'].idxmax()] # 출력하고 싶은 열 선택 peak_dates = peak_dates[['연도', '일시', '7일_이동평균']].reset_index(drop=True) # 결과 확인 peak_dates

# 연도별 최저 기온 추출 bottom_dates = temp_df.loc[temp_df.groupby('연도')['7일_이동평균'].idxmin()] # 출력하고 싶은 열 선택 bottom_dates = bottom_dates[['연도', '일시', '7일_이동평균']].reset_index(drop=True) # 결과 확인 bottom_dates

import matplotlib.pyplot as plt # 연도별 최고/최저 기온 데이터 peak_dates = temp_df.loc[temp_df.groupby('연도')['7일_이동평균'].idxmax()] bottom_dates = temp_df.loc[temp_df.groupby('연도')['7일_이동평균'].idxmin()] # 그래프 크기 설정 plt.figure(figsize=(15, 5)) # 최고 기온과 최저 기온 선 그래프 그리기 plt.plot(peak_dates['연도'], peak_dates['7일_이동평균'], marker='o', color='red', label='최고 기온') plt.plot(bottom_dates['연도'], bottom_dates['7일_이동평균'], marker='o', color='blue', label='최저 기온') # 그래프 제목 및 축 레이블 설정 plt.title('연도별 최고 및 최저 7일 이동평균 기온') plt.xlabel('연도') plt.ylabel('기온 (°C)') # 격자 설정 plt.grid(True) # 범례 표기 plt.legend() # 그래프 레이아웃 조정 plt.tight_layout() # 그래프 출력 plt.show()

import matplotlib.pyplot as plt # 최고 기온과 최저 기온을 추출한 데이터 peak_dates = temp_df.loc[temp_df.groupby('연도')['7일_이동평균'].idxmax()] bottom_dates = temp_df.loc[temp_df.groupby('연도')['7일_이동평균'].idxmin()] # 그래프 크기 설정 plt.figure(figsize=(5, 5)) # 최고 기온과 최저 기온 산점도 그리기 plt.scatter(peak_dates['7일_이동평균'], bottom_dates['7일_이동평균'], color='purple') # 그래프 제목 및 축 레이블 설정 plt.title('최고기온 - 최저기온 산점도') plt.xlabel('7일 이동평균 최고기온 (℃)') plt.ylabel('7일 이동평균 최저기온 (℃)') # 격자 설정 plt.grid(True, linestyle='--', alpha=0.5) '-' ':' '-.' # 그래프 레이아웃 조정 plt.tight_layout() # 그래프 출력 plt.show()

from scipy.stats import shapiro # 최고기온과 최저기온 추출 x = peak_dates['7일_이동평균'] # 연도별 최고 이동평균 기온 y = bottom_dates['7일_이동평균'] # 연도별 최저 이동평균 기온 # x (최고기온) 정규성 검정 stat_x, p_x = shapiro(x) print(f"x (최고기온) 정규성 검정 p-value: {p_x:.3f}") # y (최저기온) 정규성 검정 stat_y, p_y = shapiro(y) print(f"y (최저기온) 정규성 검정 p-value: {p_y:.3f}") # 결과 출력 if p_x > 0.05 and p_y > 0.05: print("두 변수 모두 정규성을 만족합니다.") else: print("정규성을 만족하지 않습니다.")

import matplotlib.pyplot as plt import numpy as np import scipy.stats as stats # 최고기온과 최저기온 추출 x = peak_dates['7일_이동평균'] # 연도별 최고 이동평균 기온 y = bottom_dates['7일_이동평균'] # 연도별 최저 이동평균 기온 # 회귀선 계산 (기울기, 절편) slope, intercept = np.polyfit(x, y, 1) reg_line = slope * x + intercept # 상관계수 및 p-value 계산 corr, p_value = stats.pearsonr(x, y) # 그래프 시각화 plt.figure(figsize=(5, 5)) plt.scatter(x, y, color='purple', label='연도별 최고-최저점') plt.plot(x, reg_line, color='orange', linewidth=2, label='회귀선') # 제목 및 레이블 plt.title('최고기온 vs 최저기온 (회귀선 및 상관계수)') plt.xlabel('7일 이동평균 최고기온 (℃)') plt.ylabel('7일 이동평균 최저기온 (℃)') plt.grid(True, linestyle='--', alpha=0.5) plt.legend() plt.tight_layout() plt.show() # 결과 출력 print(f'회귀식: 최저기온 = {slope:.2f} * 최고기온 + {intercept:.2f}') print(f'상관계수 (Pearson): {corr:.3f}') print(f'P-value: {p_value:.3f}') # 해석 출력 if p_value < 0.05: print("통계적으로 유의한 상관관계가 있습니다.") else: print("통계적으로 유의한 상관관계는 없습니다.")

import pandas as pd from statsmodels.tsa.statespace.sarimax import SARIMAX from sklearn.metrics import mean_absolute_error, mean_squared_error # 1. 데이터 불러오기 및 전처리 df = pd.read_csv("서울 일별 평균 기온 데이터(2015-2024).csv", encoding='cp949') df['일시'] = pd.to_datetime(df['일시']) df['평균기온(°C)'] = pd.to_numeric(df['평균기온(°C)'], errors='coerce') df.set_index('일시', inplace=True) # 2. 7,8월 필터링 summer = df[df.index.month.isin([7, 8])].copy() # 3. 이동평균 적용 summer['7일이동평균'] = summer['평균기온(°C)'].rolling(window=7, center=True).mean() # 4. 예측 함수 정의 def evaluate_and_predict(train_year_end, test_year): train = summer[summer.index.year <= train_year_end]['7일이동평균'].dropna() test = summer[summer.index.year == test_year]['7일이동평균'].dropna() # 날짜 주기 지정 train = train.asfreq('D') train = train.interpolate() model = SARIMAX(train, order=(1,1,1), seasonal_order=(1,1,1,62)) model_fit = model.fit(disp=False) pred = model_fit.forecast(steps=len(test)) pred.index = test.index mae = mean_absolute_error(test, pred) mse = mean_squared_error(test, pred) print(f"[{test_year}년 여름 예측 성능]") print(f"MAE: {mae:.2f} °C") print(f"MSE: {mse:.2f} °C\n") # 5. 순차 평가 실행 evaluate_and_predict(2021, 2022) evaluate_and_predict(2022, 2023) evaluate_and_predict(2023, 2024) # 6. 2025년 예측 full_train = summer[summer.index.year <= 2024]['7일이동평균'].dropna().asfreq('D').interpolate() model_2025 = SARIMAX(full_train, order=(1,1,1), seasonal_order=(1,1,1,62)) fit_2025 = model_2025.fit(disp=False) pred_2025 = fit_2025.forecast(steps=62) pred_2025.index = pd.date_range(start='2025-07-01', periods=62, freq='D') # 7. 예측 결과 출력 max_day = pred_2025.idxmax() print("[2025년 여름 예측 결과]") print(f"가장 더운 날: {max_day.date()} / 평균기온(7일 이동평균): {pred_2025.max():.2f} °C")

import pandas as pd from statsmodels.tsa.statespace.sarimax import SARIMAX from sklearn.metrics import mean_absolute_error, mean_squared_error # 1. 데이터 불러오기 및 전처리 df = pd.read_csv("서울 일별 평균 기온 데이터(2015-2024).csv", encoding='cp949') df['일시'] = pd.to_datetime(df['일시']) df['평균기온(°C)'] = pd.to_numeric(df['평균기온(°C)'], errors='coerce') df.set_index('일시', inplace=True) # 2. 1월,12월 필터링 winter = df[df.index.month.isin([1, 12])].copy() # 3. 이동평균 적용 winter['7일이동평균'] = winter['평균기온(°C)'].rolling(window=7, center=True).mean() # 4. 예측 함수 정의 def evaluate_and_predict_winter(train_year_end, test_year): train = winter[winter.index.year <= train_year_end]['7일이동평균'].dropna() test = winter[winter.index.year == test_year]['7일이동평균'].dropna() # 날짜 주기 지정 train = train.asfreq('D').interpolate() model = SARIMAX(train, order=(1,1,1), seasonal_order=(1,1,1,62)) model_fit = model.fit(disp=False) pred = model_fit.forecast(steps=len(test)) pred.index = test.index mae = mean_absolute_error(test, pred) mse = mean_squared_error(test, pred) print(f"[{test_year}년 겨울 예측 성능]") print(f"MAE: {mae:.2f} °C") print(f"MSE: {mse:.2f} °C\n") # 5. 순차 평가 실행 evaluate_and_predict_winter(2021, 2022) evaluate_and_predict_winter(2022, 2023) evaluate_and_predict_winter(2023, 2024) # 6. 2025년 예측 full_train = winter[winter.index.year <= 2024]['7일이동평균'].dropna().asfreq('D').interpolate() model_2025 = SARIMAX(full_train, order=(1,1,1), seasonal_order=(1,1,1,62)) fit_2025 = model_2025.fit(disp=False) pred_2025 = fit_2025.forecast(steps=62) pred_2025.index = pd.date_range(start='2025-12-01', periods=62, freq='D') # 12월+1월 # 7. 예측 결과 출력 min_day = pred_2025.idxmin() print("[2025년 겨울 예측 결과]") print(f"가장 추운 날: {min_day.date()} / 평균기온(7일 이동평균): {pred_2025.min():.2f} °C")