Aare Oraku Model Evaluation

%23%20%2F%2F%2F%20script%0A%23%20requires-python%20%3D%20%22%3E%3D3.12%22%0A%23%20dependencies%20%3D%20%5B%0A%23%20%20%20%20%20%22marimo%3E%3D0.21.0%22%2C%0A%23%20%20%20%20%20%22plotly%5Bexpress%5D%22%2C%0A%23%20%20%20%20%20%22polars%22%2C%0A%23%20%20%20%20%20%22tzdata%22%2C%0A%23%20%5D%0A%23%20%2F%2F%2F%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.21.1%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22%2C%20app_title%3D%22Aare%20Oraku%20Model%20Evaluation%22)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Aare%20Oraku%20Model%20Evaluation%0A%0A%20%20%20%20This%20notebook%20shows%20the%20accuracy%20of%20different%20Aare%20Oraku%20models%20and%20allows%20comparisons%20with%20baselines.%0A%0A%20%20%20%20Use%20the%20dropdown%20to%20select%20which%20model%20to%20evaluate.%20Use%20the%20sliders%20to%20tune%20how%20the%20models%20are%20evaluated%2C%20respectively%20which%20forecasts%20or%20parts%20of%20forecasts%20are%20considered%20when%20calculating%20the%20metrics.%0A%20%20%20%20Most%20users%20of%20aare.guru%20will%20only%20look%20at%20the%20forecasts%20during%20the%20daytime%20in%20summer.%0A%20%20%20%20Which%20forecast%20horizon%20(how%20many%20hours%20into%20the%20future)%20people%20are%20interested%20in%20probably%20depends%20on%20many%20factors%3B%20with%20the%20slider%20you%20can%20evaluate%20different%20views.%0A%20%20%20%20Beware%20that%20you%20can%20introduce%20biases%2C%20especially%20when%20selecting%20very%20strict%20evaluation%20criteria.%0A%0A%20%20%20%20It's%20important%20to%20note%20that%20this%20evaluation%20is%20very%20optimistic%20because%20all%20models%20that%20use%20external%20data%20as%20input%20like%20air%20temperature%20are%20evaluated%20on%20true%20measurement%20data.%0A%20%20%20%20During%20inference%20(on%20aare.guru)%2C%20this%20external%20data%20comes%20from%20forecasting%20services%20like%20MeteoTest%2C%20so%20it%20will%20contain%20inaccuracies%20that%20are%20propagated%20to%20our%20models.%0A%20%20%20%20How%20well%20the%20model%20performs%20with%20external%20forecast%20inputs%20we%20can't%20know%20yet%2C%20but%20it's%20very%20likely%20that%20it%20will%20be%20worse%20than%20this%20evaluation%20shows.%0A%20%20%20%20How%20much%20worse%20it%20will%20be%20depends%20on%20the%20accuracy%20of%20the%20external%20forecast%20services%20and%20sensitivity%20of%20our%20model.%0A%20%20%20%20A%20%5Bpreliminary%20analysis%20of%20real%20forecasts%5D(https%3A%2F%2Fgithub.com%2FJoelius300%2Faare-forecast%2Fblob%2Fmain%2Fnotebooks%2F21_measurement-vs-forecast-eval.ipynb)%20showed%20that%20they%20might%20be%2015-25%25%20worse%20than%20test%20forecasts%20of%20the%20same%20model%0A%20%20%20%20during%20the%20same%20period.%20This%20is%20for%20the%20full%204-day%20forecasts%2C%20restricting%20evaluation%20to%20just%20the%20data%20shown%20in%20the%0A%20%20%20%20aare.guru%20main%20page%2C%20it%20drops%20to%20~10%25.%20Relative%20to%20the%20actual%20temperature%2C%20it's%20only%20~1%25%20worse%20on%20average.%0A%0A%20%20%20%20If%20you%20uncheck%20the%20test%20dataset%20and%20instead%20look%20at%20the%20validation%20data%2C%20the%20evaluation%20will%20be%20even%20more%20optimistic%20because%20the%20validation%20set%20is%20used%20to%20tune%20the%20model%20and%20select%20the%20best%20one%2C%20which%20introduces%20a%20bias.%0A%20%20%20%20The%20test%20set%20is%20designed%20to%20be%20evaluated%20only%20once%20a%20model%20is%20tuned%20and%20selected%20to%20avoid%20such%20biases%20and%20get%20the%20most%20realistic%20estimate%20for%20the%20real-world%20model%20accuracy.%0A%20%20%20%20Luckily%2C%20the%20simple%20models%20used%20in%20the%20MVP%20are%20not%20overtuned%20and%20show%20very%20low%20differences%20between%20validation%20and%20test%20set.%0A%0A%20%20%20%20To%20make%20sure%20the%20Aare%20Oraku%20forecasts%20are%20accurate%20enough%2C%20they%20are%20continually%20monitored%20and%20evaluated.%0A%20%20%20%20At%20the%20same%20time%2C%20all%20historical%20forecasts%20including%20all%20external%20inputs%20are%20stored%20for%20future%20evaluation.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20%23%20TODO%20more%20notes%20on%20how%20this%20all%20works%2C%20caveats%2C%20what%20data%2C%20etc.%0A%20%20%20%20%23%20TODO%20just%20recipe%20for%20building%20and%20publishing%20report%0A%20%20%20%20%23%20TODO%20also%20publish%20json%20meta%20files%20for%20the%20models%20so%20we%20can%20display%20the%20features%20it%20uses%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(default_model%2C%20mo%2C%20model_names)%3A%0A%20%20%20%20model_select%20%3D%20mo.ui.dropdown(options%3Dmodel_names%2C%20value%3Ddefault_model%2C%20label%3D%22Model%20to%20evaluate%22)%0A%20%20%20%20model_select%0A%20%20%20%20return%20(model_select%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo%2C%20model)%3A%0A%20%20%20%20_out%20%3D%20None%0A%20%20%20%20if%20model%20%3D%3D%20%22LR-dev-live-proto%22%3A%0A%20%20%20%20%20%20%20%20_out%20%3D%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22This%20model%20is%20special%20and%20you%20probably%20don't%20care%20for%20it.%20It%20was%20the%20prototype%20model%20that%20ran%20with%20real%20forecast%20data.%20When%20the%20test%20data%20checkbox%20is%20checked%2C%20you%20can%20analyze%20the%20evaluation%20with%20**measured**%20air%20temperature.%20If%20you%20uncheck%20it%2C%20it%20will%20_not_%20use%20validation%20data%2C%20but%20instead%20it%20will%20show%20real%20historical%20forecast%20made%20with%20**forecasted**%20air%20temperature.%20This%20allows%20comparison%20between%20real%20historical%20forecasts%20and%20simulated%20forecasts%20on%20test%20data%20for%20the%20same%20time%20period.%22%0A%20%20%20%20%20%20%20%20).callout(%22info%22)%0A%0A%20%20%20%20_out%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20test_checkbox%20%3D%20mo.ui.checkbox(%0A%20%20%20%20%20%20%20%20label%3D%22Whether%20to%20use%20test%20data%20for%20the%20evaluation%20(as%20opposed%20to%20validation%20data%20with%20even%20more%20bias)%22%2C%0A%20%20%20%20%20%20%20%20value%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20test_checkbox%0A%20%20%20%20return%20(test_checkbox%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20month_range%20%3D%20mo.ui.range_slider(1%2C%2012%2C%20step%3D1%2C%20debounce%3DTrue%2C%20label%3D%22Months%20to%20include%22%2C%20value%3D%5B4%2C%209%5D)%0A%20%20%20%20month_range%0A%20%20%20%20return%20(month_range%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(get_horizon_range%2C%20max_horizon%2C%20mo%2C%20set_horizon_range)%3A%0A%20%20%20%20%23%20max_horizons%20depends%20on%20the%20data%2C%20so%20this%20need%20extra%20code%20to%20stay%20on%20the%20same%20value%20if%20the%20data%20changes%0A%20%20%20%20horizon_range%20%3D%20mo.ui.range_slider(%0A%20%20%20%20%20%20%20%201%2C%0A%20%20%20%20%20%20%20%20max_horizon%2C%0A%20%20%20%20%20%20%20%20step%3D1%2C%0A%20%20%20%20%20%20%20%20debounce%3DTrue%2C%0A%20%20%20%20%20%20%20%20label%3D%22Horizons%20to%20analyze%22%2C%0A%20%20%20%20%20%20%20%20value%3Dget_horizon_range()%2C%0A%20%20%20%20%20%20%20%20on_change%3Dset_horizon_range%2C%0A%20%20%20%20)%0A%20%20%20%20horizon_range%0A%20%20%20%20return%20(horizon_range%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20hour_range%20%3D%20mo.ui.range_slider(0%2C%2023%2C%20step%3D1%2C%20debounce%3DTrue%2C%20label%3D%22Hours%20to%20include%22%2C%20value%3D%5B7%2C%2021%5D)%0A%20%20%20%20hour_range%0A%20%20%20%20return%20(hour_range%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(horizon_range%2C%20hour_range%2C%20mo%2C%20model%2C%20model_metrics%2C%20month_range)%3A%0A%20%20%20%20months%20%3D%20%5B%22Jan%22%2C%20%22Feb%22%2C%20%22Mar%22%2C%20%22Apr%22%2C%20%22May%22%2C%20%22Jun%22%2C%20%22Jul%22%2C%20%22Aug%22%2C%20%22Sep%22%2C%20%22Oct%22%2C%20%22Nov%22%2C%20%22Dec%22%5D%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20f%22%23%23%20Evaluation%20of%20%7Bmodel%7D%20model%5Cn%5CnOnly%20taking%20into%20account%20forecasts%20for%20the%20months%20**%7Bmonths%5Bmonth_range.value%5B0%5D%20-%201%5D%7D%20-%20%7Bmonths%5Bmonth_range.value%5B1%5D%20-%201%5D%7D**%20and%20hours%20**%7Bhour_range.value%5B0%5D%3A02d%7D%3A00%20-%20%7Bhour_range.value%5B1%5D%3A02d%7D%3A00**%2C%20and%20only%20looking%20at%20predictions%20made%20**%7Bhorizon_range.value%5B0%5D%7D%20-%20%7Bhorizon_range.value%5B1%5D%7D%20hours**%20into%20the%20future%2C%20the%20absolute%20errors%20across%20all%20steps%20(hours)%20are%20averaged.%5Cn%5CnThe%20median%20forecast%20has%20a%20mean%20absolute%20error%20(MAE)%20of%20**%7Bmodel_metrics%5B'mae'%5D%3A.3f%7D%20%C2%B0C**.%20Across%20the%20entire%20evaluation%20data%2C%2080%25%20of%20forecasts%20have%20a%20MAE%20of%20%7Bmodel_metrics%5B'mae_q80'%5D%3A.3f%7D%20%C2%B0C%20or%20less%2C%20and%2095%25%20have%20a%20MAE%20of%20%7Bmodel_metrics%5B'mae_q95'%5D%3A.3f%7D%20%C2%B0C%20or%20less.%20%20%5CnIf%20only%20the%20maximum%2Fpeak%20temperature%20each%20day%20is%20relevant%20(regardless%20of%20timing)%2C%20then%20the%20median%20forecast%20is%20off%20by%20**%7Bmodel_metrics%5B'madpd'%5D%3A.3f%7D%20%C2%B0C.**%2080%25%20of%20all%20forecasts%20have%20a%20daily%20peak%20difference%20(DPD)%20of%20%7Bmodel_metrics%5B'madpd_q80'%5D%3A.3f%7D%20%C2%B0C%20or%20less%20and%2095%25%20have%20a%20DPD%20of%20%7Bmodel_metrics%5B'madpd_q95'%5D%3A.3f%7D%20%C2%B0C%20or%20less.%22%0A%20%20%20%20).callout(%22success%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20The%20charts%20below%20visualize%20the%20forecast%20errors%20in%20different%20dimensions.%20They%20show%20for%20example%20that%20the%20volatile%20summer%20temperatures%20are%20harder%20to%20predict%20and%20that%20predictions%20further%20into%20the%20future%20are%20less%20accurate%20(not%20surprising).%20The%20boxplots%20also%20show%20that%20the%20lowest%20errors%20have%20the%20highest%20density%20confirming%20that%20errors%20below%20the%20median%20are%20mostly%20concentrated%20to%20really%20low%20errors%20while%20larger%20errors%20are%20more%20spread%20out%20up%20to%20extreme%20outliers.%0A%0A%20%20%20%20The%20grayed%20out%20areas%20labeled%20'ignored'%20are%20times%20excluded%20by%20the%20filter%20above.%20They%20are%20shown%20but%20not%20included%20in%20the%20metric%20calculations.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20cs%2C%0A%20%20%20%20eval_stride%2C%0A%20%20%20%20horizon_filter%2C%0A%20%20%20%20hour_filter%2C%0A%20%20%20%20month_filter%2C%0A%20%20%20%20pl%2C%0A%20%20%20%20quantile_line_chart%2C%0A%20%20%20%20raw_metrics%2C%0A)%3A%0A%20%20%20%20_col%20%3D%20pl.col(%22err%22)%0A%20%20%20%20_df%20%3D%20(%0A%20%20%20%20%20%20%20%20raw_metrics.lazy()%0A%20%20%20%20%20%20%20%20.filter(hour_filter%2C%20horizon_filter)%0A%20%20%20%20%20%20%20%20.sort(%22run_ts%22)%0A%20%20%20%20%20%20%20%20.group_by(%22run_ts%22)%0A%20%20%20%20%20%20%20%20%23%20.group_by_dynamic(%22time%22%2C%20every%3D%221d%22)%0A%20%20%20%20%20%20%20%20.agg(%0A%20%20%20%20%20%20%20%20%20%20%20%20_col.abs().median()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20_col.abs().quantile(0.1).name.suffix(%22_q10.0%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20_col.abs().quantile(0.25).name.suffix(%22_q25.0%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20_col.abs().quantile(0.75).name.suffix(%22_q75.0%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20_col.abs().quantile(0.9).name.suffix(%22_q90.0%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20item%20instead%20of%20first%20would%20be%20better%2C%20but%20needs%20polars%20%3E%3D1.35.0%20and%20pyodide%20is%20behind%0A%20%20%20%20%20%20%20%20%20%20%20%20pl.col(%22start_time%22%2C%20%22end_time%22).unique().first()%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20.sort(%22run_ts%22)%0A%20%20%20%20%20%20%20%20%23%20smooth%20all%20runs%20in%20a%20week%2C%20at%20least%20one%20day.%20For%20this%20to%20work%2C%20must%20divide%20by%20stride%20(best%20case%20every%20hour%20is%20evaluated).%0A%20%20%20%20%20%20%20%20.with_columns(%0A%20%20%20%20%20%20%20%20%20%20%20%20cs.float().rolling_mean(7%20*%2024%20%2F%2F%20eval_stride%2C%20center%3DTrue%2C%20min_samples%3D24%20%2F%2F%20eval_stride)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20valid%3Dmonth_filter%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20.collect()%0A%20%20%20%20)%0A%0A%20%20%20%20quantile_line_chart(%0A%20%20%20%20%20%20%20%20_df%2C%0A%20%20%20%20%20%20%20%20title%3D%22Forecast%20error%20over%20evaluation%20period%22%2C%0A%20%20%20%20%20%20%20%20subtitle%3D%22Prediction%20interval%20shows%20quantiles%20for%20errors%20within%20each%20forecast.%2080%25%20of%20all%20errors%20lie%20within%20shaded%20area%2C%2050%25%20within%20the%20inner%20shading.%20Weekly%20smoothing%20applied.%22%2C%0A%20%20%20%20%20%20%20%20yaxis_label%3D%22Absolute%20Forecast%20Error%20%5B%C2%B0C%5D%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20horizon_filter%2C%0A%20%20%20%20hour_filter%2C%0A%20%20%20%20month_filter%2C%0A%20%20%20%20pl%2C%0A%20%20%20%20quantile_line_chart%2C%0A%20%20%20%20raw_metrics%2C%0A)%3A%0A%20%20%20%20_col%20%3D%20pl.col(%22err%22)%0A%20%20%20%20_df%20%3D%20(%0A%20%20%20%20%20%20%20%20raw_metrics.lazy()%0A%20%20%20%20%20%20%20%20.filter(month_filter%2C%20hour_filter)%0A%20%20%20%20%20%20%20%20.group_by(%22lag%22)%0A%20%20%20%20%20%20%20%20.agg(%0A%20%20%20%20%20%20%20%20%20%20%20%20_col.abs().median()%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20_col.abs().quantile(0.1).name.suffix(%22_q10.0%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20_col.abs().quantile(0.25).name.suffix(%22_q25.0%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20_col.abs().quantile(0.75).name.suffix(%22_q75.0%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20_col.abs().quantile(0.9).name.suffix(%22_q90.0%22)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20.sort(%22lag%22)%0A%20%20%20%20%20%20%20%20.with_columns(valid%3Dhorizon_filter)%0A%20%20%20%20%20%20%20%20.collect()%0A%20%20%20%20)%0A%0A%20%20%20%20quantile_line_chart(%0A%20%20%20%20%20%20%20%20_df%2C%0A%20%20%20%20%20%20%20%20%22lag%22%2C%0A%20%20%20%20%20%20%20%20yaxis_label%3D%22Absolute%20Forecast%20Error%20%5B%C2%B0C%5D%22%2C%0A%20%20%20%20%20%20%20%20xaxis_label%3D%22Hours%20into%20to%20future%22%2C%0A%20%20%20%20%20%20%20%20title%3D%22Forecast%20error%20per%20hour%20into%20the%20future%22%2C%0A%20%20%20%20%20%20%20%20subtitle%3D%22Prediction%20interval%20shows%20quantiles%20for%20errors%20within%20each%20lag.%2080%25%20of%20all%20errors%20lie%20within%20shaded%20area%2C%2050%25%20within%20the%20inner%20shading.%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(px%2C%20run_metrics)%3A%0A%20%20%20%20px.violin(run_metrics%2C%20x%3D%5B%22madpd%22%2C%20%22mae%22%5D%2C%20box%3DTrue%2C%20title%3D%22Distribution%20of%20MAE%20and%20MADPD%20of%20all%20forecasts%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Below%20you%20can%20inspect%20individual%20forecasts%20to%20'get%20a%20feeling'%20instead%20of%20just%20relying%20on%20metrics.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(%0A%20%20%20%20add_ignored_rects%2C%0A%20%20%20%20all_run_ts%2C%0A%20%20%20%20fc_i%2C%0A%20%20%20%20get_invalid_periods%2C%0A%20%20%20%20horizon_filter%2C%0A%20%20%20%20hour_filter%2C%0A%20%20%20%20month_filter%2C%0A%20%20%20%20pl%2C%0A%20%20%20%20px%2C%0A%20%20%20%20raw_metrics%2C%0A)%3A%0A%20%20%20%20_df%20%3D%20raw_metrics.filter(fc_i%3Dfc_i.value).with_columns(valid%3Dmonth_filter%20%26%20hour_filter%20%26%20horizon_filter)%0A%20%20%20%20_metrics%20%3D%20_df.filter(%22valid%22).select(pl.mean(%22ae%22%2C%20%22adpd%22).mean().name.prefix(%22m%22)).to_dicts()%5B0%5D%0A%20%20%20%20_metrics_fmt%20%3D%20%7Bk%3A%20(f%22%7Bv%3A.3f%7D%22%20if%20v%20is%20not%20None%20else%20%22-%22)%20for%20k%2C%20v%20in%20_metrics.items()%7D%0A%0A%20%20%20%20_fig%20%3D%20px.line(%0A%20%20%20%20%20%20%20%20_df%2C%0A%20%20%20%20%20%20%20%20x%3D%22time%22%2C%0A%20%20%20%20%20%20%20%20y%3D%5B%22pred%22%2C%20%22actual%22%5D%2C%0A%20%20%20%20%20%20%20%20color_discrete_sequence%3D%5B%22%2373bf69%22%2C%20%22%235694f2%22%5D%2C%0A%20%20%20%20%20%20%20%20title%3Df%22Forecast%20from%20%7Ball_run_ts%5Bfc_i.value%5D%7D%20%7C%20MAE%3A%20%7B_metrics_fmt%5B'mae'%5D%7D%20%7C%20MADPD%3A%20%7B_metrics_fmt%5B'madpd'%5D%7D%22%2C%0A%20%20%20%20)%0A%0A%20%20%20%20_invalid_periods%20%3D%20get_invalid_periods(_df%2C%20%22time%22)%0A%20%20%20%20add_ignored_rects(_fig%2C%20_invalid_periods)%0A%0A%20%20%20%20_fig%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(all_run_ts%2C%20fc_i%2C%20mo)%3A%0A%20%20%20%20mo.md(rf%22%22%22%0A%20%20%20%20Evaluation%20range%3A%20%7Ball_run_ts%5B0%5D%7D%20-%20%7Ball_run_ts%5B-1%5D%7D%0A%0A%20%20%20%20Currently%20displaying%3A%20%7Ball_run_ts%5Bfc_i.value%5D%7D%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20pl%2C%20raw_metrics)%3A%0A%20%20%20%20all_run_ts%20%3D%20raw_metrics.select(pl.col(%22run_ts%22).unique(maintain_order%3DTrue)).to_series().to_list()%0A%20%20%20%20fc_i%20%3D%20mo.ui.slider(0%2C%20raw_metrics.select(pl.max(%22fc_i%22)).item()%2C%20step%3D1%2C%20full_width%3DTrue)%0A%20%20%20%20fc_i%0A%20%20%20%20return%20all_run_ts%2C%20fc_i%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Below%20is%20the%20model%20file%20which%20shows%20when%20it%20was%20trained%2C%20what%20input%20variables%20and%20lags%20it%20uses%2C%20and%20some%20more%20hparams.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Aasync%20def%20_(baseline_models%2C%20get_meta_path%2C%20model)%3A%0A%20%20%20%20if%20model%20in%20baseline_models%3A%0A%20%20%20%20%20%20%20%20_meta%20%3D%20%22No%20meta%20file%20for%20baseline%20models%22%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_meta_path%20%3D%20get_meta_path()%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20%22http%22%20in%20_meta_path%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20from%20pyodide.http%20import%20pyfetch%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_response%20%3D%20await%20pyfetch(_meta_path)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_meta%20%3D%20await%20_response.json()%0A%20%20%20%20%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20import%20json%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20with%20open(_meta_path)%20as%20_meta_file%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_meta%20%3D%20json.load(_meta_file)%0A%20%20%20%20%20%20%20%20except%20Exception%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_meta%20%3D%20f%22Could%20not%20load%20meta%20file%20of%20%7Bmodel%7D%22%0A%0A%20%20%20%20_meta%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20sys%0A%0A%20%20%20%20running_wasm%20%3D%20sys.platform%20%3D%3D%20%22emscripten%22%0A%20%20%20%20return%20(running_wasm%2C)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20%23%20separately%20so%20markdown%20shows%20up%20faster%0A%20%20%20%20import%20marimo%20as%20mo%0A%0A%20%20%20%20return%20(mo%2C)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20itertools%0A%20%20%20%20import%20pathlib%0A%20%20%20%20from%20datetime%20import%20timedelta%0A%20%20%20%20import%20plotly%0A%20%20%20%20import%20plotly.express%20as%20px%0A%20%20%20%20import%20plotly.graph_objects%20as%20go%0A%20%20%20%20import%20polars%20as%20pl%0A%20%20%20%20import%20polars.selectors%20as%20cs%0A%0A%20%20%20%20return%20cs%2C%20go%2C%20itertools%2C%20pathlib%2C%20pl%2C%20plotly%2C%20px%2C%20timedelta%0A%0A%0A%40app.cell%0Adef%20_(itertools)%3A%0A%20%20%20%20tz%20%3D%20%22Europe%2FZurich%22%0A%20%20%20%20%23%20todo%20if%20not%20running%20wasm%2C%20populate%20this%20list%20with%20files%20from%20disk%3F%0A%20%20%20%20models%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22nowcasting_temp%22%3A%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%221.0%22%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20%22LR-dev%22%3A%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22live-proto%22%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%7D%0A%20%20%20%20baseline_models%20%3D%20%5B%22LOCF%22%2C%20%22SNAIVE%22%2C%20%22MEAN%22%5D%0A%0A%20%20%20%20model_names%20%3D%20%5B%0A%20%20%20%20%20%20%20%20f%22%7Bmodel%7D-%7Bversion%7D%22%0A%20%20%20%20%20%20%20%20for%20model_key%2C%20versions%20in%20models.items()%0A%20%20%20%20%20%20%20%20for%20model%2C%20version%20in%20zip(itertools.repeat(model_key)%2C%20versions)%0A%20%20%20%20%5D%20%2B%20baseline_models%0A%20%20%20%20default_model%20%3D%20%22nowcasting_temp-1.0%22%0A%20%20%20%20return%20baseline_models%2C%20default_model%2C%20model_names%2C%20tz%0A%0A%0A%40app.cell%0Adef%20_(model_select)%3A%0A%20%20%20%20model%20%3D%20model_select.value%0A%20%20%20%20return%20(model%2C)%0A%0A%0A%40app.cell%0Adef%20_(get_data_path)%3A%0A%20%20%20%20data_path%20%3D%20get_data_path()%0A%20%20%20%20if%20not%20data_path%3A%0A%20%20%20%20%20%20%20%20raise%20ValueError(%22Could%20not%20locate%20data%20file!%22)%0A%20%20%20%20return%20(data_path%2C)%0A%0A%0A%40app.cell%0Aasync%20def%20_(data_path%2C%20load_raw%2C%20tz)%3A%0A%20%20%20%20raw_metrics%20%3D%20await%20load_raw(data_path%2C%20tz)%0A%20%20%20%20return%20(raw_metrics%2C)%0A%0A%0A%40app.cell%0Adef%20_(pl%2C%20raw_metrics)%3A%0A%20%20%20%20max_horizon%20%3D%20raw_metrics.select(pl.max(%22lag%22)).item()%0A%20%20%20%20eval_stride%20%3D%20int(%0A%20%20%20%20%20%20%20%20raw_metrics.select(pl.col(%22run_ts%22).unique(maintain_order%3DTrue).diff().mean()).item().total_seconds()%20%2F%203600%0A%20%20%20%20)%0A%20%20%20%20return%20eval_stride%2C%20max_horizon%0A%0A%0A%40app.cell%0Adef%20_(get_horizon_range%2C%20max_horizon%2C%20set_horizon_range)%3A%0A%20%20%20%20_cur_horizon_range%20%3D%20get_horizon_range()%0A%20%20%20%20if%20max_horizon%20%3C%20_cur_horizon_range%5B1%5D%3A%0A%20%20%20%20%20%20%20%20_start%20%3D%20_cur_horizon_range%5B0%5D%20if%20_cur_horizon_range%5B0%5D%20%3C%20max_horizon%20else%201%0A%20%20%20%20%20%20%20%20set_horizon_range(%5B_start%2C%20max_horizon%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(horizon_range%2C%20hour_range%2C%20month_range%2C%20pl%2C%20raw_metrics)%3A%0A%20%20%20%20horizon_filter%20%3D%20(pl.col(%22lag%22)%20%3E%3D%20horizon_range.value%5B0%5D)%20%26%20(pl.col(%22lag%22)%20%3C%3D%20horizon_range.value%5B1%5D)%0A%20%20%20%20hour_filter%20%3D%20(pl.col(%22time%22).dt.hour()%20%3E%3D%20hour_range.value%5B0%5D)%20%26%20(pl.col(%22time%22).dt.hour()%20%3C%3D%20hour_range.value%5B1%5D)%0A%20%20%20%20%23%20no%20need%20to%20filter%20month%20if%201-12%20is%20allowed%20(gets%20rid%20of%20annoying%20edge%20case%20with%20forecasts%20across%20the%20year%20border)%0A%20%20%20%20month_filter%20%3D%20pl.lit(month_range.value%5B0%5D%20%3D%3D%201%20and%20month_range.value%5B1%5D%20%3D%3D%2012)%20%7C%20(%0A%20%20%20%20%20%20%20%20(pl.col(%22start_time%22).dt.month()%20%3E%3D%20month_range.value%5B0%5D)%0A%20%20%20%20%20%20%20%20%26%20(pl.col(%22end_time%22).dt.month()%20%3C%3D%20month_range.value%5B1%5D)%0A%20%20%20%20%20%20%20%20%26%20(pl.col(%22start_time%22).dt.month()%20%3C%3D%20pl.col(%22end_time%22).dt.month())%0A%20%20%20%20)%0A%0A%20%20%20%20filtered_all%20%3D%20raw_metrics.filter(month_filter%2C%20horizon_filter%2C%20hour_filter)%0A%20%20%20%20return%20filtered_all%2C%20horizon_filter%2C%20hour_filter%2C%20month_filter%0A%0A%0A%40app.cell%0Adef%20_(cs%2C%20filtered_all%2C%20pl)%3A%0A%20%20%20%20run_metrics%20%3D%20filtered_all.group_by(%22run_ts%22).agg(pl.col(%22ae%22%2C%20%22adpd%22).mean().name.prefix(%22m%22))%0A%0A%20%20%20%20model_metrics%20%3D%20run_metrics.select(%0A%20%20%20%20%20%20%20%20cs.float().median()%2C%0A%20%20%20%20%20%20%20%20cs.float().quantile(0.80).name.suffix(%22_q80%22)%2C%0A%20%20%20%20%20%20%20%20cs.float().quantile(0.95).name.suffix(%22_q95%22)%2C%0A%20%20%20%20).to_dicts()%5B0%5D%0A%20%20%20%20return%20model_metrics%2C%20run_metrics%0A%0A%0A%40app.cell%0Adef%20_(add_ignored_rects%2C%20get_invalid_periods%2C%20go%2C%20pl%2C%20plotly)%3A%0A%20%20%20%20def%20quantile_line_chart(%0A%20%20%20%20%20%20%20%20df%3A%20pl.DataFrame%2C%0A%20%20%20%20%20%20%20%20x_col%3D%22run_ts%22%2C%0A%20%20%20%20%20%20%20%20val_col%3D%22err%22%2C%0A%20%20%20%20%20%20%20%20lower_quant%3D0.1%2C%0A%20%20%20%20%20%20%20%20inner_lower_quant%3D0.25%2C%0A%20%20%20%20%20%20%20%20inner_upper_quant%3D0.75%2C%0A%20%20%20%20%20%20%20%20upper_quant%3D0.9%2C%0A%20%20%20%20%20%20%20%20*%2C%0A%20%20%20%20%20%20%20%20title%3A%20str%2C%0A%20%20%20%20%20%20%20%20subtitle%3A%20str%20%7C%20None%20%3D%20None%2C%0A%20%20%20%20%20%20%20%20yaxis_label%3A%20str%2C%0A%20%20%20%20%20%20%20%20xaxis_label%3A%20str%20%7C%20None%20%3D%20None%2C%0A%20%20%20%20)%20-%3E%20go.Figure%3A%0A%20%20%20%20%20%20%20%20x%20%3D%20df%5Bx_col%5D%0A%20%20%20%20%20%20%20%20weak_quant_color%20%3D%20%22rgb(109%2C%20210%2C%20189)%22%0A%20%20%20%20%20%20%20%20strong_quant_color%20%3D%20%22rgb(88%2C%20170%2C%20153)%22%0A%20%20%20%20%20%20%20%20fig%20%3D%20go.Figure(%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20name%3Df%22Q%20%7Bupper_quant%3A.1%25%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%3Dx%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%3Ddf%5Bf%22%7Bval_col%7D_q%7Bupper_quant%20*%20100%7D%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mode%3D%22lines%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(width%3D0%2C%20color%3Dweak_quant_color)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20showlegend%3DFalse%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20name%3Df%22Q%20%7Blower_quant%3A.1%25%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%3Dx%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%3Ddf%5Bf%22%7Bval_col%7D_q%7Blower_quant%20*%20100%7D%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mode%3D%22lines%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(width%3D0%2C%20color%3Dweak_quant_color)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20showlegend%3DFalse%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20fill%3D%22tonexty%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20name%3Df%22Q%20%7Binner_upper_quant%3A.1%25%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%3Dx%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%3Ddf%5Bf%22%7Bval_col%7D_q%7Binner_upper_quant%20*%20100%7D%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mode%3D%22lines%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(width%3D0%2C%20color%3Dstrong_quant_color)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20showlegend%3DFalse%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20name%3Df%22Q%20%7Binner_lower_quant%3A.1%25%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%3Dx%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%3Ddf%5Bf%22%7Bval_col%7D_q%7Binner_lower_quant%20*%20100%7D%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mode%3D%22lines%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(width%3D0%2C%20color%3Dstrong_quant_color)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20showlegend%3DFalse%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20fill%3D%22tonexty%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20last%20so%20it's%20drawn%20on%20top%20of%20the%20quantile%20regions.%20must%20re-set%20color%20to%20first%20trace's%20color.%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20go.Scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20name%3Dval_col%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20x%3Dx%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20y%3Ddf%5Bval_col%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mode%3D%22lines%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3Dplotly.colors.DEFAULT_PLOTLY_COLORS%5B0%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20fig.update_layout(%0A%20%20%20%20%20%20%20%20%20%20%20%20yaxis%3Ddict(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20title%3Ddict(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text%3Dyaxis_label%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20xaxis%3Ddict(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20title%3Ddict(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text%3Dxaxis_label%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20title%3Ddict(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text%3Dtitle%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20subtitle%3Ddict(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20text%3Dsubtitle%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20hovermode%3D%22x%22%2C%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20if%20%22valid%22%20in%20df.columns%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20invalid_periods%20%3D%20get_invalid_periods(df%2C%20x_col)%0A%20%20%20%20%20%20%20%20%20%20%20%20add_ignored_rects(fig%2C%20invalid_periods)%0A%0A%20%20%20%20%20%20%20%20return%20fig%0A%0A%20%20%20%20return%20(quantile_line_chart%2C)%0A%0A%0A%40app.cell%0Adef%20_(pl)%3A%0A%20%20%20%20def%20get_invalid_periods(df%3A%20pl.DataFrame%2C%20index_col%3A%20str%2C%20valid_col%3D%22valid%22)%20-%3E%20pl.DataFrame%3A%0A%20%20%20%20%20%20%20%20%22%22%22Get%20start%20and%20end%20tuples%20for%20'invalid'%20periods%20(~valid).%22%22%22%0A%20%20%20%20%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20df.lazy()%0A%20%20%20%20%20%20%20%20%20%20%20%20.with_columns(blackout%3D~pl.col(valid_col))%0A%20%20%20%20%20%20%20%20%20%20%20%20.with_columns(group_id%3Dpl.col(%22blackout%22).rle_id())%0A%20%20%20%20%20%20%20%20%20%20%20%20.filter(%22blackout%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20.group_by(%22group_id%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20.agg(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20start%3Dpl.min(index_col)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20end%3Dpl.max(index_col)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20.drop(%22group_id%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20.collect()%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20return%20(get_invalid_periods%2C)%0A%0A%0A%40app.cell%0Adef%20_(go%2C%20pl)%3A%0A%20%20%20%20def%20add_ignored_rects(fig%3A%20go.Figure%2C%20invalid_periods%3A%20pl.DataFrame)%3A%0A%20%20%20%20%20%20%20%20for%20start%2C%20end%20in%20invalid_periods.iter_rows()%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20fig.add_vrect(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20start%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20end%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line_width%3D0%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20fillcolor%3D%22darkgrey%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20opacity%3D0.2%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20annotation_text%3D%22ignored%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20annotation_position%3D%22top%20left%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%23%20marimo%20x%20plotly%20update%20logic%20is%20fucked%20and%20sometimes%20annotations%20are%20left%20over%20and%20fuck%20up%20the%20chart.%0A%20%20%20%20%20%20%20%20%23%20trying%20to%20remove%20those%20leftover%20annotations%20here%20doesn't%20work%20because%20they%20aren't%20in%20the%20fig%20object%20at%20all...%0A%20%20%20%20return%20(add_ignored_rects%2C)%0A%0A%0A%40app.cell%0Adef%20_(data_path%2C%20mo%2C%20pl%2C%20running_wasm%2C%20timedelta)%3A%0A%20%20%20%20%40mo.cache%0A%20%20%20%20async%20def%20load_raw(path%3A%20str%2C%20tz%3A%20str)%20-%3E%20pl.DataFrame%3A%0A%20%20%20%20%20%20%20%20if%20not%20running_wasm%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20raw_metrics%20%3D%20pl.read_parquet(data_path)%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20import%20pyarrow%0A%20%20%20%20%20%20%20%20%20%20%20%20import%20pyarrow.parquet%20as%20pq%0A%20%20%20%20%20%20%20%20%20%20%20%20from%20pyodide.http%20import%20pyfetch%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20polars%20is%20not%20compiled%20with%20parquet%20support%20in%20wasm%20builds%2C%20so%20use%20this%20workaround.%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20https%3A%2F%2Fgithub.com%2Fpola-rs%2Fpolars%2Fissues%2F20876%0A%20%20%20%20%20%20%20%20%20%20%20%20response%20%3D%20await%20pyfetch(data_path)%0A%20%20%20%20%20%20%20%20%20%20%20%20table%20%3D%20pq.read_table(pyarrow.BufferReader(await%20response.bytes()))%0A%20%20%20%20%20%20%20%20%20%20%20%20raw_metrics%20%3D%20pl.from_arrow(table)%0A%0A%20%20%20%20%20%20%20%20raw_metrics%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20raw_metrics.lazy()%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20add%20lag%20column%0A%20%20%20%20%20%20%20%20%20%20%20%20.with_columns(lag%3D((pl.col(%22time%22)%20-%20pl.col(%22run_ts%22))%20%2F%20timedelta(hours%3D1)%20%2B%201).cast(int))%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20add%20absolute%20error%20columns%0A%20%20%20%20%20%20%20%20%20%20%20%20.with_columns(ae%3Dpl.col(%22err%22).abs()%2C%20adpd%3Dpl.col(%22dpd%22).abs())%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20add%20unique%20integer%20id%20for%20each%20forecast%0A%20%20%20%20%20%20%20%20%20%20%20%20.with_columns(pl.col(%22run_ts%22).rle_id().alias(%22fc_i%22))%0A%20%20%20%20%20%20%20%20%20%20%20%20.collect()%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%23%20add%20start%20and%20end%20time%20for%20each%20forecast%20run%0A%20%20%20%20%20%20%20%20raw_metrics%20%3D%20raw_metrics.join(%0A%20%20%20%20%20%20%20%20%20%20%20%20raw_metrics.group_by(%22run_ts%22).agg(pl.min(%22time%22).alias(%22start_time%22)%2C%20pl.max(%22time%22).alias(%22end_time%22))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20on%3D%22run_ts%22%2C%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20return%20raw_metrics%0A%0A%20%20%20%20return%20(load_raw%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20model%2C%20pathlib%2C%20running_wasm%2C%20test_checkbox)%3A%0A%20%20%20%20def%20get_assets_dir()%20-%3E%20pathlib.PurePath%3A%0A%20%20%20%20%20%20%20%20notebook_loc%20%3D%20mo.notebook_location()%0A%20%20%20%20%20%20%20%20if%20running_wasm%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20notebook_loc%20%2F%20%22public%22%20if%20notebook_loc%20is%20not%20None%20else%20None%0A%0A%20%20%20%20%20%20%20%20return%20notebook_loc.parent%20%2F%20%22data%22%0A%0A%20%20%20%20def%20get_data_path()%20-%3E%20str%20%7C%20None%3A%0A%20%20%20%20%20%20%20%20file_name%20%3D%20model%20%2B%20(%22-test%22%20if%20test_checkbox.value%20else%20%22%22)%20%2B%20%22.parquet%22%0A%20%20%20%20%20%20%20%20asset_dir%20%3D%20get_assets_dir()%0A%20%20%20%20%20%20%20%20if%20asset_dir%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20raise%20ValueError(%22Could%20not%20get%20asset%20dir%22)%0A%0A%20%20%20%20%20%20%20%20if%20running_wasm%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20str(asset_dir%20%2F%20file_name)%0A%0A%20%20%20%20%20%20%20%20path%20%3D%20asset_dir%20%2F%20%22metrics%22%20%2F%20%22raw%22%20%2F%20file_name%0A%20%20%20%20%20%20%20%20return%20str(path)%20if%20path.exists()%20else%20None%0A%0A%20%20%20%20def%20get_meta_path()%20-%3E%20str%20%7C%20None%3A%0A%20%20%20%20%20%20%20%20file_name%20%3D%20model%20%2B%20%22.json%22%0A%20%20%20%20%20%20%20%20asset_dir%20%3D%20get_assets_dir()%0A%20%20%20%20%20%20%20%20if%20asset_dir%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20raise%20ValueError(%22Could%20not%20get%20asset%20dir%22)%0A%0A%20%20%20%20%20%20%20%20if%20running_wasm%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20str(asset_dir%20%2F%20file_name)%0A%0A%20%20%20%20%20%20%20%20path%20%3D%20asset_dir%20%2F%20%22models%22%20%2F%20model%20%2F%20file_name%0A%20%20%20%20%20%20%20%20return%20str(path)%20if%20path.exists()%20else%20None%0A%0A%20%20%20%20return%20get_data_path%2C%20get_meta_path%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20get_horizon_range%2C%20set_horizon_range%20%3D%20mo.state(%5B1%2C%2014%5D)%0A%20%20%20%20return%20get_horizon_range%2C%20set_horizon_range%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A