Datawhale干货
作者:戳戳龍,上海交通大学,量化算法工程师
? 平时工作中每天都在和时间序列打交道,对时间序列分析进行研究是有必要的
(资料图片)
? 分享和交流一些自己的在时序处理方面的心得,提供一些思路
? 介绍时序的发展情况,以及目前业界常用的方法
? 代码希望能模板化,能直接复制过去使用
?series = trend + seasons + dependence+ error
? 时间序列的趋势分量表示该序列均值的持续的、长期的变化
Df["ma20"] = Df["amt"].rolling(20).mean()
def plot_season(Df): df = Df.copy() # 计算每周属于哪一年 df["year"] = df["date"].dt.year # 计算每周为一年当中的第几周 df["week_of_year"] = df["date"].dt.weekofyear for year in df["year"].unique(): tmp_df = df[df["year"] == year] plt.plot(tmp_df["week_of_year"], tmp_df["amt"], ".-", label=str(year)) plt.legend() plt.show()
?如果每隔h个单位,ACF值有一个局部高峰,则数据存在以h为单位的周期性
from statsmodels.graphics.tsaplots import plot_acfplot_acf(Df["amt"], lags=500).show()
?自相关函数 autocorrelation function有序的随机变量序列与其自身相比较自相关函数反映了同一序列在不同时序的取值之间的相关性
from statsmodels.graphics.tsaplots import plot_acf_ = plot_acf(Df["amt"], lags=50)
from statsmodels.graphics.tsaplots import plot_pacfplot_pacf(Df["amt"], lags=5)
?官方文档:https://facebook.github.io/prophet/docs/quick_start.html#python-api
?模型结构——关于时间的广义线性模型g(t):trend,用分段线性函数或逻辑增长曲线(logistic)拟合s(t):seasonality,用傅里叶级数拟合。可以叠加多个季节性,如weekly,yearly (s = s1+s2……)h(t):regressor,用线性函数拟合。可以叠加多个外部变量,如节假日、温度、活动(h = h1+h2+……):模型残差 不用拟合以上方程也可以写成乘法形式:乘法形式和加法形式可以相互转换,乘法形式两边取对数就是加法形式
?模型结构——关于时间的广义线性模型
?线性趋势函数分段线性趋势函数超参数,由用户给出分几段参数,根据历史数据拟合k:曲线增长速率m:曲线的截距
?线性趋势函数
分段线性趋势函数
?函数展示:https://www.desmos.com/calculator/8pnqou9ojy?lang=zh-CN
?任何周期性函数都可以表示成傅里叶级数
? 函数展示:(https://www.desmos.com/calculator/5prck2beq1?lang=zh-CN
: 模型输入, 外部因素在时刻的取值
Z可以是0-1变量 (e.g.是否是法定假日,是否是春节,是否有促销)
也可以是连续变量 (e.g.产品价格, 温度,降雨量)
:线性回归系数
1️⃣ 先设定表达式(超参数)
2️⃣ 根据训练集数据求解参数
df_train = Df[ (Df["date"]<"2022-01-01") & (Df["date"]>="2018-01-01") ]df_test = Df[ (Df["date"]>="2022-01-01")]
def FB(data): df = pd.DataFrame({ "ds": data.date, "y": data.amt, })# df["cap"] = data.amt.values.max()# df["floor"] = data.amt.values.min() m = prophet.Prophet( changepoint_prior_scale=0.05, daily_seasonality=False, yearly_seasonality=True, #年周期性 weekly_seasonality=True, #周周期性# growth="logistic", ) m.add_seasonality(name="monthly", period=30.5, fourier_order=5, prior_scale=0.1)#月周期性 m.add_country_holidays(country_name="CN")#中国所有的节假日 m.fit(df) future = m.make_future_dataframe(periods=30, freq="D")#预测时长# future["cap"] = data.amt.values.max()# future["floor"] = data.amt.values.min() forecast = m.predict(future) fig = m.plot_components(forecast) fig1 = m.plot(forecast) a = add_changepoints_to_plot(fig1.gca(), m, forecast) return forecast,m
forecast,m = FB(df_train)
def FPPredict(data,m): df = pd.DataFrame({ "ds": data.date, "y": data.amt, }) df_predict = m.predict(df) df["yhat"] = df_predict["yhat"].values df = df.set_index("ds") df.plot() return df
df = FPPredict(df_test.tail(200),m)
kaggle notebook[1]
Purchase Redemption Data.zip
import pandas as pdimport numpy as npimport matplotlib.pyplot as pltimport prophetfrom prophet.diagnostics import cross_validationfrom prophet.diagnostics import performance_metricsfrom prophet.plot import plot_cross_validation_metricimport warningswarnings.filterwarnings("ignore")
data_user = pd.read_csv("../input/purchase-redemption/Purchase Redemption Data/user_balance_table.csv")data_user["report_date"] = pd.to_datetime(data_user["report_date"], format="%Y%m%d")data_user.head()
data_user_byday = data_user.groupby(["report_date"])["total_purchase_amt","total_redeem_amt"].sum().sort_values(["report_date"]).reset_index()data_user_byday.head()
#定义模型def FB(data: pd.DataFrame): df = pd.DataFrame({ "ds": data.report_date, "y": data.total_purchase_amt, })# df["cap"] = data.total_purchase_amt.values.max()# df["floor"] = data.total_purchase_amt.values.min() m = prophet.Prophet( changepoint_prior_scale=0.05, daily_seasonality=False, yearly_seasonality=True, #年周期性 weekly_seasonality=True, #周周期性# growth="logistic", )# m.add_seasonality(name="monthly", period=30.5, fourier_order=5, prior_scale=0.1)#月周期性 m.add_country_holidays(country_name="CN")#中国所有的节假日 m.fit(df) future = m.make_future_dataframe(periods=30, freq="D")#预测时长# future["cap"] = data.total_purchase_amt.values.max()# future["floor"] = data.total_purchase_amt.values.min() forecast = m.predict(future) fig = m.plot_components(forecast) fig1 = m.plot(forecast) return forecast,m
result_purchase,purchase_model = FB(data_user_byday.iloc[:-30])
def FPPredict(data,m): df = pd.DataFrame({ "ds": data.report_date, "y": data.total_purchase_amt, })# df["cap"] = data.total_purchase_amt.values.max()# df["floor"] = data.total_purchase_amt.values.min() df_predict = m.predict(df) df["yhat"] = df_predict["yhat"].values df = df.set_index("ds") df.plot() return df
purchase_df = FPPredict(data_user_byday.iloc[-30:],purchase_model)
#定义模型def FB(data: pd.DataFrame): df = pd.DataFrame({ "ds": data.report_date, "y": data.total_redeem_amt, }) df["cap"] = data.total_purchase_amt.values.max() df["floor"] = data.total_purchase_amt.values.min() m = prophet.Prophet( changepoint_prior_scale=0.05, daily_seasonality=False, yearly_seasonality=True, #年周期性 weekly_seasonality=True, #周周期性 growth="logistic", )# m.add_seasonality(name="monthly", period=30.5, fourier_order=5, prior_scale=0.1)#月周期性 m.add_country_holidays(country_name="CN")#中国所有的节假日 m.fit(df) future = m.make_future_dataframe(periods=30, freq="D")#预测时长 future["cap"] = data.total_purchase_amt.values.max() future["floor"] = data.total_purchase_amt.values.min() forecast = m.predict(future) fig = m.plot_components(forecast) fig1 = m.plot(forecast) return forecast
result_redeem = FB(data_user_byday)
https://www.heywhale.com/mw/project/63904f5658e3bea6a3e52800
import sweetviz as svdef eda(df, name, target=None): sweet_report = sv.analyze(df, target_feat=target) sweet_report.show_html(f"{name}.html")def eda_compare(df1, df2, name, feature, target): feature_config = sv.FeatureConfig(force_text=feature, force_cat=feature) sweet_report = sv.compare(df1, df2, feat_cfg=feature_config, target_feat=target) sweet_report.show_html(f"{name}_compare.html")
完整版请访问:https://www.wolai.com/stupidccl/5dqha79nnrPMf5xTAs6jUu
kaggle notebook: https://www.kaggle.com/code/stupidccl/time-serious-analysis-1/edit/run/107631286
最美校长韩微微获2017环球夫人大赛全球季军!
四川北川万余民众跳起欢快的沙朗 喜迎羌历新年
网络互助“叫板”传统保险 记者调查:监管政策尚不完善
全面二孩政策实施一年 今年底将进入生育高峰期
山东偿还政府拖欠工程款663亿元 14县市区完成清偿
每天都和时间序列打交道,我总结了这篇文章!
合合信息智能文档处理系统获权威评测认可|世界时快讯
Xbox暂时还不想进入VR市场,原因是用户数还不够
斯巴鲁推出日本首个手动挡汽车辅助驾驶系统,秋季商用|热头条
鹤壁市淇滨区黎阳路街道:粽叶飘香迎端午 睦邻和谐怡家亲
每日聚焦:重庆宽带资费对比2021_重庆宽带资费对比
生意社:预计短期内稀土市场价格震荡走高为主
环球即时:云南曲靖:玫瑰花开 美了村庄富了民
中国铁路7月1日起实行新的列车运行图
环球热资讯!不是火箭,哈登交易基本敲定,2换1,恩比德迎最强夺冠帮手
流动性即将告急 美股可能涨不动了
以色列计划修建新定居点 古特雷斯敦促停止和撤销决定
深圳首家美高梅酒店来了 计划于明年“五一”假期开业
“粽”有快乐相伴 “粽”有平安守护
天天看点:2023云南高考本科分数线最新公布_文科+理科
“海空立体”联合救援 粤琼联合举办客滚船海上应急搜救综合演练_世界热头条
端午假期全国出入境客流将迎“小高峰”-环球视讯
央行年内首次下调LPR利率!对楼市有什么作用?
“理想信念之美——黔中大地上的大思政课”在贵州装备制造职业学院开讲 天天视点
天天速读:2023年北京昌平社保最低缴费标准基数及比例 2023个人社保缴费标准表
中日在线翻译器拍照(中日在线翻译)-视讯
里约中国国际学校举行端午庆祝活动|当前关注
“尼”与AI共迎未来|看“山东手造”,感受乡村变化,外国网红大呼“过瘾”
在立行立改和确保长效中促发展——湖南大众传媒职院推动主题教育与高质量发展深度融合 精彩看点
全球微头条丨中金:国内新房销售未现季节性上升 本月前三周推盘量较5月降两成
动态焦点:热门车讯丰田GT-86有望3月进口 搭载水平对置引擎
英超拦截次数排行榜:赖斯居首,凯塞多、杜库雷、格耶并列第二
世界看热讯:我国成功发射试验二十五号卫星
今日讯!紧抓源头预防 强化分级管控 广饶县召开职业健康推进工作会议
港股汽车股开盘走弱,小鹏汽车跌超4%
Copyright @ 2008-2015 All Rights Reserved 河南网 版权所有
联系我们:317 493 128@qq.com