一、数据集核心亮点

二、数据集整体概览

1. 基础信息

• 数据更新至：2026-06-30
• 总文件数：6个CSV数据文件+4套Python分析代码
• 核心覆盖：新闻情绪+美股行情+机器学习特征
• 适用软件：Python/R/Stata/Excel全兼容

2. 情绪评分方法说明

三、6个数据文件详细说明

1. news_sentiment_raw.csv 原始新闻情绪逐条数据

2. news_sentiment_daily.csv 日度情绪聚合面板

3. market_prices.csv 三大指数+VIX全量行情

4. sentiment_market_panel.csv 情绪+市场合并主分析文件

5. ml_features.csv 机器学习特征工程版

四、配套Python分析代码（4套全中文注释）

脚本1：数据探索与可视化功能

功能：一键加载全部6个数据文件，自动统计缺失值、输出描述性统计，生成8张专业可视化图表。

核心输出：情绪趋势图、市场行情走势图、新闻来源分析、情绪-收益散点图等。

使用方式：修改DATA_DIR为本地数据路径，直接运行即可在output目录生成全部图表。

# 核心配置示例DATA_DIR = "./data"      # 数据存放目录OUTPUT_DIR = "./output"  # 图表输出目录

脚本2：情绪-市场相关性与统计回归分析

# 回归示例model = ols('spy_return_next1d ~ weighted_compound + vix_close + spy_return_1d', data=df).fit()

脚本3：机器学习预测建模

功能：专业金融时序预测框架，采用滚动时间序列交叉验证（Walk-forward CV）避免未来信息泄露，对比逻辑回归、随机森林、XGBoost三种模型。

核心功能：

• 滚动交叉验证（训练窗口252天，测试窗口20天）
• 多模型性能对比（准确率、AUC、F1值）
• 特征重要性分析（TOP15关键因子）
• 混淆矩阵、ROC曲线、预测概率走势可视化
• 基于预测信号的简单策略回测（累计收益、夏普比率、最大回撤）

# 滚动验证参数train_window=252   # 训练窗口：1年交易日test_window=20     # 测试窗口：1个月step=20            # 滚动步长

脚本4：Prophet时序预测与投资组合优化

功能：Facebook Prophet时间序列预测+情绪择时策略+马科维茨均值方差优化，三位一体。

核心模块：

1. Prophet 预测：基础单变量预测vs加入情绪外生变量的多变量预测，对比准确率提升
2. 情绪择时策略：简单情绪择时、反向情绪策略、情绪动量策略，三套策略绩效对比
3. 马科维茨优化：SPY/QQQ/DIA三大指数资产配置，求解最小方差组合、最大夏普组合，绘制有效前沿

# 可投资产assets = ['SPY 标普500', 'QQQ 纳斯达克100', 'DIA 道琼斯']# 输出：最小方差组合权重、最大夏普组合权重、有效前沿曲线

代码使用说明

1. 环境依赖：Python 3.8+，需安装pandas、numpy、matplotlib、seaborn、scikit-learn、statsmodels、scipy等基础库；Prophet和 XGBoost为可选依赖，未安装时会自动跳过对应模块。
2. 路径配置：所有脚本统一使用DATA_DIR="./data"作为数据目录，将6个CSV文件放入data文件夹即可运行，无需修改其他路径。
3. 输出结果：所有图表自动保存到./output目录，统计结果直接打印到控制台。
4. 论文复用：代码结构清晰、注释详尽，可直接用于行为金融、市场情绪、量化投资方向的本科 / 硕博论文实证章节。

五、适配研究场景 & 推荐用法

• 行为金融：新闻情绪对股价的传导效应
  用weighted_compound对次日收益做回归，检验情绪是否具有预测性；分VIX高低区制做异质性分析。
• 事件研究：重大新闻冲击下的市场反应
  筛选compound极值日作为事件窗口，计算CAR累计超额收益。
• 情绪动量交易策略回测
  基于sent_momentum信号构建多空组合，回测年化收益与夏普比率。
• 机器学习：股价涨跌预测
  直接使用ml_features.csv，用XGBoost/LSTM等模型训练次日涨跌分类器。
• VIX 与情绪联动研究
  检验负面新闻占比是否领先VIX上升，验证情绪→恐慌指数传导路径。
• 不同主题新闻的差异化影响
  按topic字段拆分通胀、衰退、盈利、政策等子主题，分别检验对市场的冲击强度。
• 投资组合优化
  结合情绪信号做动态资产配置，优化三大指数配置权重。

六、数据使用注意事项

1. 情绪数据与交易日严格对齐，非交易日无行情数据，合并后自动剔除；
2. weighted_compound为推荐核心情绪指标，比简单均值更能反映专业媒体影响力；
3. VADER为英文金融文本专用模型，对英文财经新闻适配性优于通用大模型打分；
4. ml_features.csv已做好滞后项与滚动特征，直接划分训练集测试集即可建模；
5. 数据集持续更新，后续会不定期补充最新交易日数据；
6. CC0协议可自由商用，但建议在论文或项目中注明数据来源。

💡 实操小提示

Python 情绪 - 收益相关性快速检验

import pandas as pddf = pd.read_csv("sentiment_market_panel.csv")# 核心情绪指标与次日收益相关系数corr = df[["weighted_compound", "spy_return_next1d"]].corr()print(corr)# 按VIX区制分组看相关性print(df.groupby("vix_regime")["weighted_compound"].corr(df["spy_return_next1d"]))

Stata 基础回归示例

导入sentiment_market_panel.csv后，可直接运行：

reg spy_return_next1d weighted_compound sent_momentum vix_pct_chg, robust

研究进阶建议

• 负面新闻占比（pct_negative）对下跌行情的解释力通常强于正面新闻，建议做非对称效应检验；

• 情绪动量（sent_momentum）在震荡市中预测效果更显著，牛市中信号容易钝化。

💡 数据获取与使用说明

1. 数据 & 代码包获取方式

关注公众号，后台回复关键词「s003」，即可获取百度/夸克网盘下载链接；

2. 免责声明与使用规范