Portofolio Management--集智科技投資網絡-上海優鈞機械設備科技

News Message

Portofolio Management

by wittx 2022-11-27

前言

投資組合管理是將資金不斷分配到不同的金融產品，以期獲得更大累計收益的過程。
在證券組合投資管理中，深度強化學習主要的作用是利用深度神經網絡的特征表示能力對強化學習的狀態、動作、價值等函數進行擬合，提升強化學習模型性能，實現資產組合權重再更新。

PGPortofolio論文（2017）

1. 論文摘要

同時都用神經網絡訓練策略函數和獎勵函數導致結果不穩定
文章測試虛擬貨幣市場。因為其'去中心化'，小量交易龐大；以及全天開放。實驗中交易周期是 30 分鐘。
文章使用CNN/RNN/LSTM作為策略網絡，效果良好
EIIE的結構不訓練單個Asset
缺失/異常值會被Agent記憶，因此需要平滑填充
Sub-sampling scheme：選擇Asset（滿足購買影響假設）；周期特征抽?。∣HLC）；History cut-off（短時間price特征代表State）

2.論文實現

Ensemble of Identical Independent Evaluators (EIIE) topology：根據歷史數據評估潛在價值。輸出重要性權重作為下一次輸入。
Portfolio Vector Memory (PVM)：保存投資組合權重。
Online Stochastic Batch Learning scheme (OSBL)在線隨機批學習：訓練EIIE。
獎勵函數：平均階段的對數回報指標（梯度上升更新）

tf時間段的Reward函數

3. 數學理論

第一個asset是報價通貨，即現金標準(Cash bias)，其值為1；只在softmax計算權重時作用
權重的更新：舊權重與回報比率（收盤/開盤）的加權
收益pv

4. 強化學習

State：價格向量和上一次的投資權重
策略網絡：輸入price tensor，輸出權重portofolio vector w.
RNN/LSTM使用PVM保存歷史做批次訓練——>速度慢

5.模型

CNN Implementation of the EIIE：

RNN/LSTM Implementation of the EIIE：

Portfolio Vector Memory（PVM）：

AlphaStock論文（2019）

AlphaPortfolio論文（2021）

Motivation：對于傳統的投資組合管理，首先需要最小化定價誤差或從歷史樣本中估計風險溢價，然后組合資產以實現投資目標。這種方法有嚴重的缺點，因為第一步的估計誤差很大，而且兩步的目標不一定一致。提取與投資組合目標并最大化直接相關的信號在直覺上很有吸引力，但卻沒有得到充分的探索。
模型構成：

序列表示提取模型（sequence representation extraction models， SREM）：文中使用Transformer Encoder
跨資產注意力網絡（CrossAsset Attention Network，CAAN）：將所有資產的表征作為輸入，以提取捕捉資產之間相互關系的表征

SREM

CAAN架構：自注意機制

其將收益和線性層相乘

DeepTrader論文（2021）

前言：繼承了alphastock的問題設定和BWSL策略框架，使用了市場因子計算市場行業情緒，來控制空倉的資金分配；對股票的時間特征抓取和股票之間空間相關性的抓取上仍然使用attention機制，不過還加入TCN、GCN等使得計算更快、性能更好。

DeepTrader的算法一共包括上面的綠色、藍色、紫色三部分，對應的是股票打分、市場情緒、投資組合生成器。整個算法流程就是股票打分器（綠色部分）對股票的漲跌潛力打分并給出投資組合占比，而市場打分器（藍色部分）分配空頭資金量，二者結合一下就是最后的投資組合（紫色部分）。

Automatic Financial Trading Agent for Low-risk Portfolio Management using Deep Reinforcement Learning （2019）

DQN網絡實現18倍回報，PAMR作為benchmark實現9倍回報

Reinforcement-Learning Based Portfolio Management with Augmented Asset Movement Prediction States (2020, AAAI)

投資組合管理是一項基本的財務計劃任務，旨在實現諸如最大利潤或最小風險等投資目標。其決策過程涉及從各種數據源不斷推導有價值的信息和順序決策優化，這是強化學習的一個前瞻性研究方向。本文提出了 SARL，這是一種用于投資組合管理的新型狀態增強強化學習框架。

Contributions解決的問題：

數據異構性。為每項資產收集的信息通常是多樣化的、嘈雜的和不平衡的（例如，新聞文章）；
環境不確定性。金融市場是多面且不穩定的。合并異構數據并增強對環境不確定性的穩健性，SARL 將價格變動預測作為附加狀態來增強資產信息，其中預測可以僅基于財務數據（例如，資產價格）或來自新聞等替代來源。

News Message