回測收益翻倍,實盤卻虧錢:LLM量化可能“偷看答案”了
一套量化策略回測年化收益152%,勝率73%,最大回撤只有8%;上線實盤後,卻虧損23%。
到底是市場變了,還是模型失效了?
在LLM量化越來越熱門的今天,最危險的問題往往不是模型不夠聰明,而是模型在訓練、研究或回測過程中,提前接觸了本不應該看到的信息。
這就是量化研究中的數據泄漏和時間穿越。
最典型的情況,是模型在判斷某個歷史時點時,使用了後來才發佈的數據。例如,用財報正式披露後的修訂數據去解釋披露前的股價;用完整新聞文章的發佈時間代替市場真正能夠接收到信息的時間;或者讓大語言模型調用包含未來市場表現的互聯網語料,再回頭判斷過去應該買什麼。
從代碼層面看,這些錯誤未必明顯。回測曲線甚至會非常漂亮,但模型實際上不是在預測未來,而是在複述答案。
LLM又進一步放大了這個風險。
傳統量化通常使用結構化數據,時間戳相對容易審計;LLM使用新聞、公告、電話會、研報和社交媒體等非結構化信息,信息何時產生、何時公開、何時被模型獲取,往往更加複雜。
例如,一篇新聞在盤後發佈,但數據庫統一記錄爲當天日期。如果回測系統把它當成盤前已知信息,模型便獲得了不真實的優勢。再比如,模型預訓練語料可能已經包含某家公司後來的業績結果和股價表現。即使研究者只詢問歷史信息,模型也可能在答案中泄漏未來認知。
除了時間穿越,LLM量化還有四類常見失真。
第一,樣本污染。同一份公告或新聞經過多個網站轉載,被模型當成多個獨立信號,導致置信度被錯誤放大。
第二,倖存者偏差。回測只使用今天仍然存在的公司,忽略已經退市、破產或被收購的樣本。
第三,交易成本缺失。回測按收盤價成交,實盤卻要面對價差、滑點、延遲和市場衝擊。
第四,模型過擬合。提示詞、因子和參數不斷圍繞歷史數據優化,最終得到的不是通用規律,而是對過去行情的精確記憶。
所以,判斷一套LLM策略是否可信,不能只看收益率,還要檢查:
數據是否遵守“當時可獲得”原則;
訓練集、驗證集和測試集是否嚴格隔離;
是否使用滾動樣本外測試;
是否模擬真實成交延遲和交易成本;
是否在不同市場階段保持穩定;
是否能解釋每一次信號引用了什麼信息。
小貓量化雲在系統設計上,更看重實盤可執行性,而不是追求一條過度漂亮的回測曲線。任何策略進入自動執行前,都應經過樣本外驗證、模擬盤觀察、倉位限制和風控檢查。
自動交易不是把模型輸出直接變成訂單,而是建立一道完整鏈路:
信號生成 → 數據時點校驗 → 風控檢查 → 倉位計算 → 訂單執行 → 審計覆盤。
回測的作用,是幫助我們淘汰明顯無效的策略,而不是證明未來一定賺錢。
一條過於完美的收益曲線,首先應該帶來的不是興奮,而是懷疑:模型是不是提前看到了答案?
#量化投資 #美股 #港股 #股票 #量化交易
Disclaimer: Investing carries risk. This is not financial advice. The above content should not be regarded as an offer, recommendation, or solicitation on acquiring or disposing of any financial products, any associated discussions, comments, or posts by author or other users should not be considered as such either. It is solely for general information purpose only, which does not consider your own investment objectives, financial situations or needs. TTM assumes no responsibility or warranty for the accuracy and completeness of the information, investors should do their own research and may seek professional advice before investing.

