本頁只刊出中文翻譯與中文說明；英文原文請見下方原文連結。
原文連結
論文資訊
- 類型：工作論文
- 編號：工作論文 #1496
- 日期：2026-03-18
摘要
本文是關於從機率分佈的有限樣本集估計機率分佈函數的問題的系列文章中的第二篇。在第一篇論文中，介紹了機率分佈函數的貝葉斯估計量，討論了貝葉斯估計量的最優性質，推導了香農熵的貝葉斯估計量和頻率計數估計量並進行了圖形對比。在本文中，透過推導統計和資訊理論中其他幾個感興趣的函數的貝葉斯估計量，擴展了第一篇論文的分析。這些函數是互資訊（的冪），用於獨立性、方差、協方差和平均值檢定的卡方。尋找其中幾個函數的貝葉斯估計量需要對第一篇論文中開發的分析技術進行擴展，這些擴展構成了本文的主體。本文也以其他方式擴展了分析，例如，將潛在先驗的類別擴大到第一篇論文中假設的統一先驗之外。特別是，考慮使用熵和狄利克雷先驗。
中文翻譯
估計有限樣本集的機率分佈函數；第二部分：互資訊、卡方、協方差和其他統計的貝葉斯估計量 David H. Wolpert David R. Wolf SFI 工作論文：1993-07-047 SFI 工作論文包含作者的科學工作記錄，不一定代表 Santa Fe 研究所的觀點。我們接受打算在同行評審期刊或會議論文集上發表的論文，但不接受已經印刷的論文。除我們外部教師的論文外，論文必須基於在 SFI 所做的工作、受邀訪問 SFI 或在 SFI 合作的啟發，或由 SFI 撥款資助。 ©注意：本工作論文經撰稿作者許可包含在內，作為確保在非商業基礎上及時分發學術和技術作品的一種手段。版權所有和其中的所有權利均由作者維護。據了解，所有複製此資訊的人都將遵守每個作者的版權所引用的條款和限制。只有在版權所有者明確許可的情況下才能轉發這些作品。聖塔菲研究所根據有限樣本集估計機率分佈函數第二部分：互資訊、卡方、協方差和其他統計的貝葉斯估計量。作者：1 2 David R. Wolf 和 David H.沃珀特 ,.,. 1-圖像分析科，M Division, M-4, MS P940, LANL, Los Alamos, NM 87545。 (drw@beta.lanl.gov) 2-TheSantaFeInstitute, 1660OldPecosTrail, SuiteA, SantaFe, NM 87501。 (dhw@santafe.edu) 摘要：本文是關於估計問題的系列文章中的第二篇來自該分佈的有限樣本集的機率分佈的函數。在第一篇論文中，介紹了機率分佈函數的貝葉斯估計量，討論了 Bayes 估計量的最優性質，推導了 Shan 非熵的貝葉斯估計量和頻率計數估計量並進行了圖形對比。在本文中，透過推導統計和資訊理論中其他幾個感興趣的函數的貝葉斯估計量，擴展了第一篇論文的分析。這些函數是互資訊（的冪），用於檢定獨立性、變異數、協方差和平均值的卡方。找到其中幾個函數的貝葉斯估計子需要對第一篇論文中開發的分析技術進行擴展，這些擴展構成了本文的主體。本文還以其他方式擴展了分析，例如將潛在先驗類別擴展到第一篇論文中假設的統一先驗之外。特別地，考慮使用熵和狄利克雷先驗。 PACS 編號：02.50.+s，05.20.-y 1. 背景 考慮一個具有 m 個可能狀態和這些狀態機率的關聯 m 向量的系統，p = (p), I ::;i ::;m,(LF= IPi = 1)。系統根據分佈p進行重複獨立採樣。令樣本總數為 N，並以 D (n,')' 1::;i::;m, (L!" In. N) 表示關聯的 == 狀態計數向量。根據定義，D 是多重分佈的 1= 1 。在本文中的某些情況下，狀態將由兩個整數索引。對於這些情況，p 和 D 是矩陣。在本文中的許多情況下，狀態將由兩個整數索引。對於這些情況，p 和 D 是矩陣。 F(p)。 P(F(p) = f I D) 的表徵。的所謂「先驗」pdf。 如[1]中所提到的，透過使用切比雪夫不等式，第二後驗矩可用於限制 F(p) 大幅偏離 F(p) 貝葉斯估計量的機率。現在我們介紹函數 F(p)，我們在本文中為其推導了 eBayes 估計器。這裡考慮的函數 F(p) 是互資訊的（前兩個）冪，用於獨立性、協方差、變異數和平均值檢定的卡方。 （在某些情況下，本文的方法將允許考慮這些函數的所有權力。）這種函數選擇並不意味著是詳盡無遺的。相反，它旨在舉例說明計算函數 F(p) 的貝葉斯估計量所涉及的一些數學技術，並提供一些有用的結果。本文的技術也應該適用於許多其他感興趣的功能。互資訊由矩陣 p 定義為 M(p) = S«Pi。 » +S((p})- S(p) (4) 這裡 (Pi.) 和 (p) 分別是 p = (Pij) 的列和行總和的向量，Le. Pi. '"LjPij ，對於 (p) 類似。S(p) 是通常的香農熵：S(p) = -LijPiog (Pilog) 而 -Piog»Pilog =Pid»Pid -Pid»Piog» (Pilog)，而Pij} (Pilog) = -LijPiog (Pilog. ，類似地對於S((P.j»' 互資訊是對具有聯合機率 Pij [2] 的兩個符號流（符號動力系統）之間共享的資訊量的度量。它也可以被視為對具有聯合機率 Pij [3] 的兩個符號系統之間的相關性的度量。互資訊函數在通訊理論 [2]（例如通道容量的測量）、模式識別 [4]和自然語言等領域具有應用[5]，僅舉幾例，獨立性的卡方統計量也由矩陣 p 的函數給出，X (p) '"L ij ( (Pij- Pi.P)2/ (Pi.P}) ， (5) 卡方通常用於獨立性的統計量檢定 [6]，其中它以 p 的最大似然估計量取代出現 pinEq)。與這些測試中使用的漸近（大數據集）統計量成正比，並且在某些條件下很容易顯示為互資訊的一階近似值 [7-8]。 m 個可能狀態中的一個與數字 j 的某個有序對 (Xi' Y ) 相關聯（總共有 m 個索引對 (i,j) xy xl xl 和 Jl 向量，也對於 xl = xl = xl = xl。的變異函數由 Var(p)=L.p.(X.-II )2, (7) ""'x 給出。小節中進行了總結。貝葉斯估計器的計算 在本節中，我們介紹導出第 1 節中討論的函數的前兩個矩所需的計算。 2b-d 節（符號、中間結果（Thms. 22-25）和貝葉斯估計量（Thms. 26 和 27）），但對於比 2b-d 中考慮的積分更複雜的讀者，請參閱第 1 節中描述的 F(p) 的貝葉斯估計量。 E[F(p)lo] = fdp P(plo)F(p)。 設 ~(p)=8(:EiPi-1) 且 e(p) =IIie(Pi)，其中 e(x) = 1，否則 x ~0,0。將 I[F(p), 0] 定義為 f I [F(p),0] = dpF(p)~(p)e(p)lli= IP~i。 (9) 使用此表示法，當先驗 P(p) 一致時，即當 P(p) oe ~(p)e(p) 時，很容易證明（參見[1]） E [F(p)10] = I[F(p), 0] II [1,0] 。 (10) I [1,0] 的結果出現在Thm 中。 [1] 之 3。 （一般來說，對Thms.1-8的引用是在[1]中編號的定理；本文是[1]的延續，從9開始對其定理進行編號。）因此，當先驗一致時，找到貝葉斯估計量E [F(p)10]可減少對積分I [F(p), 0]的評估。在本節的其餘部分中，為每個F(p)計算該積分Sec. 中提到1. 2b.符號。若要了解必須執行的計算類型，請考慮 = F(p) Mk(p)、M(p) 為互資訊的情況。在這種情況下，感興趣的積分是 f I [Mk(p), n] = dp rr~ IP~i x [-LiPi.1og(Pi.) - LjP}Og (p) +LijPijlog (Pij)] k (11) "'p （這裡和本文的其餘部分，我們沒有在被積函數中明確寫出 li(p)因子。 O"u' u = 1, ...,k，對應的子集和將由 YPu"'Lie"li'U = I, ...,k 給出。在這種情況下，O"unO"v = 0 for u;cv，子集稱為非重疊。另一方面，如果 O"u n o"v;c0 和 O"u;cvO"v'u;cvO"v'u;子集將被稱為重疊。 O"u- O"uv 來引用 o"u 中的索引，而不是 O"uv' O"u+v'" O"u U O"V 來引用 o"u 中的索引。和/或在 O"v' 中以及當考慮兩個以上集合時明顯的擴展。 k = 2，不會出現涉及兩個以上重疊子集的術語。的下標； ~u= L i E cr (n i +1) 。有時使用符號約定 Vi = n i +1, u i = 1, ...,m 也很有用。相關聯；<I>(n)(z) ='¥(n-l)(z)，其中 = '¥(n)(z) 由 '¥(n)(z) a~ +1log (r(z»)給出（參見[9]，方程式6.3.1）；並且這裡使用的超幾何函數的“delta-phi”函數符號出現在App.A中。節中定義的「可分解」形式，因為它允許我們應用[1] 的第 4b 節中的過程來計算積分。 我們從導出非重疊和成對重疊卷積所需的基本卷積積分開始本小節（Thms.9-11）。然後，我們提出這兩種類型的特定積分 I[".]（Thms. 12-15）。定理 12 和 13a,b 適用於非重疊項；定理 14a,b 和 15a,b 適用於成對重疊項。在第 2d 節中，我們使用這些中間結果來評估新卷數正在考慮的幾個函數 F(p)。 (f@g)(t);,fdx f(x)g(t-x)。 a-I = 7r(a)，L p 對於 Re (a) >0 我們有 ·9 證明 (9.2) 注意 L [pa- 1 e-ptl (s) = -- I" - (C c t : ) :.雷瑪姆。證明的 der 與上面的 (s+t)a 證明 (9.1) 平行：用 L [pa-Ie-Ptl 代替 L [pal。量子ED。如果需要，Thm。 3 可以被認為是Thm 的推論。 9.1、歸納法。為了簡潔地討論接下來的結果，我們需要使用匯合超幾何函數，在App.h中討論。 A. 定理 10. 若 Re (Ct ) >0, Re (Ct ) >0, 且 ex; = Ct +Ct 則 l 2 l 2 (10.1) a,-1 -pt,,,, a 1 -p(t'+""2/)( ) I"(CtI） 'O'p 2- e ,; = I"(U) 2 (10.2) a -I -pt a -I -p(t,+t,) 證明：為了證明 (10.1) 將卷積 (p' e '®p e )(,;) 寫成 f t 。 -t(t +t,) ptI -I e )(,;) 寫成 f t 。-t(t +t,) ptI -I a); ,;u = p, o = ~ = = ，引入因子 ,;a-I。 t 的結果代入零 (10.1)。 pa,-Ie-pt 逐項進行卷積（應用 Thm. 10.2）以找到所需的結果（這是有效的，因為級數一致收斂於 [0,'t] 。）Thms. 9-11 現在用於導出一些非重疊和成對重疊項的積分 1[-,·]。 ...,k, 定義的子集 O"u, 對於所有 u",v 滿足 O"uv，並且如果對於所有 u = 1, ...,k Re (P +1]) >0，並且如果對於所有 u = i 1, ...,m Re (v) >0，則·11 °假設 k = 1 且 Re (11 ) < 開始，將 1313 I B.I 了解 T 變換的定義）並評估內部 T Zl 變換。 rl«@iE (lIP~'e-Pil)@ (@il1 (I'p~') )(1)。 9.2 和歸納法來求 將最後兩個表達式代入 I [pi', oj 得到 現在可以採用 l 變換來求 (參見 Apps. A, C) ° 現在在該表達式中應用 Thm. 9.1 來求 11 < · 12 r(13 'Y +11 ) I [pi', n] = 113)。請參閱App.D 以了解Re (11 ) ~ O 的延續。請參閱App.E 以了解存在條件。卷積乘積 @。 （然而，下面我們想對 11 進行微分，將對數轉換為被積函數。因此，僅適用於整數 11 是不夠的。）定理 13 適用於 Thm。 12 尋找熵、互資訊和各種其他函數的前兩個時刻的貝葉斯估計量的表達專門需要的非重疊結果。定理 13. 如果為 u = 1, ...,k 定義的子集 au' 對於所有 u'i'v 滿足 a = 0，對於所有 u = 1, ...,k 滿足 UY (13 並且如果 Re +11 ) >0 對於所有 u u i = 1, ...,m 滿足 Re(v) >0，則以下成立。 (13.1) 對數子集。 (13.2) 子集的兩個對數，uoF v. (13.3) 平方對數子集。 11 11 2 'Yo k r(~w +11w) I[(Pl'",Pkk ) x log (P u ) ,0] = r(~+11) xII w; 1 r(~w) 結果(13.1)的證明已完成;結果(13.2)和(13.3) 結果(13.1)的證明已完成; Thm. 12 中使用 ()I1Pll = p ll iog (p) 的事實給出（有關 u 積分和導數互換的合理性，請參見附錄 C.2）。這樣做可以得到所需的結果。 (~2+11 ) >0，且 Re (Vi) >0,i 1， ...,m, then 'Yo r(~l +2+11) = x .........,"""-___ r(~ +11) r(~l +2) 首先，假設 Re (TJ) <0, i = 1,2 且 TJ 不是整數。應用 i（非逆）T 轉換產生可分解形式 J - T-1T-1 d (II n, -Ph) (II n, -P,(I,+I:J) - 1 2 P . ( )p. ex. p. e IE 01_12 1 lEO"lZl t. p II n· -p. e IE 01_12 1 lEO"lZl t. p II n· -p.l. Pi)' 2-12 1+2 （有關積分 p 和 T 變換互換的合理性，請參閱 App. C.1.） 現在，將變換後的積分寫為卷積（請參閱Thm. 1） ®(~ n. -p.t, n· ~ Pi'e' )®(®'rl ~ pi¢»(l)' Thm. 9.1 和歸納法來找出 (其中 ~ == ~ - ~l+2) rev IIi i) - (®.p~')('t) = "0"'+.X 't~-l.rc~) ," 0",+. 1 同樣，使用Thm。 9.2 歸納法求Thm的替代結果。 II 代入上面的三重卷積，並將最後兩個表達式代入變換積分的捲積形式以找到 現在，進行逆 T 變換並應用 Thm。 9.1 找出想要的結果。請參閱應用程式。 E至.15確定身份存在的條件。請參閱應用程式。 D 將結果延續至Re(11)~O。最後，11~0的取值請參考App. F.QED。 i 請參閱註腳 2，以了解由此證明的替代形式所得出的兩個有趣的恆等式。當 cr ccr 時，上述結果簡化為 Thm。下面l4b。 2 l 且 Re (v) >0,i = 1, ...,m，則 Yo r(~1 +11) t] t] (14b.l) I[Pl1p22 , n] = r(~+11) x rc~l) x 2F1 [(~1-12,-112) ; (l4b.2) rc~12) r(~1 rc~ = x +11 ) x +11) 。證明：類似proofofThm。 l4a，但應用Thm。 10.1 代替Thm。 11. 結果的第二種形式（14b.2）是將高斯恆等式（見註腳 1）應用於上面結果的第一種形式而得出的。量子ED。定理 I5a 和 I5b 建立在Thms 的結果之上。 I4a 和 I4b 分別表示表達各種貝葉斯估計量的特定術語所需的結果。定理 15a 包含非包含重疊情況的結果。 （「不包含」表示兩個索引子集都沒有正確包含在另一個索引子集中。）I5b 包含所包含重疊情況的結果。由於我們對非負整數 11 最直接感興趣，並且因為這些 11 發生了簡化，Thm。 15a 僅適用於非負整數 11。定理15a。如果 11 <:: 0 和 11 <:: 0 是整數且是 Thm 的條件。 14ahold，則 1 2 (I5a.I) · 16 (15a.2) I [P{'log (PI) P~h,nj = C(l)F(OO) + C(0)F(10), pi = (15a.3) I [p{'1og(PI) 210), pi = (15a.3) I [p{'1og(PI) 210) 其中：PZZ+l (PZ） (1)_ (0) (1) =r(~1 r(~ c =c ~<I> (~1 ~ C +Z) X + 1]) , x +Z + 1], + 1]), {~<I>(1)(~I+Z ~ ~<I>(Z)(~1 ~ C(Z) '"C(O) x~I+Z ~<I>(Z)(~1 ~ C(Z) '"C(O) x] +Z+), +1] +Z), +Z] +Z), +1]和(a) (b) 其中 Q 由 eo Q 0 ) - (1 1» (-l)i rJ-l 1 1,1]1 = - -1]1- (1]I-j)!r=01]I- r (c) F(OI) 與 (b) 相同，其中 i H j 和 1]1 H 1]z5 (d z) 針對已證明。完成。 14a 對於 11 ，微分 pi' 後，左邊由 I[P{llog (P1) n 給出（積分和導數互換的合理性在 App. C.l. 中給出）將微分後的右邊寫成 a'l1(C(0) x 2,2,oFo,0, 1['-/31-12, (/32-12'-111);/31+2;我，我])。這將擴展為 a'll(C(0»)2,2,<fo,0,1 [...] + C(0)a'l,(2,2,oF ,0,1 [...J)。C(0) 的導數是 o 度量，使用 App.F、情況 1 和 2 中的結果在 11 和 11 處進行評估中的評估。 2。 2,2,oFo,0,1 [ (/31-12') 的級數的任何截斷 (in j) -112), (/32-12'-x) ;/31+2;1, 1] (參見 App. A) 可能對 N 上的 x 進行微分。遞增階截斷的導數序列收斂於 uni- ~ r(/32_12+j) r(-x+j) 。 （要查看 th1S，请注意 Si(x) ==L.='l +1r(/3 ..) ., 1S 收敛于 J, 1+2+1+J J. 每个 i，并且 Re<(31 + x) >O。现在，请注意，Sj(x) 是一系列在 N 上单调的项，其中每个项在 x 中具有相同的单调性，并且 (b) 中的 i的求和是有限的。 Thm.15a 不同，沒有需要考慮的超幾何函數，因此這些結果的表示要短得多，與 Thm.15a 不同，給出的表達式對於指定範圍內的所有 1] 都有效。 15a) 因為在整數處考慮表達式中的烯極，因此如果 Thm 14b 的條件。 (I)<(31 +1], (3 +1]), (15b.2). I[pi'pi210g(P2)' n] = C(00) x {~<I> (1(312+1]2' 13 +1]2) + ~<I> (I)«(312+1]2' 13 +1]2) + ~<I> (I)«(31 +1], (3+1], (3+>)(3+), 3+ (15b.3)I[pillog(PI)pi210g(P2),n] C(OO) x +1],(3+1])2 +~<I>(I)«(312+1]2' +1]2)~<I>(I)«(31 13+1])+~<I>(23)~(313) (15bA) 2 2 {~<I>(I)(13I+1],(3+Tl+~<I>(2)«(3I+1],(3+1])} I[pi'log (P )pi ,n] = C(OO) x I·19 (I5b.5) +<I>(J. C13 +TJ, 13+TJ) }, 12 2 1 2 1 'Y rCI3 +TJ ) re13 +TJ) 其中 C(oo) n 12 2 1 = r(13 ) x rC13 +TJ ) x rCI3 +TJ) • 12 1 2 證明了。 rC13 +TJ) n 12 2 1 rCI3 ) x rC13 +TJ ) x rCI3 +TJ) • 12 1 2 將其兩側相對於 TJ 求微分。微分錶達式的左側是 I [p{lpiZlog(P2)' n] 。 （積分和導數互換的合理性是 r(13 12 +TJ 2) (1)- 在附錄 C.2 給出。）rC13 +TJ 的導數由 ~<I> C13 +TJ , 13+TJ ) 給出。 re13 1 +TJ) 的衍生 12 2 2 1 2 rel3 +TJ) 由 ~<I> (I) C13 1 +TJ, 13+TJ) 給出。將這些表達式替換為上面 C(00) 等式右側的整體導數中的適當導數即可得出所需的結果。量子ED。 2d. 非重疊和成對重疊項的貝葉斯估計器 在本小節中，我們將介紹第 2 節函數的貝葉斯估計器。 1 可以用非重疊項和成對重疊項來表示。這些包括熵、互資訊、平均值和變異數的第一和第二後矩，以及卡方和協方差的第一個後矩。卡方和協方差的第二後矩出現在第二節。 2克。本節中提出的所有結果都假設有一個統一的先驗。 1. 熵，S(p) = -LiPilog (p)。此結果以不同的形式出現在 [1] 中，為了完整性起見，在此進行了說明。 = 定理 16。 若 Re (Vi) >0, i 1, ...,m 則 v. (16.1) E [S(p)ln] = -L.-2L<I>(1)(v. + 1,V+ 1), I V I (16.2) E [S2(p)ln] = v.v' L.. Jv)<I> v+2)-<I>(2)(v+2)} I ""JV(v+l) J' I ' v.(v.+l) () 2 (2) +L。 l( I 1) x {L<I> 1 (v.+2,v+2) +L<I> (v.+2,v+2)}。 v+ ' IV I ~ij = 2. 互訊息，M(p) LijPijlog ( .)。在這種情況下，觀察到的計數形成 PI.P'J v.. 矩陣。定義=v。 +v .-v... 1] l' oJ I) 定理 17. 如果 Vij 是非負整數 Vij（整數條件僅用於 (17.2) 中 IN 項的簡化；對於其他項可以放寬）則 (17.1) E[M(p)ln] = IJ-I-j 其中 v.. II = ElogL..p. L..-2!L<I>(1)(v..+ I, v+ 1), IJ IJ V IJ v. f = E [LiPi.1og (Pi.) In] = L ~. L<I>(1)(Vi. + 1,v+ 1), i v.j = E[p) ~(p) In1 = Log(p) In1 = Logl 1) = Log vijvmn (1) (1) (2) L.,L .. ( 1) x {8<1> (v..+ 1,v+2)8<1> (v + 1,v+2)-<I> (v+2)) + IJ mn:l:lJv V IJ mn v.. (v..+ 1) 2 (v. +8<1> (v..+2 v+2)} lJ v (v+ 1) IJ ' 'J ' v.v L.L . ,. m· X {8<1>(1)(v. + 1 v + 2)8<1>(1)(v + 1 v + 2) - <I>(2)(+ <1>(1)(v + 1 v + 2) - <I>(2)(V 2)(V. 1) 2 +L. vl' (vl+' 1) X {8<1>(1)(V. +2,v+2) + 8<1>(2)(V. +2,v+2)} 1 I' l' （要找出 IN，請在 1M 的表達式中以 v . 代替 v. ' v （要找出 IN，請在 1M 的表達式中以 v . 代替 v.，以 v。 {8<1>(1)(v..+ 1 v+2)8<1>(I)(V +1 v+2)-<I>(2)(v+2)} IJ m'"1V(V + 1) IJ ' m· , v.. (v. +1) 2 IJ I' (I) (1) (I) + L.. (Iv. +1) 2 IJ I' (I) (1) (I) + L..1) (I) + L. tI<I> (v..+ 1, v. + l)tI<I> (v. + 2, v + 2) IJ V V l' lJ l' l' + 8<1>(2)(V.,. +2, v+2)} （要找出 HN，請在 HM 的表達式中以 v. 取代 12000 x)。 {(~<I>(t)(V. +2,v+2) +~<I>(2)(V. +2, v+2» v V+ In In In vi. +V' n -2vin (Vi. -Yin) (V.n-Yin) X {1- V + v(v+1) } Q(r (V -V.) (<V. k00_0 l' I 1)[ · ( n ) In r 1+ i· in r v. v. +r m r- • In r In (V.. -V.) ( V -V,)] + 1 In r 1+~ 'n -- In (V. ) v. +r In r In (Vi. -Yin) (V.n --n -- In (V. ) v. +r In r In (Vi. -Yin) (V.n-L), 15 } r=O s=O (V. ) r! In r+s 其中 Q 在 Thm 中定義。 U-f-j,whereU=E[kijPi}og(Pij) Inl 等等。 3, I[1, nl = 結果以類似的方式證明（17.2）。 Thm. 13.2，其中 k = 2， 11 u = 1,11 v = 1, P u = Pij' P v = Pmu 求 I [UMNIn] 的 ij ;cmn 項，並應用 Thm 13.3 與 k = 1, 11 = 2, P = Pln = 求得 I[j] 的 - Im = 13.2 與 k 2, 1]u。 1]u 1,1]v 1, P u Pij' P v Pm 來找出 i..m tennsof = = = = I [IIMln]，並應用 Thm. l5b.3 與 1], 1,1]2 1 和 P t Pi。 ApplyThm.3 與 1], 1,1]2 1 和 P, Pi.' P2 P. 求出 I [INln] . QED.下面的 18 給出了 Pj') 定理 18 的拉普拉斯法則。 (18.2) E [A2(p) In] = L.. 1 J XX.+L. 'Jv(v+l) J Iv(v+l) 1 1 4) 變異數 V(p) = L:"= ,Pi(Xi- ~x)2.注意 E [yep) In] ..E [ (A(p) -Pi(Xi-p) - 2.注意 E [yep) In] ..E [ (A(p) -Pi(Xi-p)；是真實平均值，而非預期平均值，V(p) 指的是真實方差，而不是估計量 E [A(p) In] 中的變異數。定理 19. 若 Re (Vi) >0 Vi 則 = Vi(v-v) 2 ViVj (19.1) E [yep) In] L. X. -L. 。 Xx.. Iv(v+l) lJV(v+l) J 1 1 (19.2) E [V 2 (p) Ioj = L..E [p.p.1 oj X~X~- 2L.. E [P'P'Pk I 0] X~X.xk IJ 1 J 1 J IJ 將透過期望值找到12. 5) 協方差 C(p) = LijPij (Xi- J.l. x ) (Y i - J.l. y ) • 定理 20. 若 Re (Vi) >0 \iij 則 = E[C(p) 10] L..X,.Y。 (+I) [vv..-v。 v.j, IJ JV V IJ 1" J 透過應用 Thm. 14a 求出。C(p) 的第二後矩在 Thm. 26 中給出。(Pi·-Pi.P.·)2 6) 卡方 X2(P) = L.. J J IJ p. P . l' .J 定理 (I1) \ Reii, Iii, n'). >-I then = _ 1+L..--;-----,---('---V--..,I-=-:)c7(V---,-----2):,- _____ IJ(V. +v.-v..+I) (v. +v.-v..) I' 'J IJ 1"J IJ (V.L. m=O n=O (V. +V .-v..+2) , 1- 'J IJ m+n 應用Thm 求得。 14a. X2(P) 的第二後矩在 Thm 中給出。 27.·25 2e。多個重疊積分的符號。多重重疊積分的計算並不簡單。該過程可總結如下。先套用 T 變換，然後套用 Thms。使用 9.1 和 9.2，留下 II1;= m 項的捲積積。此乘積中的每一項的形式為 't lXk - le--'ta,t" k = 1, ...,m，其中 ai 的取值為 {D, I} 、tj 的 theT 變換變數、't 卷積變數和 ()(k'S 常數（參見 Thm. 14a 的例子）。乘積的上索引 n是由重疊結構決定的。 （無論為卷積選擇的特定順序是否會導致可逆表達式），為了促進這一點，現在引入了卷積形式（CF）符號，並為快速計算多重重疊卷積積分提供了指導。變換積分）中，其中 a 是常數 ai' 的 n 向量，其中 0 是零 n 向量。 (a;b) 不唯一地指定單一表達式（即，它不唯一地指定 't 和 uk 的函數；參見App.G.）我們使用括號表示兩個 CF 的捲積，因此 CF 的 (a;b) 和 (c;d) 的捲積由 [(a;b), (c;d)] 給出用於翻譯該卷積的數(cis); bvdvnz(c-a», (13)) 其中： i) "v" 是向量或運算符，[a v b] i = 1 if ai = 1 or b = 1, 0 否則； i ii) "-" 是向量差運算符，[a- c] i = a - c ' 且 iiinz"" 是向量差運算0,0 否則。我們使用符號“e”，因為等式： (13)是兩組表達式之間的關係；這意味著卷積積可以寫成以下形式 (c ; b v d v nz(c - a» (c - a» (c - a» (c - a» (c - a»)))。現在我們陳述逆 T 變換下 CF 的代數 i 令 (a b) ...為任何數字m}。的參數出現的任何向量其所有分量都等於 0 或 1。 此類向量將透過僅編寫非零值索引的簡寫清單來表示。例如，向量 (1,0, 1, 1) 將由列表 {I, 3,4} 表示。最後，{ } 將從列表中刪除，因為它們很麻煩，並且空列表將以破折號“”表示。結果是成功的捲積排序和反轉是 CF (-;-)，即我們的目標是找到卷積運算的排序方程式的重複應用。 (13) 和(14) 的結果是(-;-)。 （請參閱附錄 G 以了解此條件的合理性，該條件允許對逆 T 變換進行封閉形式評估。）2f．多個重疊的立方體。 CF 恆等式（第 2e 節，方程式（13）和（14））允許有效計算所需的多個重疊積分，正如我們在 Thms 中所示範的。 22 和 23。定理 24 和 25 適用於 Thms。 22 和 23 來評估協方差和卡方二階矩的貝葉斯估計器中出現的積分。在第 2g 節中，我們使用這些結果來寫這些時刻的封閉式表達式。定理 22 涉及卷積，其中存在索引 0"1' 0"2' 0"3 的三個子集，其中 i) 0"12'# 0 和 0"23 '#0，ii) 0"13 = 0，以及 iii) 沒有一個交集等於子集 0"1' 0"2' 0，以及 iii) 沒有一個交集等於子集 0"1' 0"2' 0" '#j 唯一的非空 O"ij 是 0"12' 0"23' 0"34' 0"41'，並且其中 ii) 沒有一個交集等於任何子集 0"1' 0"2' 0"3' 0"4' 這些類型的重疊結構出現在協方差和卡方二階矩方差的積分中。 Thms 結果的許多數學等效形式。 22和23都是可能的；我們在每種情況下都給出了一個特定的計算結果，並注意到，將不同的形式等同起來會導致超幾何恆等式，與腳註 I 和 2 中討論的那些相同。 -I P a-1 以「項 I 與 12」為例，表示項 e p 與 1 1 -(I +lzJ a -1 ['(o.)r(~)r('Y) e p 正在進行卷積。定義簡寫符號 (o.,~,'Y) == r(o.+~'Y)' 1 12(o.,~,'Y) == r(o.+~'Y)' 1 120~')。 ['(0.+ ~) 。 Re(a ) >0, Re(a ) >0, Re(a ) >0, Re(a ) >0, Re(a ) >0, l 12 2 23 3 "10">e -(',+',)p p (a.,-I) "10>"e -',p p a. 。 [(2;2), (2;2)] c (2;2) (c) 決議 (c) 和第 2 項: [ (2;2), (2;-)] c (2;2) (d) 反轉(d): TZ I [ (2;2)] c (-;-) 求A）重寫它，得到所需的結果。 。 't<X+1]-I:E:"'. (l)i+j+m+n.. 1 () () 1.J.m.n,p.q~O I!J!m!n!p!q! 1]2 j+m+p 1]4 i+n+q 證明：下列順序轉導重複（13） 。 (a)：[(1,2;-), (1;4)] c(1;2,4) TII [(1;2,4)] c(-;2,4) (b) t 組類似（第 23、3、 34):c (-;2, 4) (c) 決議。 (b) 和 (c)：[ (-;2, 4), (-;2,4)] c(-;2,4) (d) 决议。 (d) 和项 2：[(-;2,4), (2;-)] c (2;2,4) T;:I [(2;2,4)] c (-;4) (e) 决议。 (e) 和第 4 项： [(-;4), (4;-)] c (4;4) T:;:I [(4;4)] c (-;-) 。現在，以左列所示的適當替代項按上述順序進行卷積和逆運算，以找到所需的結果。量子ED。定理 24 和 25 利用 Thms。分别用图22和图23求出所需的多重重叠积分。它们是在没有证明的情况下给出的，因为它们直接从这些定理中得出，Thm。 9.1、歸納。定理 24. 假设与 Thm 相关的重叠结构。 22，其中 C 定义为 Thm 中定义的 1 的“t 独立因子”。 22. (即 1 = 't(x+1]-IC3.) 定義 13'" 13- 13 1+2+3· 如果 Re (f3 u +1]) > 0 for u = 1,2,3, then · 31 定理 25. 假設與 Thm. 23 相關的結構因子，其中 C 定義為 3m.中。 (Xi-11.) (Y i -Il y ) 。 XiYjXkYI，其中 E [PijPkl I n] 是透過應用 Thm. 12 找到，E [Pi.P.jPk.! ;tI 或 i ;tk,j = I, 則應用 Thm. 24; 如果 i;t k,j ;tI 則應用 Thm 25. '- 24; 如果 i;t k,j ;tI 則應用 Thm 25. '-2'- 3.P. :E.. J J IJ p. P。 1· .J 定理 27. 如果 Re (vj) >OVij,Re(vjJ >-1 且 Re(v) >-1 則 n] p5p~\ nJ 其中 E [X2(P) I 是在 Thm. 21 中給出的，其中 E[ I 是通過應用 Thms. 14a、24 和雙.P.或四重重疊項25：如果 i = k，j = I，則應用 * * * * == Thm 14a；如果 i k，j I 或 i k，j I，則應用 Thm 24；如果 i k，j I，則應用 Thm。的假設下進行的。 eUS(p)。 = 通过 pep) L'.(p)P(p) 隐式定义 pep)。 （P(p) 是 pep 的非δ函数部分））。均匀先验具有常数 P(p)。即使 P(p) 不均勻，通常 f f \P~i dpP(p)II~ \P~i I [F(p)P(p), n] = dpF(p)P(p)II:n= 和 I [PCp), 0] = 是這些論文中計算的積分形式。 （在本節中，積分是在 p 的非負商·33 分量上）。在这些情况下，我们可以使用先验 P(p) 来评估 F(p) 的贝叶斯估计量，因为 E [F(p) I n] = I [F(p)P(p), n] II [P(p), n] 。例如，当 P(p) oc d(p)IIr~1fi(Pi) 时，通常可以使用这些论文的计算来评估具有先验 P(p) 的 F(p) 贝叶斯估计量。特别考虑 P(p) d(p)IIr~lP~i 形式的先验，其中 Re (r ) >-1, i = 1, ...,m。 （狄利克雷先驗對所有 L 都具有 r = r） oc i i 當 P(p) 具有這種形式時，具有先驗 P(p) 的 F(p) 的貝葉斯估計量由 I[F(p), n +r] E[F(p) I n] = I[I,n+r] 給出。 (15) 作为另一个例子，考虑用泰勒级数表示的先验类 P(p)，在 p 的域中处处收敛。使用泰勒级数表示将 I[F(p)P(p), n] 和 I[P(p), n] 展开为无穷大的积分和。如果积分采用本文评估的形式，我们可以找到先验 P(p) 的 E [F(p) I n]。例如，考虑熵先验 P(p) d(p) e<XS(p)。在某些應用中，熵 oc S(p) 被取為 S(p) ;:-Lr~ lPilog (Pi) ，其中 ex 是某個常數，而在影像處理 Lr~ (~J)' 應用中，S(p) 通常定義為 S(p) ;: 1( (Pi- m) - Pilog，其中 m 稱為「模型」[11]。 無論哪種情況，P(p) 都可以在級數 (16) 中展開。只要乘積 Si(p)F(p), i = 0, 1, ... 是這些論文中集成的某些函數的形式，則可以使用熵先驗的 F(p) 貝葉斯估計器的封閉形式結果（最多級數截斷）。這些想法的應用出現在[12]中，其中它們用於計算熵先驗的歸一化常數。致謝 我們要感謝 Alan Lapedes 建議使用 Mellin（反 T）反式形式。我們也要感謝洛斯阿拉莫斯國家實驗室的非線性研究中心和理論部門在部分工作期間提供的部分支持。這項工作得到了美國能源部的部分支持，合約編號為 W-7405 ENG-36。大衛·H. Wolpert 得到了國家醫學圖書館撥款編號 NLMF37-LMOOOII 和 SFl 核心資助的部分支持。 ·35 附錄 A. 超幾何函數符號 這裡我們介紹本文所使用的超幾何函數的符號。與 Lebedev [13] 類似，設 a 和 b 分別為維度 p 和 q 的向量。定義 l (A)k ==rcA+k)/rcA)。定義單求和超幾何 q 通過 (A.I) 單求和超幾何的一個例子是 IFI [0:;/3;1:] ，其積分錶示為 /3 > 0:>0 [13] f I .. _ r(/3) ~x a-I Il-a-I IFI [0:,/3,1:] -dco: x.)。 (A.2) o 現在，gi · ven 向量 a I ,a 2 ,a 12 , bl " b2 bl2 0 fd' ImenSl 。Ons PI' P2' P12'ql' q2' ql2 。ve I y，定義雙重求和 12 的超參數•然而，當列出 I 維向量的分量時，括號將被刪除。 此外，當任何 p 或 q 下標為零（對應於該位置的空參數）時，超幾何的空向量參數將被簡單地從參數列表中刪除。 u-,,-1 e-u du, Re(-TJ) >0 (B.!) o。 （這裡使用 -TJ 代替 TJ 以簡化） ) 改變變數 u = pt，與 t 無關，我們發現 f~ -"- P ,, - - r(-T 1 J) t 1 e-pdI, Re~ o.定義算子 11 by 11 [F(·)] (TJ);: -1 F(t) dt，Re (-TJ) >0，並透過 T [T- [F(.)]] F (.) 定義 o 1 = 變換 T。變換），並基於這種相似性來建立變換及其逆的存在條件。 e-pI 代替 p": pt TE[p'll n] = T[fdp P(pl n) p'l] = fdp P(pl n) T[p'l] = fdp P(pl n) e- 。(B.4) 積分換算的合理性請參考 App.C.l 完成轉換後，通常可以計算 Lfen II 節，然後再計算 Lfen II 節，然後再計算 D. beanyfunction thatfactors as fen) Ifi(n) 對於此類函數，Z 變換 Z f '"L:;of(n)zn 對於簡化涉及總和 Lnf(n) 的計算很有用，其中求和擴展到具有非負整數分量的所有 n 且 Lin = N。兩個函數 g 和 h 乘以 (g <8> h) (n) '" og(i)h(n- i) 的離散卷積乘積。(請注意，<8> 既可交換又可結合，因此卷積的順序無關緊要，這證明了當涉及多個函數時使用上述符號的合理性。)Z 變卷積卷積定理 (Th. B.l: IfF(N) '"Lnf(n) 和 fen) = /i(n) 則 F(N) = Ifi) (N) 和 rrF; Z F = IZf，對所有 z，使得 Z f, i = 1, ..., m 收斂。 i i 對於 m = 2，我們有 F(N) = (fl <8> f )(N) 且 fl 和 f 的 Z 轉換為 L:; = = 由 Z [fd (z) ofi(n)zn, i 1,2 分別給出。 對於這兩個冪級數收斂半徑內的 z，我們有（在收集具有相同 z 冪的項之後）？ Z fl x Z f 2 = L:;oznL of l (i)f 2 (n - i)，右側立即可見為 Z[F] (z)。任意 m 的結果可由歸納法得出。量子ED。請注意，由於冪級數表示的唯一性，非負整數上存在 Z 逆變換。 C. 應用程式中的線性算子通勤。 C.L.我們討論積分的互換。在應用程式中。 C.2.我們討論導數和積分的互換。 C.I.交換兩個積分 由於 Fubini 定理 [15]，將這些論文中出現的積分交換為 p 積分和四積分中的 T 變換是可能的，該定理證明了當二重積分存在時，非耦合積分（任一積分的積分區域不依賴於另一個積分的參數）的交換是合理的。 C.2.交換積分與導數 fF 考慮積分 (x, t) dx 關於 t 的微分。定理 C.I 概括了 Thm。 9.42 of [10] 並建立了足夠的通用條件，以允許本文中出現的函數 F(x, t) 的導數和積分可交換。將 D F (x, t) 定義為 F 相對於其第二個參數（在 (x, t) 處求值）的偏導數。 L\ 定理C,I: 如果 (1) F(x, t) 和 D F(x, t) 定義為 (x, t) E X~l' = 其中 L1 (0, 00) ，並且其中 L1, 是凸的，則 x (2) fF(x, t)dx 存在 Vt E L1" o (3)Ve>Oandbwx ,andl»O, 3 f f(x)dx <e 且 b f f tben D 2 F(x, t)dx = D 2 F(x, t)dx 在 L1 x x L1,. o 0 F(x, t) - F(x, s) 令 <P(s, t) '" for s'" ts = 經定理 ( 3u(s, t) E [s, t] 3 <P(s, t) D 2 F(x, u(s, t»)。使用這個和 (3) 我們可以得到對於 f 任何 e> 0, Vb> 0,33> 0 且任意位置為負（在 L1 中） f(x) 服從 (x)dx; /<P(s, t) - D 2 F(x, t) = ID 2 F(x, u(s, t» - D 2 F (x, t) < f (x) 。由此和 (2) 得出，對於所有 b>0, 38>0，並且無處負數（在 L1 中） f (x) 服從 ~ dx 則這樣。 f<P(s,t)dx- fD2F(X,t)dx ff(x)dx<e。 me-ex，其中 Re (t) >-1 且 c > O。 D.1：如果 Re (TJ +~1) > 0，則 Re (TJ) ;:: 0 且 Re (n j) >-1, i = 1, ...,mJ = fl+ >0 意味著存在一個整數 q> 0 且 fl<0，使得 TJ = fl+q 則 I[Pecker'l, n.函數。一如既往。名義上。我借了一個 Icaeff lC。 S m ' ce 1-1 < 0，評估 · In-q IIr； tnqj+ 1) tegral I [p'l,n + q] 使用Thm。 12，k = 1（請注意，13 和 13 因 q 增加而增加 q，因為 q 為封閉形式，注意它是應用 Z 變換卷積定理（參見附錄 B.2.）的函數的離散卷積積，以找到 (~ L ) Yo = r(q+ l)Z-I [IIr; IZ [m+n+ qi]。 q nnj +qi+ I)J = 注意 Z r(qj+ I) (z) r(n+ 1)(1_z)-(ol+I) 對於 Izi < I 並替換 Z [ i nl3 +q) (~ 變換以找到 L q ) Y o + q = Yo r(II3 ) 。將此結果代入 (*) 並簡化 I 即可得到所需的結果。量子ED。在非包含重疊情況下我們採用解析延拓。 E. 存在條件這裡我們提供一個計算範例，用於確定這些論文中出現的各種積分 I [.I·] 的存在條件。對於這些論文的被積函數，這些積分的存在取決於積分區域邊緣出現的奇點的行為。 考慮單對重疊整數 I[pi1pi', n] ，其中 PI' P 、 0"1' 和 0"2 位於 Thm 的定義中。 14a，稍作改動，0"1+2 包含所有 m 索引，這可以在不失一般性的情況下進行。我們證明該積分存在的條件為 Re(v ) >O,i = 1, ...• m,Re(~I+T\I) >O 和 Re(~2+T\2)>0。寫出積分 i (E.11)。立即得出以下事實：當且僅當 Re (Vi) > 0 時，並且對於此特定重疊情況，任何 Pi 也可能接近於零。 x+ y)'1, dPI_128(LI_12Pi- (x- y) o 0 (E.2) 其中下標表示所涉及的索引集。例如 1- 12 表示 i 0"1_12' p 上的三個積分中的每一個方程式 (E.2) 可以使用 Thm 9a 和歸納來求出 Il 1, I 905, nPI' )r(R )r(R ) 1"'1-12 1"'12 1"'2-12 I x llf X fdxx 1 dY(X-y)P " I- - I' I~ Y - I' 1 (l-X+y)'" n+ P " '-l - o ' 1 。中的二項式定理來展開被積函數中三個因子中的兩個， (x- y) ~l-l'- 1 和 (1 - x + y)11,+ ~'-1'- 1，串聯。 12-1 的級數中的項在對 y 積分後貢獻 x 的增加冪，另請注意，如果 x 的 10 次方項為在包含 0 的區域內 x 上可積，則所有項均為 (1 - x+y)'1,+P2 - - 1 的二項式積分數中的積分數項。 x'11+PI- 1, (EA) o 給出的 x 積分，其中0< < 1，並且 C 是一個常數。上面的討論也以另一種方式表明了它的有趣之處：它提供了一種不使用變換理論來尋找多個重疊積分的通用方法。重疊卷積的導數 - 極點 在本附錄中，我們找到關於表達式如 r(k- T)/r(-T) 的導數，其中 k E {O, 1, ...} ，並且 '11 可能是存在約束內的任何數字。我們考慮當出現某些極點組合時出現的各種情況，並演示這些中導數的各種簡化表達式當 '11 不是整數時，r(k - '11) 或 r(-'11) 中都沒有極點，並且通常的導數表達式成立。當 '11 是整數且 '11 <0 時，通常的表達式也成立，因此 k- '11 >O。當 '11 是整數且 '11 ~ 時，通常的表達式成立。 0 中，有兩種情況值得關注。第一種情況，情況 1，發生在 '11 ~ 0 且 k - '11 >0 時，因此只有 fr(k- T)/r(-T) 的分母中有極點。第二種情況，情況 2 出現在 11 ;::0 和 k- 11 ~0 時，因此分子和分母中都有極點，以便找到導數的表達式。對於情況 1 和 2，我們使用以下事實。 1) 伽瑪函數 lex) 的唯一奇點是 x = -n, n = 0, 1, ... 處的簡單極點，且表達式都存在（恆等式 1(k- 11)/1(-11) = rr~ = 1(k - i- 11) 可以用來推導此。）3)1(k-k-k-k-k-k-k- 11)/1(-11)是任意位置解析函數的表示（遠離伽瑪函數中的極點）（請注意，仍假定 k ;::0）。使用這些事實，透過在相應的情況 0 表達式中用 ~ = 11 +e 代替 11（現在受情況 1 和 2 的條件限制為非負整數）並取 e = 來找到情況 1 和 2 的表達式。情況 0：11 非整數，或 11 為 11 <0 且 k- 11 >O 的整數。 一階導數由 (EI) 給出。 r1h 導數可以透過迭代找到，使用方程式 (F.I) 和遞歸關係 a~<I>(n)(k- 11) = _<I>(n+l)(k- (p.2) 例如，取方程式 (p.1) 的導數，應用方程式 (E2)。 (p.I) 在此過程中，產生二階導數 (F.3) 情況 1：11 是整數，11 ;::0 且 k- 11 >O。分母包含一個極點。第零階導數為 O。在方程式中取適當的極限。 (El) 給出一階導數 (-1) 't]+l11 ![,(k-11), (FA)，同時在方程式 1 中採取適當的限制。 (F.3) 產生二階導數 (F.5) 情況 2：11 整數，11 ~ 0 且 k -11 :50：分子和分母都包含極點。 (-I)k11！ Tak" h . I"" E (FI) 零階導數就是 (11 - k) !. mg t e 適當的 mutln q. . 給我們一階導數 ~<I>(l)(k-'l1 ( _I)k+l 111 _11) (F.6) (11-k! '. (F.?) G. 多重重疊結果 這裡我們定義一般卷積形式 (CF) 表示法並示範第 2 節中未證明的結果。定義為 (G.1) 形式的表達式集合，其中 1: 稱為卷積變量，並且出現指示向量 b 在 {O, 1} 中具有 ·46 個 a 分量，並且 b = 1，並且僅當 t 出現在求和 LkC(k)'t •-Itk 中時，即i i b = 1 當 ik 且僅當 ik)。 Sec 的分析相關的所有面向。 (c;d)] '" {f~(a;b)uCx) (c;d)w('t-x) dx}， (0.2) 其中，(a;b)u(x) 是指 (a;b)u，其捲積變數在 x 處求值，其中 u 和 w 分別為 CP 的 (a;b) 和 (c;d) 的總體索引。現在我們證明 CF 的任兩個成員的捲積結果可以寫成某個 CF 的成員。更準確地說，我們證明了方程式。 (13) ofSec。 2e, [(a;b), (c;d)]c(c; bvdvnz(c-a». (0.3) 要證明方程式 (0.3)，首先要注意方程式 (0.2) 中的每個積分卷積都有其表示（參見 App. A，方程式 (A.2» --'tt '.i k a +a -Ir<xjk)(Linjk) 't J • r( <X + <X ) xlFI (<XJ;<Xj+<Xk;'ttc_a)' (0.4) j k 在方程式 (0.4) 中，如前所述，j 和 k 是非負求和索引的向量，C(o, 0) 是向量 j 和 k 的函數 (xb);現在，將級數中的超幾何 IFI 展開（參見附錄 A） 將方程式 (0.5) 代入方程式 (0.4) 並注意以下四件事： (1) 如果 b = 1，則 t 在方程式 (GA) 中出現 i i ·47 *， (2) 如果 d i = 1，則 t 在 (3) 如果等式 (3) 如果 i3 等式中出現 (都不成立，則 t 不出現在等式 (GA) 中。導致另一個恆等式。 :v \ <8>p ~ 2-12- I e -pt 2 )，然後進行卷積。 b2;1] = r(a )r(b +b - (a +a »r(b +b - (a +a » 2 l 2 l 2 l 2 2 3，同時將剛剛描述的單和結果中的任何一個等於 Thm 的原始結果。 14a 產生高斯恆等式，在註腳 1 中討論。 3利用高斯恆等式（參見註腳 1 和 [9]，方程式 15.1.1）為 Thm 提供了進一步的簡化。 15a適用於情況15a.2和15aA。這些簡化是由於分別出現在 F(10) 和 F(01) 中的簡化所造成的。結果呈現形式的選擇是考慮到結果的簡單性和結果之間的一致性。參考文獻 1D.H.Wolpert 和 D.R.Wolf，「從有限樣本集估計機率分佈函數，第 1 部分：貝葉斯估計器和香農熵」。洛斯阿拉莫斯國家實驗室報告 LA-UR-92-4369。已提交。 2R.W. Hamming，編碼和資訊理論，第二版，（Prentice-Hall，Englewood，1986），3W。 Li，“互資訊函數與相關函數”，J。統計物理。 60, 823-837 (1990)。 4 S. Watanabe，模式識別。 《人與機械》（John Wiley & Sons，紐約，1985 年）。請注意渡邊對互資訊函數的多維推廣，出現在第 1 章。 6.5，也可以使用本文的技術來估計。 5W.Li，“自然語言文本的互信息功能”，聖達菲研究所報告 TR 89-008。 6M。 H. DeGroot，《機率與統計》，第 2 版，（Addison Wesley，雷丁，馬薩諸塞州，1986 年）。 7 S. Eubank 和 D. Farmer，“混沌與隨機性簡介”，1989 年複雜系統講座，SFI 複雜性科學研究。卷。 II，E. Jen，編輯，（Addison Wesley，1990）。 8E.T.Jaynes，帕帕森機率、統計和統計物理學，（Kluwer，Dordrecht，1983）。