上面示意圖中出現(xiàn)了錯誤標(biāo)注。而在完美注釋的數(shù)據(jù)集中，以上兩個錯誤均不存在。因此，定義質(zhì)量的一種方法是計算這些錯誤在帶注釋的數(shù)據(jù)集中出現(xiàn)的程度。例如計算

1. 實際表示對象的包圍盒的比率。這稱為精度。理想情況下，精度為1。

2. 用邊界框正確注釋的對象的比率。這就是所謂的召回。理想情況下，召回率為1。

但是，計算數(shù)據(jù)集的精度和召回率還需要對整個數(shù)據(jù)集中的每個幀進行人工批判性檢查，這可能與注釋過程本身一樣昂貴！為了在計算精度和召回率時獲得效率，因此Annotell團隊依靠統(tǒng)計數(shù)據(jù)來推斷精度和召回率。僅對所有注釋的統(tǒng)計選擇良好的子集進行人工批判性審查，并使用概率論得出有關(guān)整個數(shù)據(jù)集的結(jié)論。更詳細(xì)地講，他們使用貝葉斯方法來計算后驗分布，以提高精度并召回整個數(shù)據(jù)集，這取決于已經(jīng)進行了嚴(yán)格審查的注釋的子樣本。它不僅提供了精確度和召回率的估計，而且還量化了這些估計中的不確定性。例如，我們可以計算所謂的95％可信度下限，這意味著可以確定95％的精度或召回率不低于此閾值。Annotell公司提供了一種具有成本效益的工具，用于根據(jù)精度和召回級別以及對級別的確定性來衡量注釋的質(zhì)量。