2013年2月6日星期三

葉仲茵、鄭宏泰、張妙清:統計數據「造假」與上門訪問調查的困難




上月,有報章指政府統計處一些前線統計員進行「綜合住戶統計調查」時,為了縮減每個個案的訪問時間,便長期故意造假,從而避免詢問一系列問卷問題。這些報道不但愈揭愈多,還帶來更多的「爆料」,更有人質疑統計處有人知情不報、包庇縱容這些知法犯法、缺乏專業操守的行為。


這些「醜聞」當然震盪了整個以專業化、高水準見稱的香港社會,不但有關統計部門須向公眾作出解釋,統計處處長與特首梁振英還宣布成立調查小組,為「造假」事件展開調查。

翻閱多天以來有關這宗造假新聞的資料,我們不難發現,無論是傳媒、統計處或是學者,其關注點往往落在統計數據的準確性,尤其是對已公布的數據是否真實、是否能夠反映社會現實、是否可有效幫助政府制訂適當政策的層面之上。

研究調查環境變困難

此外,我們也看到不少討論,主要是批評那些統計員的專業操守,以及統計處強調「量」而忽略「質」的評核制度。無疑,這些討論與評論非常重要,我們亦希望政府及有關部門會嚴肅處理這些指控,並作出客觀公正的調查,如果發現有關指控屬實,便應撥亂反正。

不過,除了把數據造假的責任歸咎部分統計員專業操守欠奉、統計處「重量」評核制度外,我們認為這些報道和指控,更值得我們對香港研究調查環境和統計數據收集過程等問題,可作深入探討和反思。

本 文藉香港中文大學亞太研究所(下稱「中大亞太所」)及其他學術研究單位,在過去二十多年社會統計調查的數據,以及蒐集數據的經驗,談談統計調查回應率不斷 下降(declining survey response rate),以及接觸住戶和訪問對象日見困難等互為因果的問題,說明當前社會研究調查的難處,進而指出學者和大學研究單位應該獲得更多支持的核心所在。

根 據美國民意研究學會(American Association for Public Opinion Research)的定義,回應率(response rate)是指在抽取合資格的樣本單位中,最後能成功完成訪問的樣本單位的百分比【註1】。 雖然有多種不同的回應率計算方法【註2】,但是在不同的地方,除了由政府統籌及進行的人口普查外,我們都發現統計調查回應率在過去三十年來出現不斷下降的 趨勢。

儘管「綜合住戶統計調查」是由統計處進行,但過去三十年的回應率,由1980年代初的97%,下降至現時的84%【註3】。另一個同 樣以上門訪問形式進行的「主題性住戶統計調查」,在過去十多年間的回應率,則一直維持於75%左右【註4】。我們相信,這與統計處把項目外判予私營市場調 查公司時,在合約條款設下一定水平的回應率有關。

據我們了解,這些由私營市場調查公司進行的政府統計調查,往往開支龐大,動輒數百萬元;當 然,它們要上門訪問的住戶數目亦十分龐大(往往超過一萬戶)。一方面,由於調查項目規模龐大,另一方面則須面對回應率不斷下降的現實問題;而統計處對回應 率的水平卻有一定的要求,問題則可能由此而生,甚至會衍生弄虛作假的情況。

訪問回應率降至40%

由大學統籌的 社會統計調查,既不能打着政府的旗號,亦缺乏巨額的研究經費資助,儘管研究員亦付出不少的努力,但其回應率則出現相對較低的情況。例如,由研究資助委員會 撥款贊助、由中大亞太所進行的「香港社會指標調查」系列【註5】,其回應率由1988年的63%,下降至2006年的46%(見【表】)。

事 實上,在過去幾年間,同樣以上門訪問形式進行的全港性住戶統計調查,無論是由哪所大學統籌,其回應率均低於40%。情況與上文提及由統計處統籌的兩個住戶 統計調查比較,無論在資源或是樣本數目上,均不可同日而語。當然,大學所統籌的研究調查,其問卷內容往往較為複雜,受訪者往往要花上二、三十分鐘才可以完 成問卷,這亦可能拉低回應率。

由於回應率相對較低,調查數據的代表性有時難免受到質疑。但是學者對調查要求嚴格,對調查方法執着,過程一絲不苟等等,無論學術界或整體社會均會對其數據的準確性較有信心,給予較大的肯定。

葉仲茵為香港中文大學香港亞太研究所副研究員;鄭宏泰為香港亞太研究所社會及政治發展研究中心副主任;張妙清為香港亞太研究所所長。

調查與統計數據收集的反思.二之一.明天續

【註1】見www.aapor.org/AM/Template.cfmSection=Standard_Definitions2&Template=/CM/ContentDisplay.cfm&ContentID=3156,頁5。回應率計算公式﹕(見算式圖)
(除特別註明,本文提及的回應率均以此公式計算)

【註2】回應率有不同計算方法,視乎計算時如何處理部分完成個案(partial interviews)及未能確定是否合資格的未接觸個案(cases of unknown eligibility)。

此 外,現時一些統計調查公布的所謂「回應率」實際上是美國民意研究學會定義的合作率(cooperation rate),即等於在已接觸個案中,最後可成功完成訪問的個案的百分比。有關回應率與合作率分別的討論,可參考傅景華文章〈電話民調回應率偏差嚴重〉(刊 20111020日《信報》A22)。

【註3Lam, T. H. et al. 1988. Doctor-consultation in Hong Kong: A Comparison between Findings of a Telephone Interview with the General Household Survey. Community Medicine 103: 175-179;另見政府統計處:「綜合住戶統計調查:按季統計報告20127月至9月」。

【註4】政府統計處:「主題性住戶統計調查:第一號報告書」,2000年;另見政府統計處:「主題性住戶統計調查:第五十號報告書」,2013年。

【註5】「香港社會指標調查」系列於1988年至2996年間進行,合共做了九次調查;它是一個採用概率抽樣的全港性住戶調查,並以上門訪問形式進行。此系列調查的樣本數目,受研究經費的多少制約,例如2006年的成功訪問個案數目則為三千五百個(見【表】)。