Schätzung von Effektgrößen

Abstract

Vor dem Hintergrund, daß der Schätzung von Effektgrößen in der psychologischen Forschung ein zunehmender Stellenwert zukommt, werden in der vorliegenden Arbeit für zwei grundlegende Datensituationen, dem Zwei-Gruppen-Fall mit unabhängigen und dem Zwei-Gruppen-Fall mit verbundenen Stichproben, die Eigenschaften von Punkt- und insbesondere Intervallschätzern für standardisierte Lagedifferenzen (u.a. Cohens <i>d</i>) und die stochastische Überlegenheit Pr(<i>X</i>₁ ≥ <i>X</i>₂) anhand von Monte-Carlo-Simulationen untersucht. Das wesentliche Ziel hierbei ist es, geeignete Schätzer für das verallgemeinerte Lagen-Skalen-Modell zu finden, also Verfahren, die sich auch unter nichtnormalen Verteilungen mit heterogenen Varianzen robust verhalten. <br /> In den beiden Studien zu standardisierten Lagedifferenzen werden nichtzentrale sowie Bootstrap-Schätzer für Kleinste-Quadrat-(KQ)- und robustifizierte Effektgrößen (20%-getrimmt/winsorisiert) untersucht. Zentraler Befund ist, daß die herkömmlichen KQ-Parameter unter Verteilungen mit Tailstärken, die oberhalb derjenigen der Normalverteilung liegen, nicht robust geschätzt werden können, sondern das nominale Konfidenzniveau selbst bei großen Stichprobenumfängen unterschreiten. Hingegen gelingt die Schätzung der robustifizierten Größen insbesondere mit dem Perzentil-Bootstrap über alle Verteilungen hinweg relativ robust. Da jedoch die Intervalle der robustifizierten Schätzungen unter Verteilungen mit schwachen Tails deutlich breiter als diejenigen der KQ-Schätzungen ausfallen, wird von einer generellen Auswertung anhand robustifizierter Statistiken abgeraten und eine modellabhängige Wahl des Schätzers empfohlen. <br /> Neben dem Vorteil der generellen Erwartungstreue der Punktschätzer zeigen die Simulationsstudien zur stochastischen Überlegenheit, daß die Intervallschätzer dieser ordinalen Statistik eine vergleichsweise höhere Robustheit hinsichtlich der Einhaltung des Konfidenzniveaus aufweisen als die Verfahren zur Schätzung der Lagedifferenzen. Bei unabhängigen Stichproben kann die stochastische Überlegenheit im stetigen Fall bereits bei sehr kleinen Stichproben mit dem in dieser Arbeit entwickelten, als Shift-Intervall bezeichneten Verfahren in aller Regel robust geschätzt werden. Für diskrete Verteilungen wird das Verfahren nach Mee (1990) empfohlen. Bei verbundenen Stichproben werden in Anlehnung an Cliff (1996a) zwei Parameter unterschieden, wobei sich von den hier untersuchten Verfahren für die Schätzung der intraindividuellen stochastischen Überlegenheit das adjustierte Wald-Intervall nach Agresti und Coull (1998) und für die Schätzung der interindividuellen stochastischen Überlegenheit ein Pseudo-Scoreintervall mit dem Varianzschätzer von Cliff anbieten.

Given that the estimation of effect sizes is becoming increasingly significant in the field of psychological research, this paper will examine the characteristics of point and, in particular, interval estimators for standardized mean differences (i.a. Cohen's <i>d</i>) and the probability of superiority Pr(<i>X</i>₁ ≥ <i>X</i>₂) for two fundamental data situations - the two independent groups case and the two-level repeated measures case - using Monte Carlo simulations. The primary objective is to find viable estimators for the generalized location-scale model, i.e. methods that behave robustly even under non-normal distributions with heterogeneous variances. <br /> The two studies of standardized mean differences will explore estimators based on non-central distributions as well as bootstrap estimators for ordinary least squares (OLS) and robustified effect sizes (20%-trimmed/winsorized). The central finding is that the OLS effect sizes under distributions with tails longer than those of the normal distribution cannot be robustly estimated. Instead, they fall short of the level of confidence even in large samples. By contrast, the estimation of robustified sizes with the percentile bootstrap in particular manages to be relatively robust across all distributions. However, because the robustified interval estimations under distributions with short tails prove to be considerably wider than those of the OLS estimations, a general analysis using robustified statistics is discouraged and a model-based selection of the estimator is recommended. <br /> Beyond the advantage of the overall unbiasedness of point estimators, simulation studies of probability of superiority demonstrate that the interval estimators of this ordinal statistic exhibit a comparatively higher robustness in terms of maintaining the level of confidence than the methods to estimate the mean differences. In independent samples the probability of superiority in the case of continuous distributions can be robustly estimated in most cases already with very small samples using the method developed in this paper: the 'shift interval'. The method according to Mee (1990) is recommended for discrete distributions. Following Cliff (1996a), two parameters are differentiated in the case of paired samples. From the methods examined in this paper, the adjusted Wald interval according to Agresti and Coull (1998) is appropriate for the estimation of the intra-individual probability of superiority and a pseudo-score interval with the variance estimator according to Cliff for the estimation of the inter-individual probability of superiority.