Michael C. Acree
The Myth of Statistical Inference
Michael C. Acree
The Myth of Statistical Inference
- Gebundenes Buch
- Merkliste
- Auf die Merkliste
- Bewerten Bewerten
- Teilen
- Produkt teilen
- Produkterinnerung
- Produkterinnerung
This book proposes and explores the idea that the forced union of the aleatory and epistemic aspects of probability is a sterile hybrid, inspired and nourished for 300 years by a false hope of formalizing inductive reasoning, making uncertainty the object of precise calculation. Because this is not really a possible goal, statistical inference is not, cannot be, doing for us today what we imagine it is doing for us. It is for these reasons that statistical inference can be characterized as a myth.
The book is aimed primarily at social scientists, for whom statistics and statistical…mehr
Andere Kunden interessierten sich auch für
- Michael C. AcreeThe Myth of Statistical Inference110,99 €
- Dale PurvesWhy Brains Don't Compute128,39 €
- Dale PurvesWhy Brains Don't Compute59,99 €
- G. Arminger / Clifford C. Clogg / M.E. Sobel (eds.)Handbook of Statistical Modeling for the Social and Behavioral Sciences118,99 €
- Mathematical Psychology77,99 €
- Kelvinn Modesto Carvalho BarbosaThe indigenous imaginary and the belenense sexuality40,99 €
- S. Alexander HaslamResearch Methods and Statistics in Psychology128,99 €
-
-
-
This book proposes and explores the idea that the forced union of the aleatory and epistemic aspects of probability is a sterile hybrid, inspired and nourished for 300 years by a false hope of formalizing inductive reasoning, making uncertainty the object of precise calculation. Because this is not really a possible goal, statistical inference is not, cannot be, doing for us today what we imagine it is doing for us. It is for these reasons that statistical inference can be characterized as a myth.
The book is aimed primarily at social scientists, for whom statistics and statistical inference are a common concern and frustration. Because the historical development given here is not merely anecdotal, but makes clear the guiding ideas and ambitions that motivated the formulation of particular methods, this book offers an understanding of statistical inference which has not hitherto been available. It will also serve as a supplement to the standard statistics texts. Finally, general readers will find here an interesting study with implications far beyond statistics. The development of statistical inference, to its present position of prominence in the social sciences, epitomizes a number of trends in Western intellectual history of the last three centuries, and the 11th chapter, considering the function of statistical inference in light of our needs for structure, rules, authority, and consensus in general, develops some provocative parallels, especially between epistemology and politics.
The book is aimed primarily at social scientists, for whom statistics and statistical inference are a common concern and frustration. Because the historical development given here is not merely anecdotal, but makes clear the guiding ideas and ambitions that motivated the formulation of particular methods, this book offers an understanding of statistical inference which has not hitherto been available. It will also serve as a supplement to the standard statistics texts. Finally, general readers will find here an interesting study with implications far beyond statistics. The development of statistical inference, to its present position of prominence in the social sciences, epitomizes a number of trends in Western intellectual history of the last three centuries, and the 11th chapter, considering the function of statistical inference in light of our needs for structure, rules, authority, and consensus in general, develops some provocative parallels, especially between epistemology and politics.
Produktdetails
- Produktdetails
- Verlag: Springer / Springer International Publishing / Springer, Berlin
- Artikelnr. des Verlages: 978-3-030-73256-1
- 1st ed. 2021
- Seitenzahl: 464
- Erscheinungstermin: 6. Juli 2021
- Englisch
- Abmessung: 241mm x 160mm x 31mm
- Gewicht: 857g
- ISBN-13: 9783030732561
- ISBN-10: 3030732568
- Artikelnr.: 61273497
- Verlag: Springer / Springer International Publishing / Springer, Berlin
- Artikelnr. des Verlages: 978-3-030-73256-1
- 1st ed. 2021
- Seitenzahl: 464
- Erscheinungstermin: 6. Juli 2021
- Englisch
- Abmessung: 241mm x 160mm x 31mm
- Gewicht: 857g
- ISBN-13: 9783030732561
- ISBN-10: 3030732568
- Artikelnr.: 61273497
Michael C. Acree received his Ph.D. in psychology from Clark University in 1978, where he completed the clinical training program and also worked as Data Analysis Consultant for the Department of Psychology. At the University of Nebraska-Lincoln he was the first member of the psychology faculty to be elected to all three programs-Experimental, Social, and Clinical. During his 3 years there, he taught undergraduate courses in clinical and abnormal psychology and graduate statistics and supervised clinical practicum students. After leaving Nebraska voluntarily in 1979, he was for 5 years Assistant Research Psychologist at the Center on Deafness at the University of California, San Francisco. There he conducted long-term longitudinal research on prelingually deaf children, and was Principal Investigator on a $75,000 grant from the National Institute of Handicapped Research, entitled "Dialogue with Deaf Children: Its Relation to Intellectual and Personal Growth." From 1985 to 1990 he was Assistant Professor at the Pacific Graduate School of Psychology in Palo Alto, where he was awarded a $28,000 grant by the Chapman Research Fund on "Roots of Social Science Methodology: Ontogenesis and History." After 5 years as Associate Professor at the California Institute for Integral Studies in San Francisco, he joined the UCSF Center for AIDS Prevention Studies as Senior Statistician, and in 2001 he moved in the same capacity to the Osher Center for Integrative Medicine, until his retirement in 2017.
1. SYNOPSIS, BY WAY OF AUTOBIOGRAPHY . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
The problem as I originally confronted it . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
The place of statistics in the social sciences . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
Statistical inference and its misconceptions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
The root of the problem in the dualistic concept of probability . . . . . . . . . . . . . . . . 7
How this book came about . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
Some qualifications, objections, and implications . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
Intervening developments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
Some qualifications regarding the historical argument . . . . . . . . . . . . . . . . . . . . . 16
An Ad hominem ipsum . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
2. THE PHILOSOPHICAL AND CULTURAL CONTEXT FOR THE EMERGENCE OF PROBABILITY AND STATISTICAL INFERENCE . . . . . . . . . . . . . . . . . . . . . . . . . . 28
Brief excursus on historical cognitive change . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
Ancient Greece . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
Medieval Europe . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
General observations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
The concept of skeuomorphosis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
Early technologies of change . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
The emergence of the market economy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
Mathematical, mechanistic, and relativistic thinking . . . . . . . . . . . . . . . . . . . . . . . 36
Scientific objectivity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
Some consequences for epistemology . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
The concept of sign . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
The combinatorics of language and thought . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .40
Causality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
Representation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
Some psychological and cultural considerations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
The emergence of self-consciousness . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
Polarizations, alignments, and projections . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
Rejection of the feminine . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
Mind and body . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
Public and private . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
The rejection of roots . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
Summary and preview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . 60
3. ORIGIN OF THE MODERN CONCEPT OF PROBABILITY . . . . . . . . . . . . . . . . . . 68
Why gambling per se didn't lead to a mathematical theory of probability . . . . . . . . . 68
The concept of probability before the 17th century . . . . . . . . . . . . . . . . . . . . . . . . . . 70
The calculus of expectation . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
Statistics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
The Art of Conjecturing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
The law of large numbers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
The metaphysical status of probability . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . 85
One word, two scales . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
The scale of measurement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
The combination of evidence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . .88
Implications for future developments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
4. THE CLASSICAL THEORY OF STATISTICAL INFERENCE . . . . . . . . . . . . . . . . 102
Bayes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103
Laplace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108
Criticism . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . 113
5. NINETEENTH CENTURY DEVELOPMENTS IN STATISTICS . . . . . . . . . . . . . . . 115
Descriptive statistics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115
The normal curve in astronomy . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . 115
Application of the normal curve to populations: Quetelet . . . . . . . . . . . . . . . . . . 117
Galton, Pearson, and the biometricians . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121
Precursors of significance testing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124
Arbuthnot's and Gavarret's use of the binomial . . . . . . . . . . . . . . . . . . . . . . . . . . 124
Probabilistic criteria for the rejection of discordant observations in astronomy . . 127
The normal model and data in the social sciences . . . . . . . . . . . . . . . . . . . . . . . . . 130
The pun on significance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131
Small data sets in agricultural research . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 133
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 136
6. THE FREQUENCY THEORY OF PROBABILITY . . . . . . . . . . . . . . . . . . . . . . . . . . 140
The principle of indifference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141
The frequency theorists . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144
Venn . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144
Peirce . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146
Richard von Mises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 148
Reichenbach . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151
Popper . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154
The concept of randomness . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156
Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161
7. THE FISHER AND NEYMAN-PEARSON THEORIES OF STATISTICAL
INFERENCE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164
Fisher . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164
The Fisherian theory of statistical inference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 167
Maximum likelihood . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168
Significance testing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169
Small-sample theory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170
The hypothetical infinite population . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171
Randomization tests . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173
The success of significance testing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 175
Fiducial probability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 177
Neyman and Pearson . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182
Hypothesis testing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 184
The concept of probability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187
Implications for statistical inference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 190
Confidence intervals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193
Differences between the Fisher and Neyman-Pearson theories . . . . . . . . . . . . . . . . . 198
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 203
8. BAYESIAN THEORIES OF PROBABILITY AND STATISTICAL INFERENCE . 210
Logical theories of probability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 210
Keynes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 210
Jeffreys . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 215
Jaynes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 218
Personalist theories of probability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 220
Ramsey . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 221
De Finetti . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 222
Savage . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 225
Wald's decision theory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 227
General structure of Bayesian inference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 228
Criticism . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 233
The logical allocation of prior probabilities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 233
The subjective allocation of prior probabilities . . . . . . . . . . . . . . . . . . . . . . . . . . . 236
Subjectivity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .238
Putting theories to work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 241
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . 243
9. STATISTICAL INFERENCE IN PSYCHOLOGICAL AND MEDICAL
RESEARCH . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 247
Psychological measurement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 247
From large-sample to small-sample theory in psychology . . . . . . . . . . . . . . . . . . . . 257
The concept of probability . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . 261
Significance versus confidence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 262
Power . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 263
Random sampling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 263
To the present . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 264
The context of use . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 267
Contexts of discovery versus verification . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 267
Statistical significance as an indicator of research quality . . . . . . . . . . . . . . . . . . 268
Problems in application of statistical inference to psychological research . . . . . . . . 270
Epistemic versus behavioral orientation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 270
The literalness of acceptance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 271
The individual versus the aggregate . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 272
The paradox of precision . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 274
Identification with the null . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 276
Random sampling from hypothetical infinite populations . . . . . . . . . . . . . . . . . . 276
Assumption violation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 278
The impact of the preceding problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 279
Possible responses by frequentists and Bayesians . . . . . . . . . . . . . . . . . . . . . . . . . . 280
Toward resolution: The frequentists versus the Bayesians . . . . . . . . . . . . . . . . . . . 281
The recent integration of Bayesian concepts and methods in psychological and
medical research: The case of multiple imputation of missing data . . . . . . . . . . . 283
Postscript on statistics in medicine . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 284
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 286
10. RECENT WORK IN PROBABILITY AND INFERENCE . . . . . . . . . . . . . . . . . . . . . 294
Statistical and nonstatistical inference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 294
The putative philosophical distinction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 294
Psychological research on reasoning in statistical contexts . . . . . . . . . . . . . . . . . . 297
Models of inference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 297
Bayes' Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 298
Clinical inference and multiple regression . . . . . . . . . . . . . . . . . . . . . . . . . . 302
Causal inference and analysis of variance . . . . . . . . . . . . . . . . . . . . . . . . . . . 303
General issues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 304
Atmosphere effects and the difficulty of abstract problems . . . . . . . . . . . . . 304
Judgments of randomness . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 306
Randomness, representativeness, and replication in psychological research . . 307
The ontogenesis of probability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 309
The propensity theory of probability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 312
The likelihood theory of statistical inference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 316
Shafer's theory of belief functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ..318
Recent work on reasoning in philosophy and artificial intelligence . . . . . . . . . . . . . 323
Some recent concepts from artificial intelligence . . . . . . . . . . . . . . . . . . . . . . . . . 323
Bayesian versus Dempster-Shafer formalisms . . . . . . . . . . . . . . . . . . . . . . . . . . . 326
On formalization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 329
Limits . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 329
The relation between philosophy and psychology: Bayesian theory . . . . . . . . . . 331
Purposes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 332
Summary of challenges to Bayesian theory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 334
Postscript on Bayesian neuropsychology . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 335
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 336
11. CONCLUSIONS AND THE FUTURE OF PSYCHOLOGICAL RESEARCH . . . . .. 339
Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 339
The concept of probability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 339
The concept of statistical inference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 341
The future of psychological research . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 344
Surface obstacles to change . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ..344
Possible paths for quantitative research . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 347
The ambivalent promise of qualitative methods . . . . . . . . . . . . . . . . . . . . . . . . . . 350
Toward deeper obstacles to change . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 352
The philosophical, social, and psychological context for the emergence of
a new epistemology . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 353
Empty self . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 355
Empty world . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . 359
Objectivity, skeuomorphosis, and the problem of scale . . . . . . . . . . . . . . . . . . . . 363
The scarecrows of relativism and anarchy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 366
Biomedical research without a biomedical model . . . . . . . . . . . . . . . . . . . . . . . . . . . 367
Postscript on Perceptual Control Theory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .370
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 374
The problem as I originally confronted it . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
The place of statistics in the social sciences . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
Statistical inference and its misconceptions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
The root of the problem in the dualistic concept of probability . . . . . . . . . . . . . . . . 7
How this book came about . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
Some qualifications, objections, and implications . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
Intervening developments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
Some qualifications regarding the historical argument . . . . . . . . . . . . . . . . . . . . . 16
An Ad hominem ipsum . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
2. THE PHILOSOPHICAL AND CULTURAL CONTEXT FOR THE EMERGENCE OF PROBABILITY AND STATISTICAL INFERENCE . . . . . . . . . . . . . . . . . . . . . . . . . . 28
Brief excursus on historical cognitive change . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
Ancient Greece . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
Medieval Europe . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
General observations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
The concept of skeuomorphosis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
Early technologies of change . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
The emergence of the market economy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
Mathematical, mechanistic, and relativistic thinking . . . . . . . . . . . . . . . . . . . . . . . 36
Scientific objectivity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
Some consequences for epistemology . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
The concept of sign . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
The combinatorics of language and thought . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .40
Causality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
Representation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
Some psychological and cultural considerations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
The emergence of self-consciousness . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
Polarizations, alignments, and projections . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
Rejection of the feminine . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
Mind and body . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
Public and private . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
The rejection of roots . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
Summary and preview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . 60
3. ORIGIN OF THE MODERN CONCEPT OF PROBABILITY . . . . . . . . . . . . . . . . . . 68
Why gambling per se didn't lead to a mathematical theory of probability . . . . . . . . . 68
The concept of probability before the 17th century . . . . . . . . . . . . . . . . . . . . . . . . . . 70
The calculus of expectation . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
Statistics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
The Art of Conjecturing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
The law of large numbers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
The metaphysical status of probability . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . 85
One word, two scales . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
The scale of measurement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
The combination of evidence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . .88
Implications for future developments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
4. THE CLASSICAL THEORY OF STATISTICAL INFERENCE . . . . . . . . . . . . . . . . 102
Bayes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103
Laplace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108
Criticism . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . 113
5. NINETEENTH CENTURY DEVELOPMENTS IN STATISTICS . . . . . . . . . . . . . . . 115
Descriptive statistics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115
The normal curve in astronomy . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . 115
Application of the normal curve to populations: Quetelet . . . . . . . . . . . . . . . . . . 117
Galton, Pearson, and the biometricians . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121
Precursors of significance testing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124
Arbuthnot's and Gavarret's use of the binomial . . . . . . . . . . . . . . . . . . . . . . . . . . 124
Probabilistic criteria for the rejection of discordant observations in astronomy . . 127
The normal model and data in the social sciences . . . . . . . . . . . . . . . . . . . . . . . . . 130
The pun on significance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131
Small data sets in agricultural research . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 133
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 136
6. THE FREQUENCY THEORY OF PROBABILITY . . . . . . . . . . . . . . . . . . . . . . . . . . 140
The principle of indifference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141
The frequency theorists . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144
Venn . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144
Peirce . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146
Richard von Mises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 148
Reichenbach . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151
Popper . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154
The concept of randomness . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156
Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161
7. THE FISHER AND NEYMAN-PEARSON THEORIES OF STATISTICAL
INFERENCE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164
Fisher . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164
The Fisherian theory of statistical inference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 167
Maximum likelihood . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168
Significance testing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169
Small-sample theory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170
The hypothetical infinite population . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171
Randomization tests . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173
The success of significance testing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 175
Fiducial probability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 177
Neyman and Pearson . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182
Hypothesis testing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 184
The concept of probability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187
Implications for statistical inference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 190
Confidence intervals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193
Differences between the Fisher and Neyman-Pearson theories . . . . . . . . . . . . . . . . . 198
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 203
8. BAYESIAN THEORIES OF PROBABILITY AND STATISTICAL INFERENCE . 210
Logical theories of probability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 210
Keynes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 210
Jeffreys . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 215
Jaynes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 218
Personalist theories of probability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 220
Ramsey . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 221
De Finetti . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 222
Savage . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 225
Wald's decision theory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 227
General structure of Bayesian inference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 228
Criticism . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 233
The logical allocation of prior probabilities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 233
The subjective allocation of prior probabilities . . . . . . . . . . . . . . . . . . . . . . . . . . . 236
Subjectivity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .238
Putting theories to work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 241
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . 243
9. STATISTICAL INFERENCE IN PSYCHOLOGICAL AND MEDICAL
RESEARCH . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 247
Psychological measurement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 247
From large-sample to small-sample theory in psychology . . . . . . . . . . . . . . . . . . . . 257
The concept of probability . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . 261
Significance versus confidence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 262
Power . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 263
Random sampling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 263
To the present . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 264
The context of use . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 267
Contexts of discovery versus verification . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 267
Statistical significance as an indicator of research quality . . . . . . . . . . . . . . . . . . 268
Problems in application of statistical inference to psychological research . . . . . . . . 270
Epistemic versus behavioral orientation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 270
The literalness of acceptance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 271
The individual versus the aggregate . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 272
The paradox of precision . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 274
Identification with the null . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 276
Random sampling from hypothetical infinite populations . . . . . . . . . . . . . . . . . . 276
Assumption violation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 278
The impact of the preceding problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 279
Possible responses by frequentists and Bayesians . . . . . . . . . . . . . . . . . . . . . . . . . . 280
Toward resolution: The frequentists versus the Bayesians . . . . . . . . . . . . . . . . . . . 281
The recent integration of Bayesian concepts and methods in psychological and
medical research: The case of multiple imputation of missing data . . . . . . . . . . . 283
Postscript on statistics in medicine . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 284
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 286
10. RECENT WORK IN PROBABILITY AND INFERENCE . . . . . . . . . . . . . . . . . . . . . 294
Statistical and nonstatistical inference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 294
The putative philosophical distinction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 294
Psychological research on reasoning in statistical contexts . . . . . . . . . . . . . . . . . . 297
Models of inference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 297
Bayes' Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 298
Clinical inference and multiple regression . . . . . . . . . . . . . . . . . . . . . . . . . . 302
Causal inference and analysis of variance . . . . . . . . . . . . . . . . . . . . . . . . . . . 303
General issues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 304
Atmosphere effects and the difficulty of abstract problems . . . . . . . . . . . . . 304
Judgments of randomness . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 306
Randomness, representativeness, and replication in psychological research . . 307
The ontogenesis of probability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 309
The propensity theory of probability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 312
The likelihood theory of statistical inference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 316
Shafer's theory of belief functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ..318
Recent work on reasoning in philosophy and artificial intelligence . . . . . . . . . . . . . 323
Some recent concepts from artificial intelligence . . . . . . . . . . . . . . . . . . . . . . . . . 323
Bayesian versus Dempster-Shafer formalisms . . . . . . . . . . . . . . . . . . . . . . . . . . . 326
On formalization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 329
Limits . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 329
The relation between philosophy and psychology: Bayesian theory . . . . . . . . . . 331
Purposes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 332
Summary of challenges to Bayesian theory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 334
Postscript on Bayesian neuropsychology . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 335
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 336
11. CONCLUSIONS AND THE FUTURE OF PSYCHOLOGICAL RESEARCH . . . . .. 339
Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 339
The concept of probability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 339
The concept of statistical inference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 341
The future of psychological research . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 344
Surface obstacles to change . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ..344
Possible paths for quantitative research . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 347
The ambivalent promise of qualitative methods . . . . . . . . . . . . . . . . . . . . . . . . . . 350
Toward deeper obstacles to change . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 352
The philosophical, social, and psychological context for the emergence of
a new epistemology . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 353
Empty self . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 355
Empty world . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . 359
Objectivity, skeuomorphosis, and the problem of scale . . . . . . . . . . . . . . . . . . . . 363
The scarecrows of relativism and anarchy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 366
Biomedical research without a biomedical model . . . . . . . . . . . . . . . . . . . . . . . . . . . 367
Postscript on Perceptual Control Theory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .370
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 374
1. SYNOPSIS, BY WAY OF AUTOBIOGRAPHY . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
The problem as I originally confronted it . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
The place of statistics in the social sciences . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
Statistical inference and its misconceptions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
The root of the problem in the dualistic concept of probability . . . . . . . . . . . . . . . . 7
How this book came about . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
Some qualifications, objections, and implications . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
Intervening developments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
Some qualifications regarding the historical argument . . . . . . . . . . . . . . . . . . . . . 16
An Ad hominem ipsum . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
2. THE PHILOSOPHICAL AND CULTURAL CONTEXT FOR THE EMERGENCE OF PROBABILITY AND STATISTICAL INFERENCE . . . . . . . . . . . . . . . . . . . . . . . . . . 28
Brief excursus on historical cognitive change . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
Ancient Greece . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
Medieval Europe . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
General observations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
The concept of skeuomorphosis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
Early technologies of change . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
The emergence of the market economy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
Mathematical, mechanistic, and relativistic thinking . . . . . . . . . . . . . . . . . . . . . . . 36
Scientific objectivity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
Some consequences for epistemology . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
The concept of sign . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
The combinatorics of language and thought . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .40
Causality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
Representation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
Some psychological and cultural considerations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
The emergence of self-consciousness . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
Polarizations, alignments, and projections . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
Rejection of the feminine . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
Mind and body . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
Public and private . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
The rejection of roots . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
Summary and preview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . 60
3. ORIGIN OF THE MODERN CONCEPT OF PROBABILITY . . . . . . . . . . . . . . . . . . 68
Why gambling per se didn't lead to a mathematical theory of probability . . . . . . . . . 68
The concept of probability before the 17th century . . . . . . . . . . . . . . . . . . . . . . . . . . 70
The calculus of expectation . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
Statistics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
The Art of Conjecturing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
The law of large numbers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
The metaphysical status of probability . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . 85
One word, two scales . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
The scale of measurement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
The combination of evidence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . .88
Implications for future developments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
4. THE CLASSICAL THEORY OF STATISTICAL INFERENCE . . . . . . . . . . . . . . . . 102
Bayes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103
Laplace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108
Criticism . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . 113
5. NINETEENTH CENTURY DEVELOPMENTS IN STATISTICS . . . . . . . . . . . . . . . 115
Descriptive statistics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115
The normal curve in astronomy . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . 115
Application of the normal curve to populations: Quetelet . . . . . . . . . . . . . . . . . . 117
Galton, Pearson, and the biometricians . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121
Precursors of significance testing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124
Arbuthnot's and Gavarret's use of the binomial . . . . . . . . . . . . . . . . . . . . . . . . . . 124
Probabilistic criteria for the rejection of discordant observations in astronomy . . 127
The normal model and data in the social sciences . . . . . . . . . . . . . . . . . . . . . . . . . 130
The pun on significance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131
Small data sets in agricultural research . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 133
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 136
6. THE FREQUENCY THEORY OF PROBABILITY . . . . . . . . . . . . . . . . . . . . . . . . . . 140
The principle of indifference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141
The frequency theorists . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144
Venn . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144
Peirce . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146
Richard von Mises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 148
Reichenbach . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151
Popper . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154
The concept of randomness . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156
Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161
7. THE FISHER AND NEYMAN-PEARSON THEORIES OF STATISTICAL
INFERENCE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164
Fisher . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164
The Fisherian theory of statistical inference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 167
Maximum likelihood . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168
Significance testing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169
Small-sample theory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170
The hypothetical infinite population . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171
Randomization tests . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173
The success of significance testing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 175
Fiducial probability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 177
Neyman and Pearson . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182
Hypothesis testing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 184
The concept of probability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187
Implications for statistical inference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 190
Confidence intervals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193
Differences between the Fisher and Neyman-Pearson theories . . . . . . . . . . . . . . . . . 198
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 203
8. BAYESIAN THEORIES OF PROBABILITY AND STATISTICAL INFERENCE . 210
Logical theories of probability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 210
Keynes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 210
Jeffreys . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 215
Jaynes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 218
Personalist theories of probability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 220
Ramsey . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 221
De Finetti . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 222
Savage . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 225
Wald's decision theory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 227
General structure of Bayesian inference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 228
Criticism . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 233
The logical allocation of prior probabilities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 233
The subjective allocation of prior probabilities . . . . . . . . . . . . . . . . . . . . . . . . . . . 236
Subjectivity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .238
Putting theories to work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 241
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . 243
9. STATISTICAL INFERENCE IN PSYCHOLOGICAL AND MEDICAL
RESEARCH . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 247
Psychological measurement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 247
From large-sample to small-sample theory in psychology . . . . . . . . . . . . . . . . . . . . 257
The concept of probability . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . 261
Significance versus confidence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 262
Power . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 263
Random sampling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 263
To the present . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 264
The context of use . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 267
Contexts of discovery versus verification . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 267
Statistical significance as an indicator of research quality . . . . . . . . . . . . . . . . . . 268
Problems in application of statistical inference to psychological research . . . . . . . . 270
Epistemic versus behavioral orientation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 270
The literalness of acceptance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 271
The individual versus the aggregate . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 272
The paradox of precision . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 274
Identification with the null . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 276
Random sampling from hypothetical infinite populations . . . . . . . . . . . . . . . . . . 276
Assumption violation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 278
The impact of the preceding problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 279
Possible responses by frequentists and Bayesians . . . . . . . . . . . . . . . . . . . . . . . . . . 280
Toward resolution: The frequentists versus the Bayesians . . . . . . . . . . . . . . . . . . . 281
The recent integration of Bayesian concepts and methods in psychological and
medical research: The case of multiple imputation of missing data . . . . . . . . . . . 283
Postscript on statistics in medicine . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 284
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 286
10. RECENT WORK IN PROBABILITY AND INFERENCE . . . . . . . . . . . . . . . . . . . . . 294
Statistical and nonstatistical inference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 294
The putative philosophical distinction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 294
Psychological research on reasoning in statistical contexts . . . . . . . . . . . . . . . . . . 297
Models of inference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 297
Bayes' Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 298
Clinical inference and multiple regression . . . . . . . . . . . . . . . . . . . . . . . . . . 302
Causal inference and analysis of variance . . . . . . . . . . . . . . . . . . . . . . . . . . . 303
General issues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 304
Atmosphere effects and the difficulty of abstract problems . . . . . . . . . . . . . 304
Judgments of randomness . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 306
Randomness, representativeness, and replication in psychological research . . 307
The ontogenesis of probability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 309
The propensity theory of probability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 312
The likelihood theory of statistical inference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 316
Shafer's theory of belief functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ..318
Recent work on reasoning in philosophy and artificial intelligence . . . . . . . . . . . . . 323
Some recent concepts from artificial intelligence . . . . . . . . . . . . . . . . . . . . . . . . . 323
Bayesian versus Dempster-Shafer formalisms . . . . . . . . . . . . . . . . . . . . . . . . . . . 326
On formalization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 329
Limits . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 329
The relation between philosophy and psychology: Bayesian theory . . . . . . . . . . 331
Purposes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 332
Summary of challenges to Bayesian theory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 334
Postscript on Bayesian neuropsychology . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 335
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 336
11. CONCLUSIONS AND THE FUTURE OF PSYCHOLOGICAL RESEARCH . . . . .. 339
Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 339
The concept of probability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 339
The concept of statistical inference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 341
The future of psychological research . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 344
Surface obstacles to change . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ..344
Possible paths for quantitative research . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 347
The ambivalent promise of qualitative methods . . . . . . . . . . . . . . . . . . . . . . . . . . 350
Toward deeper obstacles to change . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 352
The philosophical, social, and psychological context for the emergence of
a new epistemology . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 353
Empty self . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 355
Empty world . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . 359
Objectivity, skeuomorphosis, and the problem of scale . . . . . . . . . . . . . . . . . . . . 363
The scarecrows of relativism and anarchy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 366
Biomedical research without a biomedical model . . . . . . . . . . . . . . . . . . . . . . . . . . . 367
Postscript on Perceptual Control Theory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .370
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 374
The problem as I originally confronted it . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
The place of statistics in the social sciences . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
Statistical inference and its misconceptions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
The root of the problem in the dualistic concept of probability . . . . . . . . . . . . . . . . 7
How this book came about . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
Some qualifications, objections, and implications . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
Intervening developments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
Some qualifications regarding the historical argument . . . . . . . . . . . . . . . . . . . . . 16
An Ad hominem ipsum . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
2. THE PHILOSOPHICAL AND CULTURAL CONTEXT FOR THE EMERGENCE OF PROBABILITY AND STATISTICAL INFERENCE . . . . . . . . . . . . . . . . . . . . . . . . . . 28
Brief excursus on historical cognitive change . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
Ancient Greece . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
Medieval Europe . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
General observations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
The concept of skeuomorphosis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
Early technologies of change . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
The emergence of the market economy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
Mathematical, mechanistic, and relativistic thinking . . . . . . . . . . . . . . . . . . . . . . . 36
Scientific objectivity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
Some consequences for epistemology . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
The concept of sign . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
The combinatorics of language and thought . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .40
Causality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
Representation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
Some psychological and cultural considerations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
The emergence of self-consciousness . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
Polarizations, alignments, and projections . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
Rejection of the feminine . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
Mind and body . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
Public and private . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
The rejection of roots . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
Summary and preview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . 60
3. ORIGIN OF THE MODERN CONCEPT OF PROBABILITY . . . . . . . . . . . . . . . . . . 68
Why gambling per se didn't lead to a mathematical theory of probability . . . . . . . . . 68
The concept of probability before the 17th century . . . . . . . . . . . . . . . . . . . . . . . . . . 70
The calculus of expectation . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
Statistics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
The Art of Conjecturing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
The law of large numbers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
The metaphysical status of probability . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . 85
One word, two scales . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
The scale of measurement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
The combination of evidence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . .88
Implications for future developments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
4. THE CLASSICAL THEORY OF STATISTICAL INFERENCE . . . . . . . . . . . . . . . . 102
Bayes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103
Laplace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108
Criticism . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . 113
5. NINETEENTH CENTURY DEVELOPMENTS IN STATISTICS . . . . . . . . . . . . . . . 115
Descriptive statistics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115
The normal curve in astronomy . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . 115
Application of the normal curve to populations: Quetelet . . . . . . . . . . . . . . . . . . 117
Galton, Pearson, and the biometricians . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121
Precursors of significance testing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124
Arbuthnot's and Gavarret's use of the binomial . . . . . . . . . . . . . . . . . . . . . . . . . . 124
Probabilistic criteria for the rejection of discordant observations in astronomy . . 127
The normal model and data in the social sciences . . . . . . . . . . . . . . . . . . . . . . . . . 130
The pun on significance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131
Small data sets in agricultural research . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 133
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 136
6. THE FREQUENCY THEORY OF PROBABILITY . . . . . . . . . . . . . . . . . . . . . . . . . . 140
The principle of indifference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141
The frequency theorists . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144
Venn . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144
Peirce . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146
Richard von Mises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 148
Reichenbach . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151
Popper . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154
The concept of randomness . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156
Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161
7. THE FISHER AND NEYMAN-PEARSON THEORIES OF STATISTICAL
INFERENCE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164
Fisher . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164
The Fisherian theory of statistical inference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 167
Maximum likelihood . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168
Significance testing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169
Small-sample theory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170
The hypothetical infinite population . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171
Randomization tests . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173
The success of significance testing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 175
Fiducial probability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 177
Neyman and Pearson . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182
Hypothesis testing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 184
The concept of probability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187
Implications for statistical inference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 190
Confidence intervals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193
Differences between the Fisher and Neyman-Pearson theories . . . . . . . . . . . . . . . . . 198
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 203
8. BAYESIAN THEORIES OF PROBABILITY AND STATISTICAL INFERENCE . 210
Logical theories of probability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 210
Keynes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 210
Jeffreys . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 215
Jaynes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 218
Personalist theories of probability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 220
Ramsey . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 221
De Finetti . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 222
Savage . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 225
Wald's decision theory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 227
General structure of Bayesian inference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 228
Criticism . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 233
The logical allocation of prior probabilities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 233
The subjective allocation of prior probabilities . . . . . . . . . . . . . . . . . . . . . . . . . . . 236
Subjectivity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .238
Putting theories to work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 241
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . 243
9. STATISTICAL INFERENCE IN PSYCHOLOGICAL AND MEDICAL
RESEARCH . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 247
Psychological measurement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 247
From large-sample to small-sample theory in psychology . . . . . . . . . . . . . . . . . . . . 257
The concept of probability . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . 261
Significance versus confidence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 262
Power . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 263
Random sampling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 263
To the present . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 264
The context of use . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 267
Contexts of discovery versus verification . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 267
Statistical significance as an indicator of research quality . . . . . . . . . . . . . . . . . . 268
Problems in application of statistical inference to psychological research . . . . . . . . 270
Epistemic versus behavioral orientation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 270
The literalness of acceptance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 271
The individual versus the aggregate . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 272
The paradox of precision . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 274
Identification with the null . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 276
Random sampling from hypothetical infinite populations . . . . . . . . . . . . . . . . . . 276
Assumption violation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 278
The impact of the preceding problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 279
Possible responses by frequentists and Bayesians . . . . . . . . . . . . . . . . . . . . . . . . . . 280
Toward resolution: The frequentists versus the Bayesians . . . . . . . . . . . . . . . . . . . 281
The recent integration of Bayesian concepts and methods in psychological and
medical research: The case of multiple imputation of missing data . . . . . . . . . . . 283
Postscript on statistics in medicine . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 284
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 286
10. RECENT WORK IN PROBABILITY AND INFERENCE . . . . . . . . . . . . . . . . . . . . . 294
Statistical and nonstatistical inference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 294
The putative philosophical distinction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 294
Psychological research on reasoning in statistical contexts . . . . . . . . . . . . . . . . . . 297
Models of inference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 297
Bayes' Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 298
Clinical inference and multiple regression . . . . . . . . . . . . . . . . . . . . . . . . . . 302
Causal inference and analysis of variance . . . . . . . . . . . . . . . . . . . . . . . . . . . 303
General issues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 304
Atmosphere effects and the difficulty of abstract problems . . . . . . . . . . . . . 304
Judgments of randomness . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 306
Randomness, representativeness, and replication in psychological research . . 307
The ontogenesis of probability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 309
The propensity theory of probability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 312
The likelihood theory of statistical inference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 316
Shafer's theory of belief functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ..318
Recent work on reasoning in philosophy and artificial intelligence . . . . . . . . . . . . . 323
Some recent concepts from artificial intelligence . . . . . . . . . . . . . . . . . . . . . . . . . 323
Bayesian versus Dempster-Shafer formalisms . . . . . . . . . . . . . . . . . . . . . . . . . . . 326
On formalization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 329
Limits . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 329
The relation between philosophy and psychology: Bayesian theory . . . . . . . . . . 331
Purposes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 332
Summary of challenges to Bayesian theory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 334
Postscript on Bayesian neuropsychology . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 335
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 336
11. CONCLUSIONS AND THE FUTURE OF PSYCHOLOGICAL RESEARCH . . . . .. 339
Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 339
The concept of probability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 339
The concept of statistical inference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 341
The future of psychological research . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 344
Surface obstacles to change . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ..344
Possible paths for quantitative research . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 347
The ambivalent promise of qualitative methods . . . . . . . . . . . . . . . . . . . . . . . . . . 350
Toward deeper obstacles to change . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 352
The philosophical, social, and psychological context for the emergence of
a new epistemology . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 353
Empty self . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 355
Empty world . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . 359
Objectivity, skeuomorphosis, and the problem of scale . . . . . . . . . . . . . . . . . . . . 363
The scarecrows of relativism and anarchy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 366
Biomedical research without a biomedical model . . . . . . . . . . . . . . . . . . . . . . . . . . . 367
Postscript on Perceptual Control Theory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .370
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 374