Open Collections

UBC Theses and Dissertations

UBC Theses Logo

UBC Theses and Dissertations

Criterion-referenced assessment and evaluation as socially situated practice Reynolds, J. Karen 1997

Your browser doesn't seem to have a PDF viewer, please download the PDF to view this item.

Item Metadata

Download

Media
831-ubc_1997-251446.pdf [ 11.08MB ]
Metadata
JSON: 831-1.0054913.json
JSON-LD: 831-1.0054913-ld.json
RDF/XML (Pretty): 831-1.0054913-rdf.xml
RDF/JSON: 831-1.0054913-rdf.json
Turtle: 831-1.0054913-turtle.txt
N-Triples: 831-1.0054913-rdf-ntriples.txt
Original Record: 831-1.0054913-source.json
Full Text
831-1.0054913-fulltext.txt
Citation
831-1.0054913.ris

Full Text

CRITERION-REFERENCED ASSESSMENT AND EVALUATION AS SOCIALLY SITUATED PRACTICE By J. Karen Reynolds B.A., McMaster University, 1984 M.Ed., Lakehead University, 1991 A THESIS SUBMITTED IN PARTIAL FULFILLMENT OF THE REQUIREMENTS FOR THE DEGREE OF DOCTOR OF PHILOSOPHY in THE FACULTY OF GRADUATE STUDIES Centre for the Study of Curriculum and Instruction Ue accept t h i s thesis as conforming t o ^ h e required standard T\&r$*?Vft&S^^ COLUMBIA 1997 © J. Karen Reynolds, 1997 In presenting this thesis in partial fulfilment of the requirements for an advanced degree at the University of British Columbia, I agree that the Library shall make it freely available for reference and study. I. further agree that permission for extensive copying of this thesis for scholarly purposes may be granted by the head of my department or by his or her representatives. It is understood that copying or publication of this thesis for financial' gain shall not be allowed without my written permission. 1 ; Department of Qo^Asfi f/sr Tl^fi <{^J.. a ft ^ ^ r r ' C^ALU ^ a^oj The University of British Columbia Vancouver, Canada •ate Qt-tvloer H}m7. DE-6 (2/88) i i ABSTRACT In the f a l l of 1994, the p r o v i n c i a l government of B r i t i s h Columbia introduced education p o l i c y involving an emphasis on criterion-referenced evaluation, and the reintroduction of l e t t e r grades from grades four to seven. In t h i s d i s s e r t a t i o n I describe and interpret how one school p r i n c i p a l , one grade 5/6 teacher, a group of grade 5/6 students, and parents of grade 5/6 students, understood the p o l i c y change. The purpose of t h i s case study i s to try to understand varying points of view that p a r t i c i p a n t s bring to such a p o l i c y change. This study was a collaborative project from 1994 to 1997. "Anne," a grade 5/6 teacher, and I j o i n t l y c o l l e c t e d and examined documents pertaining to education p o l i c y and Anne's classroom practices associated with assessment—evaluation. Data c o l l e c t i o n techniques involved participant—observation i n the form of informal and formal observations, and informally-structured interviews. A key finding of the study i s that p o l i c y i s ambiguous and can be understood from multiple and divergent standpoints. Anne saw p o l i c y and classroom i i i practices associated with assessment-evaluation as means for promoting learning i n terms of metacognitive development. Many of Anne's students and th e i r parents saw assessment-evaluation as means for generating marks and grades for exchange on competitive markets. James Wertsch's (1991; 1995) and Pierre Bourdieu's <1990> philosophical and methodological viewpoints proved to be useful frames for interpreting findings. Within t h i s context, I understood part i c i p a n t s ' interpretations of policy and classroom practices associated with assessment—evaluation as s o c i a l l y situated i n settings characterized by unequal r e l a t i o n s of power among policy-makers, school administrators, teachers, students, and parents. My ov e r a l l conclusion i s that a useful approach to assessment-evaluation would provide teachers with adequate time and support to explore, discuss, and r e f l e c t upon the i r interpretations of assessment-evaluation p o l i c y and classroom practices within and across contexts of the i r work. More equitable rel a t i o n s of power among teachers, students, parents, administration, policy-makers, and researchers would f a c i l i t a t e greater communication and collaboration i v within and across interest groups. Increased communication and collaboration among people promise shared, a l b e i t divergent, understanding regarding what counts as useful policy, and f a i r practices. V TABLE OF CONTENTS PAGE Abstract i i Table of Contents v Acknowledgements x Dedication x i i CHAPTER I ASSESSMENT AND EVALUATION AS SOCIALLY SITUATED PRACTICE 1 The Problem and Its Contexts 1 Meanings and uses of key terms 2 My standpoint 7 Organization Of Dissertation 16 II REVIEW OF LITERATURE 20 Contemporary Issues i n Assessment—Evaluation ....21 Education reform 21 Authentic/alternative assessment 22 Policy Research and Assessment-Evaluation 32 Social and Sociocultural Research 4-0 Related Perspectives - Sociocultural Research ..51 Related Perspectives - Social Theory 55 Cone 1us i on 57 v i III RESEARCH DESIGN 59 Gaining Access 61 The School 71 Role 78 Methods of Data-Collection and Ongoing Analysis 89 Doc uments 89 Informal and formal observations 91 Informally structured interviews 92 Field-Notes 105 Data-Analysis 102 T r a n s f e r a b i l i t y , R e l i a b i l i t y , and V a l i d i t y ....107 IV EDUCATION REFORM IN BRITISH COLUMBIA 112 The "Year 2000" 114 The New Democrats take on assessment and evaluation 120 The Standpoint of a P r i n c i p a l 133 Conclusion 141 V THE EXPERIENCE OF A TEACHER 146 Anne's Background And Philosophy Of Education ..146 Making Sense Of The Policy Change 149 Assessment-Evaluation Procedures and Practices .159 Marking 159 Criterion-referenced evaluation 168 v i i Teacher observation 176 Homework 175 Letter grades and structured written comments 176 C o l l e g i a l i t y 188 Working Conditions 193 Conclusion 195 VI THE CHILDREN 201 Children And The Poli c y Change 201 Marks and Letter Grades 202 Letters 202 Exchange Value 205 E f f o r t 211 Mediational Means 212 Tests 212 Student self-evaluation 215 Criterion—referenced evaluation 219 Mechanics of conversion 221 Student-centered conferences and p o r t f o l i o s 224 Conclusion .231 VII THE PARENTS . .: 235 Parents And Education Po l i c y 235 v i i i Parents At Westheigbts School 238 Exchange Value 240 Training for the Workplace 240 Interpreting Letter Grades 244 What's i n a l e t t e r grade? 244 The p r i c e of l e t t e r grades 250 Cone 1us i on 255 VIII CONCLUSIONS 258 Anne's Reflections 259 Summary of Findings 262 Polic y and assessment-evaluation 262 Learning and assessment—evaluation 264 Kids, parents, and assessment-evaluation..268 Implications For Theory 272 Implications For Practice And Policy 275 Implications For Further Research 284 REFERENCES 288 APPENDIX A: STUDENT RESEARCH CRITERIA 298 APPENDIX B: CRITERION-REFERENCED WORKSHEET 304 APPENDIX C: CLASSROOM PERFORMANCE CRITERIA CHARTS..306 APPENDIX D: REPORT CARD 308 APPENDIX E: MARTIN'S FLOWER 311 A P P E N D I X F : A P P E N D I X G : REPORT CARD R E F L E C T I O N S GLOSSARY X ACKNOWLEDGEMENTS I w o u l d l i k e t o e x p r e s s my s i n c e r e a p p r e c i a t i o n t o my a d v i s o r . D r . J a n e G a s k e l l , f o r h e r g u i d a n c e , s u p p o r t , a n d e n c o u r a g e m e n t t h r o u g h o u t my d o c t o r a l s t u d i e s . J a n e h a s b e e n my m o s t p o w e r f u l m e n t o r . H e r u n i q u e a n d s p e c i a l w a y s o f ' b e i n g i n t h i s w o r l d ' h a v e f o r e v e r t o u c h e d my m i n d a n d s o u l . T h a n k s s h o u l d a l s o b e e x t e n d e d t o D r . J a c q u e l y n B a k e i — S e n n e t t a n d D r . G a a l e n E r i c k s o n f o r t h e i r p a t i e n c e a n d many v a l u a b l e i n s i g h t s a s c o m m i t t e e m e m b e r s . I n a d d i t i o n , I g r a t e f u l l y a c k n o w l e d g e t h e " S o c i a l S c i e n c e s a n d H u m a n i t i e s R e s e a r c h C o u n c i l o f C a n a d a , " a n d t h e " F a c u l t y o f G r a d u a t e S t u d i e s " a t t h e U n i v e r s i t y o f B r i t i s h C o l u m b i a , f o r t h e i r f i n a n c i a l s u p p o r t . T h i s s t u d y w o u l d n o t b e p o s s i b l e , h o w e v e r , w i t h o u t t h e t r u s t , h o n e s t y , a n d g e n e r o s i t y o f t h e r e a l " A n n e W a d e . " A n n e ' s c o m m i t m e n t t o w a r d s t h e w e l l — b e i n g a n d e d u c a t i o n o f h e r s t u d e n t s i s a w o n d e r f u l t r i b u t e t o h e r p r o f e s s i o n . To t h e p r i n c i p a l a n d s t a f f o f " W e s t h e i g h t s " s c h o o l , A n n e ' s s t u d e n t s , a n d p a r e n t s o f A n n e ' s s t u d e n t s , I e x t e n d a s i n c e r e t h a n k y o u f o r t h e i r s u p p o r t a n d p a r t i c i p a t i o n . To a l l o t h e r s who x i p a r t i c i p a t e d a t " W e s t h e i g h t s S c h o o l D i s t r i c t " I am a l s o i i n d e b t e d . A s p e c i a l t h a n k s g o e s t o s e v e r a l f r i e n d s who o f f e r e d s m i l e s a n d e n c o u r a g e m e n t t h r o u g h o u t t h e u p s a n d d o w n s o f my g r a d u a t e s t u d i e s . T o K e r r i e , I r e n e , B r u c e , L a r a , J o a n n e , a n d B o o , I am e s p e c i a l l y g r a t e f u l . I m u s t e x t e n d my d e e p e s t t h a n k y o u t o my m o t h e r . W i t h o u t h e r u n d y i n g e m o t i o n a l s u p p o r t , f i n a n c i a l p a t r o n a g e , a n d f a i t h i n my c a p a b i l i t i e s , I c o u l d n o t h a v e r e a l i z e d t h i s d r e a m . Y o u ' r e a r e a l s t a r Mum! X I 1 D e d i c a t i o n T h i s d i s s e r t a t i o n i s d e d i c a t e d t o my Mum, M. N o r e e n R e y n o l d s CHAPTER 1 R e f l e c t i o n o n how s o c i a l p h e n o m e n a g e t d e f i n e d a s p r o b l e m s i n n e e d o f e x p l a n a t i o n i n t h e f i r s t p l a c e q u i c k l y r e v e a l s t h a t t h e r e i s n o s u c h t h i n g a s a p r o b l e m w i t h o u t a p e r s o n ( o r g r o u p o f t h e m ) who h a v e t h i s p r o b l e m : a p r o b l e m i s a l w a y s a p r o b l e m f o r s o m e o n e o r o t h e r . ( H a r d i n g , 1 9 8 7 , p . 6 ) C R I T E R I O N - R E F E R E N C E D ASSESSMENT AND E V A L U A T I O N A S S O C I A L L Y S I T U A T E D P R A C T I C E T h e P r o b l e m a n d I t s C o n t e x t s I n t h e f a l l o f 1 9 9 4 , t h e p r o v i n c i a l g o v e r n m e n t o f B r i t i s h C o l u m b i a i n t r o d u c e d e d u c a t i o n p o l i c y i n v o l v i n g a n e m p h a s i s o n c r i t e r i o n — r e f e r e n c e d e v a l u a t i o n , a n d t h e r e i n t r o d u c t i o n o f l e t t e r g r a d e s f r o m g r a d e s f o u r t o s e v e n . T h i s t h e s i s d e s c r i b e s a n d i n t e r p r e t s how p e o p l e d i r e c t l y a s s o c i a t e d w i t h o n e g r a d e 5 / 6 c l a s s i n t h e L o w e r M a i n l a n d i n t e r p r e t e d a n d r e s p o n d e d t o t h e p o l i c y c h a n g e . T h e p u r p o s e o f t h i s s t u d y i s t o t r y t o u n d e r s t a n d t h e v a r y i n g p o i n t s o f v i e w t h a t p a r t i c i p a n t s b r i n g t o s u c h a p o l i c y c h a n g e . I n t h i s c a s e s t u d y , t h e p a r t i c u l a r c o n t e x t s f o r s t u d y i n g p o l i c y a n d c l a s s r o o m p r a c t i c e s a s s o c i a t e d w i t h a s s e s s m e n t a n d e v a l u a t i o n a r e t h e B . C . M i n i s t r y o f E d u c a t i o n , o n e S c h o o l B o a r d , o n e s c h o o l p r i n c i p a l , o n e 2 g r a d e 5 / 6 t e a c h e r , a g r o u p o f g r a d e 5 / 6 s t u d e n t s , a n d t h e i r p a r e n t s . " A n n e , " a g r a d e 5 / 6 h o m e - r o o m t e a c h e r , w a s a t t h e c e n t r e o f p r e s s u r e s g e n e r a t e d b y t h e i n t e r s e c t i o n o f t h e s e c o n t e x t s . S h e b o r e e n o r m o u s r e s p o n s i b i l i t y f o r i n t e r p r e t i n g a n d r e s p o n d i n g t o p o l i c y r e g a r d i n g a s s e s s m e n t a n d e v a l u a t i o n , b e c a u s e s h e t o o k t h e c h a n g e t o c r i t e r i o n - r e f e r e n c i n g s e r i o u s l y , a n d s h e , l i k e e v e r y o t h e r t e a c h e r i n t h e p r o v i n c e , w a s e x p e c t e d t o c o n s t r u c t o f f i c i a l r e c o r d s o f s t u d e n t a c h i e v e m e n t i n t h e f o r m o f r e p o r t c a r d s . B y w o r k i n g c o l l a b o r a t i v e l y w i t h A n n e , I came t o u n d e r s t a n d t h a t m a k i n g s e n s e o f e d u c a t i o n a l p o l i c y i n c l a s s r o o m p r a c t i c e i s a m e s s y a f f a i r . H e r c l a s s r o o m p r a c t i c e i n v o l v e d p e o p l e w o r k i n g t o g e t h e r , a n d r e s i s t i n g e a c h o t h e r , i n r e a l t i m e . U n e q u a l r e l a t i o n s o f p o w e r among A n n e , s t u d e n t s , p a r e n t s , a n d a d m i n i s t r a t i o n w e r e r e g u l a r l y e x p r e s s e d a s t h e s e p e o p l e s t r u g g l e d t o make s e n s e o f t h e i r e x p e r i e n c e s , a n d t o s a t i s f y i m m e d i a t e n e e d s . M e a n i n g s a n d u s e s o f k e y t e r m s . I n t h i s t h e s i s , p e o p l e u s e k e y t e r m s d i f f e r e n t l y . My u s e o f t e r m i n o l o g y w a s i n f l u e n c e d b y my t r a i n i n g a n d e x p e r i e n c e s a s a c l a s s r o o m t e a c h e r . S p e c i a l E d u c a t i o n 3 R e s o u r c e t e a c h e r , S p e c i a l E d u c a t i o n C o n s u l t a n t , a n d a s a u n i v e r s i t y i n s t r u c t o r f o r S p e c i a l E d u c a t i o n a n d P r e — S e r v i c e T e a c h e r E d u c a t i o n c o u r s e s . My g r e a t e s t d i f f i c u l t y i n r e s e a r c h i n g a n d w r i t i n g t h i s t h e s i s h a s b e e n t h e u s e o f t h e t e r m s , a s s e s s m e n t a n d e v a l u a t i o n . A l t h o u g h M i n i s t r y o f E d u c a t i o n p o l i c y d o c u m e n t s d i s t i n g u i s h b e t w e e n t h e t e r m s , a s s e s s m e n t a n d e v a l u a t i o n , p o l i c y d i s c u s s i o n s c l e a r l y p r i v i l e g e u s e o f t h e t e r m , e v a l u a t i o n . M i n i s t r y d o c u m e n t s d e s c r i b e a s s e s s m e n t a n d e v a l u a t i o n i n t h e f o l l o w i n g m a n n e r . A s s e s s m e n t i s t h e s y s t e m a t i c p r o c e s s o f g a t h e r i n g i n f o r m a t i o n a b o u t s t u d e n t l e a r n i n g , w h a t t h e y k n o w , a r e a b l e t o d o , a n d a r e t r y i n g t o d o . E v a l u a t i o n ( i s ) t h e p r o c e s s o f m a k i n g j u d g m e n t s a n d d e c i s i o n s b a s e d o n t h e i n t e r p r e t a t i o n o f e v i d e n c e o f s t u d e n t l e a r n i n g g a t h e r e d t h r o u g h o u t a s s e s s m e n t . E v a l u a t i o n m i g h t b e d o n e b y t h e t e a c h e r o r t h e s t u d e n t i n d e p e n d e n t l y o r i n c o l l a b o r a t i o n . ( B r i t i s h C o l u m b i a M i n i s t r y o f E d u c a t i o n , F e b r u a r y 1 9 9 4 a , F e b r u a r y , X X 0 2 4 6 , p . 2 1 ) A l t h o u g h t h e " K i n d e r g a r t e n t o G r a d e 12 E d u c a t i o n P l a n " d r a w s f r o m t h e a b o v e d e f i n i t i o n o f a s s e s s m e n t i n i t s d i s c u s s i o n o f " e v a l u a t i o n a n d r e p o r t i n g , " t h e t e r m , a s s e s s m e n t , i s n o t u s e d ( B r i t i s h C o l u m b i a M i n i s t r y o f E d u c a t i o n , 1 9 9 4 i ) . T h e " G u i d e l i n e s f o r S t u d e n t R e p o r t i n g f o r t h e K i n d e r g a r t e n t o G r a d e 12 E d u c a t i o n P l a n " d i s c u s s a s s e s s m e n t a n d e v a l u a t i o n i n a s e c t i o n e n t i t l e d , " A s s e s s m e n t a n d E v a l u a t i o n " ( B r i t i s h C o l u m b i a 4 M i n i s t r y o f E d u c a t i o n , S e p t e m b e r 1 9 9 4 e , p . 1 4 ) . T h e f i r s t p a r a g r a p h o f t h e d i s c u s s i o n i n v o l v e s a d e f i n i t i o n o f a s s e s s m e n t a n d a b r i e f d e s c r i p t i o n o f a s s e s s m e n t m e t h o d s . T h e r e m a i n i n g 1 a n d 1 / 2 p a g e s f o c u s o n e v a l u a t i o n a n d , i n p a r t i c u l a r , " c r i t e r i o n — r e f e r e n c e d e v a l u a t i o n . " T h e d o c u m e n t d e s c r i b e s c r i t e r i o n -r e f e r e n c e d e v a l u a t i o n a s e v a l u a t i o n " r e f e r e n c e d t o c r i t e r i a b a s e d u p o n e x p e c t e d l e a r n i n g o u t c o m e s d e s c r i b e d i n t h e p r o v i n c i a l c u r r i c u l u m " ( p . 1 4 ) . S t e p s a r e p r o v i d e d f o r t e a c h e r s t o f o l l o w when u s i n g c r i t e r i o n — r e f e r e n c e d e v a l u a t i o n . T h e M i n i s t r y d i d n o t u s e t h e p h r a s e , c r i t e r i o n - r e f e r e n c e d , i n r e l a t i o n t o a s s e s s m e n t a l t h o u g h a s s e s s m e n t p r o c e d u r e s w e r e r e f e r e n c e d t o c u r r i c u l u m c r i t e r i a . T h e M i n i s t r y ' s e m p h a s i s o n t h e t e r m , e v a l u a t i o n , a n d i t s u s e o f t h e p h r a s e , c r i t e r i o n — r e f e r e n c e d , i n r e l a t i o n t o e v a l u a t i o n a n d n o t a s s e s s m e n t , a p p e a r e d t o p l a c e g r e a t e r i m p o r t a n c e o n e v a l u a t i o n . T h i s l e d me t o a s k w h e t h e r t h e M i n i s t r y ' s d i s t i n c t i o n b e t w e e n a s s e s s m e n t a n d e v a l u a t i o n m e a n t t h a t a s s e s s m e n t a n d e v a l u a t i o n w e r e e q u a l p a r t n e r s i n t h e p r o j e c t o f c o l l e c t i n g i n f o r m a t i o n a n d m a k i n g j u d g e m e n t s a b o u t s t u d e n t p r o g r e s s . My d i f f i c u l t y w i t h c o m p r e h e n d i n g t h e M i n i s t r y ' s d i s t i n c t i o n b e t w e e n a s s e s s m e n t a n d e v a l u a t i o n , i n c r e a s e d when I n o t i c e d t h a t t h e s t e p s f o r u s i n g c r i t e r i o n — r e f e r e n c e d e v a l u a t i o n i n v o l v e d a s s e s s m e n t m e t h o d s ( B r i t i s h C o l u m b i a M i n i s t r y o f E d u c a t i o n , S e p t e m b e r , 1 9 9 4 e ) . T h i s l e d me t o w o n d e r w h e n a s s e s s m e n t w a s n o t e v a l u a t i o n , a n d when e v a l u a t i o n w a s n o t a s s e s s m e n t . F o r me, t h e d i s t i n c t i o n made b y t h e M i n i s t r y i s n o t a c l e a r o n e f o r t h e c o l l e c t i o n o f a n y s t u d e n t w o r k i n v o l v e s d e c i d i n g w h a t c r i t e r i a a r e g o i n g t o b e u s e d t o make e v a l u a t i v e j u d g e m e n t s . A s p r e v i o u s l y s t a t e d , p e o p l e i n t h i s t h e s i s u s e t h e t e r m s , a s s e s s m e n t a n d e v a l u a t i o n , d i f f e r e n t l y . P e o p l e a l s o u s e t h e p h r a s e , c r i t e r i o n — r e f e r e n c e d , d i f f e r e n t l y i n r e l a t i o n t o a s s e s s m e n t a n d e v a l u a t i o n . T h e s e p e o p l e i n c l u d e p a r t i c i p a n t s , p o l i c y - m a k e r s , t h e o r i s t s , r e s e a r c h e r s , a n d m y s e l f . I n t h i s t h e s i s , I u s e t h e t e r m s , a s s e s s m e n t a n d e v a l u a t i o n , i n t h e f o l l o w i n g m a n n e r . A s s e s s m e n t a n d e v a l u a t i o n r e p r e s e n t o n g o i n g a n d i n t e r c o n n e c t e d c l a s s r o o m p r o c e d u r e s a n d p r a c t i c e s f o r g a t h e r i n g i n f o r m a t i o n a n d m a k i n g j u d g e m e n t s a b o u t s t u d e n t p r o g r e s s b a s e d u p o n c u r r i c u l u m c r i t e r i a a n d 6 e x p e c t e d l e a r n i n g o u t c o m e s . W i t h i n t h i s c o n t e x t , a s s e s s m e n t a n d e v a l u a t i o n a r e c r i t e r i o n - r e f e r e n c e d b e c a u s e p r o c e d u r e s a n d p r a c t i c e s a r e r e f e r e n c e d t o c u r r i c u l u m c r i t e r i a . When I am s p e a k i n g f r o m t h i s s t a n d p o i n t , I u s e t h e e x p r e s s i o n , " a s s e s s m e n t -e v a l u a t i o n . " T h e t e r m , a s s e s s m e n t — e v a l u a t i o n , v i s u a l l y s i g n i f i e s a n i n t e r d e p e n d e n t r e l a t i o n s h i p b e t w e e n a s s e s s m e n t a n d e v a l u a t i o n . T h e e x p r e s s i o n u s e s t h e t e r m s , a s s e s s m e n t a n d e v a l u a t i o n , b e c a u s e t e a c h e r s o c c a s i o n a l l y d r a w d i s t i n c t i o n s b e t w e e n c l a s s r o o m p r o c e d u r e s a n d p r a c t i c e s a s s o c i a t e d w i t h g a t h e r i n g i n f o r m a t i o n a b o u t s t u d e n t p r o g r e s s , a n d c l a s s r o o m p r o c e d u r e s a n d p r a c t i c e s a s s o c i a t e d w i t h m a k i n g j u d g e m e n t s a b o u t t h i s i n f o r m a t i o n . A s s e s s m e n t -e v a l u a t i o n i s a p r a c t i c e - s e n s i t i v e t e r m . I t v i s u a l l y s i g n i f i e s a c o n t i n u u m o f c l a s s r o o m p r o c e d u r e s a n d p r a c t i c e s w i t h v a r y i n g d e g r e e s o f i n t e r c o n n e c t e d n e s s t h a t t e a c h e r s u s e t o g a t h e r i n f o r m a t i o n , a n d make j u d g e m e n t s a b o u t s t u d e n t p r o g r e s s b a s e d o n c u r r i c u l u m c r i t e r i a . I t i s n o t u s e f u l t o d i s t i n g u i s h b e t w e e n t h e t e r m s , a s s e s s m e n t a n d e v a l u a t i o n , o u t s i d e o f t h e c o n t e x t o f c l a s s r o o m p r a c t i c e . T h e i r m e a n i n g s , u s e s , a n d u t i l i t y m u s t b e u n d e r s t o o d f r o m t h e s t a n d p o i n t s o f p e o p l e d i r e c t l y a f f e c t e d . My s t a n d p o i n t . My r e s e a r c h p r o b l e m i s i n f o r m e d b y my e x p e r i e n c e s a s a c h i l d , t e a c h e r , a n d r e s e a r c h e r . I f i r s t f e l t t h e n e g a t i v e i m p a c t o f c l a s s r o o m a s s e s s m e n t -e v a l u a t i o n p r a c t i c e s when I w a s a s t u d e n t i n g r a d e 6 . A f t e r t h e f i r s t s e t o f r e p o r t c a r d s w a s s e n t home, my t e a c h e r a n n o u n c e d t h a t a new s e a t i n g p l a n f o r t h e c l a s s r o o m w o u l d r e f l e c t s t u d e n t s * g r a d e s . T h e s t u d e n t w i t h t h e h i g h e s t a v e r a g e s a t i n t h e f i r s t d e s k i n t h e r o w b y t h e d o o r , t h e s e c o n d h i g h e s t a v e r a g e b e h i n d h e r , a n d s o o n , u n t i l s t u d e n t a v e r a g e s s n a k e d u p a n d down t h e r o w s t o w a r d s t h e w i n d o w s o n t h e f a r s i d e o f t h e r o o m . I w a s a s s i g n e d a s e a t i n t h e l a s t r o w b y t h e w i n d o w s b e c a u s e o f my C a v e r a g e . My f a c e b u r n e d w i t h shame a s I h u n c h e d down i n my new d e s k . F r o m g r a d e s i x t h r o u g h h i g h s c h o o l a n d my f i r s t y e a r o f u n i v e r s i t y I c o n t i n u e d t o s t r u g g l e . L e t t e r g r a d e s o f C s a n d l o w B s made me f e e l i n a d e q u a t e a s a s t u d e n t a n d a s a p e r s o n . I t h o u g h t t h a t h i g h g r a d e s m e a n t s o m e o n e w a s s m a r t , a n d s m a r t p e o p l e w e r e p o p u l a r . F r o m t h e t i m e I w a s e l e v e n y e a r s o l d u n t i l my e a r l y 8 f o r t i e s , I d i d n o t q u e s t i o n t h e f a i r n e s s o f c l a s s r o o m a s s e s s m e n t p r a c t i c e s . A s a t e a c h e r I c o n t i n u e d t o b e l i e v e i n u n i d i m e n s i o n a l a n d e s s e n t i a l i s t i n t e r p r e t a t i o n s o f i n t e l l i g e n c e , a b i l i t y , a n d a c h i e v e m e n t . D u r i n g my y e a r s o f t e a c h i n g f r o m 1 9 7 0 t h r o u g h t h e m i d - 1 9 8 0 s , t h e I . Q . t h e o r y o f i n t e l l i g e n c e d o m i n a t e d t h e f i e l d o f e d u c a t i o n . I . Q . t e s t s w e r e u s e d b y t e a c h e r s a n d s c h o o l p s y c h o l o g i s t s t o c l a s s i f y s t u d e n t s a s s l o w l e a r n e r s , d e v e l o p m e n t a l l y h a n d i c a p p e d , a n d g i f t e d . A s a s p e c i a l n e e d s t e a c h e r , I t h o u g h t t h a t t h e I . Q . t e s t d e f i n e d a n d m e a s u r e d i n t e l l i g e n c e , a b i l i t y , a n d a c h i e v e m e n t . My u n c r i t i c a l a l l e g i a n c e t o • d o m i n a n t t h e o r i e s o f i n t e l l i g e n c e w a s r e i n f o r c e d b y my a s s u m p t i o n t h a t a s a c l a s s r o o m t e a c h e r I w a s n o t q u a l i f i e d t o t a l k o r w r i t e a b o u t t h e i d e a . I n t e l l i g e n c e w a s t h e p u r v i e w o f s c h o o l p s y c h o l o g i s t s a n d p s y c h o m e t r i c i a n s . M o r e o v e r , I a s s u m e d t h a t o n e n e e d e d t o p o s s e s s a b o v e — a v e r a g e i n t e l l i g e n c e t o e n g a g e i n d i s c u s s i o n s o f i n t e l l i g e n c e . I w a s c o n v i n c e d f r o m a y o u n g a g e t h a t I w a s n o t p a r t i c u l a r l y i n t e l l i g e n t . I v i e w e d a b i l i t y a s a s u b — c o m p o n e n t o f i n h e r i t e d i n t e l l i g e n c e . H o w e v e r , I s a w a b i l i t y a s m o r e 9 v u l n e r a b l e t o e n v i r o n m e n t a l i n f l u e n c e s a n d o p e n t o c h a n g e . A c h i e v e m e n t r e p r e s e n t e d a s t u d e n t ' s a b i l i t y t o s u c c e s s f u l l y c o m p l e t e d a i l y a s s i g n m e n t s , c l a s s r o o m -b a s e d t e s t s , a n d s t a n d a r d i z e d t e s t s . I u n d e r s t o o d my r o l e o f t e a c h e r a s f a c i l i t a t o r o f s t u d e n t s ' a b i l i t i e s . My c l a s s r o o m a s s e s s m e n t — e v a l u a t i o n p r a c t i c e s i n c l u d e d t e a c h e i — d e v e l o p e d t e s t s , e n d — o f — u n i t t e s t s i n t e a c h e r s ' m a n u a l s , a n d s t a n d a r d i z e d t e s t s . I t h o u g h t t h a t s t a n d a r d i z e d t e s t s r e p r e s e n t e d t h e m o s t r e l i a b l e p r o c e d u r e s f o r g a t h e r i n g i n f o r m a t i o n a b o u t s t u d e n t s ' s t r e n g t h s a n d w e a k n e s s e s , a n d f o r m a k i n g j u d g e m e n t s a b o u t s t u d e n t s ' p r o g r a m s . I c o n s t r u c t e d l e t t e r g r a d e s f o r r e p o r t c a r d s b y c o m p a r i n g i n f o r m a t i o n f r o m i n d i v i d u a l t e s t s c o r e s w i t h c l a s s a v e r a g e s f o r v a r i o u s s u b j e c t s . S t a n d a r d i z e d t e s t s a l l o w e d me t o d e t e r m i n e w h i c h s t u d e n t s f e l l w i t h i n t h e a v e r a g e r a n g e o f a c h i e v e m e n t a c c o r d i n g t o t h e i r g r a d e p l a c e m e n t s . T h e s e t e s t s i n c l u d e d t h e " C a n a d i a n T e s t o f B a s i c S k i l l s , " " C a n a d i a n A c h i e v e m e n t T e s t , " a n d " W i d e R a n g e A c h i e v e m e n t T e s t . " F o u r a s s u m p t i o n s g u i d e d my s u p p o r t o f s t a n d a r d i z e d t e s t s . F i r s t , s i n c e s t a n d a r d i z e d t e s t s r e p r e s e n t e d a c h i e v e m e n t l e v e l s o f a l a r g e p o p u l a t i o n o f 1 0 s t u d e n t s , I a s s u m e d t h a t s t a n d a r d i z e d t e s t s w e r e f r e e o f l o c a l b i a s . S e c o n d , I a s s u m e d t h a t w h a t c o u n t e d a s a v e r a g e a b i l i t y t o l e a r n w a s u n i v e r s a l a n d q u a n t i f i a b l e . T h i r d , I t h o u g h t t h a t k n o w l e d g e w a s a u n i v e r s a l l y r e c o g n i z e d b o d y o f l e g i t i m a t e i n f o r m a t i o n ; r e c o g n i z e d , t h a t i s , b y e d u c a t e d p e o p l e . I d e c i d e d t h a t i f k n o w l e d g e c o u n t e d a s u n i v e r s a l l y l e g i t i m a t e i n f o r m a t i o n , a n d i f t h e a b i l i t y t o l e a r n w a s r e p r e s e n t e d b y a n i n n a t e q u a l i t y o f t h e i n d i v i d u a l , t h e n s t a n d a r d i z e d t e s t s m e a s u r e d t h e a b i l i t y t o l e a r n a n d a c h i e v e a c c o r d i n g t o a u n i v e r s a l s t a n d a r d . F o u r t h , I b e l i e v e d t h a t n a t u r a l l y o c c u r r i n g a n d i n n a t e i n e q u a l i t i e s i n a b i l i t y e x i s t e d among i n d i v i d u a l s d u e , t o some e x t e n t , t o i n h e r i t e d d i f f e r e n c e s i n i n t e l l i g e n c e . T h e r e f o r e , d i f f e r e n t i a l a c h i e v e m e n t among s t u d e n t s o n s t a n d a r d i z e d a n d c r i t e r i o n - r e f e r e n c e d t e s t s w a s f a i r a s l o n g a s a l l s t u d e n t s h a d e q u a l a c c e s s t o t h e t e s t s . I u n d e r s t o o d e q u a l a n d f a i r a s s a m e . I t s e e m e d n a t u r a l t o me t h a t u n e q u a l a b i l i t i e s s h o u l d c r e a t e d i f f e r e n t i a l p e r f o r m a n c e i n a c h i e v e m e n t w h i c h i n t u r n c r e a t e d u n e q u a l a c c e s s t o e d u c a t i o n a l J 11 o p p o r t u n i t i e s a n d e m p l o y m e n t . S t r a t i f i c a t i o n o f e m p l o y m e n t i n t h e w o r k p l a c e w a s a n o r m a l r e s p o n s e t o u n e q u a l a b i l i t i e s i n t e r m s o f a c h i e v e m e n t . B e c a u s e I b e l i e v e d t h a t a b i l i t i e s a n d a c h i e v e m e n t c o u l d b e e n h a n c e d w i t h a p p r o p r i a t e e d u c a t i o n a l o p p o r t u n i t i e s , I f o c u s e d o n r e m e d i a t i o n a n d e n r i c h m e n t . My g r e a t e s t c o m m i t m e n t t o m a x i m i z i n g a b i l i t y a n d a c h i e v e m e n t w a s a s a t e a c h e r o f g i f t e d s t u d e n t s . G i f t e d s t u d e n t s w i t h whom I w o r k e d w e r e i d e n t i f i e d a s t h o s e who s c o r e d 130+ o n a n IQ t e s t ( U I S C - R ) , a n d who d e m o n s t r a t e d t h a t t h e y w e r e t w o o r m o r e g r a d e l e v e l s a b o v e a g e — r e l a t e d p e e r s o n s t a n d a r d i z e d t e s t s o f a c h i e v e m e n t i n r e a d i n g a n d m a t h e m a t i c s . S i x y e a r s o f t r a i n i n g a n d e x p e r i e n c e i n t h e f i e l d o f g i f t e d e d u c a t i o n r e i n f o r c e d my b e l i e f t h a t a b i l i t y w a s a s u b -c o m p o n e n t o f i n t e l l i g e n c e a n d t h a t a c h i e v e m e n t w a s a p r o d u c t o f t h e t w o . My a s s u m p t i o n s a b o u t a s s e s s m e n t , e v a l u a t i o n , a n d a c h i e v e m e n t w e r e s e v e r e l y c h a l l e n g e d d u r i n g t h e l a s t t w o y e a r s o f my c l a s s r o o m c a r e e r when I w o r k e d a s a S p e c i a l E d u c a t i o n t e a c h e r a n d C o n s u l t a n t f o r P i k a n g i k u m F i r s t N a t i o n s < 1 9 8 7 - 1 9 8 9 ) . P i k a n g i k u m i s a n i s o l a t e d O j i b w a c o m m u n i t y i n t h e s u b — A r c t i c r e g i o n o f O n t a r i o . 12 T h e f i r s t l a n g u a g e o f s t u d e n t s w a s O j i b w a . I n P i k a n g i k u m s c h o o l , s t u d e n t s w e r e o b l i g a t e d t o c o m p e t e f o r m a r k s a n d g r a d e s . T e a c h e r s a n d a d m i n s t r a t i o n t o l d s t u d e n t s t h a t m a r k s a n d g r a d e s c o u l d b e e x c h a n g e d f o r a c c e s s t o h i g h s c h o o l a n d e m p l o y m e n t . H o w e v e r , a n c e s t r i e s o f p o v e r t y d o m i n a t e d c h i l d r e n ' s l i v e s . U n e m p l o y m e n t , d i s e a s e , a l c o h o l i s m , s u b s t a n c e a b u s e , s e x u a l a b u s e , v i o l e n c e , n e g l e c t , a n d t e e n a g e s u i c i d e f a r o u t n u m b e r e d o p p o r t u n i t i e s f o r e m p l o y m e n t i n t h e H u d s o n ' s B a y s t o r e a n d s c h o o l . M o s t k i d s d r o p p e d o u t o f s c h o o l b y g r a d e 10 t o c o l l e c t w e l f a r e w i t h t h e i r p a r e n t s . S u i c i d e among c h i l d r e n a n d y o u t h w a s b e c o m i n g a s e r i o u s p r o b l e m . S t u d e n t s w e r e c a u g h t i n t h e m i d d l e b e t w e e n t h e s c h o o l s ' i n t e r p r e t a t i o n o f a s s e s s m e n t -e v a l u a t i o n a s means b y w h i c h m a r k s a n d g r a d e s w e r e g e n e r a t e d f o r e x c h a n g e , a n d a c o m m u n i t y w i t h n o t h i n g t o e x c h a n g e . P i k a n g i k u m B a n d h i r e d me t o d e s i g n a s p e c i a l e d u c a t i o n p r o g r a m f o r s t u d e n t s f r o m K i n d e r g a r t e n t h r o u g h G r a d e 8 . Many o f t h e 5 0 0 s t u d e n t s h a d p r e v i o u s l y b e e n t e s t e d w i t h n o r m — r e f e r e n c e d i n s t r u m e n t s , p a r t i c u l a r l y i n l a n g u a g e a r t s a n d m a t h e m a t i c s . M o s t c h i l d r e n f e l l b e l o w n o r m s f o r 13 a v e r a g e a c h i e v e m e n t . T h e n o n - N a t i v e D i r e c t o r o f E d u c a t i o n f o r t h e B a n d a s k e d me t o c r e a t e a s s e s s m e n t i n s t r u m e n t s t o i d e n t i f y l o c a l n o r m s o f a c h i e v e m e n t f o r r e a d i n g c o m p r e h e n s i o n a n d c o m p u t a t i o n . I d e c i d e d t o d e f i n e l o c a l n o r m s o f a c h i e v e m e n t b y a s s e s s i n g how e f f e c t i v e l y s t u d e n t s d e m o n s t r a t e d t h e i r u n d e r s t a n d i n g o f i n f o r m a t i o n t h e y h a d b e e n t a u g h t . T h e s t u d y i n v o l v e d s t u d e n t s a n d t e a c h e r s f r o m t w o g r a d e 1 c l a s s e s , t w o g r a d e 2 c l a s s e s , o n e g r a d e 3 / 4 c l a s s , t w o g r a d e 5 c l a s s e s , o n e g r a d e 6 c l a s s , a n d o n e g r a d e 7 c l a s s . I c r e a t e d a n d a d m i n i s t e r e d c r i t e r i o n -r e f e r e n c e d t e s t s t o s t u d e n t s i n s k i l l s a s s o c i a t e d w i t h r e a d i n g c o m p r e h e n s i o n a n d c o m p u t a t i o n . A v e r a g e a n d a b o v e — a v e r a g e a c h i e v e m e n t l e v e l s o f many s t u d e n t s i n d i c a t e d t o me t h a t t h e y n e e d e d m o r e c h a l l e n g i n g a n d i n t e r e s t i n g p r o g r a m s . H o w e v e r , t h e r e s u l t s o f my s t u d y w e r e i n c o n f l i c t w i t h many o f t h e s t a f f ' s j u d g e m e n t s o f t h e i r s t u d e n t s * a b i l i t i e s a n d a c h i e v e m e n t l e v e l s . T e a c h e r s a s s u m e d t h a t m o s t s t u d e n t s n e e d e d r e m e d i a l a s s i s t a n c e a n d w o u l d n o t b e n e f i t f r o m e n r i c h m e n t p r o g r a m s . I n s p i t e o f my r e c o m m e n d a t i o n t h a t many s t u d e n t s w o u l d b e n e f i t f r o m m o r e i n t e r e s t i n g a n d c h a l l e n g i n g 14 l e a r n i n g e x p e r i e n c e s , t h e n o n - F i r s t N a t i o n s D i r e c t o r o f E d u c a t i o n t o l d me t h a t s t u d e n t s w o u l d n o t q u a l i f y f o r e n r i c h m e n t o r g i f t e d p r o g r a m s u n t i l t h e y d e m o n s t r a t e d a v e r a g e o r a b o v e — a v e r a g e a c h i e v e m e n t o n s t a n d a r d i z e d t e s t s . M o r e o v e r , t h i s D i r e c t o r c o n c e d e d t h a t I c o u l d r e a s s i g n s t u d e n t s t o b a s a l r e a d e r s t h a t m a t c h e d t h e f i n d i n g s o f my s t u d y . C o n s e q u e n t l y , I r e a s s i g n e d t h e m a j o r i t y o f t h e s t u d e n t s i n t h e s t u d y t o r e a d e r s o f g r e a t e r d i f f i c u l t y . I w o n d e r e d why t h i s man e v e n h i r e d me t o i d e n t i f y l o c a l n o r m s o f a c h i e v e m e n t when h e w a s s o l e l y c o m m i t t e d t o s t a n d a r d i z e d n o r m s . S t a n d a r d i z e d t e s t s p r i v i l e g e d t h e c o n t e n t o f E u r o - W e s t e r n s t a n d a r d i z e d p r a c t i c e s , t h e i r s t a n d a r d s f o r m a s t e r y , a n d t h e i r m e t h o d s o f e x e c u t i o n . A f t e r r e - e x a m i n i n g s t a n d a r d i z e d i n s t r u m e n t s , I d e c i d e d t h a t t h e y w e r e l i n g u i s t i c a l l y a n d c o n c e p t u a l l y b i a s e d a g a i n s t t h e s t u d e n t s . E n g l i s h w a s t h e s o l e l a n g u a g e o f t h e t e s t s a n d many o f t h e t e s t s ' i t e m s r e f e r r e d t o o b j e c t s a n d e x p e r i e n c e s w h i c h w e r e c u l t u r a l l y i r r e l e v a n t , a n d e v e n i n c o n f l i c t , w i t h s t u d e n t s ' l i v e s . I n a l a t e r s t u d y o f t h e c u l t u r a l r e l e v a n c e o f g i f t e d n e s s i n a n o t h e r O j i b w a c o m m u n i t y , I e x p l o r e d i s s u e s a s s o c i a t e d w i t h t h e u s e o f e x t e r n a l 15 c a t e g o r i e s i n c r o s s — c u l t u r a l s e t t i n g s ( R e y n o l d s , 1 9 9 1 ) . I c o u l d h a v e c o n c l u d e d t h a t t h e o v e r w h e l m i n g e v i d e n c e o f s t u d e n t s ' b e l o w — a v e r a g e s c o r e s o n s t a n d a r d i z e d t e s t s r e f l e c t e d s u b s t a n d a r d i n t e l l i g e n c e a n d a b i l i t y . H o w e v e r , t h e p r e p o n d e r a n c e o f a v e r a g e a n d a b o v e - a v e r a g e s c o r e s t h a t s t u d e n t s r e c e i v e d o n c r i t e r i o n - r e f e r e n c e d t e s t s l e d me t o w o n d e r i f t h e i r s c o r e s o n s t a n d a r d i z e d t e s t s w e r e s y m p t o m a t i c o f a n a p p r o a c h t o a s s e s s m e n t t h a t u n f a i r l y d i s c r i m i n a t e d a g a i n s t c e r t a i n s t u d e n t s . I w a s c o n c e r n e d w i t h t h e r a n g e o f a s s e s s m e n t -e v a l u a t i o n p r a c t i c e s a n d t h e i r i n t e r p r e t a t i o n s t h a t w e r e p r i v i l e g e d f o r u s e i n P i k a n g i k u m s c h o o l , b e c a u s e I t h o u g h t t h a t s t a n d a r d i z e d a p p r o a c h e s w e r e c u l t u r a l l y b i a s e d a g a i n s t t h e s t u d e n t s . M o r e o v e r , I w a s d e e p l y d i s t u r b e d b y t h e n o n — N a t i v e D i r e c t o r o f E d u c a t i o n ' s i r r e v o c a b l e p o w e r t o e n f o r c e a p a r t i c u l a r i n t e r p r e t a t i o n o f a c h i e v e m e n t . H i s i n s i s t e n c e t h a t n o r m - r e f e r e n c e d p r a c t i c e s b e p r i v i l e g e d f o r u s e b y t e a c h e r s i n t h e i r c l a s s r o o m a s s e s s m e n t p r a c t i c e s i l l u s t r a t e d a d i s t u r b i n g c a s e o f i n s t i t u t i o n a l i z e d r a c i s m . My e x p e r i e n c e s i n P i k a n g i k u m s h a p e d my b e l i e f t h a t 16 t h e p o w e r t o name w h a t c o u n t s a s a s s e s s m e n t — e v a l u a t i o n a n d a c h i e v e m e n t r e p r e s e n t s t h e p o w e r t o a u t h o r i z e a p a r t i c u l a r i n t e r p r e t a t i o n o f a s s e s s m e n t a n d a c h i e v e m e n t . My s t u d i e s o f a c h i e v e m e n t i n P i k a n g i k u m a n d S w e e t g r a s s l e d me t o q u e s t i o n p r e v i o u s l y h e l d a s s u m p t i o n s t h a t i n t e l l i g e n c e a n d a b i l i t y r e p r e s e n t e d n a t u r a l l y o c c u r r i n g a n d i n n a t e q u a l i t i e s o f i n d i v i d u a l s ; a n d , t h a t a c h i e v e m e n t w a s a p r o d u c t o f t h e s e q u a l i t i e s . I c o n t i n u e t o r e e x a m i n e t h e u t i l i t y o f i n t e r p r e t a t i o n s o f a c h i e v e m e n t t o e d u c a t i o n a l p r a c t i c e i n g e n e r a l , a n d t o t h e p r a c t i c e o f a s s e s s m e n t -e v a l u a t i o n i n p a r t i c u l a r . I r e c o g n i z e t h a t I h a v e d e v o t e d much o f t h i s c h a p t e r t o my e x p e r i e n c e s i n P i k a n g i k u m . H o w e v e r , w i t h o u t t h e s e e x p e r i e n c e s I w o u l d n o t h a v e s e e n a n e e d f o r t h i s t h e s i s . I h o p e t h a t t h i s t h e s i s c o n t r i b u t e s i n some way t o a m o r e e q u i t a b l e a p p r o a c h t o a s s e s s m e n t -e v a l u a t i o n . O r g a n i z a t i o n Of D i s s e r t a t i o n T h e r e m a i n d e r o f t h e d i s s e r t a t i o n i s o r g a n i z e d i n t h e f o l l o w i n g m a n n e r . C h a p t e r t w o b e g i n s w i t h a r e v i e w o f l i t e r a t u r e o n a s s e s s m e n t — e v a l u a t i o n , i n c l u d i n g i s s u e s a s s o c i a t e d w i t h v a l i d i t y a n d r e l i a b i l i t y i n 17 r e l a t i o n t o a u t h e n t i c o r a l t e r n a t i v e a p p r o a c h e s . N e x t , I l o o k a t l i t e r a t u r e r e g a r d i n g c o n t e m p o r a r y i s s u e s i n p o l i c y r e s e a r c h f o l l o w e d b y a d i s c u s s i o n o f how t h e s e i s s u e s a r e a d d r e s s e d w i t h i n t h e c o n t e x t o f i n t e r p r e t i v i s t r e s e a r c h t r a d i t i o n s . T h e d i s c u s s i o n m o v e s t o a n e x a m i n a t i o n o f W e r t s c h ' s ( 1 9 9 1 ; 1 9 9 5 ) s o c i o c u l t u r a l t h e o r y a n d B o u r d i e u ' s ( 1 9 9 0 ) t h e o r y o f g e n e t i c s t r u c t u r a l i s m i n c l u d i n g t h e i r c o n t r i b u t i o n s t o a n i n t e r p r e t i v i s t a p p r o a c h t o a s s e s s m e n t - e v a l u a t i o n . T h e c h a p t e r e n d s w i t h a r e v i e w o f l i t e r a t u r e o n c o g n i t i o n a n d a c h i e v e m e n t w i t h i n t h e c o n t e x t o f s o c i a l a n d s o c i o c u l t u r a l r e s e a r c h t r a d i t i o n s . C h a p t e r t h r e e b e g i n s w i t h a n i n t r o d u c t i o n t o " W e s t h e i g h t s " s c h o o l a n d A n n e ' s g r a d e 5 / 6 c l a s s r o o m . F o l l o w i n g t h i s d e s c r i p t i o n , I o u t l i n e t h e n a t u r e o f c a s e s t u d y r e s e a r c h a n d my d a t a - c o l l e c t i o n a n d d a t a -a n a l y s i s t e c h n i q u e s . N e x t , I d i s c u s s how A n n e a n d I d e v e l o p e d o u r c o l l a b o r a t i v e r e l a t i o n s h i p i n c l u d i n g d i f f i c u l t i e s a n d a d v a n t a g e s o f t h i s t y p e o f a r r a n g e m e n t . C o n s i d e r a t i o n s o f v a l i d i t y , r e l i a b i l i t y , a n d t r a n s f e r a b i l i t y o f t h e s t u d y e n d t h e c h a p t e r . I n c h a p t e r f o u r , I l o o k a t t h e p o l i t i c a l c o n t e x t s o f t h e p o l i c y c h a n g e f r o m t h e s t a n d p o i n t s o f t h e 18 B r i t i s h C o l u m b i a M i n i s t r y o f E d u c a t i o n a n d " G r a n t , " p r i n c i p a l o f W e s t h e i g h t s e l e m e n t a r y s c h o o l . I n c h a p t e r f i v e , I e x a m i n e A n n e ' s u n d e r s t a n d i n g o f , a n d r e s p o n s e s t o , a s s e s s m e n t - e v a l u a t i o n p o l i c y a n d h e r c l a s s r o o m a s s e s s m e n t - e v a l u a t i o n p r a c t i c e s . P a r t i c u l a r a t t e n t i o n i s g i v e n t o d i f f i c u l t i e s g e n e r a t e d b y A n n e ' s i n t e r p r e t a t i o n o f c r i t e r i o n - r e f e r e n c e d e v a l u a t i o n a n d c r i t e r i o n - r e f e r e n c e d l e t t e r g r a d e s . T h e c h a p t e r e n d s w i t h my i n t e r p r e t a t i o n o f A n n e ' s e x p e r i e n c e s w i t h i n t h e c o n t e x t s o f W e r t s c h ' s ( 1 9 9 1 ; 1 9 9 5 ) a n d B o u r d i e u ' s ( 1 9 9 0 ) t h e o r i e s . I n c h a p t e r s i x , I l o o k a t s t u d e n t s ' i n t e r p r e t a t i o n s o f A n n e ' s a s s e s s m e n t — e v a l u a t i o n p r a c t i c e s . I e x p l o r e t e n s i o n s g e n e r a t e d b y t h e s e i n t e r p r e t a t i o n s i n r e l a t i o n t o s t u d e n t i d e n t i t y a n d s t u d e n t s " r e l a t i o n s h i p s w i t h t e a c h e r s , p e e r s , a n d p a r e n t s . T h e c h a p t e r e n d s w i t h my i n t e r p r e t a t i o n o f s t u d e n t s ' c o n c e r n s b a s e d u p o n W e r t s c h ' s ( 1 9 9 1 ; 1 9 9 5 ) a n d B o u r d i e u ' s t h e o r i e s . I n c h a p t e r s e v e n , I d e s c r i b e a n d e x a m i n e p a r e n t s ' i n t e r p r e t a t i o n s o f a s s e s s m e n t — e v a l u a t i o n p o l i c y a n d c l a s s r o o m a s s e s s m e n t - e v a l u a t i o n p r a c t i c e s . I e x p l o r e m e a n s b y w h i c h p a r e n t s u n d e r s t o o d a s s e s s m e n t — 19 e v a l u a t i o n p o l i c y a n d p r a c t i c e s i n c l u d i n g t e n s i o n s g e n e r a t e d b y t h e s e i n t e r p r e t a t i o n s . T h e c h a p t e r e n d s w i t h my i n t e r p r e t a t i o n o f p a r e n t s ' i n t e r p r e t a t i o n s f r o m t h e s t a n d p o i n t s o f P i e r r e B o u r d i e u ( 1 9 9 0 ) a n d J a m e s W e r t s c h ( 1 9 9 1 ; 1 9 9 5 ) . I n c h a p t e r e i g h t , I l o o k a t t h e s i g n i f i c a n c e o f f i n d i n g s f r o m A n n e ' s s t a n d p o i n t a n d w i t h i n t h e c o n t e x t s o f B o u r d i e u ' s a n d W e r t s c h ' s t h e o r i e s . T h e c h a p t e r e n d s w i t h a d i s c u s s i o n o f i m p l i c a t i o n s f o r t h e o r y , p o l i c y , p r a c t i c e , a n d r e s e a r c h . 2 0 CHAPTER 2 REVIEW OF L I T E R A T U R E T h i s r e v i e w o f l i t e r a t u r e i s m e a n t t o p r o v i d e a i r a t i o n a l e f o r s t u d y i n g a s s e s s m e n t - e v a l u a t i o n a s s o c i a l l y s i t u a t e d p r a c t i c e . T h e c h a p t e r b e g i n s w i t h a r e v i e w o f l i t e r a t u r e o n a s s e s s m e n t — e v a l u a t i o n i n v o l v i n g i s s u e s a s s o c i a t e d w i t h v a l i d i t y a n d r e l i a b i l i t y i n r e l a t i o n t o a u t h e n t i c o r a l t e r n a t i v e a p p r o a c h e s . N e x t , I l o o k a t l i t e r a t u r e o n p o l i c y r e s e a r c h i n r e l a t i o n t o c o n t e m p o r a r y i s s u e s r e g a r d i n g m e a s u r e m e n t r e s e a r c h . F o l l o w i n g t h i s d i s c u s s i o n , i n t e r p r e t i v i s t , s o c i a l , a n d s o c i o c u l t u r a l r e s e a r c h t r a d i t i o n s a r e e x a m i n e d t o i l l u s t r a t e t h e v a l u e o f c a s e s t u d y r e s e a r c h f o r s t u d i e s o f c o g n i t i o n , a c h i e v e m e n t , a n d a s s e s s m e n t -e v a l u a t i o n . I g i v e p a r t i c u l a r a t t e n t i o n t o W e r t s c h ' s <1991 ; 1 9 9 5 ) a n d B o u r d i e u ' s <1990) d i s c u s s i o n s r e g a r d i n g w a y s i n w h i c h human a c t i v i t y i s m e d i a t e d i n , a n d b y , s o c i a l , c u l t u r a l , a n d i n s t i t u t i o n a l s e t t i n g s c h a r a c t e r i z e d b y u n e q u a l r e l a t i o n s o f p o w e r . 21 C o n t e m p o r a r y I s s u e s I n A s s e s s m e n t — E v a l u a t i o n E d u c a t i o n r e f o r m . I n a s u r v e y o f t e a c h e r s ' c l a s s r o o m a s s e s s m e n t p r a c t i c e s t h r o u g h o u t B . C . , B a c h o r a n d A n d e r s o n <1993) f o u n d t h a t p r a c t i c e s f r e q u e n t l y i n c l u d e d c l a s s r o o m o b s e r v a t i o n s , a s s i g n m e n t s , s a m p l e s o f w o r k , a n d t e s t s made b y t e a c h e r s . T h e y p o i n t o u t t h a t t e a c h e r s i n t e r p r e t e d p r a c t i c e s a s a c c u r a t e b u t q u e s t i o n e d t h e i r f a i r n e s s , c o n s i s t e n c y , a n d t h e t i m e r e q u i r e d t o u s e t h e m f o r c l a s s r o o m a s s e s s m e n t . B a c h o r a n d A n d e r s o n u s e t h e t e r m , i n t e r p r e t a t i o n , t o a d d r e s s i s s u e s a s s o c i a t e d w i t h e v a l u a t i o n . T h e y d e s c r i b e i n t e r p r e t a t i o n a s a p h a s e o f a s s e s s m e n t w h e r e i n t e a c h e r s make j u d g e m e n t s a b o u t a s s e s s m e n t i n f o r m a t i o n . T h e s e j u d g e m e n t s a r e b a s e d o n c o m p a r i s o n s o f s t u d e n t p e r f o r m a n c e w i t h g o a l s , w i t h p r e v i o u s p e r f o r m a n c e , a n d i n r e l a t i o n t o o t h e r s t u d e n t s . T h e y a l s o p o i n t o u t t h a t t e a c h e r s f o u n d t h e i n t e r p r e t a t i o n p h a s e o f a s s e s s m e n t d i f f i c u l t t o d e s c r i b e . T h a t i s , i n t e r p r e t a t i o n , o r t h e a c t o f m a k i n g j u d g e m e n t s a b o u t a s s e s s m e n t i n f o r m a t i o n , w a s a n i m p l i c i t a n d t a c i t p r o c e s s f o r many t e a c h e r s . B a c h o r a n d A n d e r s o n a l s o e x p l a i n t h a t " Y e a r 2 0 0 0 " p o l i c y w a s u n c l e a r i n t e r m s o f how t e a c h e r s s h o u l d make 2 2 j u d g e m e n t s f r o m m u l t i d i m e n s i o n a l a n d m u l t i m e t h o d a s s e s s m e n t d a t a t o c o n s t r u c t l e t t e r g r a d e s . T h e y r e c o m m e n d t h a t t e a c h e r s c o l l e c t i n t e r r e l a t e d a s s e s s m e n t d a t a w i t h i n a n a r r o w p e r i o d o f t i m e d u r i n g w h i c h s t u d e n t s d e m o n s t r a t e a c h i e v e m e n t u n d e r d i f f e r i n g c o n d i t i o n s . T h i s a p p r o a c h p r o m i s e s t o e n h a n c e i n t e r p r e t i v e f r a m e w o r k s o f a s s e s s m e n t p r a c t i c e s . A u t h e n t i c / a l t e r n a t i v e a s s e s s m e n t . B a r o n a n d B o s c h e e ( 1 9 9 5 ) d e s c r i b e a u t h e n t i c o r a l t e r n a t i v e a s s e s s m e n t a s i n s t r u c t i o n a l a n d a s s e s s m e n t p r a c t i c e s d e s i g n e d t o " e v a l u a t e a s t u d e n t ' s a b i l i t y t o u s e d i v e r s e a c a d e m i c s k i l l s t o c o m p l e t e r e a l — l i f e t a s k s " ( p . x i ) . W i t h i n t h i s c o n t e x t , u s e o f t h e t e r m , a s s e s s m e n t , i s i n t i m a t e l y c o n n e c t e d t o u s e o f t h e t e r m , e v a l u a t e . B a r o n a n d B o s c h e e ( 1 9 9 5 ) e x p l a i n t h a t a u t h e n t i c a s s e s s m e n t p r a c t i c e s c o n s i s t o f m u l t i p l e v a l i d a t i o n s o f s t u d e n t s " s k i l l s a n d k n o w l e d g e o n a v a r i e t y o f a u t h e n t i c o r r e a l — l i f e t a s k s o v e r a p e r i o d o f t i m e , p o r t f o l i o s o f s t u d e n t w o r k t h a t p r o v i d e s y s t e m a t i c o v e r v i e w s o f s k i l l d e v e l o p m e n t a n d k n o w l e d g e a t t a i n m e n t , a n d a s s e s s m e n t s o f i n d i v i d u a l p e r f o r m a n c e o n p r e s c r i b e d t a s k s . 2 3 B a r o n a n d B o s c h e e ( 1 9 9 5 ) i d e n t i f y f o u r a d v a n t a g e s o f a u t h e n t i c a s s e s s m e n t . F i r s t , p e r f o r m a n c e o u t c o m e s a r e a c h i e v e d when s k i l l s a r e t e s t e d d u r i n g t h e i r a p p l i c a t i o n . S e c o n d , p e r f o r m a n c e a s s e s s m e n t s e n g a g e s t u d e n t s i n c o l l a b o r a t i v e i n q u i r y , i n f o r m a t i o n - s h a r i n g , a n d h i g h e r l e v e l t h i n k i n g s k i l l s . T h i r d , s t u d e n t s a r e a c t i v e p a r t i c i p a n t s i n t h e i r l e a r n i n g . F o u r t h , a u t h e n t i c a s s e s s m e n t a l l o w s e d u c a t o r s t o t e a c h t o t h e t e s t w i t h o u t i m p a i r i n g i t s v a l i d i t y . B a r o n a n d B o s c h e e <1995> a d d t h a t a d i s a d v a n t a g e o f a u t h e n t i c a s s e s s m e n t i s c o s t . I n p a r t i c u l a r , a u t h e n t i c a s s e s s m e n t i s 1 a b o m — i n t e n s i v e a n d i s t h e r e f o r e m o r e e x p e n s i v e t h a n e l e c t r o n i c a s s e s s m e n t . F u r t h e r m o r e , c o m p u t e r s h a v e l i m i t e d v a l u e i n r e l a t i o n t o a u t h e n t i c a s s e s s m e n t p r a c t i c e s b e c a u s e t h e s c a l e o f a p e r f o r m a n c e - b a s e d a s s e s s m e n t r a r e l y e x c e e d s t e n p o i n t s . B a r o n a n d B o s c h e e ( 1 9 9 5 ) s u g g e s t t h a t a s e c o n d d i s a d v a n t a g e o f a u t h e n t i c a s s e s s m e n t i s s u b j e c t i v i t y . F o r e x a m p l e , m a r k i n g e s s a y s i s a s u b j e c t i v e a c t i v i t y a n d t h e r e f o r e c a n n o t b e e a s i l y a c c o m p l i s h e d b y a s s i g n i n g a s c a l e d s c o r e . T h e r e f o r e , v a l i d i t y , r e l i a b i l i t y , a n d c o m p a r a b i l i t y o f a s s e s s m e n t r e s u l t s g o 2 4 u n d e m o n s t . r a t . e d w i t h m o r e s u b j e c t i v e s c o r i n g s y s t e m s . B a t e s o n ( 1 9 9 4 ) , a r g u e s t h a t p r o p o n e n t s o f a u t h e n t i c a s s e s s m e n t m u s t a d d r e s s i s s u e s o f v a l i d i t y a n d r e l i a b i l i t y ; a l b e i t i n d i f f e r e n t f o r m s f r o m p r e v i o u s p r a c t i c e . He e x p l a i n s t h a t v a l i d i t y c a n b e a d d r e s s e d b y f o c u s i n g o n t h e c o n t e n t q u a l i t y o f p e r f o r m a n c e t a s k s . C o n t e n t q u a l i t y i s a c h i e v e d w i t h u p - t o - d a t e e v i d e n c e o f how s t u d e n t s i n t e r p r e t c o n t e n t , a n d t h r o u g h j u d g e m e n t s o f q u a l i t y b y s u b j e c t s p e c i a l i s t s . F a c e v a l i d i t y o f p e r f o r m a n c e t a s k s i s h i g h b e c a u s e t h e y a r e t h e d o m a i n o f i n t e r e s t . I n a d i s c u s s i o n o f r e l i a b i l i t y , B a t e s o n ( 1 9 9 4 ) p o i n t s o u t t h a t d e v e l o p i n g q u a l i t y p e r f o r m a n c e t a s k s i s t i m e — c o n s u m i n g a n d i n v o l v e s s p e c i a l i z e d k n o w l e d g e . F u r t h e r m o r e , o n c e s t u d e n t s h a v e e n g a g e d i n a p a r t i c u l a r t a s k , i t c a n n o t b e u s e d a s a n a s s e s s m e n t t o o l . He c o n c l u d e s t h a t t r a d i t i o n a l c o n c e r n s f o r r e l i a b i l i t y a r e o u t w e i g h e d b y a p p r o a c h e s t h a t s e c u r e i n f o r m a t i o n r e g a r d i n g a c h i e v e m e n t t h a t i s s e n s i t i v e t o t h e c o n t e x t o f l e a r n i n g . B a t e s o n ( 1 9 9 4 ) s u g g e s t s t h a t t h e t e r m s , a u t h e n t i c a n d p e r f o r m a n c e , a r e c o n t e s t e d . W i t h i n t h i s c o n t e x t , t h e r e i s n o c o n s e n s u s among e d u c a t o r s c o n c e r n i n g 2 5 m e a n i n g s a n d u s e s o f t h e t e r m s . He a d d s t h a t many p e o p l e i n t e r p r e t t h e t e r m , a u t h e n t i c , a s a n y t a s k o r t e c h n i q u e t h a t i s n o t m a i n s t r e a m o r t r a d i t i o n a l . D e f i n i n g t h e a s s e s s m e n t t h i s way n e a t l y p r o t e c t s i t f r o m a n y q u e s t i o n i n g a b o u t i m p o r t a n t i s s u e s s u c h a s a r e c o n t a i n e d i n t h e t r a d i t i o n a l p s y c h o m e t r i c v i e w s o f r e l i a b i l i t y a n d v a l i d i t y . C o n v e r s e l y , a n y m e t h o d t h a t i s n o t d e e m e d a u t h e n t i c i s , b y l o g i c , n o t a u t h e n t i c , n o t r e l i a b l e , n o t t r u s t w o r t h y , a n d / o r n o t g e n u i n e . One c a n n o t i m a g i n e a c l a s s r o o m t e a c h e r t e l l i n g a p a r e n t , ' W e l l , we w a n t t o d o some n o n a u t h e n t i c a s s e s s m e n t t o a l e r t u s t o p o s s i b l e p r o b l e m s i n r e a d i n g . < B a t e s o n , 1 9 9 4 , p . 235> B a t e s o n ' s ( 1 9 9 4 ) c o n c e r n t h a t p s y c h o m e t r i c v i e w s a s s o c i a t e d w i t h v a l i d i t y a n d r e l i a b i l i t y m u s t b e a d d r e s s e d i n r e l a t i o n t o a l t e r n a t i v e a s s e s s m e n t p r a c t i c e s w a r r a n t s a b r i e f r e v i e w o f t h e s e i d e a s . A n a s t a s i ( 1 9 8 8 ) e x p l a i n s t h a t t e c h n i c a l v a l i d i t y o f a n a s s e s s m e n t i n s t r u m e n t p e r t a i n s t o w h a t i t m e a s u r e s a n d how e f f e c t i v e l y i t d o e s s o . S h e d e s c r i b e s c o n t e n t -r e l a t e d v a l i d a t i o n a s i n v o l v i n g a n a n a l y s i s o f t e s t c o n t e n t t o s e e i f i t c o m p r i s e s a r e p r e s e n t a t i v e s e g m e n t o f t h e r e a l m o f b e h a v i o u r t o b e a p p r a i s e d ; a c h i e v e m e n t t e s t s a r e t y p i c a l l y e v a l u a t e d i n t h i s m a n n e r . A n a s t a s i ( 1 9 8 8 ) p o i n t s o u t t h a t i t i s d i f f i c u l t t o c o n s t r u c t a r e p r e s e n t a t i v e s a m p l e o f t h e d o m a i n o f b e h a v i o u r t o b e t e s t e d . F o r e x a m p l e , t e s t i t e m s m u s t 2 6 n o t o n l y c o v e r c h i e f f e a t u r e s o f t h e d o m a i n , b u t t h e y m u s t a l s o c o v e r t h e m i n a p p r o p r i a t e p r o p o r t i o n s . I n a d d i t i o n , t e s t c o n t e n t s h o u l d i n v o l v e k e y o b j e c t i v e s , a p p l i c a t i o n o f p r i n c i p l e s a n d t h e i n t e r p r e t a t i o n o f i n f o r m a t i o n , a n d f a c t u a l k n o w l e d g e . C o n t e n t v a l i d i t y p r i m a r i l y r e s t s u p o n t h e r e l e v a n c e o f t h e e x a m i n e e ' s t e s t r e s u l t s t o t h e d o m a i n u n d e r s c r u t i n y . A n a s t a s i ( 1 9 8 8 ) d e s c r i b e s c r i t e r i o n — r e l a t e d v a l i d i t y a s t h e e f f i c a c y o f a t e s t t o p r e d i c t p e r f o r m a n c e i n p a r t i c u l a r a c t i v i t i e s ; a p t i t u d e t e s t s a r e c o n s t r u c t e d w i t h c o n c e r n f o r t h i s t y p e o f v a l i d i t y . P e r f o r m a n c e i s e x a m i n e d i n r e l a t i o n t o a c r i t e r i o n , o r m e a s u r e o f t h a t w h i c h t h e t e s t i s c o n s t r u c t e d t o p r e d i c t . W i t h i n t h i s c o n t e x t , p r e d i c t i v e v a l i d i t y i n v o l v e s p r e d i c t i o n s o f f u t u r e b e h a v i o u r . C o n c u r r e n t v a l i d i t y i n v o l v e s a c q u i r i n g d a t a t o d i a g n o s e c u r r e n t p e r f o r m a n c e . A n a s t a s i <1988) g o e s o n t o d e s c r i b e c o n s t r u e t -r e l a t e d v a l i d i t y a s t h e d e g r e e t o w h i c h a t e s t a d e q u a t e l y m e a s u r e s a c o n s t r u c t l i k e a p t i t u d e . A n i n s t r u m e n t i s c o n s i d e r e d t o e x h i b i t c o n s t r u c t v a l i d i t y when i t a d e q u a t e l y a c c o u n t s f o r t h e v a r i a n t s i n p e r f o r m a n c e t h a t i t d r a w s . 2 7 A n a s t a s i ( 1 9 8 8 ) d e s c r i b e s t e s t r e l i a b i l i t y a s t h e c o n s i s t e n c y o f t e s t s c o r e s r e c e i v e d b y e x a m i n e e s when r e t e s t e d w i t h t h e same i n s t r u m e n t o n d i f f e r e n t o c c a s i o n s . T y p i c a l l y , n o r m — r e f e r e n c e d s t a n d a r d i z e d t e s t s i n c l u d e a l t e r n a t e f o r m s f o r r e e x a m i n a t i o n p u r p o s e s . P e r f o r m a n c e — b a s e d a s s e s s m e n t h a s g a i n e d w i d e s p r e a d i n t e r e s t among e d u c a t o r s a n d members o f t h e m e a s u r e m e n t c o m m u n i t y . L i n n ( 1 9 9 4 ) c o m m e n t s t h a t t h e r a t i o n a l e f o r p e r f o r m a n c e — b a s e d a s s e s s m e n t i s r o o t e d i n c r i t e r i o n -r e f e r e n c e d m e a s u r e m e n t t r a d i t i o n s . He e x p l a i n s t h a t , a l t h o u g h c h a n g e s t o G l a s e r ' s c o n c e p t o f c r i t e r i o n -r e f e r e n c e d m e a s u r e m e n t h a v e o c c u r r e d , h i s c e n t r a l t h e s i s g u i d e s t h i n k i n g among members o f t h e a l t e r n a t i v e a s s e s s m e n t m o v e m e n t . G l a s e r ' s e m p h a s i s o n d e s c r i b i n g w h a t a n i n d i v i d u a l c a n d o a n d o n i n t e r p r e t i n g t e s t r e s u l t s i n t e r m s o f a n i n d i v i d u a l ' s l o c a t i o n o n a c o n t i n u u m i s q u i t e c o n s i s t e n t w i t h t h e p e r f o r m a n c e a s s e s s m e n t m o v e m e n t . T h e e m p h a s i s o n a u t h e n t i c i t y i n p e r f o r m a n c e a s s e s s m e n t c o m e s f r o m a d e s i r e t o make t a s k s a s n e a r l y l i k e r e a l — w o r l d c r i t e r i o n t a s k s a s p o s s i b l e . T h e g o a l i s t o h a v e a s s e s s m e n t t a s k s t h a t a r e v a l u e d i n t h e i r own r i g h t s o t h a t g r a d a t i o n s i n p e r f o r m a n c e w i l l b e i n t e r p r e t a b l e i n t e r m s o f w h a t s t u d e n t s know a n d c a n d o . ( p . 1 2 ) D e b a t e c o n t i n u e s r e g a r d i n g t h e r e l a t i o n s h i p b e t w e e n c r i t e r i o n — r e f e r e n c e d a n d n o r m - r e f e r e n c e d 2 8 a p p r o a c h e s t o a s s e s s m e n t — e v a l u a t i o n . L i n n ( 1 9 9 4 ) c o n t e n d s t h a t a l l t e s t s c a n b e n o r m e d a n d n o r m -r e f e r e n c e d i n t e r p r e t a t i o n s o f p e r f o r m a n c e c a n b e a s s i g n e d t o c r i t e r i o n — r e f e r e n c e d i n t e r p r e t a t i o n s o f p e r f o r m a n c e . He a d d s t h a t i t i s d i f f i c u l t t o g e n e r a t e c r i t e r i o n — r e f e r e n c e d i n t e r p r e t a t i o n s f r o m n o r m -r e f e r e n c e d i n t e r p r e t a t i o n s . C r i t e r i o n - r e f e r e n c e d a s s e s s m e n t p r o c e d u r e s h a v e w i d e s p r e a d i n t e r e s t among e d u c a t o r s a n d a c a d e m i c s . S i m p s o n ( 1 9 9 0 ) c o n c l u d e s f r o m r e s e a r c h r e g a r d i n g c r i t e r i o n - r e f e r e n c e d a s s e s s m e n t i n S c o t l a n d , W a l e s , a n d E n g l a n d t h a t c r i t e r i o n — r e f e r e n c e d a s s e s s m e n t p r a c t i c e s f a i l t o i m p r o v e t e a c h i n g a n d l e a r n i n g . S h e e x p l a i n s t h a t e s s e n t i a l i s t a s s u m p t i o n s r e g a r d i n g a b i l i t y , l e a r n i n g , a n d p e r f o r m a n c e a r e p r e s e n t i n c r i t e r i o n -r e f e r e n c e d p r o c e d u r e s . F o r e x a m p l e , b o t h n o r m -r e f e r e n c e d a n d c r i t e r i o n - r e f e r e n c e d a p p r o a c h e s s o r t s t u d e n t s . S i m p s o n i s p a r t i c u l a r l y c o n c e r n e d w i t h c o n s e q u e n c e s o f a s s e s s m e n t a p p r o a c h e s t h a t i n t e r p r e t l e a r n i n g a s a p r o d u c t o f i n d i v i d u a l a n d n a t u r a l l y o c c u r r i n g a b i l i t i e s . I t i s c o n s i d e r e d t h a t c r i t e r i o n - r e f e r e n c e d a s s e s s m e n t i n S t a n d a r d G r a d e f a i l e d t o d e l i v e r t h e i n t e n d e d i m p r o v e m e n t i n t e a c h i n g a n d l e a r n i n g o u t c o m e s b e c a u s e i t r e s t e d o n e x a c t l y t h e same 2 9 a s s u m p t i o n s a s t h o s e w h i c h f o r m e d t h e n o r m -r e f e r e n c e d p r a c t i c e s o f t h e p a s t - t h a t d i f f e r e n c e s i n p u p i l a t t a i n m e n t a r e t h e n a t u r a l e x p r e s s i o n o f d i f f e r e n c e s i n p u p i l c h a r a c t e r i s t i c s , e . g . t h e i r * i n t e l 1 i g e n c e ' . . . . A n e d u c a t i o n a l l y m o r e u s e f u l f o r m o f a s s e s s m e n t m u s t b e b a s e d o n d i f f e r e n t c o n c e p t s a n d a m o r e u s e f u l t h e o r y o f l e a r n i n g . ( 1 9 9 0 , p . 1 7 2 ) S i m p s o n ' s ( 1 9 9 0 ) d i s c u s s i o n r e g a r d i n g c r i t e r i o n -r e f e r e n c e d a s s e s s m e n t p r a c t i c e s p o i n t s t o t h e i n t e r c o n n e c t e d n e s s o f p r o c e d u r e s a n d p r a c t i c e s a s s o c i a t e d w i t h g a t h e r i n g i n f o r m a t i o n a n d m a k i n g j u d g e m e n t s a b o u t s t u d e n t p r o g r e s s . D y n a m i c a s s e s s m e n t t r a d i t i o n s f o c u s o n w h a t s t u d e n t s a r e c a p a b l e o f l e a r n i n g . A n a s t a s i ( 1 9 8 7 ) e x p l a i n s t h a t d y n a m i c a s s e s s m e n t r e p r e s e n t s a v a r i e t y o f a p p r o a c h e s f o r c o n s o l i d a t i n g a s s e s s m e n t a n d d e v e l o p m e n t o f a b i l i t i e s . L i d z ( 1 9 8 7 ) p o i n t s o u t t h a t a c t i v i t y a n d m o d i f i a b i 1 i t y a r e k e y c o n c e p t s i n a d e f i n i t i o n o f dynam i c a s s e s s m e n t . T h e e x a m i n e r a n d l e a r n e r a r e b o t h a c t i v e ; t h e e x a m i n e r i s a n a c t i v e i n t e r v e n e r who m o n i t o r s a n d m o d i f i e s t h e i n t e r a c t i o n w i t h t h e l e a r n e r i n o r d e r t o i n d u c e s u c c e s s f u l l e a r n i n g . T h e l e a r n e r i s p r o d d e d , d i r e c t e d , a n d r e i n f o r c e d i n t o a r o l e o f a c t i v e s e e k e r a n d o r g a n i z e r o f i n f o r m a t i o n . T h e p r o d u c t o f t h e a s s e s s m e n t i s m o d i f i a b i 1 i t y o r c h a n g e i n t h e c o g n i t i v e f u n c t i o n i n g o f t h e l e a r n e r , p r e s u m a b l y p o s i t i v e c h a n g e . D y n a m i c a s s e s s m e n t , t h e n , i s a n i n t e r a c t i o n b e t w e e n e x a m i n e ? — a s - i n t e r v e n e r a n d , a l e a r n e i — a s - a c t i v e 3 0 p a r t i c i p a n t w h i c h s e e k s t o e s t i m a t e t h e d e g r e e o f m o d i f i a b i 1 i t y o f t h e l e a r n e r a n d t h e m e a n s b y w h i c h p o s i t i v e c h a n g e s i n c o g n i t i v e f u n c t i o n i n g c a n b e i n d u c e d a n d m a i n t a i n e d , ( p p . 3—4) W i t h i n t h i s c o n t e x t , g a t h e r i n g i n f o r m a t i o n a b o u t w h a t a s t u d e n t c a n d o w i t h a s s i s t a n c e a n d m a k i n g j u d g e m e n t s a b o u t t h i s i n f o r m a t i o n a r e i n t e r c o n n e c t e d . A n i m p o r t a n t p r e m i s e o f d y n a m i c a s s e s s m e n t i s t h a t a s s e s s m e n t — e v a l u a t i o n m u s t b e c o n t i n u o u s l y u p d a t e d w i t h c h a n g e s i n l e a r n i n g . M i n i c k ( 1 9 8 7 ) e x p l a i n s t h a t V y g o t s k y ' s " z o n e o f p r o x i m a l d e v e l o p m e n t " l a i d t h e f o u n d a t i o n f o r c o n t e m p o r a r y a p p r o a c h e s t o a s s e s s m e n t w h e r e i n e x a m i n a t i o n s o f w h a t s t u d e n t s know a n d c a n d o a r e c o n s o l i d a t e d w i t h e x a m i n a t i o n s o f w h a t s t u d e n t s a r e a b l e t o l e a r n . V y g o t s k y d e s c r i b e d h i s a p p r o a c h t o e x a m i n i n g d e v e l o p m e n t i n t h e z o n e i n t h e f o l l o w i n g m a n n e r . I t i s u s u a l t o t h i n k t h a t i n d i c a t i v e o f t h e d e g r e e o f d e v e l o p m e n t o f t h e c h i l d ' s i n t e l l e c t i s t h e i n d e p e n d e n t , u n a s s i s t e d s o l v i n g o f t h e t a s k b y t h e c h i l d . I f we w o u l d a s k h i m l e a d i n g q u e s t i o n s o r d e m o n s t r a t e d t o h i m how t o s o l v e t h e t a s k a n d t h e c h i l d s o l v e d t h e t a s k a f t e r t h e d e m o n s t r a t i o n , o r i f t h e t e a c h e r s t a r t e d t o s o l v e t h e t a s k a n d t h e c h i l d f i n i s h e d i t i n c o o p e r a t i o n w i t h o t h e r c h i l d r e n , i n s h o r t , i f t h e c h i l d d i v e r g e d h o w e v e r s o much f r o m t h e i n d e p e n d e n t s o l v i n g o f t h e t a s k , t h e n s u c h a s o l u t i o n w o u l d a l r e a d y n o t b e i n d i c a t i v e o f t h e d e v e l o p m e n t o f h i s i n t e l l e c t . ( V y g o t s k y c i t e d i n V a n D e r V e e r a n d V a l s i n e r , 31 1 9 9 1 , p . 3 3 7 ) V y g o t s k y ( 1 9 7 8 ; 1 9 8 6 ) c o n c e p t u a l i z e d t h e z o n e o f p r o x i m a l d e v e l o p m e n t a s t h e i n t e r v a l b e t w e e n w h a t a n i n d i v i d u a l c a n d o i n d e p e n d e n t l y i n a p r o b l e m — s o l v i n g s i t u a t i o n , a n d w h a t a n i n d i v i d u a l c a n d o i n a p r o b l e m -s o l v i n g s i t u a t i o n w i t h a s s i s t a n c e f r o m a n a d u l t o r b y c o l l a b o r a t i n g w i t h m o r e a d e p t p e e r s . He s u g g e s t e d t h a t k n o w i n g w h a t a c h i l d u n d e r s t o o d a n d c o u l d d o w a s a g o o d p l a c e t o b e g i n a s s e s s m e n t . V y g o t s k y w a s d i s t u r b e d b y a p p r o a c h e s t h a t b e g a n a n d e n d e d w i t h d e s c r i p t i o n s o f w h a t c h i l d r e n a l r e a d y knew a n d c o u l d d o . I f t h e 1 c h i l d i s b r o u g h t f o r c o n s u l t a t i o n w i t h t h e c o m p l a i n t t h a t . . . h e t h i n k s , u n d e r s t a n d s , a n d r e m e m b e r s p o o r l y , a n d t h e p s y c h o l o g i s t o f f e r s a d i a g n o s i s o f " a l o w l e v e l o f m e n t a l d e v e l o p m e n t , " . . . n o t h i n g i s e x p l a i n e d , n o t h i n g p r e d i c t e d , a n d t h e p s y c h o l o g i s t i s n o m o r e a b l e t o p r o v i d e a n y p r a c t i c a l a s s i s t a n c e t h a n i s t h e p h y s i c i a n who o f f e r t h e d i a g n o s i s o f a c o u g h . ( V y g o t s k y c i t e d i n L i d z , 1 9 8 7 , p . 1 3 5 ) W i t h i n t h e c o n t e x t o f V y g o t s k y ' s i d e a s , a p r i m a r y g o a l i s t o d e t e r m i n e w h a t a c h i l d i s c a p a b l e o f l e a r n i n g w i t h a s s i s t a n c e . C o n t e m p o r a r y i s s u e s i n a s s e s s m e n t - e v a l u a t i o n f o c u s o n t h e r e l a t i o n s h i p b e t w e e n e d u c a t i o n r e f o r m a n d c l a s s r o o m a s s e s s m e n t - e v a l u a t i o n p r a c t i c e s , t h e r o l e o f v a l i d i t y a n d r e l i a b i l i t y i n r e l a t i o n t o 3 2 a u t h e n t i c / a l t e r n a t i v e a p p r o a c h e s , t h e a u t h e n t i c i t y o f p e r f o r m a n c e - b a s e d a s s e s s m e n t t a s k s , t h e r e l a t i o n s h i p b e t w e e n c r i t e r i o n — r e f e r e n c e d a s s e s s m e n t a n d n o r m -r e f e r e n c e d a s s e s s m e n t , a n d t h e r e l a t i o n s h i p b e t w e e n c r i t e r i o n — r e f e r e n c e d a s s e s s m e n t a n d t e a c h i n g a n d l e a r n i n g . P e o p l e c r e a t e t h e s e i s s u e s . Who g e t s t o c r e a t e t h e m a n d why r e p r e s e n t s t h e f o c u s o f t h e n e x t d i s c u s s i o n . P o l i c y R e s e a r c h a n d A s s e s s m e n t - E v a l u a t i o n P o l i c y — m a k e r s h a v e t h e p o w e r t o name, i n t e r p r e t , a n d m a n d a t e k e y c o n c e p t s a n d r e l a t e d t e r m i n o l o g y i n t h e f i e l d o f a s s e s s m e n t — e v a l u a t i o n . T h e p o w e r o f p o l i c y -m a k e r s t o d e c i d e a n d m a n d a t e w h a t c o u n t s a s k n o w l e d g e v i a a s s e s s m e n t — e v a l u a t i o n c a n b e u n d e r s t o o d a s " s y m b o l i c p o w e r " ( B o u r d i e u 1 9 8 6 a ; 1 9 8 9 d ) . B o u r d i e u d e s c r i b e s s y m b o l i c p o w e r a s t h e p o w e r t o p r o d u c e a n d l e g i t i m a t e i n t e r p r e t a t i o n s o f s o c i a l r e a l i t y . T h e p o w e r t o c o n s e r v e o r t o t r a n s f o r m c u r r e n t c l a s s i f i c a t i o n s i n m a t t e r s o f g e n d e r , n a t i o n , r e g i o n , a n d , a n d s o c i a l s t a t u s , a n d t h i s t h r o u g h t h e w o r d s u s e d t o d e s i g n a t e o r t o d e s c r i b e i n d i v i d u a l s , g r o u p s o r i n s t i t u t i o n s , ( p . 2 3 ) He a d d s t h a t p o s s e s s i o n o f " s y m b o l i c c a p i t a l " i s a p r e r e q u i s i t e o f s y m b o l i c p o w e r . M o r e s p e c i f i c a l l y , s y m b o l i c c a p i t a l r e p r e s e n t s a f o r m o f a u t h o r i t y w h e r e i n 3 3 p e o p l e who h a v e a c h i e v e d s u i t a b l e r e c o g n i t i o n a r e i n a p o s i t i o n t o i m p o s e p e r c e i v e d u n d e r s t a n d i n g . B o u r d i e u ( 1 9 8 9 d ) e x p l a i n s t h a t b e c a u s e i n d i v i d u a l s a n d g r o u p s c o n t i n u o u s l y s t r u g g l e f o r t h e p o w e r t o i n t r o d u c e a n d i m p o s e m e a n i n g , n o o n e h a s a m o n o p o l y o v e r s y m b o l i c p o w e r . B o u r d i e u * s t h e o r y o f p o w e r o r c a p i t a l a n d H a r d i n g ' s ( 1 9 9 1 ; 1 9 9 3 ) t h e o r y o f " s t a n d p o i n t e p i s t e m o l o g y " h a v e h e l p e d me t o c o n c e p t u a l i z e my r e s e a r c h a s p o l i t i c a l e n g a g e m e n t . I n h e r d i s c u s s i o n o f s t a n d p o i n t e p i s t e m o l o g y , H a r d i n g e x p l a i n s t h a t r e s e a r c h p l a y s a n i m p o r t a n t r o l e i n t h e p o l i t i c s o f k n o w l e d g e p r o d u c t i o n . S t a n d p o i n t e p i s t e m o l o g y s e t s t h e r e l a t i o n s h i p b e t w e e n k n o w l e d g e a n d p o l i t i c s a t t h e c e n t e r o f i t s a c c o u n t i n t h e s e n s e t h a t i t t r i e s t o p r o v i d e c a u s a l a c c o u n t s - t o e x p l a i n - t h e e f f e c t s t h a t d i f f e r e n t k i n d s o f p o l i t i c s h a v e o n t h e p r o d u c t i o n o f k n o w l e d g e , ( p p . 5 5 - 5 6 ) H a r d i n g ( 1 9 9 3 ) c a u t i o n s r e s e a r c h e r s t h a t some s o c i a l l y s i t u a t e d l o c a t i o n s s u c h a s p e o p l e f r o m s o c i o -e c o n o m i c a l l y o p p r e s s e d g r o u p s a r e m o r e o b j e c t i v e s t a r t i n g p o i n t s f o r i n q u i r y t h a n o t h e r s . F u r t h e r m o r e , r e s e a r c h e r s who e x a m i n e p o l i c y f r o m a p r i v i l e g e d p o s i t i o n , w i t h o u t i n t e r r o g a t i n g t h e p o s i t i o n i t s e l f , s e v e r e l y l i m i t t h e i r a c c e s s t o c r i t i c a l u n d e r s t a n d i n g 3 4 o f i s s u e s a n d p r o b l e m s . K n o w l e d g e c l a i m s a r e a l w a y s s o c i a l l y s i t u a t e d , a n d t h e f a i l u r e b y d o m i n a n t g r o u p s . . .^to i n t e r r o g a t e t h e i r a d v a n t a g e d s o c i a l s i t u a t i o n a n d t h e e f f e c t o f s u c h a d v a n t a g e s o n t h e i r b e l i e f s l e a v e s t h e i r s o c i a l s i t u a t i o n a s c i e n t i f i c a l l y a n d e p i s t e m o l o g i c a l l y d i s a d v a n t a g e d o n e f o r g e n e r a t i n g k n o w l e d g e . . . . S o o n e ' s s o c i a l s i t u a t i o n e n a b l e s a n d s e t s l i m i t s o n w h a t o n e c a n k n o w ; some s o c i a l s i t u a t i o n s — c r i t i c a l l y u n e x a m i n e d d o m i n a n t o n e s — a r e m o r e l i m i t i n g t h a n o t h e r s i n t h i s r e s p e c t , a n d w h a t m a k e s t h e s e s i t u a t i o n s m o r e l i m i t i n g i s t h e i r i n a b i l i t y t o g e n e r a t e t h e m o s t c r i t i c a l q u e s t i o n s a b o u t r e c e i v e d b e l i e f . ( H a r d i n g , 1 9 9 3 , p p . 5 4 -5 5 ) . L i k e H a r d i n g ( 1 9 9 3 ) , G a s k e l 1 ( 1 9 8 8 ) s e e s a n e e d f o r p o l i c y r e s e a r c h t h a t a d d r e s s e s c o n c e r n s o f g r o u p s t h a t a r e u n d e r — r e p r e s e n t e d o r a b s e n t i n p o l i t i c a l d e b a t e . G a s k e l l p o i n t s o u t t h a t i s s u e s a r e c l a r i f i e d a n d new q u e s t i o n s g e n e r a t e d f o r c o n s i d e r a t i o n i n t h e p o l i t i c a l p r o c e s s when r e s e a r c h b e g i n s f r o m t h e s t a n d p o i n t s o f i n t e r e s t g r o u p s . S h e c o n t e n d s t h a t d e m o c r a t i c p o l i c y r e s e a r c h e x p l o r e s i s s u e s f r o m m u l t i p l e a n d e v e n c o n f l i c t i n g s t a n d p o i n t s . R e s e a r c h e r s c a n e x p l o r e i s s u e s f r o m many p o t e n t i a l l y c o n f l i c t i n g p o i n t s o f v i e w i n c l u d i n g t h a t o f t h e s t u d e n t , t h e p a r e n t , t h e t e a c h e r s ' f e d e r a t i o n , o r t h e g o v e r n m e n t a g e n c y , t o m e n t i o n o n l y a f e w . I t c a n c l a r i f y , l e g i t i m a t e , a n d e x p a n d t h e p o l i t i c a l a g e n d a s t h e s e g r o u p s s t a r t w i t h i n s t e a d o f s i m p l y s o l v i n g p r o b l e m s f o r t h e m . . . . O n e r o l e o f a c o n t r o v e r s i a l s t u d y i s t o h i g h l i g h t i s s u e s o f c o n c e r n t o c h i l d r e n a n d i n t r o d u c e t h e m i n t o t h e d e b a t e , ( p p . 4 1 3 - 4 1 4 ) 3 5 D a r l i n g - H a m m o n d ( 1 9 9 6 ) s h a r e s H a r d i n g ' s a n d G a s k e l l ' s c o n c e r n s r e g a r d i n g d e m o c r a t i c p o l i c y r e s e a r c h . S h e p r o p o s e s t h a t p r o b l e m s a n d p o s s i b l e s o l u t i o n s a r e c l a r i f i e d when r e s e a r c h e r s a n d p a r t i c i p a n t s w o r k c o l l a b o r a t i v e l y t o e x p l o r e i s s u e s a s s o c i a t e d w i t h e d u c a t i o n a l p o l i c y a n d p r a c t i c e . P a r t n e r s h i p s f o r w h a t we m i g h t c a l l d i l e m m a - r i d d e n r e s e a r c h . . . . o f t e n f e a t u r e h y p h e n a t e d r o l e s f o r r e s e a r c h e r s , t e a c h e r s , a n d p o l i c y — m a k e r s who a r e d o i n g p o l i c y , s c h o o l r e f o r m , a n d t e a c h i n g a s w e l l a s l o o k i n g a t i t . . . . m o v i n g b e y o n d a w o r l d i n w h i c h t h o s e who t h i n k a n d p l a n a r e s e p a r a t e d f r o m t h o s e who t e a c h a n d d o t h e w o r k ; . . . w o r k i n g t o u n d e r s t a n d , s c h o o l i n g , t e a c h i n g , a n d c h a n g e b y e n g a g i n g i n t h e w o r k a s w e l l a s b y s t u d y i n g i t a n d b y c r e a t i n g c o l l a b o r a t i v e s f o r d e m o c r a t i c w o r k a n d a c t i o n . ( D a r l i n g - H a m m o n d , 1 9 9 6 , p . 1 5 ) M o s s <1996) a d d r e s s e s a s s e s s m e n t i n t e r m s o f e d u c a t i o n a l m e a s u r e m e n t . W i t h i n t h i s c o n t e x t , s h e c o n t e n d s t h a t c o l l a b o r a t i v e i n q u i r y h a s b e e n a b s e n t f r o m t r a d i t i o n a l m e a s u r e m e n t r e s e a r c h . M o s s a d d s t h a t d e v e l o p e r s h a v e t r a d i t i o n a l l y c r e a t e d i n t e r p r e t a t i o n s o f a s s e s s m e n t f o r t h e p e o p l e who u s e t h e m ; a t o p - d o w n a p p r o a c h t o a s s e s s m e n t t h a t e x c l u d e s p e o p l e f r o m c o n s t r u c t i n g a n d e v e n c h a l l e n g i n g i n t e r p r e t a t i o n s t h a t d i r e c t l y a f f e c t t h e i r l i v e s . T h o s e who a r e a s s e s s e d o r who u s e t h e a s s e s s m e n t i n f o r m a t i o n o f t e n h a v e n o r e a d y a c c e s s t o r e c o n s t r u c t o r c h a l l e n g e t h e s e c h a r a c t e r i z a t i o n s t h a t may h a v e a n i m p a c t o n t h e i r l i v e s ( p . 24 - ) . 3 6 M o s s ( 1 9 9 6 ) f u r t h e r e x p l a i n s t h a t r e s e a r c h e r s c o n f e r s t a t u s o n k n o w l e d g e c l a i m s w i t h n a t u r a l i s t i n t e r p r e t a t i o n s o f v a l i d i t y , r e l i a b i l i t y , a n d o b j e c t i v i t y ; i n t e r p r e t a t i o n s g r o u n d e d i n a s s u m p t i o n s t h a t d i r e c t e n g a g e m e n t w i t h a r e a l i t y u n m e d i a t e d b y human e x p e r i e n c e i s f e a s i b l e . S h e i s p a r t i c u l a r l y c o n c e r n e d t h a t n a t u r a l i s t i n t e r p r e t a t i o n s o f v a l i d i t y , r e l i a b i l i t y , a n d o b j e c t i v i t y o b v i a t e t h e r o l e o f c o n t e x t i n p e o p l e s ' u n d e r s t a n d i n g o f , a n d r e s p o n s e s t o , s o c i a l r e a l i t y . L i k e M o s s ( 1 9 9 6 ) , H a w k e s w o r t h ( 1 9 8 9 ) , d i s t r u s t s n a t u r a l i s m ' s c l a i m s t o a n u n m e d i a t e d r e a l i t y . S h e e x t e n d s h e r concern t o t h e i m p a c t o f f o u n d a t i o n a l i s m o n s t u d i e s o f c o g n i t i o n . C r i t i q u e s o f f o u n d a t i o n a l i s m h a v e e m p h a s i z e d t h a t t h e b e l i e f i n a p e r m a n e n t , a h i s t o r i c a l , A r c h i m e d e a n p o i n t t h a t c a n p r o v i d e a c e r t a i n g r o u n d f o r k n o w l e d g e c l a i m s i s i n c o m p a t i b l e w i t h a n u n d e r s t a n d i n g o f c o g n i t i o n a s human p r a c t i c e , ( p . 15 ) H a r d i n g ( 1 9 9 3 ) , G a s k e l 1 ( 1 9 8 8 ) , D a r l i n g - H a m m o n d ( 1 9 9 6 ) , a n d M o s s ( 1 9 9 6 ) f a v o u r s t u d i e s o f how m e a n i n g i s p r o d u c e d a n d r e c e i v e d w i t h i n a n d a c r o s s c o n t e x t s . M o s s p o i n t s o u t t h a t i n t e r p r e t a t i o n s o f a s s e s s m e n t p o l i c y a n d r e l a t e d p r a c t i c e s h a v e s e r i o u s p o l i t i c a l c o n s e q u e n c e s i n t e r m s o f who s p e a k s f o r whom, a n d w h o s e 37 i n t e r e s t s a r e r e p r e s e n t e d . D e l a n d s h e r e a n d P e t r o s k y ( 1 9 9 4 ) p a i n t a p i c t u r e o f e v a l u a t i v e j u d g e m e n t s r e g a r d i n g s t u d e n t p r o g r e s s a s d i s c o u r s e i n t e r m s o f who h a s t h e p o w e r t o d e c i d e w h a t c o u n t s a s k n o w l e d g e . T h e y p r o p o s e t h a t p e o p l e ' s i n t e r p r e t a t i o n s o f a s s e s s m e n t i n f o r m a t i o n a r e s h a p e d b y v a l u e s o f a p a r t i c u l a r d i s c o u r s e r e g a r d i n g w h a t c o u n t s a s k n o w l e d g e . What h a p p e n s i n a n a s s e s s m e n t s y s t e m b a s e d o n t h e n o t i o n t h a t k n o w l e d g e i s c r e a t e d i n l a n g u a g e w i t h i n a p a r t i c u l a r d i s c o u r s e a n d i s n o t c o n c e r n e d w i t h c o r r e c t o r i n c o r r e c t r e s p o n s e s b u t , r a t h e r , i s b a s e d o n t h e i n t e r p r e t a t i o n o f a n i n d i v i d u a l ' s p e r f o r m a n c e i n o r d e r t o l o c a t e i t w i t h i n a n o v e r a l l ' v a l u e d ' p r o f e s s i o n a l d i s c o u r s e ? S u c h a c o n c e p t i o n o f k n o w l e d g e m o v e s a s s e s s m e n t t o w a r d t h e d e s c r i p t i o n a n d a n a l y s i s o f d i s c o u r s e , a n d t h e p r o c e s s o r a c t o f i n t e r p r e t a t i o n i s c e n t r a l t o t h e p r o d u c t i o n a n d u n d e r s t a n d i n g o f i n d i v i d u a l p e r f o r m a n c e . . . . w e w o u l d a d d t h a t i n o r d e r f o r j u d g e s t o a g r e e o n t h e i n t e r p r e t a t i o n o f a c a n d i d a t e ' s p e r f o r m a n c e , t h e y n e e d t o u n d e r s t a n d a n d s h a r e t h e i d e o l o g i c a l s t a n c e t h a t p e r m e a t e s t h e p e r f o r m a n c e s t a n d a r d s u s e d i n t h e a s s e s s m e n t p r o c e s s . <pp. 15—16) M o s s ( 1 9 9 6 ) s u g g e s t s t h a t i n t e r p r e t i v i s t r e s e a r c h t r a d i t i o n s a l l o w r e s e a r c h e r s t o c o m p r e h e n d t h e i r o w n , a n d o t h e r s ' , c o n s t r u c t e d m e a n i n g w i t h i n a n d a c r o s s c o n t e x t s i n w h i c h m e a n i n g i s c r e a t e d a n d r e c e i v e d . B e c a u s e i n t e r p r e t i v i s t t r a d i t i o n s a s s u m e t h a t m e a n i n g i s i n t e r s u b j e c t i v e , m e a n i n g m u s t b e u n d e r s t o o d f r o m t h e 3 8 s t a n d p o i n t s o f p e o p l e a f f e c t e d . M o s s e x p l a i n s t h a t t h e c o u r s e a n d f o r m t h a t i n t e r p r e t a t i o n t a k e s w i l l d e p e n d o n t h e d y n a m i c s o f a c o n t e x t . L i k e H a r d i n g ( 1 9 9 3 ) a n d H a w k e s w o r t h <1989>, M o s s ( 1 9 9 6 ) a r g u e s t h a t t h e r e a r e n o u n c o n t e s t e d b a s e s f o r e s t a b l i s h i n g k n o w l e d g e c l a i m s . I n t e r p r e t a t i o n s m e d i a t e , a n d a r e m e d i a t e d b y , t h e p o l i t i c s o f k n o w l e d g e p r o d u c t i o n i n s p e c i f i c c o n t e x t s . S h e p o i n t s o u t t h a t r e s e a r c h t r a d i t i o n s d i f f e r i n t h e w a y s i n w h i c h t h e y a d d r e s s t h e l i m i t a t i o n s o f s c i e n t i f i c i n q u i r y . M o s s ( 1 9 9 6 ) d e s c r i b e s a c a s e s t u d y o f S p e c i a l E d u c a t i o n p l a c e m e n t p r o c e d u r e s t o i l l u s t r a t e t h e i m p o r t a n c e o f s t u d y i n g m e a n i n g i n c o n t e x t . S h e e x p l a i n s t h a t t h e r e s e a r c h e r f o u n d s i g n i f i c a n t d i f f e r e n c e s b e t w e e n a s c h o o l p s y c h o l o g i s t ' s i n t e r p r e t a t i o n o f a g r a d e 4- s t u d e n t ' s p e r f o r m a n c e , a n d i n t e r p r e t a t i o n s b y t h e s t u d e n t ' s t e a c h e r a n d m o t h e r . W h e r e a s t h e s c h o o l p s y c h o l o g i s t ' s d i s c o u r s e w a s d e c o n t e x t u a l i z e d , d e t e m p o r a l i z e d , a n d c l i n i c a l , t h e t e a c h e r ' s a n d m o t h e r ' s d i s c o u r s e w a s c o n t e x t u a l i z e d a n d s e n s i t i v e t o l o n g — t e r m c o n s i d e r a t i o n s . T h e r e s e a r c h e r c o n c l u d e d t h a t t h e p s y c h o l o g i s t ' s d i s c o u r s e w a s s h a p e d b y t h e t i m e t h a t i t t o o k t o 3 9 a d m i n i s t e r i n t e l l i g e n c e a n d a c h i e v e m e n t t e s t s t o t h e s t u d e n t , b y o b s e r v i n g t h e s t u d e n t i n a t e s t i n g s i t u a t i o n , b y t h e t e s t r e s u l t s , a n d b y h i s b e l i e f s a b o u t t e s t i n g . C o n s e q u e n t l y , h i s d i s c o u r s e c o n v e y e d a n i m a g e o f a s t u d e n t who w a s l e a r n i n g — d i s a b l e d a c r o s s s u b j e c t a r e a s . I n c o n t r a s t , t h e d i s c o u r s e o f t h e m o t h e r a n d t e a c h e r w a s i n f l u e n c e d b y o n g o i n g o b s e r v a t i o n s o f t h e s t u d e n t w i t h i n a n d a c r o s s s c h o o l a n d home c o n t e x t s . T h e y s h a r e d a n i m a g e o f t h e c h i l d a s s o m e o n e who h a d l e a r n i n g d i f f i c u l t i e s i n some a c t i v i t i e s a n d n o t o t h e r s . A l t h o u g h b o t h t h e t e a c h e r a n d t h e m o t h e r w i t h d r e w t h e i r s u p p o r t f o r t h e r e f e r r a l , t h e s t u d e n t w a s p l a c e d i n a s p e c i a l c l a s s f o r c h i l d r e n w i t h l e a r n i n g d i s a b i l i t i e s ( M o s s , 1 9 9 6 ) . M o s s ( 1 9 9 6 ) i s c a r e f u l t o p o i n t o u t t h a t t h e a b o v e s t o r y i s n o t i n t e n d e d t o c a s t a n u n f a v o u r a b l e l i g h t o n t h e r o l e o f a s c h o o l p s y c h o l o g i s t w i t h i n t h e c o n t e x t o f t h e a s s e s s m e n t p r o c e s s . I n s t e a d , s h e w a n t s t o e m p h a s i z e h e r v i e w t h a t a s s e s s m e n t i n t e r p r e t a t i o n s t r a n s f o r m , a n d a r e t r a n s f o r m e d b y , t h e p a r t i c u l a r c o n t e x t s w i t h i n w h i c h t h e y a r e p r o d u c e d a n d r e c e i v e d . L i k e D e l a n d s h e r e a n d P e t r o s k y ( 1 9 9 4 ) , M o s s s u g g e s t s t h a t a s s e s s m e n t i n t e r p r e t a t i o n s a r e d r a w n f r o m 4 0 a s s u m p t i o n s r e g a r d i n g w h a t c o u n t s a s k n o w l e d g e a n d i n v o l v e i m p o r t a n t e t h i c a l a n d p o l i t i c a l i m p l i c a t i o n s . My p o i n t i s t o i l l u s t r a t e how i n t e r p r e t i v e m e t h o d s c a n i l l u m i n a t e some o f t h e m o r e s u b t l e w a y s i n w h i c h a s s e s s m e n t c h o i c e s i n t e r a c t w i t h t h e l o c a l c o n t e x t . . . . h o w t h e l o c a l c o n t e x t t r a n s f o r m s a n d i s t r a n s f o r m e d b y t h e a s s e s s m e n t p r a c t i c e . . . . i m p l i c i t i n a n y a s s e s s m e n t p r o c e s s i s a v a l u e - l a d e n v i s i o n o f w h a t e d u c a t i o n i s a n d o f w h a t a r e a p p r o p r i a t e r o l e s f o r t e a c h e r s , s t u d e n t s , a n d o t h e r members o f t h e c o m m u n i t y . E p i s t e m o l o g i c a l c h o i c e s e n t a i l e t h i c a l a n d p o l i t i c a l c o n s e q u e n c e s . ( M O B S , 1 9 9 6 , p . 2 3 ) I m p o r t a n t q u e s t i o n s r e g a r d i n g p o w e r a n d r e p r e s e n t a t i o n i n r e l a t i o n t o a s s e s s m e n t — e v a l u a t i o n w e r e r a i s e d i n t h i s s e c t i o n . M o r e o v e r , i s s u e s a s s o c i a t e d w i t h who h a s t h e p o w e r t o d e f i n e a n d l e g i t i m a t e w h a t c o u n t s a s k n o w l e d g e i n i n t e r p r e t a t i o n s o f a s s e s s m e n t - e v a l u a t i o n , a n d w h o s e i n t e r e s t s a r e r e p r e s e n t e d b y i n t e r p r e t a t i o n s o f a s s e s s m e n t -e v a l u a t i o n , a r e a t t h e h e a r t o f d e b a t e . I n t h e n e x t s e c t i o n , I e x p l o r e i s s u e s a s s o c i a t e d w i t h p o w e r a n d r e p r e s e n t a t i o n i n r e l a t i o n t o a s s e s s m e n t - e v a l u a t i o n w i t h i n t h e c o n t e x t s o f s o c i a l a n d s o c i o c u l t u r a l r e s e a r c h t r a d i t i o n s . S o c i a l a n d S o c i o c u l t u r a l R e s e a r c h I c o n s t r u c t e d t h e i n t e r p r e t a t i o n a l f r a m e w o r k f o r t h i s s t u d y f r o m t h e t h e o r e t i c a l a n d m e t h o d o l o g i c a l 41 s t a n d p o i n t s o f U e r t s c h ( 1 9 9 1 ; 1 9 9 5 ) a n d B o u r d i e u ( 1 9 9 0 ) . A n a l y s e s a n d i n t e r p r e t a t i o n s o f f i n d i n g s r e g a r d i n g a s s e s s m e n t — e v a l u a t i o n w e r e g u i d e d b y W e r t s c h ' s c o n c e p t s o f " m e d i a t e d a c t i o n " a n d " m e d i a t i o n a l m e a n s , " a n d B o u r d i e u ' s c o n c e p t s o f " h a b i t u s , " " f i e l d , " " p r a c t i c e , " a n d " c a p i t a l " ( 1 9 7 7 ; 1 9 8 5 ; 1 9 8 6 a ; 1 9 9 0 ; 1 9 9 2 ) . B o u r d i e u ' s ( 1 9 9 0 ) t h e o r y o f " g e n e t i c s t r u c t u r a l i s m " a n d W e r t s c h ' s <1991 ; 1 9 9 5 ) i n t e r p r e t a t i o n o f " s o c i o c u l t u r a l t h e o r y " s h a r e a n a s s u m p t i o n t h a t human a c t i o n i s d i a l e c t i c a l l y c o n s t r u c t e d a n d c a n n o t b e d e c o n t e x t u a l i z e d . B o u r d i e u <1990) s u g g e s t s t h a t i n t e r c o n n e c t i o n s among p e o p l e s ' a c t i o n s a n d o b j e c t i v e s t r u c t u r e s a r e u n d e r s t o o d b y f o c u s i n g o n how p e o p l e u s e c u l t u r a l a r t i f a c t s a n d c o n v e n t i o n s a s m e a n s t o c o m p e t e f o r c a p i t a l i n c o m p e t i t i v e f i e l d s . L i k e B o u r d i e u ( 1 9 9 0 ) , W e r t s c h <1991 ; 1 9 9 5 ) s u g g e s t s t h a t i n t e r c o n n e c t i o n s among human a c t i o n a n d c o n t e x t a r e u n d e r s t o o d b y f o c u s i n g o n c o n t e x t s w h e r e i n p e o p l e e n g a g e i n g o a l — o r i e n t e d a c t i v i t y b y m e a n s o f c u l t u r a l t o o l s o r med i a t i o n a 1 m e a n s . W e r t s c h <1991 ; 1 9 9 5 ) e x p l a i n s t h a t h i s a p p r o a c h t o 4 2 s o c i o c u l t u r a l r e s e a r c h i s d e e p l y i n f l u e n c e d b y t h e i d e a s o f V y g o t s k y . V y g o t s k y ' s <1978; 1986> m a j o r p r e m i s e w a s t h a t a n i n d i v i d u a l ' s h i g h e r o r c u l t u r a l m e n t a l f u n c t i o n s w e r e t r a n s f o r m e d f r o m l o w e r o r n a t u r a l f u n c t i o n s b y m e a n s o f e n g a g e m e n t w i t h o t h e r s i n s o c i a l a n d c u l t u r a l a c t i v i t i e s . A s p r e v i o u s l y d i s c u s s e d , t h e " z o n e o f p r o x i m a l d e v e l o p m e n t " r e p r e s e n t e d a n i m p o r t a n t t h e o r e t i c a l a n d m e t h o d o l o g i c a l c o n t e x t f o r V y g o t s k y ' s c o n c e p t o f m e d i a t i o n . W i t h i n t h i s c o n t e x t , i n s i g h t s i n t o a c h i l d ' s l e a r n i n g p o t e n t i a l w e r e g a i n e d b y e x a m i n i n g how e f f e c t i v e l y h e o r s h e s o l v e s p r o b l e m s w i t h t h e a s s i s t a n c e o f m o r e a d e p t p e e r s o r a d u l t s . T h e g o a l o f t h i s a p p r o a c h w a s f o r a s t u d e n t , w i t h a s s i s t a n c e , t o l e a r n how t o d e m o n s t r a t e u n d e r s t a n d i n g o f a d u l t - d e f i n e d p e r f o r m a n c e c r i t e r i a . " t h e z o n e o f p r o x i m a l d e v e l o p m e n t " : t h e p l a c e a t w h i c h a c h i l d ' s e m p i r i c a l l y r i c h b u t d i s o r g a n i z e d s p o n t a n e o u s c o n c e p t s " m e e t " t h e s y s t e m a t i c i t y a n d l o g i c o f a d u l t r e a s o n i n g . . . . t h e d e p t h o f z o - p e d v a r i e s , r e f l e c t i n g c h i l d r e n ' s r e l a t i v e a b i l i t i e s t o a p p r o p r i a t e a d u l t s t r u c t u r e s . ( K o z u l i n i n V y g o t s k y , 1 9 8 6 , p . x x x v ) V y g o t s k y ( 1 9 7 8 ) s a w t h e " z o n e " a s a t o o l t h r o u g h w h i c h i n t r a p e r s o n a l d e v e l o p m e n t c o u l d b e c o m p r e h e n d e d . P s y c h o l o g i c a l t o o l s a n d p r o c e d u r e s f o r s h a r e d c o m m u n i c a t i o n f i l l e d t h e r o l e o f m e d i a t o r s i n 4 3 V y g o t s k y ' s C I 9 8 6 ) t h e o r y o f m e d i a t e d a c t i v i t y . P s y c h o l o g i c a l t o o l s w e r e u n d e r s t o o d a s i n t e n t i o n a l m o v e m e n t s o r g e s t u r e s , l a n g u a g e a n d s i g n s t r u c t u r e s , memory e n h a n c i n g s t r a t e g i e s , a n d d e c i s i o n - m a k i n g p r o c e d u r e s . V y g o t s k y e x p l a i n e d t h a t m n e u m o n i c s o p e r a t e d a s a p s y c h o l o g i c a l t o o l i n memory e n h a n c e m e n t . F o r e x a m p l e , when t h e b r a i n ' s n a t u r a l a b i l i t y r e q u i r e s a s s i s t a n c e t o c o n n e c t o n e e v e n t w i t h a n o t h e r e v e n t , a n a r t i f i c i a l p s y c h o l o g i c a l t o o l , l i k e a w r i t t e n n o t e , m e d i a t e s t h e c o n n e c t i o n . L i k e V y g o t s k y ( 1 9 7 8 ; 1 9 8 6 ) , W e r t s c h ( 1 9 9 1 ; 1 9 9 5 ) i s c o n c e r n e d w i t h t h e m e d i a t e d n a t u r e o f human m e n t a l f u n c t i o n i n g . He d e s c r i b e s t h e r e l a t i o n s h i p b e t w e e n m e n t a l p r o c e s s e s o r human a c t i o n , a n d c u l t u r a l , h i s t o r i c a l , a n d i n s t i t u t i o n a l s e t t i n g s a s d i m e n s i o n s o f m e d i a t e d a c t i o n . When a c t i o n i s g i v e n a n a l y t i c p r i o r i t y , human b e i n g s a r e v i e w e d a s c o m i n g i n t o c o n t a c t w i t h , a n d c r e a t i n g , t h e i r s u r r o u n d i n g s a s w e l l a s t h e m s e l v e s t h r o u g h t h e a c t i o n s i n w h i c h t h e y e n g a g e . T h u s a c t i o n , r a t h e r t h a n human b e i n g s o r t h e e n v i r o n m e n t c o n s i d e r e d i n i s o l a t i o n , p r o v i d e s t h e e n t r y p o i n t i n t o t h e a n a l y s i s . . . . <1991 , p . 8 ) W e r t s c h ( 1 9 9 5 ) p o r t r a y s m e d i a t e d a c t i o n a s " a c t i o n i n t e r p r e t e d a s i n v o l v i n g a n i r r e d u c i b l e t e n s i o n b e t w e e n m e d i a t i o n a l means a n d t h e i n d i v i d u a l s e m p l o y i n g t h e s e 4 4 m e a n s " ( p . 6 4 ) . I n a d d i t i o n , a c t i o n c a n b e i n t e r n a l a n d e x t e r n a l , a n d c a n b e c a r r i e d o u t b y i n d i v i d u a l s a n d g r o u p s . " M e d i a t i o n a l m e a n s " c a n b e u n d e r s t o o d a s l a n g u a g e a n d t o o l s t h a t b r i d g e p e o p l e s ' a c t i o n s a n d s e t t i n g s w i t h i n w h i c h t h e y a r e u s e d . V y g o t s k y ( 1 9 7 8 ; 1 9 8 6 ) a n d W e r t s c h ( 1 9 9 5 ) s e e i n t e r n a l a n d e x t e r n a l a c t i o n a s d i a l e c t i c a l . W e r t s c h c o n t e n d s t h a t s t u d i e s o f human a c t i o n m u s t b e s i t u a t e d i n c o n t e x t s o f t i m e , s p a c e , a n d r e l a t i o n s h i p s among i n d i v i d u a l s . A f u n d a m e n t a l i s s u e t o b e a d d r e s s e d i n a n a l y z i n g a c t i o n , t h e n , i s how s e v e r a l moments o f i t s o r g a n i z a t i o n a r e d e f i n e d a n d u n d e r s t o o d a s b e i n g i n v o l v e d i n a c o m p l e x d i a l e c t i c . . . . O b v i o u s l y t h e k i n d o f t h i n k i n g n e e d e d i n t h i s f o r m u l a t i o n m u s t b e b a s e d o n a w i l l i n g n e s s t o d e a l w i t h m u l t i p l e , s i m u l t a n e o u s l y a c t i n g i n f l u e n c e s a n d t h e d i a l e c t i c s among t h e m . <pp. 62—63 ) K e y t o u n d e r s t a n d i n g t h e r o l e o f p o w e r r e l a t i o n s i n W e r t s c h ' s ( 1 9 9 1 ; 1 9 9 5 ) i n t e r p r e t a t i o n o f s o c i o c u l t u r a l t h e o r y i s h i s o b s e r v a t i o n t h a t m e d i a t i o n a l m e a n s f a c i l i t a t e a n d h i n d e r human a c t i o n . We c a n n e v e r ' s p e a k f r o m n o w h e r e , ' g i v e n t h a t we c a n s p e a k ( o r m o r e b r o a d l y , a c t ) o n l y b y i n v o k i n g m e d i a t i o n a l m e a n s t h a t a r e a v a i l a b l e i n t h e ' c u l t u r a l t o o l k i t ' p r o v i d e d b y t h e s o c i o c u l t u r a l s e t t i n g i n w h i c h we o p e r a t e . . . . ( p . 2 5 ) W e r t s c h ( 1 9 9 5 ) q u o t e s D e w e y , whom h e d e s c r i b e s a s a " p r o g e n i t o r o f s o c i o c u l t u r a l r e s e a r c h , " t o i l l u s t r a t e how l i m i t a t i o n s a s s o c i a t e d w i t h v a r i o u s f o r m s o f 4 5 m e d i a t i o n a r e u s u a l l y r e c o g n i z e d o n l y i n h i n d s i g h t ( W e r t s c h , 1 9 9 5 , p . 2 5 ) . Dewey made t h e f o l l o w i n g r e m a r k s i n 1 9 3 8 . When we l o o k b a c k a t e a r l i e r p e r i o d s , i t i s e v i d e n t t h a t c e r t a i n p r o b l e m s c o u l d n o t h a v e a r i s e n i n t h e c o n t e x t o f i n s t i t u t i o n s , c u s t o m s , o c c u p a t i o n s a n d i n t e r e s t s t h a t t h e n e x i s t e d , a n d t h a t e v e n i f . . . t h e y h a d b e e n c a p a b l e o f d e t e c t i o n a n d f o r m u l a t i o n , t h e r e w e r e n o m e a n s a v a i l a b l e f o r s o l v i n g t h e m . I f we d o n o t s e e t h a t t h i s c o n d i t i o n i n g , b o t h n e g a t i v e a n d p o s i t i v e , e x i s t s a t p r e s e n t , t h e f a i l u r e t o s e e i t i s d u e t o a n i l l u s i o n o f p e r s p e c t i v e . (Dewey c i t e d i n W e r t s c h , 1 9 9 5 , p . 2 5 ) W e r t s c h ( 1 9 9 1 ) , a n d W e r t s c h a n d R u p e r t ( 1 9 9 3 ) , e x p l a i n t h a t u n d e r s t a n d i n g t h e s i t u a t e d n e s s o f m e d i a t i o n a l m e a n s i s k e y t o u n d e r s t a n d i n g t h e r e l a t i o n s h i p b e t w e e n m e a n s a n d a c t i o n . W e r t s c h ( 1 9 9 1 ) i s c a r e f u l t o p o i n t o u t t h a t m e d i a t i o n a l m e a n s d o n o t a l w a y s i n c r e a s e p r o d u c t i v i t y . My f a v o u r i t e e x a m p l e o f a m e d i a t i o n a l m e a n s t h a t w a s n o t d e s i g n e d t o e n h a n c e e f f i c i e n c y , i s h i s s t o r y a b o u t t h e "QWERTY" t y p e w r i t e r k e y b o a r d . W e r t s c h b e g i n s b y s a y i n g , " . . . l e t u s c o n s i d e r t h e f u n c t i o n i n g o f a n o b j e c t t h a t i s m e d i a t i n g my a c t i o n a s I w r i t e , t h e k e y b o a r d o f a p e r s o n a l c o m p u t e r " ( 1 9 9 1 , p p . 3 4 - 3 5 ) . He a d d s t h a t c o n t e m p o r a r y k e y b o a r d s h a v e t h e i r o r i g i n s i n t h e w o r k o f C h r i s t o p h e r L a t h a m S c h o l e s . 4 6 I n 1872 S c h o l e s a r r i v e d a t a l a y o u t r e p r e s e n t i n g a c o m p r o m i s e b e t w e e n s e v e r a l d e m a n d s . One h a d t o d o w i t h t h e m e c h a n i c s o f t y p e w r i t e r k e y s . E a r l y v e r s i o n s o f h i s m a c h i n e s w e r e ' s l o w e r * t h a n t y p i s t s ' f i n g e r s , s o t h e k e y s c o n s t a n t l y j ammed . S h o l e s ' s o l u t i o n w a s t o r e d e s i g n t h e k e y b o a r d i n a n e f f o r t t o s l o w t h e t y p i s t d o w n . A s W i l l i a m H o f f e r ( 1 9 8 5 ) h a s r e p o r t e d , t h e m o s t common l e t t e r s - E , T , O, A , N , I —became w i d e l y d i s t r i b u t e d , f r e q u e n t c o m b i n a t i o n s s u c h a s ED w e r e a r r a n g e d s o t h a t t h e y h a d t o b e s t r u c k b y t h e same f i n g e r , a n d t h e t y p i s t w a s r e q u i r e d t o u s e t h e w e a k e r l e f t h a n d 57 p e r c e n t o f t h e t i m e . T h e f a m i l i a r "QWERTY" k e y b o a r d t h a t r e s u l t e d w a s t h u s s p e c i f i c a l l y d e s i g n e d t o i n s u r e a k i n d o f i n e f f i c i e n c y . ( W e r t s c h , 1 9 9 1 , p . 3 5 ) W e r t s c h ( 1 9 9 1 ) g o e s o n t o e x p l a i n t h a t e v e n t h o u g h a m o r e e f f i c i e n t k e y b o a r d w a s c r e a t e d i n 1936 b y A u g u s t D v o r a k , t h e QWERTY k e y b o a r d m a i n t a i n e d i t s d o m i n a n c e . I n d e e d , a l t h o u g h o l d e r v e r s i o n s h a v e b e e n r e p l a c e d b y t y p e w r i t e r s w i t h e l e c t r o n i c k e y b o a r d s a n d p e r s o n a l c o m p u t e r s , p e o p l e s ' a c t i v i t i e s c o n t i n u e t o b e m e d i a t e d b y QWERTY a n d D v o r a k k e y b o a r d s . He r e a s s u r e s r e a d e r s t h a t a QWERTY k e y b o a r d c a n b e c h a n g e d t o a D v o r a k k e y b o a r d w i t h a s e t o f c a p s a n d a s i m p l e p r o g r a m . W e r t s c h ( 1 9 9 5 ) r e f e r s t o p o l e - v a u l t i n g a s a n e x a m p l e o f m e d i a t i o n a l means t h a t t e n d e d t o i n c r e a s e e f f i c i e n c y . He e x p l a i n s t h a t a c h a n g e f r o m w o o d e n t o f i b r e g l a s s p o l e s i n c r e a s e d v a u l t i n g p e r f o r m a n c e . T h i s e x a m p l e i l l u s t r a t e s how c h a n g e s t o m e d i a t i o n a l m e a n s c h a n g e a c t i o n s o f i n d i v i d u a l s p a r t i c i p a t i n g i n 4 7 a c t i v i t i e s . W e r t s c h ( 1 9 9 3 ) a d d s t h a t some p e o p l e a r e m o r e s u c c e s s f u l u s i n g some m e d i a t i o n a l m e a n s t h a n o t h e r s d u r i n g v a r i o u s a c t i v i t i e s . He c o n t e n d s t h a t q u e s t i o n s r e g a r d i n g who d e c i d e s w h a t m e d i a t i o n a l m e a n s a r e u s e d d u r i n g a c t i v i t y a r e p o l i t i c a l i n t h a t t h e y a r e c o n f i g u r e d b y i s s u e s o f p o w e r , v a l u e , a n d a u t h o r i t y . W e r t s c h <1995) a c k n o w l e d g e s t h a t s o c i o c u l t u r a l i n t e r p r e t a t i o n s o f m e d i a t e d a c t i o n h a v e , i n p a r t , b e e n i n f l u e n c e d b y B o u r d i e u ' s c o n c e p t o f " h a b i t u s . " I n h i s t h e o r y o f " g e n e t i c s t r u c t u r a l i s m , " B o u r d i e u ( 1 9 7 7 ) d e s c r i b e s h a b i t u s a s a m e d i a t i n g c o n s t r u c t t h a t l i n k s a g e n c y a n d s t r u c t u r e . He e x p l a i n s t h a t i n d i v i d u a l a n d g r o u p h a b i t u s i n v o l v e d i s p o s i t i o n s t h a t g u i d e t h e p r o d u c t i o n , r e p r o d u c t i o n , a n d s t r u c t u r a t i o n o f p r a c t i c e s w i t h i n a n d a c r o s s f i e l d s . F i e l d s r e p r e s e n t a r e n a s o f u n e q u a l p o w e r r e l a t i o n s among p e o p l e c o m p e t i n g f o r c a p i t a l o r t h e m a j o r s t a k e s i n a f i e l d . B o u r d i e u ( 1 9 8 6 a ) s u g g e s t s t h a t v a r i o u s f o r m s o f c a p i t a l m e d i a t e human a c t i v i t y . He c l a s s i f i e s t h e f o r m s a s " c u l t u r a l , " " s o c i a l , " " e c o n o m i c , " a n d " s y m b o l i c " c a p i t a l . He d e s c r i b e s " c u l t u r a l c a p i t a l " a s l e g i t i m a t e k n o w l e d g e m a n i f e s t i n d i s p o s i t i o n s , c u l t u r a l g o o d s , a n d q u a l i f i c a t i o n s , " s o c i a l c a p i t a l " a s g r o u p 4 8 m e m b e r s h i p a n d v a l u e d r e l a t i o n s h i p s , " e c o n o m i c c a p i t a l " a s f i n a n c i a l r e s o u r c e s , a n d " s y m b o l i c c a p i t a l " a s p o w e r t o g e n e r a t e " r e c o g n i t i o n " o r l e g i t i m a c y f r o m " m i s r e c o g n i t i o n " o r i l l e g i t i m a c y ( B o u r d i e u , 1 9 9 0 ) . T h i s p r o c e s s c a n b e u n d e r s t o o d a s a f o r m o f h e g e m o n y w h e r e i n i n d i v i d u a l s w i l l i n g l y p a r t i c i p a t e i n p r a c t i c e s t h a t n e g a t i v e l y d i s c r i m i n a t e a g a i n s t t h e m . B o u r d i e u ( 1 9 7 4 ) d e s c r i b e s " g i f t e d n e s s " a s a n i d e o l o g y a n d s e t o f p r a c t i c e s i n s c h o o l s t h a t t r a n s f o r m c u l t u r a l a n d s o c i a l c a p i t a l i n t o i n s t i t u t i o n a l i z e d c u l t u r a l c a p i t a l . B y a w a r d i n g a l l e g e d l y i m p a r t i a l q u a l i f i c a t i o n s . . . f o r s o c i a l l y c o n d i t i o n e d a p t i t u d e s w h i c h i t t r e a t s a s u n e q u a l ' g i f t s ' , ( t h e s c h o o l ) t r a n s f o r m s d e f a c t o i n e q u a l i t i e s i n t o d e j u r e o n e s a n d e c o n o m i c a n d s o c i a l d i f f e r e n c e s i n t o d i s t i n c t i o n s o f q u a l i t y , a n d l e g i t i m a t e s t h e t r a n s m i s s i o n o f c u l t u r a l h e r i t a g e . . . . T h e i d e o l o g y o f g i f t e d n e s s , t h e c o r n e r s t o n e o f t h e w h o l e e d u c a t i o n a l a n d s o c i a l s y s t e m , h e l p s t o e n c l o s e t h e u n d e r p r i v i l e g e d c l a s s e s i n r o l e s w h i c h s o c i e t y h a s g i v e n t h e m b y m a k i n g t h e m s e e a s n a t u r a l i n a b i l i t y t h i n g s w h i c h a r e o n l y a r e s u l t o f i n f e r i o r s o c i a l s t a t u s , a n d b y p e r s u a d i n g t h e m t h a t t h e y owe t h e i r s o c i a l f a t e ( w h i c h i s i n c r e a s i n g l y t i e d t o t h e i r e d u c a t i o n a l f a t e ) t o t h e i r i n d i v i d u a l n a t u r e a n d t h e i r l a c k o f g i f t s , ( p p . 1 1 5 - 1 1 6 ) B o u r d i e u ( 1 9 9 2 ) s e e s f o r c e s i n v o l v e d i n d e t e r m i n i n g t h e m a j o r s t a k e o r c a p i t a l i n a f i e l d a s s t r u c t u r i n g p r o c e d u r e s a n d a c t i o n s b y w h i c h p e o p l e p r o d u c e , o b t a i n , a n d c o n v e r t c a p i t a l . S i m i l a r t o 4 9 W e r t s c h ' s a n d R u p e r t ' s ( 1 9 9 3 ) i n t e r e s t i n f o r c e s t h a t s h a p e m e d i a t i o n a l m e a n s , B o u r d i e u ( 1 9 9 2 ) i s i n t e r e s t e d i n f o r c e s t h a t s h a p e means b y w h i c h c a p i t a l i s p r o d u c e d , d i s t r i b u t e d , a n d e x c h a n g e d i n a f i e l d . T h e f o r c e s t h a t a r e a c t i v e i n t h e f i e l d - a n d t h u s s e l e c t e d b y t h e a n a l y s t a s p e r t i n e n t b e c a u s e t h e y p r o d u c e t h e m o s t r e l e v a n t d i f f e r e n c e s — a r e t h o s e w h i c h d e f i n e t h e s p e c i f i c c a p i t a l . . . . ( c a p i t a l ) c o n f e r s a p o w e r o v e r t h e f i e l d , o v e r t h e m a t e r i a l i z e d o r e m b o d i e d i n s t r u m e n t s o f p r o d u c t i o n o r r e p r o d u c t i o n w h o s e d i s t r i b u t i o n c o n s t i t u t e s t h e v e r y s t r u c t u r e o f t h e f i e l d , a n d o v e r t h e r e g u l a r i t i e s a n d t h e r u l e s w h i c h d e f i n e t h e o r d i n a r y f u n c t i o n i n g o f t h e f i e l d , a n d t h e r e b y o v e r t h e p r o f i t s e n g e n d e r e d i n i t T h e s t r a t e g i e s o f a g e n t s d e p e n d o n t h e i r p o s i t i o n i n t h e f i e l d , t h a t i s , i n t h e d i s t r i b u t i o n o f t h e s p e c i f i c c a p i t a l , a n d o n t h e p e r c e p t i o n t h a t t h e y h a v e o f t h e f i e l d d e p e n d i n g o n t h e p o i n t o f v i e w t h e y t a k e o n t h e f i e l d a s a v i e w t a k e n f r o m a p o i n t i n t h e f i e l d . ( B o u r d i e u , 1 9 9 2 , p . 1 0 1 ) I d e t e c t a s i m i l a r i t y o f p u r p o s e b e t w e e n W e r t s c h ' s ( 1 9 9 1 ; 1 9 9 5 ) i n t e r p r e t a t i o n o f m e d i a t i o n a l m e a n s , a n d B o u r d i e u ' s ( 1 9 8 6 a ) i n t e r p r e t a t i o n o f c a p i t a l . T h a t i s , m e d i a t i o n a l means a n d c a p i t a l a r e b r i d g i n g c o n c e p t s i n t h e i r i n t e r p r e t a t i o n s o f t h e r e l a t i o n s h i p b e t w e e n a g e n c y a n d s t r u c t u r e a s d i a l e c t i c a l . F r o m W e r t s c h ' s s t a n d p o i n t , m e d i a t i o n a l m e a n s b r i d g e p e o p l e s ' a c t i o n s a n d c u l t u r a l , s o c i a l , a n d i n s t i t u t i o n a l s e t t i n g s . F r o m B o u r d i e u ' s s t a n d p o i n t , f o r c e s i n v o l v e d i n d e f i n i n g t h e m a j o r s t a k e o r c a p i t a l i n a f i e l d s t r u c t u r e m e a n s a n d 5 0 p r a c t i c e s b y w h i c h p e o p l e g e n e r a t e , a c q u i r e , a n d c o n v e r t c a p i t a l . B o u r d i e u ( 1 9 9 0 ) u s e s a game m e t a p h o r t o i l l u s t r a t e r e l a t i o n s h i p s among h a b i t u s , p r a c t i c e , f i e l d , a n d c a p i t a l . He d e s c r i b e s h a b i t u s a s a " f e e l f o r t h e game" t h a t e n a b l e s p e o p l e t o a c t i n c o r r e s p o n d e n c e w i t h t h e r u l e s o f a p a r t i c u l a r f i e l d , w h i l e e n a b l i n g some p l a y e r s t o u s e s t r a t e g i e s t h a t b r i n g h i g h e r s c o r e s t h a n o t h e r s . He p o i n t o u t s t h a t l i m i t a t i o n s o f p l a y e r s ' a c t i o n s r e f l e c t l i m i t a t i o n s o f t h e game . B o u r d i e u ' s i n t e r e s t i n l i m i t a t i o n s p l a c e d b y s o c i a l s t r u c t u r e s o n a g e n c y , r e s e m b l e s W e r t s c h ' s ( 1 9 9 1 ; 1 9 9 5 ) i n t e r e s t i n f o r c e s t h a t s h a p e m e d i a t i o n a l m e a n s a n d w a y s i n w h i c h m e d i a t i o n a l m e a n s l i m i t a c t i o n . B o u r d i e u ' s ( 1 9 9 0 ) v i e w t h a t a c t i o n m u s t b e u n d e r s t o o d i n t e r m s o f a d i a l e c t i c a l r e l a t i o n s h i p b e t w e e n a g e n c y a n d s o c i a l s t r u c t u r e , i s s i m i l a r t o W e r t s c h ' s i d e a t h a t a c t i o n m u s t b e u n d e r s t o o d w i t h i n t h e c o n t e x t o f p e o p l e u s i n g m e d i a t i o n a l m e a n s d u r i n g p u r p o s e f u l a c t i v i t y w i t h i n a n d a c r o s s c u l t u r a l , h i s t o r i c a l , a n d i n s t i t u t i o n a l c o n t e x t s . A l t h o u g h t h e y u s e v e r y d i f f e r e n t l a n g u a g e t o c o m m u n i c a t e t h e i r i d e a s , B o u r d i e u ( 1 9 9 0 ) a n d W e r t s c h ( 1 9 9 1 ; 1 9 9 5 ) s h a r e t h e same 51 p o l i t i c a l p r o j e c t . T h e i r t h e o r i e s o f f e r f r a m e w o r k s f o r e x a m i n i n g how d i a l e c t i c a l i n t e r p r e t a t i o n s o f a g e n c y a n d s t r u c t u r e c h a n g e , c h a n g e w i t h , a n d a r e c h a n g e d b y t h e p o l i t i c s o f k n o w l e d g e p r o d u c t i o n i n f i e l d s o f e d u c a t i o n , p o l i t i c s , a n d t h e e c o n o m y . B o u r d i e u ' s <1990) a n d W e r t s c h ' s ( 1 9 9 1 ; 1 9 9 5 ) a s s u m p t i o n s t h a t k n o w l e d g e a n d l e a r n i n g a r e s o c i a l l y s i t u a t e d w i t h i n s e t t i n g s c h a r a c t e r i z e d b y u n e q u a l r e l a t i o n s o f p o w e r among p e o p l e , h e l p e d me t o u n d e r s t a n d how a n a p p r o a c h t o a s s e s s m e n t — e v a l u a t i o n a s s o c i a l l y s i t u a t e d p r a c t i c e m i g h t c o n t r i b u t e t o m o r e e q u i t a b l e a s s e s s m e n t — e v a l u a t i o n p o l i c y a n d c l a s s r o o m a s s e s s m e n t — e v a l u a t i o n p r a c t i c e s . I n t h e f i n a l s e c t i o n s o f t h i s c h a p t e r , I l o o k a t r e l a t e d p e r s p e c t i v e s r e g a r d i n g s o c i o c u l t u r a l a n d s o c i a l r e s e a r c h . R e l a t e d P e r s p e c t i v e s - S o c i o c u l t u r a l R e s e a r c h L i k e W e r t s c h <1991 ; 1 9 9 5 ) , R o g o f f <1989) s e e s l e a r n i n g , o r c o g n i t i o n , a s d i a l e c t i c a l l y s i t u a t e d . S h e e x p l a i n s t h a t c o g n i t i v e d e v e l o p m e n t i n v o l v e s " d e v e l o p m e n t o f s k i l l w i t h c u l t u r a l t o o l s t h r o u g h p a r t i c i p a t i o n a n d c o m m u n i c a t i o n w i t h m o r e s k i l l e d p a r t n e r s " <p. 8 ) . R o g o f f ' s s o c i o c u l t u r a l a p p r o a c h t o c o g n i t i o n i n v o l v e s d i f f e r e n t y e t m u t u a l l y c o n s t i t u t e d 5 2 l e v e l s o f c u l t u r a l , i n t e r p e r s o n a l , a n d i n t r a p e r s o n a l s o c i o c u l t u r a l a c t i v i t y . L i k e R o g o f f ( 1 9 8 9 ) , a n e m p h a s i s o n t h e d i a l e c t i c a l r e l a t i o n s h i p b e t w e e n c o g n i t i o n a n d c o n t e x t f r a m e s L a v e a n d U e n g e r ' 5 ( 1 9 9 1 ) t h e o r y r e g a r d i n g s i t u a t e d l e a r n i n g . F r o m t h e i r s t u d i e s o f a p p r e n t i c e s h i p among Y u c a t e c m i d w i v e s , V a i a n d G o l a t a i l o r s , n a v a l q u a r t e r m a s t e r s , m e a t c u t t e r s , a n d n o n d r i n k i n g a l c o h o l i c s , L a v e a n d U e n g e r i n t e r p r e t l e a r n i n g a s s i t u a t e d a c t i v i t y w i t h i n c o m m u n i t i e s o f k n o w l e d g e a n d p r a c t i c e . T h e y e x p l a i n t h a t l e a r n i n g t a k e s p l a c e when a p e r s o n ' s i n t e n t i o n s t o l e a r n a r e e n g a g e d a n d t h e m e a n i n g o f l e a r n i n g i s c o n f i g u r e d t h r o u g h t h e p r o c e s s o f b e c o m i n g a f u l l p a r t i c i p a n t i n a s o c i o c u l t u r a l p r a c t i c e . T h i s s o c i a l p r o c e s s i n c l u d e s , i n d e e d i t s u b s u m e s , t h e l e a r n i n g o f k n o w l e d g e a b l e s k i l l s , ( p . 2 9 ) L a v e ( 1 9 8 8 ) a r g u e s t h a t human c o g n i t i o n i s a c o m p l e x s o c i o c u l t u r a l a n d h i s t o r i c a l p h e n o m e n o n . S h e s u g g e s t s t h a t c o g n i t i o n i s s i t u a t e d i n human p r a c t i c e s a n d i s " . . . d i s t r i b u t e d - s t r e t c h e d o v e r , n o t d i v i d e d among — m i n d , b o d y , a c t i v i t y a n d c u l t u r a l l y o r g a n i z e d s e t t i n g s ( w h i c h i n c l u d e o t h e r a c t o r s ) " ( L a v e , 1 9 8 8 , p . 1 ) . B a k e r — S e n n e t , M a t u s o v , a n d R o g o f f ( 1 9 9 2 ) d e s c r i b e c h i l d r e n ' s p l a y c r a f t i n g a s a s o c i o c u l t u r a l p r o c e s s . 5 3 B a k e r - S e n n e t ( 1 9 9 5 ) e x p l a i n s t h a t c h i l d r e n ' s a c t i v i t i e s a s s o c i a t e d w i t h i m p r o v i s a t i o n , p l a n n i n g , a n d c r e a t i v i t y a r e m u t u a l l y c o n s t i t u t i v e o f f u t u r e o r i e n t e d p r o c e s s e s . C h i l d r e n i n t e r a c t i n g w i t h i n , a n d a c r o s s , s h i f t i n g c o n t e x t s o f s p a c e a n d t i m e c o - c o n s t r u c t a n d c h a n g e i n t e r p r e t a t i o n s o f w h a t c o u n t s a s f u t u r e . P l a y -c r a f t i n g a c t i v i t i e s i n v o l v e u n c e r t a i n t y , i n s i g h t , c o g n i t i v e l e a p i n g , r i s k - t a k i n g , a n d f l e x i b i l i t y i n p r o b l e m — s o l v i n g s i t u a t i o n s . I a s s u m e t h a t c o g n i t i o n , k n o w l e d g e , a b i l i t y , i n t e l l i g e n c e , a c h i e v e m e n t , e v a l u a t i o n , a n d a s s e s s m e n t a r e s o c i a l l y , c u l t u r a l l y , h i s t o r i c a l l y , a n d i n s t i t u t i o n a l l y s i t u a t e d . W i t h i n t h i s c o n t e x t , t h e y a r e c u l t u r a l l y - v a l u e d i d e a s a n d p r a c t i c e s t h a t a r e s o c i a l l y s i t u a t e d i n u n e q u a l r e l a t i o n s o f p o w e r among p e o p l e e n g a g e d i n p u r p o s e f u l a c t i v i t y . F o r e x a m p l e , i n t e l l i g e n c e r e p r e s e n t s s o c i a l l y a n d c u l t u r a l l y — v a l u e d h i g h — s t a t u s k n o w l e d g e ( S t e r n b e r g , 1 9 8 5 ; G a r d n e r , 1 9 8 6 ; R e y n o l d s , 1 9 9 1 , 1 9 9 5 ) . I n a 1 9 8 6 s u r v e y , 29% o f " e x p e r t s " i n c l u d e d " t h a t w h i c h i s v a l u e d b y c u l t u r e " i n d e f i n i t i o n s o f i n t e l l i g e n c e ( S t e r n b e r g & B e r g , 1 9 8 6 , p . 1 5 8 ) . N o n e o f t h e r e s p o n d e n t s i n a 1921 s u r v e y a s s o c i a t e d c u l t u r e w i t h i n t e l l i g e n c e . 5 4 I n h i s t h e o r y o f " m u l t i p l e i n t e l l i g e n c e s , " H o w a r d G a r d n e r ( 1 9 9 3 ) , p r o f e s s o r o f p s y c h o l o g y a t H a r v a r d U n i v e r s i t y , e x p l a i n s t h a t i n t e l l i g e n c e m u s t b e u n d e r s t o o d f r o m t h e s t a n d p o i n t s o f s o c i a l a n d c u l t u r a l c o n t e x t s w i t h i n w h i c h i t i s v a l u e d . G i v e n t h e w i d e r a n g e o f c o m p e t e n c i e s . . . t h a t a r e v a l u e d a r o u n d t h e w o r l d , w h a t i s t h e n a t u r e o f t h e m i n d t h a t c a n g i v e r i s e t o a p l e t h o r a o f p o s s i b i l i t i e s ? P o s i n g t h e q u e s t i o n i n t h i s way w a s h e t e r o d o x : i t made n o u s e o f s t a n d a r d i z e d t e s t s ; i t f o c u s e d o n m e a n i n g f u l r o l e s i n a s o c i e t y r a t h e r t h a n o n a b s t r a c t c o m p e t e n c i e s ; a n d i t h a r b o r e d a c u l t u r a l l y r e l a t i v e p e r s p e c t i v e . S o l o n g a s a c a p a c i t y h a s v a l i d i t y i n a c u l t u r e , i t c a n c o u n t a s a n i n t e l l i g e n c e ; b u t i n t h e a b s e n c e o f s u c h a c u l t u r a l o r " f i e l d " e n d o r s e m e n t , a c a p a c i t y w o u l d n o t b e c o n s i d e r e d a n i n t e l l i g e n c e . <p. 5 3 - 5 4 ) F r o m p a s t e x p e r i e n c e s a s a t e a c h e r a n d r e s e a r c h e r , I l e a r n e d t h a t p e o p l e s ' i n t e r p r e t a t i o n s o f , a n d r e s p o n s e s t o , c o g n i t i o n , k n o w l e d g e , a b i l i t y , i n t e l l i g e n c e , a c h i e v e m e n t , e v a l u a t i o n , a n d a s s e s s m e n t s i g n i f i e d t h e n a t u r e o f s i g n i f i c a n t k n o w l e d g e a t a p a r t i c u l a r t i m e , a n d w i t h i n a s p e c i f i c c o n t e x t . I a l s o l e a r n e d t h a t t h e p o w e r t o name o r i n t e r p r e t w h a t c o u n t s a s c o g n i t i o n , k n o w l e d g e , a b i l i t y , i n t e l l i g e n c e , a c h i e v e m e n t , e v a l u a t i o n , a n d a s s e s s m e n t w a s n o t e q u a l l y d i s t r i b u t e d among p e o p l e . T h a t i s , some p e o p l e s ' i n t e r p r e t a t i o n s o f t h e s e i d e a s a n d t h e i r a p p l i c a t i o n s 5 5 w e r e p r i v i l e g e d b y a s s e s s m e n t p o l i c y a n d c l a s s r o o m a s s e s s m e n t p r a c t i c e s , a n d n o t o t h e r s . R e l a t e d P e r s p e c t i v e s - S o c i a l T h e o r y When a s s e s s m e n t - e v a l u a t i o n i s e x a m i n e d t h r o u g h a l e n s o f e c o n o m i c t h e o r y , l e a r n i n g , a b i l i t y , i n t e l l i g e n c e , a n d a c h i e v e m e n t a r e u n d e r s t o o d a c c o r d i n g t o t h e i r e x c h a n g e v a l u e . W i t h i n t h i s c o n t e x t , s t u d e n t s m i g h t b e s e e n a s human c a p i t a l . B o u r d i e u ( 1 9 7 4 ) c o n t e n d s t h a t t h e i d e o l o g y o f t e s t i n g p r o m o t e s n o r m -r e f e r e n c e d t e s t s a s " o b j e c t i v e " ( i . e . , n e u t r a l o r u n b i a s e d ) m e a s u r e s o f s t u d e n t s ' a b i l i t i e s a n d a c h i e v e m e n t s . He a d d s t h a t c l a s s i f i c a t i o n o f a s t u d e n t a c c o r d i n g t o t h e c o n v e r s i o n v a l u e o f h e r / h i s c u l t u r a l c a p i t a l i s o b s c u r e d b y t h e n o r m i n g p r o c e s s . C o n v e r s i o n o f c a p i t a l o c c u r s when t h e c u l t u r a l c a p i t a l o f t h e s t u d e n t i s t e s t e d i n r e l a t i o n t o t h e d o m i n a n t c u l t u r a l c a p i t a l o f t h e n o r m i n g g r o u p . B o u r d i e u ( 1 9 7 4 ) c o n c l u d e s t h a t n o r m a t i v e a p p r o a c h e s t o a s s e s s m e n t p r i v i l e g e t h e i n t e r e s t s o f s t u d e n t s r e p r e s e n t e d b y t e s t s ' n o r m s . C l o s e l y r e l a t e d t o B o u r d i e u ' s ( 1 9 7 4 ) c o n c e r n t h a t s c h o o l i n g ' s o r g a n i z a t i o n a l p r o c e s s e s a n d p r a c t i c e s r e p r o d u c e i n e q u a l i t i e s among p e o p l e , a r e s t u d i e s b y 5 6 C i c o u r e l a n d K i t s u s e ( 1 9 6 3 ) , R i s t ( 1 9 7 0 ) , a n d A n y o n ( 1 9 8 1 ) . C i c o u r e l a n d K i t s u s e ' s ( 1 9 6 3 ) c r i t i q u e o f t h e r e l a t i o n s h i p b e t w e e n a b i l i t y a n d t h e p r o v i s i o n o f e q u a l e d u c a t i o n a l o p p o r t u n i t y r a i s e s i m p o r t a n t i s s u e s r e g a r d i n g s t u d i e s o f a s s e s s m e n t — e v a l u a t i o n . T h e i r c a s e s t u d y o f L a k e s h o r e H i g h S c h o o l c h a l l e n g e s t h e a s s u m p t i o n t h a t " . . . e q u a l e d u c a t i o n a l o p p o r t u n i t i e s f o r s t u d e n t s o f e q u a l c a p a b i l i t y a r e i n s u r e d b y t h e u s e o f t e s t i n g d e v i c e s " ( p . 1 4 3 ) . T h e y c o n c l u d e t h a t t e s t s c o m m i t s c h o o l s t o s c o r e s t h a t a r e p r o d u c e d b y t h e s e p r a c t i c e s . I n a d d i t i o n , s o c i a l - c l a s s s t a n d i n g w a s a n i m p o r t a n t f a c t o r i n p r o c e s s i n g s t u d e n t s . R i s t ' s ( 1 9 7 0 ) s i n g l e c a s e s t u d y o f o n e e l e m e n t a r y s c h o o l r e v e a l e d t h a t g r o u p i n g p r a c t i c e s p r i v i l e g e d s t u d e n t s f r o m m i d d l e — a n d u p p e r — c l a s s f a m i l i e s . When t e a c h e r s b a s e d t h e i r e x p e c t a t i o n s o f s t u d e n t a c h i e v e m e n t a c c o r d i n g t o s o c i a l c l a s s , t h e y p r i v i l e g e d t h e i n t e r e s t s o f s t u d e n t s f r o m h i g h s o c i o e c o n o m i c g r o u p s . A n y o n ' s ( 1 9 8 1 ) m u l t i p l e c a s e s t u d y o f t h e f i f t h a n d s e c o n d g r a d e s i n f i v e e l e m e n t a r y s c h o o l s i n New J e r s e y f o u n d t h a t e d u c a t i o n a l k n o w l e d g e w a s d i f f e r e n t i a l l y d i s t r i b u t e d a c c o r d i n g t o t h e s o c i a l 5 7 c l a s s s t a n d i n g s o f t h e s t u d e n t s . A l t h o u g h t h e r e w e r e s i m i l a r i t i e s i n t h e i r c u r r i c u l a , t h e r e w e r e n o t a b l e d i f f e r e n c e s i n t h e s t r u c t u r e a n d t h e c o n t e n t o f t h e k n o w l e d g e w h i c h w a s o f f e r e d b y e a c h o f t h e s c h o o l s . A s s u m p t i o n s r e g a r d i n g w h a t c o u n t e d a s k n o w l e d g e , a b i l i t y , a c h i e v e m e n t , a n d a s s e s s m e n t - e v a l u a t i o n w e r e i m p l i c i t w i t h i n t h e e d u c a t i o n a l c o n t e x t s s t u d i e d b y C i c o u r e l a n d K i t s u s e ( 1 9 6 3 ) , R i s t ( 1 9 7 0 ) , a n d A n y o n ( 1 9 8 1 ) . O v e r a l l , p e r f o r m a n c e c r i t e r i a a n d a c h i e v e m e n t s t a n d a r d s w e r e d r a w n f r o m t e s t s , t e a c h e r s * g r o u p i n g p r o c e d u r e s , a n d t e a c h e r s ' e x p e c t a t i o n s o f s t u d e n t a c h i e v e m e n t b a s e d u p o n s o c i a l — c l a s s s t a n d i n g . Cone 1 u s i o n I h a v e c r a f t e d t h i s r e v i e w o f t h e l i t e r a t u r e t o p e r s u a d e r e a d e r s t h a t i n t e r p r e t a t i o n s o f a s s e s s m e n t -e v a l u a t i o n a r e c o n s t r u c t e d b y , a n d c o n s t r u c t , u n e q u a l r e l a t i o n s o f p o w e r among p e o p l e . T h e p o w e r t o name a n d i n t e r p r e t w h a t c o u n t s a s a s s e s s m e n t - e v a l u a t i o n r e p r e s e n t s a k e y s t a k e i n t h e p o l i t i c s o f k n o w l e d g e p r o d u c t i o n w i t h i n t h e f i e l d o f e d u c a t i o n . I n t e r p r e t i v e r e s e a r c h m e t h o d s o f f e r a n a p p r o a c h t o t h e s t u d y o f a s s e s s m e n t - e v a l u a t i o n t h a t h o n o u r s t h e r o l e o f c o n t e x t i n p e o p l e s ' u n d e r s t a n d i n g o f , a n d 5 8 r e s p o n s e s t o , e d u c a t i o n p o l i c y a n d c l a s s r o o m a s s e s s m e n t — e v a l u a t i o n p r a c t i c e s . . . . i n t e r p r e t i v e m e t h o d s c a n i l l u s t r a t e some o f t h e m o r e s u b t l e w a y s i n w h i c h a s s e s s m e n t c h o i c e s i n t e r a c t w i t h t h e l o c a l c o n t e x t , a f f e c t i n g t h e v a l i d i t y o f t h e i n t e n d e d i n t e r p r e t a t i o n a n d t h e c o n s e q u e n c e s o f a s s e s s m e n t u s e — how t h e l o c a l c o n t e x t t r a n s f o r m s a n d i s t r a n s f o r m e d b y a s s e s s m e n t p r a c t i c e . . . . w e b e c o m e b e t t e r a b l e t o t h e o r i z e a n d e v a l u a t e c o m p l e x w a y s t h a t a s s e s s m e n t p r a c t i c e s w o r k w i t h i n a n e d u c a t i o n a l s y s t e m . A n d we b e c o m e b e t t e r a b l e t o d e b a t e a n d r e a c h s o u n d d e c i s i o n s a p p r o p r i a t e t o a g i v e n a s s e s s m e n t p u r p o s e a n d c o n t e x t . ( M o s s , 1 9 9 6 , p . 2 3 ) I n t e r p r e t i v e m e t h o d s g e n e r a t e i m p o r t a n t i n f o r m a t i o n a b o u t e d u c a t i o n p o l i c y a n d c l a s s r o o m a s s e s s m e n t -e v a l u a t i o n p r a c t i c e s f r o m t h e s t a n d p o i n t s o f t e a c h e r s , s t u d e n t s , p a r e n t s , a n d a d m i n i s t r a t i o n . 5 9 RESEARCH D E S I G N I f e e l r e a l l y g o o d t h a t A n n e h a s s t a r t e d t o p l a n f o r my b e i n g i n t h e c l a s s . A n d i t ' s r e a s s u r i n g t o know t h a t I o n l y h a v e t o g e t my name t a g a n d n o t s i g n i n . A n d I h a v e a s p a c e i n t h e l i b r a r y c a r d b o x w i t h t h e o t h e r t e a c h e r s ( F i e l d - N o t e , 1 . 1 3 . 9 5 ) . J T h i s c a s e s t u d y s i t u a t e s c h a n g e s i n M i n i s t r y p o l i c y r e g a r d i n g a s s e s s m e n t a n d e v a l u a t i o n w i t h i n t h e c o n t e x t o f o n e g r a d e 5 / 6 c l a s s r o o m i n t h e L o w e r M a i n l a n d o f B r i t i s h C o l u m b i a . C a s e s t u d y r e s e a r c h r e p r e s e n t s a n a p p r o a c h t o e m p i r i c a l i n q u i r y t h a t e x a m i n e s a p a r t i c u l a r c o n t e x t i n d e t a i l ( Y i n , 1 9 9 4 ) . R i s t ( 1 9 7 0 ) e x p l a i n s t h a t a s i n g l e c a s e s t u d y o f a g r o u p o f s t u d e n t s o f f e r s a d e t a i l e d a n a l y s i s o f t h e i n t r i c a c i e s o f c l a s s r o o m l i f e o v e r a p e r i o d o f t i m e . He a d d s t h a t , " t h e c o m p l e x i t i e s o f t h e i n t e r a c t i o n a l p r o c e s s e s w h i c h e v o l v e o v e r t i m e w i t h i n c l a s s r o o m s c a n n o t b e d i s c e r n e d w i t h a s i n g l e two— o r t h r e e - h o u r o b s e r v a t i o n a l p e r i o d " ( p . 7 5 ) . My c h o i c e o f a c a s e s t u d y a p p r o a c h f o r t h i s s t u d y r e s p o n d s t o M a r s h a l l a n d R o s s m a n ' s ( 1 9 8 9 ) v i e w t h a t " . . . t h e s t r e n g t h o f q u a l i t a t i v e s t u d i e s s h o u l d b e d e m o n s t r a t e d f o r r e s e a r c h t h a t i s e x p l o r a t o r y o r d e s c r i p t i v e , a n d t h a t s t r e s s e s t h e i m p o r t a n c e o f c o n t e x t , s e t t i n g , a n d s u b j e c t ' s f r a m e o f r e f e r e n c e " ( p . 4 -6) . I n a d d i t i o n t o a n e m p h a s i s o n c o n t e x t a n d p a r t i c i p a n t s ' f r a m e s o f r e f e r e n c e , t h i s s t u d y i s q u a l i t a t i v e b e c a u s e f i n d i n g s w e r e n o t g e n e r a t e d b y s t a t i s t i c a l m e a n s , o r o t h e r m o d e s o f q u a n t i f i c a t i o n ( S t r a u s s & C o r b i n , 1 9 9 0 ) . My u s e o f p a r t i c i p a n t -o b s e r v a t i o n t e c h n i q u e s c h a r a c t e r i z e s t h e r e s e a r c h a s e t h n o g r a p h i c ( S p r a d l e y , 1 9 8 0 ; H a m m e r s l e y & A t k i n s o n , 1 9 8 3 ) . I d e c i d e d t o s i t u a t e t h e s t u d y i n a g r a d e 5 / 6 c l a s s r o o m b e c a u s e t h e i n t e r m e d i a t e d i v i s i o n w a s t h e f o c u s o f a c h a n g e i n p o l i c y r e g a r d i n g l e t t e r g r a d e s . B e g i n n i n g i n t h e s c h o o l y e a r 1 9 9 4 . - 9 5 , g r a d e s 4—7 t e a c h e r s w e r e i n s t r u c t e d t o u s e s t r u c t u r e d w r i t t e n c o m m e n t s a n d c r i t e r i o n - r e f e r e n c e d l e t t e r g r a d e s t o r e p o r t s t u d e n t a c h i e v e m e n t ( B r i t i s h C o l u m b i a M i n i s t r y o f E d u c a t i o n , 1 9 9 4 e ) . A l t h o u g h l e t t e r g r a d e s w e r e m a n d a t o r y , s c h o o l d i s t r i c t s d e c i d e d how t h e y w e r e c o m m u n i c a t e d t o p a r e n t s . P r e v i o u s l y , " Y e a r 2 0 0 0 " p o l i c y ( B r i t i s h C o l u m b i a M i n i s t r y o f E d u c a t i o n , 1 9 8 9 b ) e n c o u r a g e d t e a c h e r s t o w r i t e a n e c d o t a l r e p o r t s r e g a r d i n g s t u d e n t p r o g r e s s . L e t t e r g r a d e s w e r e o p t i o n a l . G r a d e 5 / 6 s t u d e n t s wer"e e x p e r i e n c e d w i t h t h e p r o c e s s o f s c h o o l i n g a n d w e r e c o n v e r s a n t i n t h e l a n g u a g e o f a s s e s s m e n t . T h e y w e r e e q u i p p e d t o d i s c u s s t h e i r s t a n d p o i n t s c o n c e r n i n g c l a s s r o o m a s s e s s m e n t -e v a l u a t i o n p r a c t i c e s d u r i n g i n f o r m a l l y — s t r u c t u r e d i n t e r v i e w s . G a i n i n g A c c e s s T h e s t u d y i n v o l v e d s e v e r a l s t a g e s o f a c c e s s n e g o t i a t i o n s . I t w a s f i r s t n e c e s s a r y t o l o c a t e a n i n t e r m e d i a t e t e a c h e r a n d p r i n c i p a l who w e r e w i l l i n g t o p a r t i c i p a t e i n t h e s t u d y . T h e n , I n e e d e d t o o b t a i n t h e p a r t i c i p a t i o n o f s t u d e n t s a n d t h e i r p a r e n t s . F i n a l l y , I h a d t o n e g o t i a t e t h e p a r t i c i p a t i o n o f o t h e r t e a c h e r s . I b e g a n n e g o t i a t i o n s i n t h e f a l l o f 1994 b y p r e s e n t i n g a n o v e r v i e w o f my s t u d y t o s e v e r a l f a c u l t y members a t t h e u n i v e r s i t y . I a s k e d i f t h e p r o f e s s o r s knew o f a t e a c h e r o r s c h o o l t h a t m i g h t b e i n t e r e s t e d i n my r e s e a r c h . A f t e r s e v e r a l u n s u c c e s s f u l a t t e m p t s , I m e t w i t h t h e D i r e c t o r o f t h e T e a c h e r E d u c a t i o n C e n t r e who t o l d me t h a t h e w a s i n v o l v e d w i t h a g r o u p o f i n t e r m e d i a t e t e a c h e r s i n t h e L o w e r M a i n l a n d who w e r e i n t e r e s t e d i n a s s e s s m e n t — e v a l u a t i o n . We a g r e e d t h a t h e 6 2 w o u l d m e n t i o n my s t u d y a t t h e i r n e x t T e a c h e r — A s -R e s e a r c h e r m e e t i n g . S e v e r a l d a y s l a t e r t h e D i r e c t o r n o t i f i e d me t h a t t h e " T e a c h e n — A s — R e s e a r c h e r " g r o u p h a d i n v i t e d me t o p a r t i c i p a t e i n a n u p c o m i n g m e e t i n g . T h e m e e t i n g f o c u s e d o n t h e i m p l e m e n t a t i o n o f p o l i c y r e g a r d i n g c r i t e r i o n — r e f e r e n c e d e v a l u a t i o n w i t h i n t h e c o n t e x t o f t h e s c i e n c e c u r r i c u l u m . D u r i n g t h e c o f f e e - b r e a k I m e t A n n e , a g r a d e 5 / 6 t e a c h e r . We s h a r e d o u r r e f l e c t i o n s o n t h e w o r k s h o p a n d a g r e e d t o m e e t i n f o r m a l l y t o d i s c u s s my s t u d y . When t h e m e e t i n g w a s a d j o u r n e d , t h e I n t e r m e d i a t e C o n s u l t a n t i n v i t e d me t o a t t e n d a n a l l - d a y p r o f e s s i o n a l d e v e l o p m e n t w o r k s h o p o n N o v e m b e r 3 , 1994- a t t h e D i s t r i c t O f f i c e . T h e m e e t i n g f o c u s e d o n i m p l e m e n t a t i o n o f p o l i c y r e g a r d i n g c r i t e r i o n — r e f e r e n c e d e v a l u a t i o n i n r e l a t i o n t o c l a s s r o o m p r a c t i c e s . I v i s i t e d A n n e d u r i n g t h e l a s t week o f O c t o b e r t o d i s c u s s my r e s e a r c h . We m e t i n f o r m a l l y i n h e r c l a s s r o o m a f t e r t h e s t u d e n t s h a d b e e n d i s m i s s e d . A n n e s a i d s h e w a s i n t e r e s t e d i n t h e s t u d y b e c a u s e s h e w a n t e d t o e x p l o r e i s s u e s a s s o c i a t e d w i t h c r i t e r i o n — r e f e r e n c e d e v a l u a t i o n i n h e r c l a s s r o o m p r a c t i c e . D u r i n g t w o b r i e f 6 3 c o n v e r s a t i o n s t h e f o l l o w i n g m o n t h , A n n e r e i t e r a t e d h e r i n t e r e s t i n o u r w o r k i n g t o g e t h e r . D u r i n g t h e f i r s t week o f D e c e m b e r , I r e c e i v e d a l e t t e r f r o m A n n e ' s S c h o o l B o a r d s t a t i n g t h a t my s t u d y h a d b e e n a p p r o v e d f o r i m p l e m e n t a t i o n i n s c h o o l s w i t h i n A n n e ' s s c h o o l d i s t r i c t . U p o n r e c e i p t o f t h i s i n f o r m a t i o n , I d e c i d e d t h a t i t w a s t i m e t o t a l k t o A n n e a n d h e r p r i n c i p a l , " G r a n t . " I knew t h a t S c h o o l B o a r d a p p r o v a l t o c o n d u c t t h e s t u d y i n W e s t h e i g h t s ' s c h o o l s d i d n o t g u a r a n t e e a c c e s s t o A n n e ' s s c h o o l . T h i s m e a n t t h a t I n e e d e d t o g a i n a c c e s s t o c o n d u c t t h e s t u d y f r o m t h e s c h o o l p r i n c i p a l . M o r e o v e r , I u n d e r s t o o d t h a t A n n e c o u l d n o t p a r t i c i p a t e i n t h e r e s e a r c h w i t h o u t h i s p e r m i s s i o n . I w a s a w a r e f r o m p a s t e x p e r i e n c e t h a t a p r i n c i p a l h a d t h e p o w e r t o make t h e f i n a l d e c i s i o n c o n c e r n i n g who g a i n e d a c c e s s t o a s c h o o l . I a l s o a s s u m e d t h a t a t e a c h e r c o u l d c h o o s e t o c l o s e a c c e s s t o h e r c l a s s r o o m t h r o u g h t h e a u t h o r i t y o f h e r p r i n c i p a l . I d e c i d e d t h a t a c c e s s n e g o t i a t i o n s t o A n n e ' s s c h o o l w o u l d b e f a c i l i t a t e d b y m e e t i n g w i t h A n n e a n d G r a n t t o d i s c u s s i n d e t a i l t h e n a t u r e a n d c o n d u c t o f my s t u d y . O u r m e e t i n g w a s h e l d i n A n n e ' s c l a s s r o o m o n D e c . 6 6 4 1994 a f t e r 3 : 0 0 p . m . d i s m i s s a l . G r a n t , A n n e , t h e D i r e c t o r o f t h e T e a c h e r E d u c a t i o n C e n t r e , a n d m y s e l f w e r e p r e s e n t . D u r i n g t h e m e e t i n g G r a n t e x p l a i n e d t h a t A n n e ' s p a r t i c i p a t i o n o n t h e " T e a c h e i — a s - R e s e a r c h e r " c o m m i t t e e e n h a n c e d h e r u n d e r s t a n d i n g o f t h e p o l i c y c h a n g e r e g a r d i n g c l a s s r o o m a s s e s s m e n t - e v a l u a t i o n p r a c t i c e s . He a d d e d t h a t t h e p o l i c y c h a n g e w a s new f o r e v e r y o n e a n d h e d i d n o t h a v e t h e a n s w e r r e g a r d i n g how i t s h o u l d b e i n t e r p r e t e d a n d i m p l e m e n t e d b y t e a c h e r s . G r a n t s u g g e s t e d t h a t t h e m a j o r p o l i c y c h a n g e f o r t e a c h e r s w a s t h e s h i f t f r o m n o r m - r e f e r e n c e d l e t t e r g r a d e s t o c r i t e r i o n — r e f e r e n c e d l e t t e r g r a d e s . He a d d e d t h a t a g r e a t d e a l o f w o r k a n d t i m e w a s r e q u i r e d o f many p e o p l e t o i n t e r p r e t a n d i m p l e m e n t t h e c h a n g e . G r a n t s a i d t h a t h e c o u l d n o t g u a r a n t e e t h e p a r t i c i p a t i o n o f t h e P h y s i c a l E d u c a t i o n t e a c h e r a n d M u s i c t e a c h e r i n t h e s t u d y b e c a u s e t h e y w e r e v e r y b u s y , a n d t h e M u s i c t e a c h e r w a s new t o t h e s c h o o l . He s u g g e s t e d t h a t I e x p l o r e t h e l e v e l o f i n t e r e s t o f t e a c h e r s a t some p o i n t d u r i n g t h e d a t a — c o l l e c t i o n p e r i o d , a n d t h a t I s p e n d a s much t i m e i n t h e s c h o o l a s p o s s i b l e s o t h a t t e a c h e r s c o u l d g e t t o know me. G r a n t i n v i t e d me t o a t t e n d a s t a f f m e e t i n g r e g a r d i n g 1 6 5 c r i t e r i o n - r e f e r e n c e d e v a l u a t i o n o n J a n u a r y 3 1 , 1 9 9 5 ; o n e o f t h e s c h o o l ' s p r o f e s s i o n a l d e v e l o p m e n t d a y s . We a l l a g r e e d t h a t I w o u l d b e g i n v i s i t i n g A n n e ' s c l a s s r o o m i n J a n u a r y 1 9 9 5 . We a l s o a g r e e d t h a t I w o u l d c o n s u l t w i t h A n n e a n d G r a n t t o d e t e r m i n e how a n d w h e n t o a p p r o a c h s t u d e n t s , p a r e n t s , a n d t e a c h e r s c o n c e r n i n g t h e i r p a r t i c i p a t i o n i n t h e s t u d y . A n n e s a i d t h a t s h e w o u l d a c t a s l i a i s o n b e t w e e n m y s e l f a n d t h e p r i n c i p a l . I a s k e d how i t w a s p o s s i b l e f o r me t o b e i n A n n e ' s c l a s s r o o m w i t h o u t c o n s e n t f r o m s t u d e n t s a n d p a r e n t s t o p a r t i c i p a t e i n t h e s t u d y . G r a n t r e p l i e d t h a t I w o u l d b e a r e s o u r c e p e r s o n i n t h e g r a d e 5 / 6 c l a s s r o o m . He s a i d t h a t h e w a s c o n f i d e n t I w o u l d b e u s e f u l t o A n n e b e c a u s e I w a s a n e x p e r i e n c e d e l e m e n t a r y s c h o o l t e a c h e r . G r a n t e n d e d h i s c o m m e n t s b y s a y i n g t h a t h e e x p e c t e d me t o s i g n i n a t t h e o f f i c e e a c h d a y , a n d w e a r a v i s i t o r ' s t a g a t a l l t i m e s . A s I l e f t t h e m e e t i n g , I r e f l e c t e d u p o n t h e c o m p l e x i t i e s o f a c c e s s n e g o t i a t i o n s . D i f f e r e n t p e o p l e h a d d i f f e r e n t s t a k e s i n my g a i n i n g a c c e s s t o A n n e ' s c l a s s r o o m . N o t o n l y d i d I h a v e t o c o n t i n u a l l y f i g u r e o u t who t h e s e p e o p l e w e r e , b u t I a l s o n e e d e d t o u n d e r s t a n d how t h e y w e r e c o n n e c t e d . I a l s o w a n t e d t o 6 6 b e s e n s i t i v e t o t h e i n t e r e s t s o f e v e r y o n e , a n d a t t h e same t i m e m a i n t a i n t h e i n t e g r i t y o f my r e s e a r c h . N e g o t i a t i o n s w e r e i n t e n s e b e c a u s e s t a k e s w e r e h i g h . A s s e s s m e n t - e v a l u a t i o n w a s a s e n s i t i v e i s s u e d u e t o i t s l i n k t o a c c o u n t a b i l i t y . W i t h t h e f i r s t s t a g e o f n e g o t i a t i o n s c o m p l e t e , I h a d g a i n e d t h e a p p r o v a l o f t h e S c h o o l B o a r d , p r i n c i p a l , a n d a t e a c h e r t o o b s e r v e i n t h e g r a d e 5 / 6 c l a s s r o o m . G e t t i n g c o n s e n t f r o m p a r e n t s a n d s t u d e n t s w a s t h e n e x t s t e p . A n n e a n d I a g r e e d t h a t I n e e d e d t o s p e n d t i m e i n t h e c l a s s r o o m b e f o r e s e n d i n g c o n s e n t f o r m s home f o r i n t e r v i e w s . S h e e x p l a i n e d t h a t s t u d e n t s n e e d e d t i m e t o g e t t o know me. P a r e n t s n e e d e d t i m e t o l e a r n a b o u t me t h r o u g h t h e i r c h i l d r e n s ' p e r c e p t i o n s . we a l s o a g r e e d t h a t s t u d e n t s w o u l d p r o b a b l y j o i n t h e s t u d y i f t h e i r f r i e n d s j o i n e d , a n d i f t h e y l i k e d me. L i k i n g me r e f l e c t e d a c o m p l e x a n d o n g o i n g p r o c e s s o f m u t u a l r e s p e c t a n d t r u s t among s t u d e n t s , A n n e , a n d m y s e l f . T h e p r o c e s s d e v e l o p e d w i t h i n a n d a c r o s s s h i f t i n g c o n t e x t s o f t i m e , s p a c e , a n d r e l a t i o n s h i p s . C o n t e x t s c o n s i s t e d o f o n g o i n g i n t e r a c t i o n s among A n n e , m y s e l f , a n d s t u d e n t s i n t h e c l a s s r o o m , s c h o o l l i b r a r y , 6 7 S p e c i a l E d u c a t i o n r e s o u r c e r o o m , c o m p u t e r r o o m , a n d o n f i e l d t r i p s . On F e b r u a r y 7 , 1 9 9 5 A n n e a n d I s e n t a l e t t e r home w i t h s t u d e n t s i n v i t i n g p a r e n t s t o a n i n f o r m a t i o n a l m e e t i n g r e g a r d i n g t h e s t u d y . C o n s e n t f o r m s f o r i n t e r v i e w s w e r e a t t a c h e d t o t h e i n v i t a t i o n s . T h e m e e t i n g w a s s c h e d u l e d f o r t h e e v e n i n g o f F e b r u a r y 2 1 , 1 9 9 5 i n t h e g r a d e 5 / 6 c l a s s r o o m . I b r o u g h t e n o u g h c o o k i e s , j u i c e , t e a , c o f f e e , m i l k , a n d s u g a r t o t h e m e e t i n g f o r t h i r t y p e o p l e . A n n e s u p p l i e d a l a r g e c o f f e e u r n . Two m o t h e r s a t t e n d e d t h e m e e t i n g . T h e y a s k e d A n n e a n d me how we g o t t o know e a c h o t h e r a n d how I b e c a m e i n t e r e s t e d i n t h i s r e s e a r c h . T h e y a l s o a s k e d i f I p l a n n e d t o d o a c o m p a r a t i v e s t u d y t h a t w o u l d i n v o l v e a s c h o o l i n a l o w e r s o c i o e c o n o m i c c o n t e x t . A s we e n d e d t h e m e e t i n g , o n e woman t o l d A n n e a n d me t h a t we s h o u l d n o t j u d g e t h e d e g r e e o f p a r e n t a l s u p p o r t f o r t h e s t u d y b y t h e e v e n i n g ' s p o o r t u r n o u t <FN, 2 . 2 1 . 9 6 > . C o n s e n t f o r m s w e r e r e t u r n e d t o s c h o o l w i t h i n s e v e r a l w e e k s o f t h e i r d i s t r i b u t i o n . A l l o f t h e s t u d e n t s a g r e e d t o p a r t i c i p a t e . T h r e e f a m i l i e s o f p a r e n t s r e f u s e d t o t a k e p a r t . When I s h a r e d t h e s e 6 8 r e s u l t s w i t h A n n e s h e s u g g e s t e d t h a t , b y t e l e p h o n i n g t h e p a r e n t s who d e c l i n e d , I c o u l d a d d r e s s a n y c o n c e r n s t h e y h a d . I a p p r e c i a t e d A n n e ' s r e c o m m e n d a t i o n b e c a u s e I w o u l d n o t h a v e c o n t a c t e d p a r e n t s w i t h o u t h e r a p p r o v a l . T h e f i r s t p a r e n t I c o n t a c t e d t o l d me t h a t s h e d i d n o t w a n t t o b e i n t e r v i e w e d b e c a u s e h e r E n g l i s h w a s p o o r . I r e a s s u r e d h e r t h a t I d i d n o t p e r c e i v e h e r E n g l i s h t o b e a p r o b l e m . S h e r e p l i e d t h a t a l t h o u g h s h e w o u l d a g r e e t o a t e l e p h o n e i n t e r v i e w , h e r h u s b a n d w a s t o o b u s y t o t a k e p a r t . T h e s e c o n d p a r e n t I c o n t a c t e d a g r e e d t o a n i n t e r v i e w a f t e r I r e v i e w e d t h e p u r p o s e a n d m e t h o d s o f t h e s t u d y . H o w e v e r , s h e a d d e d t h a t h e r h u s b a n d w a s t o o b u s y t o t a k e p a r t . T h e t h i r d p a r e n t , a s i n g l e m o t h e r , t o l d me t h a t s h e d i d n o t w a n t t o b e t a p e d . When I t o l d h e r t h a t t a p i n g w a s n o t n e c e s s a r y , s h e a g r e e d t o a n i n t e r v i e w . W i t h , p a r e n t n e g o t i a t i o n s c o m p l e t e d , I o b t a i n e d v e r b a l c o n f i r m a t i o n f r o m e a c h s t u d e n t c o n c e r n i n g t h e i r w i l l i n g n e s s t o b e i n t e r v i e w e d . S e e k i n g A n n e ' s a p p r o v a l t o t a l k t o p a r e n t s w a s m o r e t h a n a n a c t o f c o u r t e s y o n my p a r t . I t a l s o d e m o n s t r a t e d r e s p e c t f o r A n n e a s t h e t e a c h e r o f t h e 6 9 c l a s s . When I w a s t e a c h i n g , I e x p e c t e d g u e s t s i n my c l a s s r o o m t o know t h e i r p l a c e . I a n t i c i p a t e d t h a t A n n e e x p e c t e d t h e same o f me. My a b i l i t y t o e f f e c t i v e l y e x e r c i s e t a c t w i t h t e a c h e r s , s t u d e n t s , p a r e n t s , a n d a d m i n i s t r a t i o n w a s c o n t i n g e n t u p o n my u n d e r s t a n d i n g o f S c h o o l B o a r d , s c h o o l , a n d c l a s s r o o m p r o t o c o l . When I w a s n o t s u r e o f p r o t o c o l I a s k e d A n n e f o r g u i d a n c e . M o s t t i m e s I w a s g u i d e d i n my t a l k a n d a c t i o n s b y p a s t e x p e r i e n c e s a s a t e a c h e r . W i t h s t a g e t w o o f n e g o t i a t i o n s f i n i s h e d , I r e f l e c t e d u p o n t h e m e t h o d s I h a d u s e d t o s o l i c i t p a r t i c i p a n t s . I d e c i d e d t h a t t h e p a r e n t m e e t i n g w i t h t w o p e o p l e i n a t t e n d a n c e h a d n o t b e e n a u s e f u l s t r a t e g y . P a r e n t s t o l d me d u r i n g i n t e r v i e w s t h a t t h e i r d e c i s i o n t o p a r t i c i p a t e w a s b a s e d u p o n t h e i r c h i l d ' s p e r c e p t i o n s o f me. C l e a r l y , my a c c e s s t o p a r e n t s w a s s t r e n g t h e n e d b y w o r k i n g c o l l a b o r a t i v e l y w i t h A n n e a n d s t u d e n t s o v e r a p e r i o d o f t i m e . G e t t i n g c o n s e n t f r o m o t h e r t e a c h e r s d i r e c t l y i n v o l v e d w i t h t h e c l a s s r e p r e s e n t e d t h e t h i r d a n d f i n a l s t a g e o f a c c e s s n e g o t i a t i o n s . On s e p a r a t e o c c a s i o n s I m e t w i t h t h e S p e c i a l E d u c a t i o n R e s o u r c e t e a c h e r , t h e t w o L e a r n i n g A s s i s t a n c e t e a c h e r s , t h e M u s i c t e a c h e r , 7 0 a n d t h e P h y s i c a l E d u c a t i o n t e a c h e r t o d i s c u s s t h e p u r p o s e a n d c o n d u c t o f t h e s t u d y . A s a r e s u l t o f t h e m e e t i n g s a l l t e a c h e r s a g r e e d t o b e i n t e r v i e w e d . A t o t a l o f f i f t y — t h r e e p e o p l e h a d j o i n e d t h e s t u d y . T h i s n u m b e r c o n s i s t e d o f f i v e f e m a l e t e a c h e r s , o n e m a l e t e a c h e r , o n e m a l e p r i n c i p a l , e l e v e n f e m a l e s t u d e n t s , t h i r t e e n m a l e s t u d e n t s , t w e n t y — t h r e e m o t h e r s , a n d t h r e e f a t h e r s . A l t h o u g h a l l o f t h e f a m i l i e s w e r e r e p r e s e n t e d b y a t l e a s t o n e p a r e n t , t h e r e w a s a n o t i c e a b l e l a c k o f p a r t i c i p a t i o n b y f a t h e r s . When f a t h e r s d i d p a r t i c i p a t e , b o t h p a r e n t s w e r e i n v o l v e d i n t h e s t u d y . I n a l l t h r e e o f t h e s e c a s e s t h e f o c u s o f t h e i r i n v o l v e m e n t w a s a s o n . T h r o u g h o u t t h e d a t a — c o l l e c t i o n p e r i o d , I t r i e d t o e x e r c i s e t a c t a n d c o u r t e s y i n my r e l a t i o n s h i p s w i t h t e a c h e r s , s t u d e n t s , p a r e n t s , a n d a d m i n i s t r a t i o n . F o r e x a m p l e , o n e a f t e r n o o n s e v e r a l s t u d e n t s a s k e d me i f t h e y c o u l d l i s t e n t o r o c k m u s i c w h i l e t h e y w o r k e d . T h e g i r l s e x p l a i n e d t h a t A n n e h a d a l l o w e d t h e b o y s t o p l a y r o c k m u s i c . I t o l d t h e m t h a t I w o u l d a s k A n n e . When I a p p r o a c h e d A n n e w i t h t h e g i r l s ' r e q u e s t s h e h e a t e d l y e x p l a i n e d t h a t t h e r e w a s n o p l a c e f o r r o c k m u s i c i n a s c h o o l . I q u i e t l y r e t u r n e d t o my c h a i r . 71 When I l o o k e d i n t h e d i r e c t i o n o f t h e g i r l s , t h e i r f a c e s w e r e b u r i e d i n t h e i r a s s i g n m e n t s . T h e room w a s s o q u i e t y o u c o u l d h a v e h e a r d a p i n d r o p . I d e c i d e d t o r e t r e a t t o t h e w a s h r o o m . H e a d i n g down t h e h a l l I f e l t a t u g o n my a r m . One o f t h e g i r l s h a d f o l l o w e d me. S h e s a i d t h a t s h e a n d t h e o t h e r g i r l s w e r e s o r r y f o r h a v i n g s e t me u p . S h e w e n t o n t o e x p l a i n t h a t A n n e n e v e r a l l o w e d r o c k m u s i c i n t h e c l a s s r o o m a n d t h e g i r l s knew t h a t A n n e w o u l d n o t a g r e e t o my r e q u e s t . I t o l d h e r t h a t I r e s p e c t e d A n n e ' s d e c i s i o n s a n d t h a t w h a t h a p p e n e d w a s o k a y . A f t e r s c h o o l I a p o l o g i z e d t o A n n e r e g a r d i n g my r o l e i n t h e r o c k m u s i c i n c i d e n t . S h e r e i t e r a t e d h e r p o s i t i o n o n r o c k m u s i c a n d t h e n t o l d me i t w a s o k a y ; I j u s t h a d t o b e c a r e f u l a b o u t w h a t I d i d o n b e h a l f o f s t u d e n t s . We a g r e e d t h a t f r o m t h a t p o i n t o n s t u d e n t s ' m u s t r e f e r t h e i r q u e s t i o n s d i r e c t l y t o A n n e . T h e S c h o o l W h i l e t r a v e l l i n g t o W e s t h e i g h t s s c h o o l f o r my f i r s t v i s i t , I w a s s t r u c k b y t h e b e a u t y o f t h e n e i g h b o u r h o o d . L a r g e o n e a n d t w o — s t o r y h o u s e s p o s e d b e h i n d t h i c k h e d g e s a n d c o l o u r f u l g a r d e n s . B r a s s d o o r -f i t t i n g s a n d l e a d e d w i n d o w s g l e a m e d i n t h e a u t u m n 7 2 s u n s h i n e . S t r e e t s a d j a c e n t t o t h e s c h o o l w e r e g o r g e d w i t h c a r s t r a n s p o r t i n g s t u d e n t s . O u t s i d e o f s h o w r o o m s I h a d n o t s e e n s o many M e r c e d e s — B e n z s , L i n c o l n C o n t i n e n t a l s , S a a b s , J a g u a r s , P o r s h e s , a n d V o l v o ' s i n o n e p l a c e . D o g s p a r a d e d down t h e s i d e w a l k t o g r e e t y o u n g f a m i l y m e m b e r s . B r e e d s i n c l u d e d d a l m a t i a n , g e r m a n s h e p h e r d , p o o d l e , g o l d e n r e t r i e v e r , S c o t t i s h t e r r i e r , a n d s h i h — i s z u ; m o s t d o g s w e r e p u r e b r e d s . Some p e o p l e h a d t w o a n d t h r e e d o g s o n a l e a s h . D e s i g n e r l a b e l s l i k e C a l v i n K l e i n w e r e v i s i b l e o n some c l o t h i n g . Many women w o r e f a s h i o n a b l e e n s e m b l e s t h a t c o n s i s t e d o f s i l k , c a s h m e r e , w o o l , t w e e d , l e a t h e r , a n d d e n i m . T h e f e w men t h a t I s a w w o r e s u i t s a n d t i e s . Many k i d s w o r e Doc M a r t e n s h o e s , N i k e r u n n i n g s h o e s , a n d t r e n d y o u t f i t s . B o y s f a v o u r e d w e a r i n g r e v e r s e d b a l l — c a p s , mush room h a i r c u t s , b a g g y j e a n s , a n d o v e r s i z e d t - s h i r t s . G i r l s w o r e b a g g y j e a n s , s k i r t s , d r e s s e s , t i g h t s , a n d a v a r i e t y o f b l o u s e s , s h i r t s , a n d t — s h i r t s . T h e y w o r e t h e i r h a i r i n p o n y — t a i I s , s i d e b r a i d s , d r e d l o c k s , a n d s t r a n d s o f b e a d s . N a i l p o l i s h a p p e a r e d t o b e t h e f o c u s o f a t t e n t i o n among g i r l s . N a i l s w e r e e m b l a z o n e d w i t h 7 3 m u l t i - c o l o u r e d p o l k a — d o t s . Some s t u d e n t s d y e d t h e i r h a i r r e d , o r a n g e , a n d p l a t i n u m . I w o n d e r e d i f K o o l — a i d k i d s a n d D e n n i s Rodman h a d i n f l u e n c e d t h e i r c h o i c e o f c o l o u r . On s e v e r a l o c c a s i o n s , I h a d s e e n k i d s o n G r a n v i l l e S t r e e t who u s e d k o o l - a i d p o w d e r t o d y e t h e i r h a i r r e d , o r a n g e , g r e e n , a n d p u r p l e . M a g a z i n e s a n d t e l e v i s i o n c o m m e r c i a l s r e g u l a r l y f e a t u r e d D e n n i s R o d m a n , a n A f r o -A m e r i c a n b a s k e t b a l l p l a y e r , a t t i m e s s p o r t i n g p l a t i n u m b 1 o n d e h a i r . A l t h o u g h I h a v e s e e n h u n d r e d s o f s c h o o l s t t h r o u g h o u t my c a r e e r , W e s t h e i g h t s h e l d a s p e c i a l c h a r m . T h e s c h o o l b u i l d i n g t o w e r e d t w o s t o r i e s a b o v e a c i r c u l a r d r i v e . C l a s s r o o m s p e e r e d t h r o u g h m e s h - c o v e r e d w i n d o w s . E v e n t h o u g h t h e a r c h i t e c t u r e g a v e t h e s c h o o l a n i n s t i t u t i o n a l a p p e a r a n c e , W e s t h e i g h t s d i d n o t c o n v e y a s e n s e o f c o n f i n e m e n t . T h e m a i n e n t r a n c e w a s f r a m e d b y h e a v y d o u b l e d o o r s . W i t h some d i f f i c u l t y I o p e n e d t h e d o o r s a n d s t e p p e d i n t o a l a r g e f o y e r . P i c t u r e s o f s t u d e n t s a n d t e a c h e r s d e c o r a t e d t h e l o b b y . A t a r n i s h e d m e t a l p l a q u e i n d i c a t e d t h a t t h e s c h o o l w a s b u i l t i n 1 9 2 2 . F r o m o n e e n d o f t h e h a l l t o t h e o t h e r , s t u d e n t s b u s i l y p a i n t e d 74 on large sheets of paper. To my l e f t I saw a sign that said, "Office." I went into the o f f i c e and introduced myself to "June", the school secretary. I explained to June that I had an appointment with the grade 5/6 teacher. June directed me to sign a guest book and gave me a v i s i t o r ' s pass to wear. She t o l d me to return the pass before I exited the school. I l e f t the o f f i c e and wove my way through students who were s t i l l painting. At the end of the h a l l , I climbed two sets of s t a i r s to the second f l o o r . I saw Anne talking to a student near a classroom door. She beckoned to me to enter the classroom. I removed my coat and sat on a chair near Anne's desk which was placed d i r e c t l y inside the door. She took several minutes to explain to me that there were twenty—four students in the class. Six boys and s i x g i r l s were placed i n grade f i v e . In grade s i x there were f i v e g i r l s and seven boys. Anne added that several teachers were d i r e c t l y involved with the class. These people included the Special Education Resource teacher, two Learning Assistance teachers, the Music teacher, and the Physical Education teacher. Anne t o l d me I might want to wander around the room. 7 5 A f a m i l i a r f e e l i n g c r e p t , a c r o s s me a s I g l a n c e d a r o u n d t h e r o o m . I m i s s e d t h i s t y p e o f e n v i r o n m e n t . M o s t o f my c h i l d h o o d , y o u t h , a n d a d u l t y e a r s w e r e s p e n t i n c l a s s r o o m s . I w a s m o r e f a m i l i a r w i t h c l a s s r o o m c u l t u r e s t h a n t h o s e a s s o c i a t e d w i t h k i t c h e n s , d i n i n g -r o o m s , a n d l i v i n g - r o o m s . T h e c l a s s r o o m w a s my home. I h a d f e w p r e c o n c e p t i o n s a b o u t A n n e ' s c l a s s r o o m p r i o r t o my v i s i t . P a s t e x p e r i e n c e h a d t a u g h t me t h a t d e s p i t e some s i m i l a r i t i e s , c l a s s r o o m e n v i r o n m e n t s d i f f e r e d . I saw t h a t A n n e ' s c l a s s r o o m l o o k e d s i m i l a r t o c l a s s r o o m s w h e r e i n I h a d t a u g h t . A t a l l m e t a l f i l i n g c a b i n e t s a t i n f r o n t o f h e r d e s k . A d j a c e n t t o t h e d e s k w a s a l o n g t a b l e w i t h n e a t l y p i l e d s t a c k s o f a s s i g n m e n t s , p a i n t i n g s , p r o j e c t s , a n d p a p e r . S t u d e n t s a p p r o a c h e d t h e t a b l e t o u s e t h e s t a p l e r a n d t h r e e — h o l e p u n c h . T h e w a l l b e h i n d t h e t a b l e w a s l i n e d w i t h b l a c k b o a r d s . L a m i n a t e d c h a r t s t h a t l i s t e d p e r f o r m a n c e c r i t e r i a f o r u n d e v e l o p e d t o o u t s t a n d i n g w o r k w e r e p o s t e d a b o v e t h e b l a c k b o a r d s . A l a r g e g o l d c a r p e t l a y o n t h e f l o o r i n f r o n t o f t h e l o n g t a b l e . B l a c k b o a r d s p a n e l l e d t h e w a l l a b o v e t h e c a r p e t . A c h a r t s t a n d , h e a v y w i t h s h e e t s o f 7 6 w r i t i n g , s t o o d o n o n e c o r n e r o f t h e r u g . T h e r e w e r e s e v e r a l c h a i r s i n f r o n t o f t h e b l a c k b o a r d s . On t h e o p p o s i t e s i d e o f t h e r o o m w a s a w a l l o f w i n d o w s . A n e n c l o s e d h e a t e r r o s e s e v e r a l m e t r e s t o m e e t t h e g l a s s . B a s k e t s o f p a i n t i n g a n d s c i e n c e m a t e r i a l s l i n e d t h e w i n d o w s i l l s . P r o j e c t s a n d a r t a c t i v i t i e s w e r e a r r a n g e d o n t w o l o n g t a b l e s i n f r o n t o f t h e w i n d o w s . Rows o f m i c r o s c o p e s f i l l e d o n e c o r n e r o f a t a b l e . B o x e s o f c l a s s r o o m m a t e r i a l s w e r e s t a c k e d u n d e r n e a t h . A n o v e r h e a d p r o j e c t o r s a t i n f r o n t o f t h e t a b l e s . T h e o n l y o f f i c i a l s t o r a g e s p a c e i n t h e c l a s s r o o m w a s a t w o - d o o r w o o d e n c u p b o a r d t h a t w a s l o c a t e d i n t h e c o r n e r o f t h e room a c r o s s f r o m A n n e ' s d e s k . T h e c u p b o a r d w a s s t o c k e d w i t h c h a r t p a p e r , c o l o u r e d c o n s t r u c t i o n p a p e r , w h i t e d r a w i n g p a p e r , a n d n e w s p r i n t . S t o r a g e s p a c e w a s l i m i t e d . T h e w a l l f u r t h e s t f r o m t h e c l a s s r o o m d o o r w a s e q u i p p e d w i t h h o o k s f o r s t u d e n t s ' c o a t s a n d h a t s . A r o w o f d i c t i o n a r i e s w a s v i s i b l e o n t h e s h e l f a b o v e . N e a r b y , a l a r g e w o o d e n d i s p l a y u n i t h e l d v a r i o u s n o v e l s . S t u d e n t s ' d e s k s w e r e a r r a n g e d i n g r o u p s o f f o u r 7 7 a r o u n d t h e r o o m . B o y s s a t w i t h b o y s . G i r l s s a t w i t h g i r l s . A n n e t o l d me t h a t s t u d e n t s c h o s e w h e r e t h e y w a n t e d t o s i t . Many s a t w i t h t h e i r f r i e n d s . S t u d e n t s o c c a s i o n a l l y l e f t t h e i r d e s k s a n d m o v e d q u i e t l y a b o u t t h e room t o t a l k t o A n n e , s h a r p e n p e n c i l s , t a k e m o r e w r i t i n g p a p e r , o r p l a c e u s e d p a p e r i n t h e r e c y c l i n g b o x . When t h e d i s m i s s a l b e l l r a n g a t 3 : 0 0 p . m . , I t h a n k e d A n n e f o r t h e v i s i t a n d p r e p a r e d t o l e a v e . S h e e x p l a i n e d t h a t f r o m 3 : 0 0 p . m . t o 3 : 3 0 p . m . s h e r e v i e w e d homework b o o k s a n d s u p e r v i s e d s t u d e n t s w h i l e t h e y c o m p l e t e d w o r k . A f t e r 3 : 3 0 , A n n e m a r k e d a s s i g n m e n t s a n d p l a n n e d f o r t h e n e x t d a y . G r a n t , t h e s c h o o l p r i n c i p a l , t o l d me t h a t s i x h u n d r e d a n d s e v e n t y — f i v e p u p i l s w e r e r e g i s t e r e d i n t w e n t y — s i x c l a s s e s f r o m k i n d e r g a r t e n t o g r a d e s e v e n a t W e s t h e i g h t s s c h o o l . F o r t y s t u d e n t s w e r e r e g i s t e r e d i n t w o E S L c l a s s e s . S e v e n t e e n s t u d e n t s w e r e c l a s s i f i e d a s l e a r n i n g d i s a b l e d . He e x p l a i n e d t h e r e w e r e t h i r t y — t h r e e a n d o n e — h a l f f u l l - t i m e e q u i v a l e n t t e a c h i n g s t a f f . T h e s e p e o p l e i n c l u d e d o n e l i b r a r i a n , o n e s c h o o l — b a s e d r e s o u r c e t e a c h e r , t w o l e a r n i n g a s s i s t a n c e t e a c h e r s , t h r e e 7 8 s p e c i a l e d u c a t i o n a s s i s t a n t s , o n e p h y s i c a l e d u c a t i o n t e a c h e r . T h e r e m a i n i n g p e r s o n n e l w e r e c l a s s r o o m t e a c h e r s . T h e i n t e r m e d i a t e d i v i s i o n c o n s i s t e d o f f i f t e e n c l a s s e s . One h u n d r e d a n d t w e n t y - s e v e n s t u d e n t s w e r e r e g i s t e r e d i n g r a d e f i v e . One h u n d r e d a n d f o u r t e e n s t u d e n t s w e r e r e g i s t e r e d i n g r a d e s i x . R o l e A c o l l a b o r a t i v e a p p r o a c h f r a m e d my r o l e a s a p a r t i c i p a n t — o b s e r v e r i n t h e c l a s s r o o m . F r o m p a s t e x p e r i e n c e s a s a t e a c h e r , I a s s u m e d t h a t my c r e d i b i l i t y w i t h A n n e a n d h e r s t u d e n t s d e p e n d e d u p o n my b e i n g u s e f u l i n t h e c l a s s r o o m . A l t h o u g h I n e e d e d t o f i n d o u t w h a t c o u n t e d a s u s e f u l f r o m A n n e ' s s t a n d p o i n t , I h a d some i d e a s o f my own t o o f f e r . F o r e x a m p l e , I c o u l d h e l p p r e p a r e m a t e r i a l s f o r l e s s o n s s u c h a s a r t , a s s i s t w i t h c l e a n - u p , h a n g s t u d e n t w o r k o n w a l l s , a n d g a t h e r r e s o u r c e s f r o m t h e l i b r a r y . E s t a b l i s h i n g t r u s t w a s a n o t h e r m a t t e r . I n e e d e d \ t o u n d e r s t a n d how A n n e i n t e r p r e t e d t r u s t . I i n i t i a l l y a s s u m e d t h a t t r u s t m e a n t k e e p i n g p r o m i s e s . A n n e e x p l a i n e d t o me t h a t t r u s t g r e w o u t o f h o n e s t y a n d d e p e n d a b i l i t y . We p r o m i s e d t o t e l l e a c h o t h e r a b o u t a n y c o n c e r n s we h a d a t a n a p p r o p r i a t e t i m e . I a g r e e d 7 9 to b e a t s c h o o l when I s a i d I w o u l d b e t h e r e ; a n d o n t i m e . C r e d i b i l i t y a n d t r u s t w e r e m u t u a l l y c o n s t r u c t e d . W i t h o u t t r u s t t h e r e w a s n o c r e d i b i l i t y . W i t h o u t c r e d i b i l i t y t h e r e w a s n o t r u s t . A n n e a n d I d e c i d e d t h a t I w o u l d b e g i n my w o r k w i t h h e r by m a r k i n g s t u d e n t s ' a s s i g n m e n t s , p r e p a r i n g m a t e r i a l s f o r s c i e n c e a n d a r t c l a s s e s , a n d s u p e r v i s i n g c o m p u t e r a n d l i b r a r y c l a s s e s . S h e e x p l a i n e d t h a t my i n v o l v e m e n t w i t h s t u d e n t s w o u l d i n c r e a s e when I s u c c e s s f u l l y c a r r i e d o u t t h e s e d u t i e s . I b e g a n w i t h a f t e r n o o n v i s i t s t o t h e c l a s s r o o m o n a l t e r n a t i n g d a y s o f t h e w e e k . T h e n , I s w i t c h e d my v i s i t s t o t h e m o r n i n g s . A s I b e c a m e m o r e f a m i l i a r w i t h c l a s s r o o m r o u t i n e s , my v i s i t s w e r e m o r e f r e q u e n t a n d i n v o l v e d f u l l d a y s . A s t h e m o n t h s p a s s e d , I g a v e r e m e d i a l a s s i s t a n c e t o s e v e r a l g r a d e s i x s t u d e n t s who w e r e e x p e r i e n c i n g d i f f i c u l t y w i t h c o m p u t a t i o n . One o f t h e s t u d e n t s w a s l e a r n i n g d i s a b l e d . A n n e a n d I t e a m — t a u g h t s o c i a l s t u d i e s a n d c r e a t i v e w r i t i n g c l a s s e s . I n a n e f f o r t t o i n c r e a s e my c r e d i b i l i t y I p r o p o s e d t o A n n e t h a t we i m p l e m e n t a m o d e l I h a d d e v e l o p e d f o r t e a c h i n g r e s e a r c h s k i l l s w i t h c h i l d r e n i n h e r c l a s s r o o m . I h a d p u b l i s h e d 8 0 a b o o k l e t t h a t d e s c r i b e s a f r a m e w o r k f o r g e t t i n g k i d s t o c r e a t e a n d u s e p l a n s t o c o n d u c t a n d p r e s e n t r e s e a r c h . A f t e r s h e r e a d my b o o k l e t ( R e y n o l d s , 1 9 9 0 ) A n n e a g r e e d t o g i v e i t a t r y . A n n e a n d I t e a m — t a u g h t s t u d e n t s how t o u s e e t h n o g r a p h i c t e c h n i q u e s t o r e s e a r c h i n f o r m a t i o n a b o u t t h e i r t o p i c s . F o r e x a m p l e , s t u d e n t s c o n d u c t e d i n f o r m a l l y — s t r u c t u r e d a n d t a p e d i n t e r v i e w s w i t h p e e r s , a n d i n d i v i d u a l s i n t h e c o m m u n i t y who h a d s p e c i a l k n o w l e d g e o f t h e i r r e s e a r c h t o p i c . T h e s e p e o p l e i n v o l v e d a q u a r i u m p e r s o n n e l , v e t e r i n a r i a n s , m e d i c a l d o c t o r s , a n d a S u p r e m e C o u r t j u d g e . E a c h s t u d e n t o b t a i n e d v e r b a l c o n s e n t t o i n t e r v i e w h e r / h i s p a r t i c i p a n t . When i n t e r v i e w s w e r e c o m p l e t e d , s t u d e n t s t r a n s c r i b e d s e v e r a l m i n u t e s a n d t h e n c o l o u r — c o d e d k e y -w o r d n o t e s t o c r e a t e t h e m e s . T h e y u s e d t h i s i n f o r m a t i o n , a l o n g w i t h i n f o r m a t i o n f r o m b o o k s , C D -ROM, a n d o t h e r s o u r c e s t o p r e p a r e r e s e a r c h r e p o r t s a n d p r e s e n t a t i o n s . B y t h e t i m e I i n t e r v i e w e d s t u d e n t s t h e y w e r e c o m f o r t a b l e w i t h t h e p r o c e s s a n d u n d e r s t o o d why I u s e d t h e m e t h o d t o c o l l e c t i n f o r m a t i o n f o r my r e s e a r c h . S t u d e n t s a l s o c o n d u c t e d i n f o r m a l o b s e r v a t i o n s t o c o l l e c t i n f o r m a t i o n a b o u t t h e i r r e s e a r c h t o p i c s . F o r 81 e x a m p l e , s t u d e n t s o b s e r v e d p e t l i z a r d s , c a t s , d o g s , h o r s e s , a n d s e a - l i f e a t t h e a q u a r i u m . A f t e r t h e y w r o t e n o t e s a b o u t e v e r y t h i n g t h e y s a w , h e a r d , a n d f e l t , t h e y c o l o u i — c o d e d k e y w o r d n o t e s a n d g r o u p e d c o l o u r s t o c r e a t e t h e m e s . F o l l o w i n g t h e s e a c t i v i t i e s , t h e y s h a r e d t h e m e s f r o m o b s e r v a t i o n s d u r i n g s m a l l g r o u p d i s c u s s i o n s , a n d t h e n u s e d o b s e r v a t i o n d a t a a l o n g w i t h i n t e r v i e w i n f o r m a t i o n a n d o t h e r s o u r c e s t o c r e a t e r e s e a r c h r e p o r t s , m o d e l s , d i o r a m a s , m a p s , c h a r t s , g a m e s , a n d d i a g r a m s f o r t h e i r t o p i c s . S t u d e n t s ' e x p e r i e n c e s w i t h o b s e r v a t i o n s h e l p e d t h e m t o u n d e r s t a n d why I o c c a s i o n a l l y o b s e r v e d a n d made n o t e s d u r i n g c l a s s t i m e . A n n e p o i n t e d o u t t o me t h a t e x p l i c i t p e r f o r m a n c e c r i t e r i a w e r e l a c k i n g i n t h e s t u d e n t r e s e a r c h m o d e l . S h e e x p l a i n e d t h a t s t u d e n t s n e e d e d t o know how t h e y w e r e e v a l u a t e d when t h e y b e g a n t h e i r r e s e a r c h . We c r e a t e d s e t s o f p e r f o r m a n c e c r i t e r i a f o r e a c h a s p e c t o f t h e r e s e a r c h p r o j e c t ( A p p e n d i x F ) . S e t s o f c r i t e r i a a d d r e s s e d t h e t w o p l a n n i n g s t a g e s , w r i t t e n r e p o r t , f o u r i n f o r m a t i o n a l p r o d u c t s , a n d o r a l p r e s e n t a t i o n . E a c h s e t o f c r i t e r i a o n t h e s t u d e n t w o r k s h e e t s i n c l u d e d s p a c e s f o r s t u d e n t s e l f - e v a l u a t i o n a n d t e a c h e r 8 2 e v a l u a t i o n . A n n e a n d I j o i n t l y i n t r o d u c e d c r i t e r i a t o t h e c l a s s , a n d t h e n we i n v i t e d s t u d e n t s t o comment o n m e a n i n g s o f c r i t e r i a , a n d t h e i r r e l e v a n c y t o r e s e a r c h . A f t e r much d i s c u s s i o n a n d n e g o t i a t i o n among A n n e , s t u d e n t s , a n d m y s e l f , c r i t e r i a w e r e c l a r i f i e d , r e d e f i n e d , r e p l a c e d , a n d e v e n e l i m i n a t e d . Some s t a y e d t h e s a m e . A n n e a n d I c o l l a b o r a t i v e l y a s s e s s e d — e v a l u a t e d s t u d e n t s ' p r o j e c t s w h i l e t h e y p r e s e n t e d t h e i r r e s e a r c h t o t h e c l a s s . A n n e u s e d m a r k s a n d c o m m e n t s t o c o n s t r u c t , i n p a r t , l e t t e r g r a d e s f o r s t u d e n t s ' r e p o r t c a r d s . A l t h o u g h s t u d e n t s c h o s e d i f f e r e n t t o p i c s , a n e x a m p l e o f a f i n a l p r o j e c t m i g h t l o o k l i k e t h e f o l l o w i n g . When M a t t <Gr. 5> p r e s e n t e d h i s r e s e a r c h o n t h e " L o c h N e s s M o n s t e r " t o t h e c l a s s , h e b e g a n b y d e s c r i b i n g h i s p l a n s . T h e n h e s h a r e d i n f o r m a t i o n a n d s e v e r a l h a n d - d r a w n p i c t u r e s f r o m h i s w r i t t e n r e p o r t a b o u t " N e s s i e . " D u r i n g h i s t a l k , M a t t h e l d u p a b r i g h t l y p a i n t e d c l a y m o d e l o f N e s s i e s w i m m i n g i n L o c h N e s s . He e x p l a i n e d t h a t t h i s p r o d u c t i l l u s t r a t e d t h e m o n s t e r ' s h a b i t a t . When h e f i n i s h e d h i s t a l k . M a t t g a v e t h e c l a s s a p o p - q u i z i n v o l v i n g k e y i d e a s f r o m h i s 8 3 r e p o r t . He e n d e d h i s p r e s e n t a t i o n b y c o n d u c t i n g a l i v e l y c l a s s d e b a t e o n t h e t h e m e , " N e s s i e — F a c t o r F i c t i o n ? " A n n e s a w t h e m o d i f i e d r e s e a r c h m o d e l a s u s e f u l b e c a u s e i t w a s s i m p l e a n d e a s y t o u s e . I n a d d i t i o n , s t u d e n t s l e a r n e d a g r e a t d e a l a b o u t t h e i r t o p i c s w h i l e t h e y l e a r n e d how t o r e s e a r c h . M o r e o v e r , A n n e w a s p l e a s e d t h a t s t u d e n t s w a n t e d t o d o m o r e r e s e a r c h . U s e o f t h e r e s e a r c h m o d e l s t r e n g t h e n e d my r o l e a s p a r t i c i p a n t — o b s e r v e r i n t h e c l a s s r o o m . W o r k i n g c o l l a b o r a t i v e l y w i t h A n n e t o m o d i f y a n d t e a c h t h e m o d e l g a v e me n u m e r o u s o p p o r t u n i t i e s t o w o r k c l o s e l y w i t h h e r a n d s t u d e n t s . F u r t h e r m o r e , t h e m o d e l f a m i l i a r i z e d s t u d e n t s w i t h t h e m e t h o d o l o g y a n d d a t a — c o l l e c t i o n t e c h n i q u e s o f t h i s s t u d y . W h i l e l e a r n i n g a b o u t t h e i r r o l e s a s r e s e a r c h e r s , s t u d e n t s b e c a m e f a m i l i a r w i t h my r o l e . I s m i l e when I r e c a l l C a s s i d y ' s <Gr.5> r e s e a r c h o n j e l l y f i s h . When C a s s i d y s h o w e d me h e r s u b t o p i c s f o r a p p r o v a l , I a s s u m e d t h a t h e r s u b - t o p i c , s e x , m e a n t t h a t s h e w a n t e d t o know how t h e s e x o f a j e l l y f i s h w a s d e t e r m i n e d . H e r o t h e r s u b t o p i c s w e r e f o o d , h a b i t a t , a n d m o v e m e n t . C a s s i d y e x p l a i n e d t h a t s h e p l a n n e d t o 8 4 g a t h e r i n f o r m a t i o n a b o u t h e r s u b — t o p i c s f r o m b o o k s , e n c y c 1 o d p a e d i a s , CD-ROM d a t a - b a s e s , b y c o n d u c t i n g o b s e r v a t i o n s o f j e l l y f i s h a t t h e a q u a r i u m , a n d b y i n t e r v i e w i n g a q u a r i u m s t a f f . S h e a d d e d t h a t t h e f i n a l p r o j e c t w o u l d i n v o l v e a d i o r a m a d e p i c t i n g j e l l y f i s h i n t h e i r n a t u r a l h a b i t a t , a n a t o m i c a l d i a g r a m s o f j e l l y f i s h , s k e t c h e s o f j e l l y f i s h f r o m h e r o b s e r v a t i o n s , a j e l l y f i s h m o b i l e , a n d a w r i t t e n r e p o r t t h a t i n c l u d e d d e t a i l e d d e s c r i p t i o n s o f h e r s u b — t o p i c s . , I a p p r o v e d C a s s i d y ' s t o p i c s a n d r e m i n d e d h e r t h a t I w a s a l w a y s a v a i l a b l e t o h e l p i f s h e e n c o u n t e r e d d i f f i c u l t i e s . S e v e r a l w e e k s l a t e r , C a s s i d y a n n o u n c e d t o me t h a t s h e h a d e n c o u n t e r e d a s e r i o u s p r o b l e m w i t h h e r r e s e a r c h . A f t e r m o r e t h a n a d e c a d e o f h a s s l e - f r e e r e s e a r c h w i t h k i d s , I a s s u m e d t h a t n o c h i l d c o u l d p r e s e n t me w i t h a n u n s o l v a b l e p r o b l e m . C a s s i d y w h i s p e r e d i n my e a r t h a t t h e o t h e r k i d s w e r e m a k i n g f u n o f h e r s e x s u b — t o p i c . I n a b o o m i n g v o i c e , I a n n o u n c e d t o t h e c l a s s t h a t a l 1 r e s e a r c h w a s i m p o r t a n t a n d t h a t we w e r e a l 1 g o i n g t o l i s t e n t o C a s s i d y ' s p r o b l e m . C a s s i d y t u r n e d t o t h e c l a s s a n d s a i d t h a t h e r p r o b l e m w a s w i t h s e x a n d j e l l y f i s h . S n i c k e r s r i p p l e d t h r o u g h o u t t h e r o o m . A n n e l o w e r e d h e r h e a d . W i t h o u t 8 5 m i s s i n g a b e a t , , I p r o c l a i m e d t h a t s e x i n g a j e l l y f i s h m u s t b e a d i f f i c u l t t a s k . C a s s i d y q u i c k l y t u r n e d t o me a n d s a i d t h a t h e r p r o b l e m w a s n o t w i t h s e x i n g j e l l y f i s h . S h e w a n t e d t o know how j e l l y f i s h h a d s e x . I 5 a i d n o m o r e . C a s s i d y a s k e d i f s h e m i g h t f i n d o u t how j e l l y f i s h h a d s e x f r o m a M a r i n e B i o l o g i s t a t t h e u n i v e r s i t y . S h e s a i d t h a t when s h e a s k e d h e r f a t h e r , a h e a r t s u r g e o n , h e r e p l i e d t h a t h e d i d n o t know b u t M s . R e y n o l d s w o u l d t a k e c a r e o f t h e p r o b l e m . I f e l t s o m e w h a t e m b a r r a s s e d t o d e s c r i b e C a s s i d y ' s r e q u e s t i n a t e l e p h o n e m e s s a g e t o a M a r i n e B i o l o g i s t a t a l o c a l u n i v e r s i t y . S e v e r a l d a y s l a t e r , I r e c e i v e d a d e t a i l e d m e s s a g e e x p l a i n i n g t h a t l i t t l e w a s k n o w n a b o u t t h e m a t i n g h a b i t s o f j e l l y f i s h . T h e M a r i n e B i o l o g i s t e n d e d h i s m e s s a g e b y s a y i n g t h a t C a s s i d y ' s q u e s t i o n w a s i n t e r e s t i n g , a n d t h a t r e s e a r c h i n t h i s a r e a w a s i m p o r t a n t . I p l a y e d t h e t a p e f o r t h e c l a s s . E v e r y o n e w a s e x c i t e d a n d C a s s i d y w a s a h e r o . S h e h a d c r e a t e d a n i m p o r t a n t r e s e a r c h q u e s t i o n ; o n e t h a t s h e i n t e n d s t o p u r s u e a s a M a r i n e B i o l o g i s t some d a y . I h a v e many o t h e r s t o r i e s t h a t I c o u l d t e l l a b o u t c h i l d r e n c r e a t i n g , c o n d u c t i n g , a n d l i v i n g r e s e a r c h t h a t m a t t e r e d t o t h e m s e l v e s , p e e r s , t e a c h e r s , a n d p a r e n t s ; 8 6 r e s e a r c h t h a t c r e a t e d p a r t n e r s h i p s among t h e s t u d e n t s , A n n e , a n d m y s e l f . A l l o f t h e s t u d e n t s * r e s e a r c h p r o j e c t s w e r e i m p o r t a n t , e x c i t i n g , a n d i n f o r m a t i v e . J e r e m y ' s <Gr .5> a n d M a t t ' s <Gr .5> r e s e a r c h r e g a r d i n g t h e L o c h N e s s m o n s t e r a n d B i g F o o t s p a r k e d h e a t e d d e b a t e among s t u d e n t s a b o u t w h a t s h o u l d c o u n t a s a p p r o p r i a t e f o c i f o r s c i e n t i f i c i n q u i r y . My r e s e a r c h i n t e r e s t s w e r e c o n t i n u a l l y r e n e w e d b y t h e c h i l d r e n ' s e n t h u s i a s m . I a l s o g a i n e d i n s i g h t s i n t o how A n n e i n t e r p r e t e d a n d r e s o l v e d i s s u e s a s s o c i a t e d w i t h c r i t e r i o n — r e f e r e n c e d e v a l u a t i o n f r o m o u r w o r k w i t h ) t h e r e s e a r c h m o d e l . A n n e ' s i n t e r e s t i n c r i t e r i o n — r e f e r e n c e d e v a l u a t i o n l e d u s t o j o i n t l y e x a m i n e h e r s e l e c t i o n a n d u s e o f t e s t s , p o r t f o l i o s , p r o j e c t s , homework b o o k s , a n d d a i l y a s s i g n m e n t s t o a s s e s s - e v a l u a t e s t u d e n t p r o g r e s s . I a l s o a c c o m p a n i e d A n n e t o " T e a c h e i — A s - R e s e a r c h e r " a n d " M u l t i p l e I n t e l l i g e n c e s I n t e r e s t G r o u p " m e e t i n g s . M e e t i n g s w e r e h e l d o n c e a m o n t h . A n n e w a s i n t e r e s t e d i n " T e a c h e r — A s — R e s e a r c h e r " m e e t i n g s b e c a u s e t h e y f o c u s e d o n i s s u e s a s s o c i a t e d w i t h a s s e s s m e n t -e v a l u a t i o n . B y a t t e n d i n g m e e t i n g s , s h e h o p e d t o g a i n a b e t t e r u n d e r s t a n d i n g o f c r i t e r i o n - r e f e r e n c e d e v a l u a t i o n 8 7 i n p a r t i c u l a r . A n n e w a s i n t e r e s t e d i n t h e " M u l t i p l e I n t e l l i g e n c e s " m e e t i n g s b e c a u s e t h e y f o c u s e d o n m u l t i d i m e n s i o n a l c o n c e p t i o n s o f i n t e l l i g e n c e a n d a b i l i t y . I h o p e d t o l e a r n how t h e s e m e e t i n g s i n f l u e n c e d A n n e ' s u n d e r s t a n d i n g o f a s s e s s m e n t -e v a l u a t i o n . I n i t i a l l y , I v i s i t e d t h e g r a d e 5 / 6 c l a s s r o o m o n a l t e r n a t e m o r n i n g s a n d a f t e r n o o n s s o t h a t I c o u l d o b s e r v e t h e e n t i r e c u r r i c u l u m . A s t i m e w e n t o n I s p e n t f u l l d a y s i n t h e c l a s s r o o m . A f t e r s e v e r a l m o n t h s h a d p a s s e d my v i s i t o r ' s t a g w a s r e p l a c e d b y o n e t h a t s a i d , " S t a f f . " I h a d p l a n n e d t o r e d u c e my i n v o l v e m e n t i n t h e c l a s s r o o m d u r i n g t h e i n t e r v i e w p e r i o d . I a l s o i n t e n d e d t o b o o k o f f t i m e t o w r i t e — u p o b s e r v a t i o n s . H o w e v e r , t h i s w a s e a s i e r s a i d t h a n d o n e . B y t h e t i m e I g a i n e d a c c e p t a n c e w i t h A n n e a n d s t u d e n t s , I w a s a n i n t e g r a l c o m p o n e n t o f p r a c t i c e i n p r o c e s s . I n o t h e r w o r d s , I w a s n e e d e d i n t h e c l a s s r o o m . I s u p p o s e I c o u l d h a v e r e n e g e d o n some o f my p a r t i c i p a t i o n , b u t a t w h a t c o s t t o my r e l a t i o n s h i p s w i t h s t u d e n t s , p a r e n t s , A n n e , a n d t h e p r i n c i p a l ? I d e c i d e d i t w a s n o t i n my i n t e r e s t s t o e x t r i c a t e m y s e l f 8 8 from practice i n process. Consequently, by May and June I was facing fourteen—hour days. My experiences as a teacher and administrator guided my movements among teachers, students, parents, and adminstration. My p r a c t i c a l knowledge of classroom, school, and School Board protocol helped me determine how to behave and what to say i n d i f f e r e n t situations. Anne and I continued to j o i n t l y teach and ref i n e our modified student—research model. She also helped with data-analysis and gave me feedback regarding my writing. In return, I gave Anne feedback on her M.Ed, course—work. Sometimes we v i s i t e d for the sole purpose of drinking coffee and chatting about family, friends, and hobbies. We also studied s i 1k—painting aft e r school and on weekends after her students were introduced to the technique. We s t i l l talk about the frustrations and laughter we shared while making our pictures. Anne created a lovely wall-hanging of pink, mauve, and yellow i r i s e s for her bedroom wall. My banner depicted an iridescent dragon f l y i n g past a brooding wizard. An important ingredient of our collaborative relationship has been a willingness to 8 9 g i v e t i m e t o e a c h o t h e r o n t h e o n e h a n d , a n d t o r e s p e c t e a c h o t h e r ' s n e e d f o r p r i v a c y o n t h e o t h e r . M e t h o d s o f D a t a - C o l l e c t i o n a n d O n g o i n g A n a l y s i s I u s e d e t h n o g r a p h i c t e c h n i q u e s t o c o l l e c t a n d a n a l y z e i n f o r m a t i o n r e g a r d i n g a s s e s s m e n t — e v a l u a t i o n p o l i c y a n d c l a s s r o o m a s s e s s m e n t - e v a l u a t i o n p r a c t i c e s . S p e c i f i c a l l y , I g a t h e r e d a n d a n a l y z e d d a t a f r o m p o l i c y a n d c l a s s r o o m d o c u m e n t s , f o r m a l a n d i n f o r m a l o b s e r v a t i o n s , i n f o r m a l l y — s t r u c t u r e d i n t e r v i e w s , a n d f i e l d - n o t e s . My a p p r o a c h t o a n a l y z i n g d a t a i n v o l v e d c o n t e n t a n a l y s i s a n d t r i a n g u l a t i o n . D o c u m e n t s . T h r o u g h o u t t h e s t u d y I c o l l e c t e d d o c u m e n t s a s s o c i a t e d w i t h a s s e s s m e n t — e v a l u a t i o n p o l i c y a n d c l a s s r o o m a s s e s s m e n t — e v a l u a t i o n p r a c t i c e s . I a n a l y z e d d o c u m e n t s f o r k e y t e r m s a n d m a j o r t h e m e s . D o c u m e n t s o f f e r e d me a n o t h e r s t a n d p o i n t f r o m w h i c h t o c o r r o b o r a t e a n d e x p a n d i n f o r m a t i o n f r o m i n t e r v i e w a n d o b s e r v a t i o n d a t a . P o l i c y d o c u m e n t s o r g a n i z e a n d c o n v e y o f f i c i a l i n t e r p r e t a t i o n s o f k e y a s s e s s m e n t - e v a l u a t i o n t e r m i n o l o g y a n d r e l a t e d p r a c t i c e s f o r s c h o o l b o a r d s , s c h o o l a d m i n i s t r a t i o n , a n d t e a c h e r s . My d a t a — b a s e o f p o l i c y d o c u m e n t s c o n s i s t e d o f m a t e r i a l a s s o c i a t e d w i t h 9 0 t h e " R o y a l C o m m i s s i o n On E d u c a t i o n " < 1 9 8 8 ) , t h e " Y e a r 2 0 0 0 " < 1 9 8 9 b ) , a n d t h e " K i n d e r g a r t e n To G r a d e 12 E d u c a t i o n P l a n " < 1 9 9 4 e ) . A n n e a n d I e x a m i n e d c l a s s r o o m d o c u m e n t s f o r i n t e r p r e t a t i o n s o f k e y a s s e s s m e n t — e v a l u a t i o n t e r m i n o l o g y a n d r e l a t e d c l a s s r o o m p r a c t i c e s . D o c u m e n t s c o n s i s t e d o f c l a s s r o o m t e s t s , w o r k s a m p l e s , homework b o o k s , w o r k s h e e t s , s t u d e n t - s e l f a s s e s s m e n t s o f r e p o r t c a r d s , i n t e r m e d i a t e r e p o r t c a r d , r e p o r t c a r d i n s e r t s , p o r t f o l i o g u i d e l i n e s , a n d p a r e n t f e e d - b a c k c o n c e r n i n g s t u d e n t — l e d c o n f e r e n c e s . T e a c h e r s ' u n d e r s t a n d i n g o f a s s e s s m e n t — e v a l u a t i o n p o l i c y a n d c l a s s r o o m a s s e s s m e n t - e v a l u a t i o n p r a c t i c e s a r e i n f l u e n c e d b y s c h o o l b o a r d a n d s c h o o l — b a s e d p r o f e s s i o n a l d e v e l o p m e n t . A n n e a n d I c o l l e c t e d d o c u m e n t s d u r i n g P r o f e s s i o n a l D e v e l o p m e n t d a y s a n d " T e a c h e i — a s - R e s e a r c h e r " m e e t i n g s . M e e t i n g s f o c u s e d o n p o l i c y r e g a r d i n g c r i t e r i o n — r e f e r e n c e d e v a l u a t i o n . We e x a m i n e d i n t e r p r e t a t i o n s o f a s s e s s m e n t - e v a l u a t i o n t e r m i n o l o g y i n w o r k s h o p d o c u m e n t s . D o c u m e n t s i n c l u d e d " C r i t e r i o n - R e f e r e n c e d E v a l u a t i o n : G e t t i n g S t a r t e d - A H a n d b o o k f o r E d u c a t o r s " ( K a m i o o p s , 1994 . ) , " L e a r n i n g F o r S u c c e s s " < L a n g l e y , 1 9 9 4 ) , " A s s e s s m e n t i s " a n d 91 " A d v a n t a g e s o f g i v i n g s t u d e n t s c r i t e r i a . . . " ( O o c , 1 1 . 2 . 9 4 ; 1 1 . 0 7 . 9 4 ) , " K n o w i n g A n d S h o w i n g W h e r e T h e G o a l P o s t s A r e : C r i t e r i o n - R e f e r e n c e d E v a l u a t i o n " ( D o c , 1 . 3 1 . 9 5 ) , a n d " A . E . R . C r i t e r i o n — R e f e r e n c e d E v a l u a t i o n : T h e r o a d t o s u c c e s s i s a l w a y s u n d e r c o n s t r u c t i o n " ( D o c , 2 . 1 0 . 9 5 ) . I n f o r m a l a n d f o r m a l o b s e r v a t i o n s . A s d e s c r i b e d a b o v e , i n f o r m a l a n d f o r m a l o b s e r v a t i o n s w e r e o n g o i n g f r o m J a n u a r y t o J u n e , 1 9 9 5 . D u r i n g t h i s p e r i o d I e n g a g e d i n , a n d w r o t e u p , o n e h u n d r e d a n d t w o o b s e r v a t i o n s . N i n e t y o f t h e s e o b s e r v a t i o n s w e r e i n f o r m a l , o r r e c o n s t r u c t e d . T w e l v e o f t h e s e o b s e r v a t i o n s w e r e f o r m a l , o r i m m e d i a t e . T h e m a j o r c o n t e x t f o r o b s e r v a t i o n s w a s t h e g r a d e 5 / 6 c l a s s r o o m . I c l a s s i f i e d a n o b s e r v a t i o n a s f o r m a l , o r i m m e d i a t e , when I o b s e r v e d a n d w r o t e a b o u t c l a s s r o o m e v e n t s a s t h e y o c c u r r e d . I n t e r m s o f t h e p a r t i c i p a n t -o b s e r v a t i o n c o n t i n u u m , I a c t e d s o l e l y a s a n o b s e r v e r d u r i n g f o r m a l o b s e r v a t i o n s . O t h e r c o n t e x t s f o r o b s e r v a t i o n s i n c l u d e d e v e r y d a y a c t i v i t i e s i n t h e s c h o o l ' s s t a f f - r o o m , h a l l s , l i b r a r y , a n d m a i n o f f i c e , P r o f e s s i o n a l D e v e l o p m e n t s t a f f m e e t i n g , i n t e r m e d i a t e d i v i s i o n m e e t i n g , " T e a c h e r — A s — 9 2 R e s e a r c h e r " m e e t i n g s a t t h e D i s t r i c t O f f i c e , M u l t i p l e I n t e l l i g e n c e s I n t e r e s t G r o u p m e e t i n g s i n v a r i o u s s c h o o l s i n t h e D i s t r i c t , e v e n i n g m e e t i n g o f p a r e n t s i n g r a d e 5 / 6 c l a s s r o o m t o d i s c u s s t h e s t u d y , a n d t e l e p h o n e c o n v e r s a t i o n s w i t h A n n e . My i n f o r m a l a n d f o r m a l o b s e r v a t i o n s c u l m i n a t e d i n a l a r g e s e t o f w r i t t e n f i e l d — n o t e s . I c l a s s i f i e d a n o b s e r v a t i o n a s i n f o r m a l , o r r e c o n s t r u c t e d , w h e n I w a s i n v o l v e d t o some d e g r e e i n c l a s s r o o m a c t i v i t y a s a p a r t i c i p a n t — o b s e r v e r . A t t h e s e t i m e s i t w a s d i f f i c u l t , a n d e v e n i n a p p r o p r i a t e , t o w r i t e a b o u t c l a s s r o o m e v e n t s a s t h e y o c c u r r e d . I n s t e a d , I made k e y — w o r d n o t e s a t r e c e s s , l u n c h , a n d i m m e d i a t e l y a f t e r s c h o o l . I r e t u r n e d home a s s o o n a s p o s s i b l e t o w r i t e — u p c o m p l e t e o b s e r v a t i o n s f r o m k e y - w o r d n o t e s . I n f o r m a l l y — s t r u c t u r e d i n t e r v i e w s . Y i n ( 1 9 9 4 ) p o i n t s o u t t h a t t h e i n f o r m a l l y — s t r u c t u r e d i n t e r v i e w i s a u s e f u l t e c h n i q u e f o r g a t h e r i n g i n f o r m a t i o n a b o u t a n i n d i v i d u a l ' s s t a n d p o i n t r e g a r d i n g p a r t i c u l a r i s s u e s . T h i s t y p e o f i n t e r v i e w i s c o n v e r s a t i o n a l a n d o f f e r s p a r t i c i p a n t s f l e x i b i l i t y a n d l a t i t u d e t o e x p l o r e a n d a r t i c u l a t e t h e i r i n s i g h t s a n d c o n c e r n s . I c o n d u c t e d f i f t y - e i g h t i n f o r m a l l y - s t r u c t u r e d 9 3 interviews with part i c i p a n t s during May and June of the data—collection period. F i f t y — t h r e e interviews were taped. Two parents d i d not want the i r interviews taped. On one oc c as i on, the pr i nc i pa1 and I had an unexpected meeting and I did not have the tape recorder with me. On another occasion Anne and I spoke on the telephone. I did not feel that i t was appropriate to tape t h i s discussion. Anne and I also met casually over coffee. I chose not to tape t h i s event either. My relationship with Anne would have been jeopardized i f every time she spoke I whipped out a tape recorder. Too much surveillance can make someone feel l i k e a bug on a pin. Instead, I took notes during and/or afte r untaped interviews and casual encounters. The t o t a l number of interviews included s i x with Anne, twenty—three with the grade 5 / 6 students, twenty-three with parents, two with the Special Education Resource Teacher, one interview with the Learning Assistance Teachers, one with the Music teacher, one with the Physical Education teacher, and three with the school p r i n c i p a l . I interviewed one pa r t i c i p a n t at a time, with the 9 4 e x c e p t i o n o f f o u r o c c a s i o n s when t w o p e o p l e t o o k p a r t . One o c c a s i o n i n v o l v e d t h e t w o L e a r n i n g A s s i s t a n c e T e a c h e r s . T h e o t h e r t h r e e o c c a s i o n s i n v o l v e d t h r e e s e t s o f p a r e n t s ; e a c h s e t c o n s i s t e d o f o n e m o t h e r a n d o n e f a t h e r . I n t e r v i e w s r a n g e d f r o m f i f t e e n m i n u t e s t o t w o h o u r s i n l e n g t h . T h e y w e r e s c h e d u l e d b e f o r e 8 : 3 0 a . m . o n a s c h o o l d a y , d u r i n g r e c e s s , a t l u n c h , d u r i n g i n s t r u c t i o n a l p e r i o d s , d i r e c t l y a f t e r s c h o o l , i n t h e e v e n i n g s , a n d o n w e e k e n d s . I i n t e r v i e w e d A n n e a t h e r home, i n t h e c l a s s r o o m a f t e r s c h o o l , a n d i n my home. I n t e r v i e w s w i t h p a r e n t s a n d s t u d e n t s w e r e l o c a t e d i n t h e g r a d e 5 / 6 c l a s s r o o m , s c h o o l c o r r i d o r s . S p e c i a l E d u c a t i o n R e s o u r c e r o o m , a n d p s y c h o l o g i s t ' s o f f i c e . S e v e r a l p a r e n t s w e r e i n t e r v i e w e d i n t h e i r h o m e s . T h e t w o t e l e p h o n e i n t e r v i e w s w e r e c o n d u c t e d f r o m my home. I n t e r v i e w q u e s t i o n s s e r v e d a s g u i d e s t o d i s c u s s i o n o f m a j o r i s s u e s a s s o c i a t e d w i t h a s s e s s m e n t - e v a l u a t i o n I e n c o u r a g e d p a r t i c i p a n t s t o e x p l o r e a n d i n t e r p r e t i s s u e s f r o m t h e i r s t a n d p o i n t s . A t r e g u l a r i n t e r v a l s i n t h e i n t e r v i e w p r o c e s s , I a s k e d p a r t i c i p a n t s t o c l a r i f y t h e i r i n t e r p r e t a t i o n s a n d c o n c e r n s . I v e r i f i e d my u n d e r s t a n d i n g o f i n t e r p r e t a t i o n s b y r e s t a t i n g t h e m t o 9 5 p a r t i c i p a n t s , a n d a s k i n g i f w h a t I s a i d w a s a n a c c u r a t e r e f l e c t i o n o f t h e i r c o m m e n t s . When t h e y a n s w e r e d i n t h e a f f i r m a t i v e , we p r o c e e d e d w i t h o u r d i s c u s s i o n . When t h e y d i s a g r e e d , we r e n e g o t i a t e d o u r c o m m e n t s u n t i l we a g r e e d t h a t I u n d e r s t o o d w h a t t h e y w e r e s a y i n g . I i n t e r v i e w e d A n n e o n s i x d i f f e r e n t o c c a s i o n s t o e x p l o r e h e r i n t e r p r e t a t i o n s o f a s s e s s m e n t — e v a l u a t i o n p o l i c y , a n d c l a s s r o o m a s s e s s m e n t — e v a l u a t i o n p r a c t i c e s . We d i s c u s s e d how a n d why s h e a d o p t e d , m o d i f i e d , a n d d e v e l o p e d h e r i n t e r p r e t a t i o n s o v e r t i m e . S t u d e n t s a n d p a r e n t s h a v e many d i f f e r e n t u n d e r s t a n d i n g s o f t e a c h e r s ' a s s e s s m e n t s - e v a l u a t i o n s o f s t u d e n t a c h i e v e m e n t . D u r i n g i n t e r v i e w s w i t h p a r e n t s I i n v e s t i g a t e d t h e i r i n t e r p r e t a t i o n s o f c l a s s r o o m a s s e s s m e n t — e v a l u a t i o n p r a c t i c e s i n g e n e r a l , a n d w i t h s p e c i f i c r e f e r e n c e t o t h e i r c h i l d . P a r e n t s r e f l e c t e d o n why t h e y h e l d c e r t a i n i n t e r p r e t a t i o n s , a n d e x p l a i n e d w h a t t h e y e x p e c t e d f r o m t h e a s s e s s m e n t — e v a l u a t i o n p r o c e s s a n d s c h o o l i n g . I n t e r v i e w s i n p a r e n t s ' homes w e r e l o n g e r t h a n i n t e r v i e w s a t t h e s c h o o l f o r s e v e r a l r e a s o n s . T h e s c h o o l s e t t i n g p r e s e n t e d a v i s u a l l y a n d a u d i t o r i l y s t e r i l e e n v i r o n m e n t c o m p a r e d t o s t u d e n t s ' h o m e s . 96 I n t e r v i e w s i n homes w e r e o c c a s i o n a l l y i n t e r r u p t e d b y n o i s e s o f c h i l d r e n p l a y i n g , t e l e p h o n e s r i n g i n g , p e o p l e c o m i n g a n d g o i n g , a n d p e t s b e g g i n g t o g o o u t a n d come i n . I n c o n t r a s t , i n t e r v i e w s a t s c h o o l w e r e u n d i s t u r b e d e x c e p t f o r a n o c c a s i o n a l b e l l , a n n o u n c e m e n t o n t h e p u b l i c a d d r e s s s y s t e m , a n d s t u d e n t s c h a n g i n g c l a s s e s . S o c i a l n o r m s t h a t g u i d e d b e h a v i o u r i n s c h o o l d i f f e r e d f r o m s o c i a l n o r m s t h a t g u i d e d b e h a v i o u r i n h o m e s . When I r e c e i v e d a p a r e n t f o r a n i n t e r v i e w a t s c h o o l , I g r e e t e d t h e m b y s h a k i n g t h e i r h a n d a n d s a y i n g " h i . " I s h o w e d t h i s p a r e n t i n t o t h e i n t e r v i e w a r e a a n d i n d i c a t e d a c h a i r . O n c e we w e r e s e t t l e d I b r i e f l y r e v i e w e d t h e p u r p o s e a n d c o n d u c t o f t h e s t u d y a n d a s k e d i f t h e y h a d a n y q u e s t i o n s . T h e n we b e g a n t h e i n t e r v i e w . I n t e r v i e w s i n p a r e n t s * homes w e r e c o m p l i c a t e d b y s o c i a l c o d e s g u i d i n g b e h a v i o u r f o r g u e s t s . My m e e t i n g c r i t e r i a f o r w h a t c o u n t e d a s a n a p p r o p r i a t e h o u s e g u e s t w a s m o r e i m p o r t a n t t h a n e x h i b i t i n g c r i t e r i a o f a c o m p e t e n t r e s e a r c h e r . B e f o r e I l e f t f o r o n e o f t h e s e i n t e r v i e w s , I d r e s s e d a s i f I w e r e g o i n g t o a S c h o o l B o a r d m e e t i n g . I f r e s h l y c u r l e d my h a i r , t o u c h e d u p my m a k e - u p , p u t o n my d i n n e r r i n g , a n d r e p l a c e d my 9 7 b a c k p a c k w i t h a b r i e f c a s e . I p u t o n my g o o d s o c k s b e c a u s e I knew t h a t I w o u l d r e m o v e my s h o e s when e n t e r i n g a home. I n t e r v i e w s i n p a r e n t s ' homes i n c l u d e d t i m e s p e n t o n l i g h t c o n v e r s a t i o n a n d t e a . A l t h o u g h t h e s e moments w e r e p l e a s a n t , I w a s e v e r c o n s c i o u s o f w h a t I s a i d a n d d i d ; a n d how I d i d i t . When a s t u d e n t a n d / o r a s i b l i n g a p p e a r e d , I t o o k t i m e t o s a y h e l l o a n d e x c h a n g e a f e w c o m m e n t s . S o m e t i m e s , t w e n t y t o t h i r t y m i n u t e s p a s s e d b e f o r e I b e g a n a n i n t e r v i e w . I t w a s n o t uncommon f o r p a r e n t s t o a s k w h a t t h e i r c h i l d h a d s a i d t o me d u r i n g a n i n t e r v i e w . Some a s k e d me t o t e l l t h e m t h e i r c h i l d ' s p s e u d o n y m . When I r e m i n d e d p a r e n t s t h a t I c o u l d n o t s h a r e t h i s i n f o r m a t i o n , t h e y w e r e s u r p r i s e d ; n o t b y my a n s w e r , b u t b e c a u s e t h e y h a d a s k e d . T h e y w e r e n o t u s e d t o t h e i r c h i l d h a v i n g a r i g h t t o a n o n y m i t y ; a n d h a v i n g i t e n f o r c e d . C o d e s o f c o n d u c t c o n c e r n i n g s o c i a l g r a c e s f o r g u e s t s d i f f e r e d f r o m o n e home t o a n o t h e r i n t e r m s o f f o r m a l i t y . I n o n e s e t t i n g I s i p p e d t e a f r o m a s i l v e r t e a s e t . I n a n o t h e r s e t t i n g I d r a n k i n s t a n t c o f f e e f rom a c h i p p e d mug. 9 8 My g r e a t e s t , c h a l l e n g e w a s a n i n t e r v i e w w i t h C h i n e s e p a r e n t s . A p p r o x i m a t e l y t w e l v e p e r c e n t o f s t u d e n t s i n t h e c l a s s w e r e o f A s i a n d e s c e n t . I w a s u n f a m i l i a r w i t h C h i n e s e s o c i a l n o r m s . B o t h p a r e n t s g r e e t e d me a t t h e d o o r b y b o w i n g s e v e r a l t i m e s . T h e y l e d me i n t o a l a r g e l i v i n g — r o o m a n d i n v i t e d me t o s h a r e t e a w i t h t h e m . I w a t c h e d how t h e y u s e d t h e C h i n e s e t e a s e r v i c e a n d m i m i c k e d t h e i r m o v e m e n t s . I saw a n o l d e r woman s t a n d i n g b y t h e d o o r t o t h e h a l l . T h e f a t h e r t o l d me t h a t s h e w a s t h e g r a n d m o t h e r o f t h e i r c h i l d r e n . He a d d e d t h a t s h e d i d n o t s p e a k E n g l i s h . I n o t i c e d t h a t s h e w a s s m i l i n g a t me. I w a l k e d o v e r t o h e r , t o o k h e r h a n d i n m i n e , a n d b o w e d my h e a d . I n P i k a n g i k u m I h a d l e a r n e d t o l o w e r my e y e s i n t h e p r e s e n c e o f a n e l d e r . When t h e i n t e r v i e w w a s f i n i s h e d I t h a n k e d t h e p a r e n t s f o r t h e i r t i m e a n d h o s p i t a l i t y . I g r e e t e d t h e g r a n d m o t h e r w i t h a n o t h e r s l i g h t bow. On my way o u t t h e d o o r I b o w e d t o t h e p a r e n t s . T h e y b o w e d i n r e t u r n . Homes w e r e c o m f o r t a b l y f u r n i s h e d . P a i n t i n g s , c h i n a , s c u l p t u r e s , a n d c o l l e c t i b l e s d e c o r a t e d w a l l s a n d c a b i n e t s . F l o o r i n g w a s c o v e r e d w i t h p l u s h c a r p e t i n g , c e r a m i c t i l e s , a n d h a r d w o o d . I s a w g o l d c o l o u r e d t a p s 9 9 a n d f a u c e t s i n t h e b a t h r o o m o f o n e h o u s e . I n t e r v i e w s w i t h s t u d e n t s w e r e h e l d b e f o r e a n d a f t e r s c h o o l , a n d d u r i n g l u n c h . On s e v e r a l o c c a s i o n s A n n e a l l o w e d s t u d e n t s t o b e i n t e r v i e w e d d u r i n g c l a s s -t i m e . I n t e r v i e w s w e r e l o c a t e d i n t h e c l a s s r o o m , c o r r i d o r s , a n d s t a i r w e l l s . O c c a s i o n a l n o i s e f r o m o t h e r c l a s s r o o m s a n d s t u d e n t s c h a n g i n g c l a s s e s made i t d i f f i c u l t t o t a p e some i n t e r v i e w s . S t u d e n t s w e r e e a g e r t o b e i n t e r v i e w e d . Some i n s i s t e d t h a t I c o u l d u s e t h e i r n a m e s . When I e x p l a i n e d t h e i m p o r t a n c e o f t h e i r a n o n y m i t y t o t h e a n o n y m i t y o f o t h e r p a r t i c i p a n t s , t h e y a g r e e d t o u s i n g a p s e u d o n y m . U n l i k e a d u l t p a r t i c i p a n t s who e n g a g e d i n d i s c u s s i o n , s t u d e n t s w a i t e d f o r me t o a s k q u e s t i o n s f r o m t h e i n t e r v i e w g u i d e . Some s t u d e n t s a n s w e r e d q u e s t i o n s w i t h b r i e f c o m m e n t s . P r o d d i n g o f t e n f a i l e d t o s o l i c i t f u r t h e r i n f o r m a t i o n . O t h e r s t u d e n t s t o l d s t o r i e s a n d s h a r e d a n a l o g i e s b a s e d u p o n t h e i r e x p e r i e n c e s . C o n t r i b u t i n g r e a s o n s f o r v a r i a t i o n s i n r e s p o n s e s c o n s i s t e d o f s t u d e n t s " f a c i l i t i e s w i t h t h e E n g l i s h l a n g u a g e , t h e i r p e r c e p t i o n s o f me ( t r u s t , m u t u a l r e s p e c t , a n d a c c e p t a n c e o f t h e i r i d e a s ) , s e l f — 1 0 0 c o n f i d e n c e , l e v e l o f c o m f o r t w i t h b e i n g i n t e r v i e w e d a n d t a p e d , p e r s o n a l i t y ( e x t r o v e r t 1 , r i s k — t a k i n g , s h y , w i t h d r a w n ) , p h y s i c a l w e l l - b e i n g ( r e s t e d , f a t i g u e , p h y s i c a l w e l l n e s s , u n w e l l ) , e m o t i o n a l w e l l - b e i n g ( s t a b l e a n d u n s t a b l e r e l a t i o n s h i p s w i t h p e e r s , t e a c h e r s , a n d f a m i l y ) , a n d a c a d e m i c a c h i e v e m e n t ( i m p a c t o f l o w , a v e r a g e , a n d h i g h m a r k s a n d g r a d e s o n s e l f -i m a g e ) . F o r e x a m p l e , d u r i n g o n e i n t e r v i e w I e n c o u n t e r e d g r e a t d i f f i c u l t y e l i c i t i n g i n f o r m a t i o n f r o m a s t u d e n t . H e r l a c k o f e n t h u s i a s m s e e m e d t o b e o u t - o f - c h a r a c t e r i n t e r m s o f my o b s e r v a t i o n s o f h e r c l a s s r o o m i n v o l v e m e n t . When I a s k e d i f s o m e t h i n g w a s w r o n g , s h e r e p l i e d t h a t s h e w a s v e r y t i r e d . S h e h a d b e e n t o a r o c k c o n c e r t t h e n i g h t b e f o r e a n d h a d b e e n u p l a t e . S h e w a n t e d t o f i n i s h t h e i n t e r v i e w s o we made a r r a n g e m e n t s t o t a l k a t a n o t h e r t i m e . I e x p l o r e d s t u d e n t s " i n t e r p r e t a t i o n s o f c l a s s r o o m a s s e s s m e n t — e v a l u a t i o n p r a c t i c e s , a n d t h e i r r e a s o n s f o r h o l d i n g s u c h v i e w s . S t u d e n t s d e s c r i b e d how a n d why t h e y w o u l d c h a n g e c e r t a i n p r a c t i c e s . E q u a l l y i m p o r t a n t w e r e s t u d e n t s ' i n t e r p r e t a t i o n s o f how m a r k s , s t r u c t u r e d w r i t t e n c o m m e n t s , a n d l e t t e r g r a d e s a f f e c t e d t h e i r 101 i n t r a - a n d i n t e n — p e r s o n a l r e l a t i o n s h i p s . T e a c h e r s a s s o c i a t e d w i t h t h e g r a d e 5 / 6 c l a s s i n t e r p r e t e d p o l i c y r e g a r d i n g a s s e s s m e n t a n d e v a l u a t i o n d i f f e r e n t l y . I e x p l o r e d t h e d e g r e e t o w h i c h t h e i r i n t e r p r e t a t i o n s w e r e s i m i l a r , a n d w a y s i n w h i c h t h e y d i f f e r e d . I i n t e r v i e w e d t h e p r i n c i p a l b e c a u s e I w a n t e d t o u n d e r s t a n d how G r a n t i n t e r p r e t e d t h e p o l i c y . He d e s c r i b e d how h e i n t e r p r e t e d p o l i c y w i t h i n t h e c o n t e x t o f t h e s c h o o l , a n d w i t h s p e c i f i c r e f e r e n c e t o t h e i n t e r m e d i a t e d i v i s i o n . F i e l d - N o t e s . I k e p t s u b s t a n t i v e f i e l d - n o t e s t h r o u g h o u t t h e c o u r s e o f t h e s t u d y t h a t d e s c r i b e d d a i l y a c c o u n t s o f c i r c u m s t a n c e s , e v e n t s , a n d d i s c u s s i o n s w i t h i n w h i c h I p a r t i c i p a t e d . I n f o r m a l a n d f o r m a l o b s e r v a t i o n s made u p p a r t o f t h e s e n o t e s . I n c l u d e d i n s u b s t a n t i v e n o t e s w e r e my o n g o i n g r e f l e c t i o n s c o n c e r n i n g t h e c o n d u c t o f t h e s t u d y i n t e r m s o f p r o b l e m s , s u c c e s s e s , a n d q u e s t i o n s . My m e t h o d o l o g i c a l n o t e s t r a c k e d c h a n g e s i n r e s e a r c h q u e s t i o n s , d a t a -c o l l e c t i o n t e c h n i q u e s , a n d t h e t i m e — l i n e f o r t h e s t u d y . I w r o t e a n a l y t i c n o t e s d i r e c t l y a c r o s s f r o m s u b s t a n t i v e a n d m e t h o d o l o g i c a l n o t e s i n t h e f i e l d — 102 d i a r i e s . A n a l y t i c n o t e s c o n s i s t e d o f my r e a c t i o n s t o d a i l y e x p e r i e n c e s i n t h e f o r m o f q u e s t i o n s , c o n c e r n s , a n d h y p o t h e s e s . B y l o g g i n g my p e r s o n a l r e f l e c t i o n s , I m o n i t o r e d my i n t e r p r e t a t i o n s o f e v e n t s a n d r e l a t i o n s h i p s . I n o t h e r w o r d s , I k e p t t r a c k o f w h a t p u s h e d my b u t t o n s t o p e r c e i v e s i t u a t i o n s a s I d i d . T h i s w a s a l s o a u s e f u l a p p r o a c h t o i d e n t i f y p r o b l e m s b e f o r e t h e y b e c a m e s e r i o u s . T h e s e t y p e s o f f i e l d — n o t e s p r o v i d e d me w i t h a d e s c r i p t i v e d a t a — b a s e o f c l a s s r o o m p r a c t i c e s w i t h i n a n d t h r o u g h t i m e . T h e y p r o v i d e d me w i t h e v i d e n c e o f t h e t e m p o r a l i t y o f A n n e ' s c l a s s r o o m p r a c t i c e . U s i n g c o n t e n t a n a l y s i s , I a n a l y z e d n o t e s a n d c o n s t r u c t e d t h e m e s r e g a r d i n g i s s u e s a s s o c i a t e d w i t h a s s e s s m e n t -e v a l u a t i o n . I c o m p a r e d f i e l d — n o t e d a t a w i t h d a t a f r o m d o c u m e n t s , o b s e r v a t i o n s , i n t e r v i e w s , a n d l i t e r a t u r e . F i e l d — n o t e s t o t a l l e d o n e h u n d r e d a n d s i x e n t r i e s . Q u o t a t i o n s a n d r e f e r e n c e s made t o f i e l d — n o t e s i n t h e t h e s i s a r e r e f e r r e d t o b y F N , f o l l o w e d b y t h e d a t e o f t h e e n t r y . D a t a — A n a l y s i s D a t a — a n a l y s i s w a s o n g o i n g t h r o u g h o u t t h e d a t a -c o l l e c t i o n p e r i o d a n d t h e w r i t i n g o f t h e t h e s i s . I 103 a n a l y z e d d o c u m e n t s , i n t e r v i e w t r a n s c r i p t s , o b s e r v a t i o n s , a n d f i e l d — n o t e s u s i n g c o n s t a n t c o m p a r a t i v e a n a l y s i s a n d m e t h o d o l o g i c a l t r i a n g u l a t i o n . D u r i n g t h e f i r s t t w o r e a d i n g s , I c o l o u i — c o d e d d a t a i n t e r m s o f r e c u r r i n g w o r d s , p h r a s e s , a n d i m a g e s . A s t h e i n c i d e n c e o f r e p e t i t i o n i n c r e a s e d I c l a s s i f i e d t h e m e s a c c o r d i n g t o c o l o u r . F o r e x a m p l e , t h e c o l o u r b l a c k s i g n i f i e d t e s t s , b r o w n r e p r e s e n t e d p o r t f o l i o s , o r a n g e s t o o d f o r p r o j e c t s , r e d i n d i c a t e d a c h i e v e m e n t , y e l l o w s i g n i f i e d c r i t e r i o n - r e f e r e n c e d e v a l u a t i o n , a n d s o o n . By t h e s e c o n d r e a d i n g I h a d m a r k e d some s e l e c t i o n s w i t h t w o o r m o r e c o l o u r s . L a y e r s o f c o l o u r i n d i c a t e d i n t e r c o n n e c t e d t h e m e s . I w r o t e b r i e f n o t e s a b o u t t h e s u b s t a n t i v e n a t u r e o f i n t e r c o n n e c t i o n s i n a j o u r n a l . I a l s o r e c o r d e d t h e m e s i n t h e i r r e s p e c t i v e c o l o u r s . B e s i d e e a c h t h e m e I w r o t e i t s a b b r e v i a t e d f o r m i n p e n c i l . F o r e x a m p l e , c r i t e r i o n — r e f e r e n c e d e v a l u a t i o n b e c a m e C R E . D u r i n g t h e t h i r d r e a d i n g I u s e d a b b r e v i a t e d c o d e s t o i n d i c a t e t h e m e s . When I c o m p l e t e d t h e t h i r d r e a d i n g o f d a t a , I r e t u r n e d t o my l i s t a n d a d d e d new t h e m e s . U n d e r e a c h t h e m e I made k e y - w o r d n o t e s t o d e s c r i b e i t s m a j o r 104 c o m p o n e n t s . I c o m p a r e d my j o u r n a l n o t e s c o n c e r n i n g i n t e r c o n n e c t e d t h e m e s w i t h t h e l i s t t o d e t e r m i n e how a n d w h e r e t h e m e s i n t e r c o n n e c t e d . I c o l l a p s e d c l o s e l y c o n n e c t e d t h e m e s t o c r e a t e o n e c a t e g o r y . U n d e r e a c h c a t e g o r y , I w r o t e k e y - w o r d n o t e s a b o u t e a c h t h e m e . T h e n I c o d e d e a c h t h e m e - n o t e t o i n d i c a t e i t s s o u r c e a n d d a t e o f a c q u i s i t i o n . F o r e x a m p l e , t h e m e — n o t e s f o r c r i t e r i o n - r e f e r e n c e d e v a l u a t i o n w e r e d r a w n f r o m d o c u m e n t s <Doc ) , i n t e r v i e w s ( I n t e r ) , f o r m a l a n d i n f o r m a l o b s e r v a t i o n s <FQ; I Q ) , a n d f i e l d - n o t e s <FN) . M u l t i p l e s o u r c e s a l s o r e p r e s e n t e d m u l t i p l e t i m e p e r i o d s . D a t a w e r e t r i a n g u l a t e d a l o n g i n t e r s e c t i n g a x e s o f m e t h o d , t i m e , s p a c e , a n d p e o p l e . I n t h i s w a y , I u s e d c o n s t a n t c o m p a r a t i v e a n a l y s i s a n d m e t h o d o l o g i c a l t r i a n g u l a t i o n t o c o r r o b o r a t e m u l t i p l e p e r s p e c t i v e s a s s o c i a t e d w i t h t h e m e s a n d c a t e g o r i e s . E q u a l l y i m p o r t a n t , I w r o t e b r i e f d e s c r i p t i o n s o f t h e m e s t o f a c i l i t a t e my e x a m i n a t i o n o f c o n t r a d i c t i o n s g e n e r a t e d b y m u l t i p l e p e r s p e c t i v e s . C o n t e n t a n a l y s i s o f d o c u m e n t s f o c u s e d o n i d e n t i f y i n g who w r o t e t h e m , why t h e y w e r e w r i t t e n , f o r whom, a n d t h e i r m a j o r a s s u m p t i o n s c o n c e r n i n g i n t e r p r e t a t i o n s o f k e y t e r m i n o l o g y , p r a c t i c e s , a n d 105 i m p l e m e n t a t i o n i s s u e s . When a n a l y s e s g e n e r a t e d c o n t r a d i c t i o n s i n r e l a t i o n t o d a t a f r o m d o c u m e n t s , i n t e r v i e w s , o b s e r v a t i o n s , a n d f i e l d - n o t e s , I e x a m i n e d c o n t r a d i c t i o n s i n r e l a t i o n t o l i t e r a t u r e . I a l s o t o o k A n n e ' s i n t e r p r e t a t i o n s o f c o n t r a d i c t i o n s i n t o c o n s i d e r a t i o n . Q u o t a t i o n s a n d r e f e r e n c e s t o d o c u m e n t s i n t h e t h e s i s a r e r e f e r r e d t o b y D o c , f o l l o w e d b y t h e a u t h o r o r a c r o n y m d e s c r i b i n g t h e d o c u m e n t , a n d y e a r o f p u b l i c a t i o n o r s o l i c i t a t i o n . F o r e x a m p l e , ( D o c - R C , 2 . 3 . 9 5 ) s t a n d s f o r r e p o r t c a r d d o c u m e n t s o l i c i t e d o n F e b r u a r y 3 , 1 9 9 5 . C o n t e n t a n a l y s i s o f f i e l d - n o t e s i d e n t i f i e d r e c u r r i n g w o r d s , i d e a s , i m a g e s , a n d t h e m e s f r o m o b s e r v a t i o n s . I r e - e x a m i n e d d a t a f r o m d o c u m e n t s , i n t e r v i e w s , a n d f i e l d - n o t e s w i t h t h i s i n f o r m a t i o n . Q u o t a t i o n s o r r e f e r e n c e s made f r o m f i e l d - n o t e s i n t h i s t h e s i s a r e r e f e r r e d t o b y F N ( F i e l d — N o t e ) , f o l l o w e d b y t h e d a t e o n w h i c h t h e n o t e w a s r e c o r d e d . I n f o r m a l a n d f o r m a l o b s e r v a t i o n s g a v e me o p p o r t u n i t i e s t o e x p l o r e how t a l k a n d a c t i o n s o f t e a c h e r s a n d s t u d e n t s r e g a r d i n g a s s e s s m e n t - e v a l u a t i o n w e r e r e p r e s e n t e d i n c l a s s r o o m p r a c t i c e s . I c o r r o b o r a t e d my n o t e s f r o m o b s e r v a t i o n p e r i o d s w i t h 106 d a l a f r o m d o c u m e n t s , i n t e r v i e w s , a n d f i e l d - n o t e s . I a l s o c o m p a r e d o b s e r v a t i o n d a t a w i t h t h e l i t e r a t u r e . I n f o r m a t i o n f r o m o b s e r v a t i o n n o t e s w a s i n t r o d u c e d , w h e r e a p p r o p r i a t e , i n t o i n t e r v i e w s f o r f u r t h e r e l a b o r a t i o n b y p a r t i c i p a n t s . Q u o t a t i o n s a n d r e f e r e n c e s made f r o m o b s e r v a t i o n s i n t h e t h e s i s a r e r e f e r r e d t o b y IQ ( I n f o r m a l O b s e r v a t i o n ) a n d FO ( F o r m a l O b s e r v a t i o n ) , f o l l o w e d b y t h e d a t e o n w h i c h t h e o b s e r v a t i o n w a s c o n d u c t e d . T h r o u g h c o n t e n t a n a l y s i s o f i n t e r v i e w t r a n s c r i p t i o n s I i d e n t i f i e d r e c u r r i n g w o r d s , i d e a s , a n d p h r a s e s . I u s e d t h i s i n f o r m a t i o n t o c o n s t r u c t t h e m e s a s s o c i a t e d w i t h a s s e s s m e n t — e v a l u a t i o n . I c o m p a r e d t h e s e t h e m e s w i t h d a t a f r o m d o c u m e n t s , o b s e r v a t i o n s , a n d f i e l d - n o t e s , a n d l i t e r a t u r e . Q u o t a t i o n s a n d r e f e r e n c e s made f r o m i n t e r v i e w s i n t h i s t h e s i s a r e r e f e r r e d t o b y I n t e r ( I n t e r v i e w ) , f o l l o w e d b y t h e d a t e o n w h i c h t h e i n t e r v i e w w a s c o n d u c t e d . P a r t i c i p a n t s w e r e i n v i t e d t o r e v i e w t h e i r t r a n s c r i p t s t o a d d , d e l e t e , a n d c l a r i f y t h e i r s t a t e m e n t s . P a r e n t s d i d n o t r e q u e s t t r a n s c r i p t s f o r r e v i e w . S t u d e n t s r e a d t h e i r t r a n s c r i p t s b u t d i d n o t make c h a n g e s . A n n e made g r a m m a t i c a l c h a n g e s t o h e r 107 t r a n s c r i p t s . P a r t i c i p a n t s s e l e c t e d a n d / o r w e r e a s s i g n e d a p s e u d o n y m . T r a n s f e r a b i l i t y , R e l i a b i l i t y , a n d V a l i d i t y I h a v e c h o s e n t h e c r i t e r i a o f t r a n s f e r a b i l i t y a s a m e a s u r e o f t h e s t u d y ' s u s e f u l n e s s t o o t h e r r e s e a r c h e r s ( L i n c o l n & G u b a , 1 9 8 5 ) . W h e t h e r o r n o t t h e s i g n i f i c a n c e o f t h e s t u d y i s t r a n s f e r a b l e t o a n o t h e r s e t t i n g i s a q u e s t i o n t h a t m u s t b e d e t e r m i n e d b y t h o s e who a r e i n t e r e s t e d i n c o n t e m p l a t i n g s u c h a p o s s i b i l i t y . T h e d e g r e e o f t r a n s f e r a b i l i t y w i l l b e " . . . d e p e n d e n t o n t h e d e g r e e o f s i m i l a r i t y b e t w e e n t h e s e n d i n g a n d r e c e i v i n g c o n t e x t s " ( L i n c o l n & G u b a , 1 9 8 5 , p . 2 9 7 ) . I n t e r m s o f r e l i a b i l i t y , I h a v e p r o v i d e d a d e t a i l e d a c c o u n t o f t h e c o n d u c t a n d c o n t e x t o f t h e s t u d y s o t h a t o t h e r s c a n u s e my w o r k i n c o o r d i n a t i o n w i t h t h e i r own r e s e a r c h i n t e r e s t s . S i l v e r m a n ( 1 9 9 3 ) e x p l a i n s t h a t t r i a n g u l a t i o n a n d r e s p o n d e n t v a l i d a t i o n a r e s u i t a b l e f o r m s o f v a l i d a t i o n f o r t h e l o g i c o f q u a l i t a t i v e r e s e a r c h . I t r i a n g u l a t e d v a r i o u s t y p e s o f d a t a t o c o r r o b o r a t e p a r t i c i p a n t s ' i n t e r p r e t a t i o n s a c r o s s d i f f e r e n t s e t t i n g s a n d t i m e p e r i o d s . I a l s o t r i a n g u l a t e d m u l t i p l e d a t a s o u r c e s t o e x p l o r e r e l a t i o n s h i p s among p o l i c y a n d c l a s s r o o m 108 a s s e s s m e n t — e v a l u a t i o n p r a c t i c e s . A t r e g u l a r i n t e r v a l s d u r i n g i n t e r v i e w s I c h e c k e d my u n d e r s t a n d i n g o f p a r t i c i p a n t s ' i n t e r p r e t a t i o n s b y r e s t a t i n g t h e i r r e m a r k s , a n d a s k i n g i f my r e s t a t e m e n t s w e r e a c c u r a t e r e f l e c t i o n s o f t h e i r c o m m e n t s . When p a r t i c i p a n t s a g r e e d w i t h my r e s t a t e m e n t s , i n t e r v i e w s c o n t i n u e d . When p a r t i c i p a n t s d i s a g r e e d , o r w e r e u n c o m f o r t a b l e w i t h my i n t e r p r e t a t i o n s , we n e g o t i a t e d m e a n i n g u n t i l my c o m m e n t s met w i t h t h e i r a p p r o v a l . 91 % o f t h e s e c h e c k s a n d n e g o t i a t i o n s w e r e t a p e d . A n n e n o t o n l y c h e c k e d h e r i n t e r v i e w t r a n s c r i p t i o n s , b u t s h e a l s o r e a d a n d c r i t i q u e d e a c h d r a f t o f c h a p t e r f i v e ; t h e c h a p t e r f o c u s i n g o n h e r c l a s s r o o m p r a c t i c e . A n n e e d i t e d c h a p t e r f i v e b y c o r r e c t i n g i n a c c u r a c i e s c o n c e r n i n g h e r b a c k g r o u n d , c o r r e c t i n g g r a m m a t i c a l e r r o r s i n h e r t r a n s c r i p t s , p o i n t i n g o u t c l a i m s t h a t n e e d e d c l a r i f i c a t i o n , a n d b y c h a l l e n g i n g my u s e o f l a n g u a g e when i t d i d n o t a c c u r a t e l y r e p r e s e n t h e r v i e w s . A l l p a r t i c i p a n t s i n t h i s s t u d y w i l l r e c e i v e a summary o f t h e t h e s i s . T h a t i s , I w i l l s e n d o n e summary t o e a c h f a m i l y , e a c h t e a c h e r , t h e p r i n c i p a l , a n d t h e S c h o o l B o a r d . 109 I e x t e n d my d i s c u s s i o n o f v a l i d i t y t o i n c l u d e t h e u s e f u l n e s s o f t h e s t u d y . P a r t i c i p a n t s f o u n d t h e s t u d y u s e f u l f o r s e v e r a l r e a s o n s . G r a n t p o i n t e d o u t t h a t t h e s t u d y w a s u s e f u l b e c a u s e A n n e a n d I w o r k e d c o l l a b o r a t i v e l y i n h e r c l a s s r o o m . He a d d e d t h a t t h e s t u d y c r e a t e d a v e n u e s f o r p a r e n t s , t e a c h e r s , s t u d e n t s , a n d a d m i n i s t r a t i o n t o s h a r e t h e i r i n t e r p r e t a t i o n s a n d c o n c e r n s r e g a r d i n g p o l i c y a n d c l a s s r o o m p r a c t i c e s . A n n e s a i d t h e s t u d y w a s u s e f u l b e c a u s e i t g a v e h e r a n o p p o r t u n i t y t o u n d e r s t a n d c o n c e r n s o f s t u d e n t s a n d p a r e n t s , a n d t o m o d i f y h e r p r a c t i c e w h e r e a p p r o p r i a t e . F o r e x a m p l e , when I e x p l a i n e d t o A n n e t h a t some s t u d e n t s w e r e n o t c o m f o r t a b l e w i t h s t u d e n t — l e d c o n f e r e n c e s , s h e d e c i d e d t o m o d i f y h e r a p p r o a c h f o r t h e f o l l o w i n g y e a r . On a n o t h e r o c c a s i o n , I p o i n t e d o u t t h a t some s t u d e n t s t h o u g h t t h a t s e l f — e v a l u a t i o n w a s a w a s t e o f t i m e b e c a u s e t h e i r m a r k s n e v e r c h a n g e d . D u r i n g t h e s c h o o l y e a r 1 9 9 5 - 9 6 , A n n e made m a r k s n e g o t i a b l e i n r e l a t i o n t o some a c t i v i t i e s . A n n e s a i d t h a t s h e l i k e d t o d i a l o g u e w i t h me a b o u t a s s e s s m e n t - e v a l u a t i o n i s s u e s b e c a u s e we w o r k e d c o l l a b o r a t i v e l y . I n a d d i t i o n , i n f o r m a l l y - s t r u c t u r e d i n t e r v i e w s g a v e h e r o p p o r t u n i t i e s t o s o r t t h r o u g h h e r 1 10 a s s u m p t i o n s , i d e a s , a n d i n t e r p r e t a t i o n s . S t u d e n t s a l s o l i k e d h a v i n g o p p o r t u n i t i e s t o t a l k a b o u t t h e i r o p i n i o n s a n d c o n c e r n s . F o r some s t u d e n t s i t may h a v e b e e n t h e f i r s t t i m e t h a t t h e i r v i e w s h a d b e e n t a k e n s e r i o u s l y b y a n a d u l t . O t h e r s t u d e n t s h a d d i a l o g u e d w i t h p a r e n t s a n d a d u l t s f r o m a v e r y y o u n g a g e . One g i r l i n g r a d e 6 t o l d me t h a t s h e l i k e d b e i n g a b l e t o t a l k a b o u t t h i n g s t h a t b o t h e r e d h e r w i t h o u t f e a r o f r e c r i m i n a t i o n . P a r e n t s a p p r e c i a t e d d i s c u s s i n g t h e i r o p i n i o n s a n d c o n c e r n s d u r i n g i n t e r v i e w s . I i n v i t e d t h e m t o t e l e p h o n e me i f t h e y w a n t e d t o r e v i e w t h e i r t r a n s c r i p t s . T e a c h e r s e n j o y e d s h a r i n g t h e i r v i e w s a n d c o n c e r n s . T h e l o g i s t i c s o f t e a c h i n g o f t e n m e a n s t h a t t e a c h e r s a r e i s o l a t e d i n c l a s s r o o m s . R a r e l y a r e t h e i r o p i n i o n s s o u g h t o u t . T e a c h e r s w e r e i n v i t e d t o r e a d t h e i r t r a n s c r i p t s . T h e c r i t e r i a o f d e p e n d a b i 1 i t y f o r t h e s t u d y r e c o g n i z e s t h a t s i n c e r e a l i t y i s s o c i a l l y a n d c u l t u r a l l y c o n s t r u c t e d , t h e c o n d u c t o f t h e r e s e a r c h a n d t h e n a t u r e o f t h e r e s e a r c h d e s i g n w i l l c h a n g e i n r e s p o n s e t o c o n t e x t u a l c h a n g e s ( L i n c o l n & G u b a , 1 9 8 5 ) . 11 Careful and consistent documentation of the research process, the triangulation of methods, and constant comparison of the data, have increased confidence i n the s i g n i f i c a n c e of these changes and their relationship to the research questions. Overall, I have learned that extensive collaboration with a teacher and her students allows for an analysis of assessment—evaluation i n a context that i s useful to teachers. 112 CHAPTER 4 R e t u r n t o n o - n o n s e n s e e d u c a t i o n l a u d e d : B . C . s c h o o l s w i l l r e t a i n t h e b e s t o f ( Y e a r 2 0 0 0 ) p r o g r a m — a n d t r a s h t h e r e s t . ( V a n c o u v e r S u n , 1 9 9 3 , p . B l ) EDUCATION REFORM I N B R I T I S H COLUMBIA I n t h i s c h a p t e r I t r y t o l o c a t e p o l i c y c h a n g e s t o w a r d s c l a s s r o o m a s s e s s m e n t — e v a l u a t i o n p r a c t i c e s f r o m 1987 t o 1997 w i t h p a r t i c u l a r a t t e n t i o n t o c r i t e r i o n -r e f e r e n c e d e v a l u a t i o n a n d l e t t e r g r a d e s . T h e s e d a t e s f o c u s d e b a t e a b o u t a s s e s s m e n t - e v a l u a t i o n w i t h i n a t e n -y e a r p e r i o d . I n a d d i t i o n , I e x a m i n e how t h e s c h o o l p r i n c i p a l a t W e s t h e i g h t s u n d e r s t o o d t h e p o l i c y c h a n g e . S i n c e 1 9 8 7 , e d u c a t i o n r e f o r m i n B r i t i s h C o l u m b i a h a s i n v o l v e d t h e " S u l l i v a n R o y a l C o m m i s s i o n o n E d u c a t i o n " i n 1 9 8 8 , i m p l e m e n t a t i o n o f t h e " Y e a r 2 0 0 0 " f r o m 1 9 8 9 t o 1994 ( B r i t i s h C o l u m b i a M i n i s t r y o f E d u c a t i o n , 1 9 8 9 b > , d e a t h o f t h e " Y e a r 2 0 0 0 " i n 1 9 9 4 , a n d i m p l e m e n t a t i o n o f t h e " K i n d e r g a r t e n t o G r a d e 12 E d u c a t i o n P l a n " f r o m 1994 t o 1997 ( B r i t i s h C o l u m b i a M i n i s t r y o f E d u c a t i o n , 1 9 9 4 i ) . T h e S u l l i v a n R o y a l C o m m i s s i o n w a s i n i t i a l l y a n e l e c t i o n p r o m i s e o f S o c i a l C r e d i t P r e m i e r , B i l l V a n d e r Z a l m . F r o m M a r c h 1 9 8 7 t o 113 J u l y 1 9 8 8 , t h e c o m m i s s i o n c o l l e c t e d a p p r o x i m a t e l y 2 , 3 5 0 o r a l a n d w r i t t e n p u b l i c s u b m i s s i o n s r e g a r d i n g e d u c a t i o n i n B C . S u b m i s s i o n s f o c u s e d o n p e o p l e s ' i n t e r p r e t a t i o n s o f e d u c a t i o n a n d t h e r o l e o f s c h o o l i n g i n t h e e d u c a t i o n a l p r o c e s s . I n a d d i t i o n , d i f f i c u l t i e s a s s o c i a t e d w i t h t h e p r o v i s i o n o f e d u c a t i o n a l s e r v i c e s i n t h e p r o v i n c e w e r e e x p l o r e d . T h e C o m m i s s i o n r e c o m m e n d e d t h a t p r e p a r a t i o n o f s t u d e n t s f o r t h e w o r k p l a c e w a s a n o v e r a r c h i n g g o a l o f a common c u r r i c u l u m f r o m g r a d e s o n e t o t e n . I t a d v i s e d r e s t r u c t u r i n g o f t h e " P r o v i n c i a l L e a r n i n g A s s e s s m e n t P r o g r a m " t o f a c i l i t a t e c o l l e c t i o n o f a n n u a l i n f o r m a t i o n a b o u t s t u d e n t a c h i e v e m e n t i n H u m a n i t i e s , F i n e A r t s , S c i e n c e s , a n d P r a c t i c a l A r t s . G r a d i n g s y s t e m s w e r e t o b e r e m o v e d f r o m t h e p r i m a r y c u r r i c u l u m t o e n h a n c e f l e x i b i l i t y . A s s e s s m e n t s a n d e v a l u a t i o n s o f s t u d e n t a c h i e v e m e n t w e r e t o b e c r i t e r i o n - r e f e r e n c e d a n d d r a w n f r o m m u l t i p l e s o u r c e s o f i n f o r m a t i o n ( B r i t i s h C o l u m b i a M i n i s t r y o f E d u c a t i o n , 1 9 8 8 ; 1 9 8 9 a ; 1989b> . T h e C o m m i s s i o n a l s o r e c o m m e n d e d t h a t d i s t r i c t s w o u l d h a v e g r e a t e r s u c c e s s o b t a i n i n g f u n d i n g i n a c o m p e t i t i v e m a r k e t b y d e m o n s t r a t i n g i n c r e a s e d " v a l u e f o r money" o r b y i m p r o v i n g a c c o u n t a b i l i t y ( S u l l i v a n , 1 9 8 8 , p . 4 9 ) . I t s u g g e s t e d t h a t t h e M i n i s t r y o f E d u c a t i o n , s c h o o l d i s t r i c t s , a n d s c h o o l s s h o u l d w o r k c o l l a b o r a t i v e l y t o i n c r e a s e a c c o u n t a b i l i t y . I n p a r t i c u l a r , a c c o u n t a b i l i t y m i g h t b e e n h a n c e d b y d e v e l o p i n g o u t c o m e m e a s u r e s o f d e m o n s t r a t e d p e r f o r m a n c e t h a t w e r e l i n k e d t o e d u c a t i o n a l o b j e c t i v e s , b y i n t e r f a c i n g a s s e s s m e n t i n f o r m a t i o n w i t h d a t a c o n c e r n i n g f i n a n c e s a n d r e s o u r c e m a n a g e m e n t , a n d b y e x t e n d i n g i m p r o v e d m e t h o d s f o r c o m m u n i c a t i n g i n f o r m a t i o n t o t h e p u b l i e . I n 1 9 8 8 , t h e R o y a l C o m m i s s i o n s u b m i t t e d i t s f i n d i n g s i n t h e r e p o r t , "A L e g a c y f o r L e a r n e r s " ( S u l l i v a n , 1 9 8 8 ) . T h e g o v e r n m e n t a d o p t e d s e v e n t y -e i g h t o f t h e r e p o r t ' s e i g h t y — t h r e e r e c o m m e n d a t i o n s . A f u n d o f $ 1 . 4 b i l l i o n d o l l a r s w a s d e s i g n a t e d t o f a c i l i t a t e i m p l e m e n t a t i o n o f r e c o m m e n d a t i o n s o v e r a t e n — y e a r p e r i o d . T h e " Y e a r 2 0 0 0 . " I n t h e f a l l o f 1 9 8 9 , t h e g o v e r n m e n t i s s u e d p o l i c y d i r e c t i o n s f o r c u r r i c u l u m r e f o r m i n t h e d o c u m e n t , " Y e a r 2 0 0 0 : A C u r r i c u l u m a n d A s s e s s m e n t F r a m e w o r k f o r t h e F u t u r e " ( B r i t i s h C o l u m b i a M i n i s t r y o f E d u c a t i o n , 1 9 8 9 a ) . B y May 1 9 9 0 , t h e d o c u m e n t w a s p u b l i s h e d a s t h e " Y e a r 2 0 0 0 : A F r a m e w o r k 115 f o r L e a r n i n g " ( B r i t i s h C o l u m b i a M i n i s t r y o f E d u c a t i o n , 1 9 8 9 b ) . T h e m i s s i o n s t a t e m e n t o f t h e " Y e a r 2 0 0 0 " r e f l e c t e d t h e R o y a l C o m m i s s i o n ' s e m p h a s i s o n t h e r e l a t i o n s h i p b e t w e e n s c h o o l i n g a n d w o r k . T h e p u r p o s e o f t h e B r i t i s h C o l u m b i a s c h o o l s y s t e m i s t o e n a b l e l e a r n e r s t o d e v e l o p t h e i r i n d i v i d u a l p o t e n t i a l a n d t o a c q u i r e t h e k n o w l e d g e , s k i l l s , a n d a t t i t u d e s n e e d e d t o c o n t r i b u t e t o a h e a l t h y s o c i e t y a n d a p r o s p e r o u s a n d s u s t a i n a b l e e c o n o m y . ( B r i t i s h C o l u m b i a M i n i s t r y o f E d u c a t i o n , 1 9 8 9 b , p . i i ) H i g h l i g h t s o f t h e t e x t w e r e l e a r n e r — f o c u s e d c u r r i c u l u m a n d a s s e s s m e n t , a n d c o n t i n u o u s p r o g r e s s . L e a r n e i — f o c u s e d c u r r i c u l u m a n d a s s e s s m e n t i s d e v e 1 o p m e n t a 1 1 y a p p r o p r i a t e , a l l o w s f o r c o n t i n u o u s l e a r n i n g . . . . D e v e l o p m e n t a l l y a p p r o p r i a t e c u r r i c u l u m a n d a s s e s s m e n t t a k e i n t o a c c o u n t t h e d e v e l o p m e n t a l l e v e l s o f l e a r n e r s a t v a r i o u s a g e s . . . . A s s e s s m e n t p r o c e d u r e s c o n c e n t r a t e o n c o l l e c t i n g i n f o r m a t i o n a b o u t w h a t i n d i v i d u a l l e a r n e r s c a n d o i n r e l a t i o n t o s t a n d a r d s a n d e x p e c t a t i o n s a b o u t t h e t y p e s o f l e a r n i n g t h a t c h i l d r e n w i l l e x h i b i t a s t h e y g r o w . . . . W i t h a c o n t i n u o u s l e a r n i n g a p p r o a c h , a c h i l d i s n o t " f a i l e d " . . . . ( p . 9 ) T h e d o c u m e n t r e c o m m e n d e d t h a t a c r i t e r i o n -r e f e r e n c e d a p p r o a c h t o a s s e s s m e n t w a s a c o m p o n e n t o f l e a r n e i — f o c u s e d c u r r i c u l u m a n d a s s e s s m e n t ( B r i t i s h C o l u m b i a M i n i s t r y o f E d u c a t i o n , 1 9 8 9 ) . W i t h i n t h i s c o n t e x t , a c h i e v e m e n t w a s a p p r a i s e d a c c o r d i n g t o how e f f e c t i v e l y a s t u d e n t d e m o n s t r a t e d u n d e r s t a n d i n g o f 1 16 c u r r i c u l u m c r i t e r i a ; c r i t e r i a a s s o c i a t e d w i t h l e a r n i n g o u t c o m e s . T e a c h e r s w e r e a d v i s e d t o k e e p p o r t f o l i o s o f w o r k s a m p l e s t h a t r e p r e s e n t e d s t u d e n t u n d e r s t a n d i n g o f k e y c o n c e p t s a n d s k i l l s . T e a c h e r s w i l l b e e n c o u r a g e d t o a d j u s t t h e s e p r o c e d u r e s ( i n f o r m a l a n d f o r m a l a s s e s s m e n t t e c h n i q u e s ) t o b e a s l e a r n e r — f o c u s e d a n d c r i t e r i o n - r e f e r e n c e d a s p o s s i b l e . T e a c h e r s w i l l b e a b l e t o u s e t h e l e a r n i n g d e s c r i p t o r s p r o v i d e d i n G r a d u a t i o n P r o g r a m d o c u m e n t s t o h e l p t h e m i n t e r p r e t t h e i r o b s e r v a t i o n s o f s t u d e n t ' s l e a r n i n g i n t e r m s o f e x p e c t a t i o n s f o r l e a r n i n g d e v e l o p m e n t . . . . I t i s e x p e c t e d t h a t f o r e a c h s t u d e n t a c o l l e c t i o n o f s a m p l e w o r k w i l l b e m a i n t a i n e d , t o i n c l u d e e s p e c i a l l y a n y w o r k w h i c h d e m o n s t r a t e s t h e s t u d e n t ' s a t t a i n m e n t o f i m p o r t a n t l e a r n i n g o b j e c t i v e s . ( B r i t i s h C o l u m b i a M i n i s t r y o f E d u c a t i o n , 1 9 8 9 b , p . 2 7 ) " Y e a r 2 0 0 0 " d o c u m e n t s d r e w a d i s t i n c t i o n b e t w e e n t h e t e r m s , a s s e s s m e n t a n d e v a l u a t i o n ( B r i t i s h C o l u m b i a M i n i s t r y o f E d u c a t i o n , 1 9 8 9 a ; 1 9 8 9 b ) . A s s e s s m e n t r e p r e s e n t e d s y s t e m a t i c p r o c e d u r e s f o r c o l l e c t i n g i n f o r m a t i o n c o n c e r n i n g w h a t a s t u d e n t w a s a b l e t o d o i n t e r m s o f t h e " G o a l s o f E d u c a t i o n . " E v a l u a t i o n r e p r e s e n t e d o n g o i n g p r o c e d u r e s f o r d e t e r m i n i n g a p p r o p r i a t e p r o g r a m s f o r s t u d e n t s b a s e d u p o n a s s e s s m e n t i n f o r m a t i o n . T e a c h e r s w e r e e n c o u r a g e d t o u s e m u l t i p l e m e t h o d s t o c o l l e c t a s s e s s m e n t i n f o r m a t i o n f r o m m u l t i p l e s o u r c e s w i t h i n t h e c o n t e x t o f a " l e a r n e r ' s p r o d u c t i o n o f 117 s o m e t h i n g , e g . a p i e c e o f w r i t i n g , a n o r a l p r e s e n t a t i o n , a d r a w i n g , a c o n s t r u c t e d o b j e c t " ( B r i t i s h C o l u m b i a M i n i s t r y o f E d u c a t i o n , 1 9 8 9 b , p . 1 1 ) . T h e y w e r e a d v i s e d t h a t o n g o i n g a n d r e a d i l y a v a i l a b l e a s s e s s m e n t m e t h o d s e n a b l e d s t u d e n t s t o d e m o n s t r a t e w h a t t h e y w e r e a b l e t o d o a t d i f f e r e n t p o i n t s i n t h e i r l e a r n i n g . I n a d d i t i o n , s t u d e n t s n e e d e d t o u n d e r s t a n d l e a r n i n g o u t c o m e s f o r a s s e s s m e n t p r o c e d u r e s t o b e m e a n i n g f u l , a n d s e l f — a s s e s s m e n t s a n d s e l f - e v a l u a t i o n s e n g a g e d s t u d e n t s d i r e c t l y i n t h e i r l e a r n i n g . " Y e a r 2 0 0 0 " p o l i c y d i s c u s s i o n s p o i n t e d o u t t h a t i n f o r m a l a n d f o r m a l r e p o r t s o f s t u d e n t p r o g r e s s s h o u l d b e c o n d u c t e d a t r e g u l a r i n t e r v a l s t h r o u g h o u t t h e s c h o o l y e a r ( B r i t i s h C o l u m b i a M i n i s t r y o f E d u c a t i o n , 1 9 8 9 b ) . I n a d d i t i o n , r e p o r t s s h o u l d d e s c r i b e s t u d e n t s ' a t t a i n m e n t s a n d e m p h a s i z e w h a t t h e y w e r e a b l e t o d o i n r e l a t i o n t o e x p e c t e d l e a r n i n g o u t c o m e s . T e a c h e r s w e r e e n c o u r a g e d n o t t o c o m p a r e p e r f o r m a n c e s among s t u d e n t s t o g e n e r a t e d e s c r i p t i o n s o f i n d i v i d u a l p e r f o r m a n c e . I f p a r e n t s a s k e d how a c h i l d ' s p e r f o r m a n c e c o m p a r e d t o t h e p e r f o r m a n c e o f p e e r s , t e a c h e r s w e r e a d v i s e d t o r e f r a m e t h e d i s c u s s i o n i n t e r m s o f p r o v i n c i a l s t a n d a r d s f o r d e v e l o p m e n t a n d l e a r n i n g . T h e D r a f t d o c u m e n t , " T h e 118 I n t e r m e d i a t e P r o g r a m : F o u n d a t i o n s " ( B r i t i s h C o l u m b i a M i n i s t r y o f E d u c a t i o n , 1 9 9 2 a ) e x p l a i n e d t h a t " R e f e r e n c e S e t s " w e r e b e i n g d e v e l o p e d t o p r o v i d e t e a c h e r s w i t h g e n e r a l p a t t e r n s o f d e v e l o p m e n t a n d a c h i e v e m e n t w i t h i n p a r t i c u l a r c o n t e x t s f o r l e a r n i n g . " Y e a r 2 0 0 0 " p o l i c y d i s c u s s i o n s i n d i c a t e d t h a t s t u d e n t p e r f o r m a n c e s h o u l d b e r e p o r t e d v i a a n e c d o t a l r e p o r t c a r d s , t e a c h e r — p a r e n t c o n f e r e n c e s , a n d s t u d e n t -l e d c o n f e r e n c e s ( B r i t i s h C o l u m b i a M i n i s t r y o f E d u c a t i o n , 1 9 8 9 a ; 1 9 8 9 b ) . A l t h o u g h l e t t e r g r a d e s w e r e r e m o v e d f r o m t h e p r i m a r y d i v i s i o n , t h e i r u s e w i t h i n t e r m e d i a t e s t u d e n t s w a s o p t i o n a l . T h e s u p p o r t d o c u m e n t , " I n t e r m e d i a t e P r o g r a m : F o u n d a t i o n s , " p r o v i d e d a c o m p e l l i n g d i s c u s s i o n o f d r a w b a c k s a s s o c i a t e d w i t h t h e s o l e u s e o f s y m b o l s t o d e s c r i b e s t u d e n t a c h i e v e m e n t ( B r i t i s h C o l u m b i a M i n i s t r y o f E d u c a t i o n , 1 9 9 2 a ) . I i n t e r p r e t e d t h e d o c u m e n t ' s u s e o f t h e t e r m , s y m b o l s , t o i n v o l v e l e t t e r s , n u m b e r s , a n d c h e c k m a r k s . W h i l e a c o n c i s e means o f c o m m u n i c a t i n g s t u d e n t l e a r n i n g i s n e e d e d , s y m b o l s r e d u c e t h e c o m p l e x i t y o f t h e a c c o m p l i s h m e n t s o f l e a r n e r s , a n d o v e r s i m p l i f i c a t i o n o c c u r s . T h e s y m b o l s may b e g i v e n o v e r w e i g h t e d s i g n i f i c a n c e ; p a r e n t s / g u a r d i a n s a n d s t u d e n t s may a c c e p t t h e m a s u n c h a n g e a b l e a n d u n q u e s t i o n a b l e a n d r a t e s t u d e n t s ' a b i l i t i e s a c c o r d i n g l y . U s i n g s y m b o l s t o c o m p a r e s t u d e n t s 119 h a s t h e p o t e n t i a l f o r l a b e l l i n g , w h i c h may l e a d t o n e g a t i v e e f f e c t s o n l e a r n e r s e l f - e s t e e m , r e d u c e m o t i v a t i o n , a n d s e r i o u s l y i m p e d e a c h i e v e m e n t . W h i l e t h e p u r s u i t o f a h i g h e r s y m b o l may m o t i v a t e a s t u d e n t , t h e s y m b o l o f t e n b e c o m e s t h e g o a l , n o t t h e l e a r n i n g . T h e t r u e v a l u e o f l e a r n i n g b e c o m e s e x t r a n e o u s a n d i s l o s t a s a t t a i n m e n t o f t h e s y m b o l b e c o m e s c e n t r a l . ( B r i t i s h C o l u m b i a M i n i s t r y o f E d u c a t i o n , 1 9 9 2 a , p . 1 1 8 ) T h e t e x t a l s o a d v i s e d t h a t l e a r n e i — f o c u s e d s y m b o l s m u s t b e c r i t e r i o n - r e f e r e n c e d . M o r e o v e r , p r o c e d u r e s f o r c o n s t r u c t i n g s y m b o l s s h o u l d i n c l u d e s t u d e n t p a r t i c i p a t i o n i n n e g o t i a t i n g a n d d i s c u s s i n g e v a l u a t i o n c r i t e r i a . T o t h e e x t e n t t h a t s y m b o l s c a n b e l e a r n e r - f o c u s e d , c r i t e r i o n — r e f e r e n c i n g i s m a n d a t e d . I t i s t h e p r o c e s s o f a r r i v i n g a t t h e s y m b o l t h a t i s i m p o r t a n t , i n v o l v i n g n e g o t i a t i o n a n d d i s c u s s i o n o f c r i t e r i a w i t h s t u d e n t s . . . . t h e y s h o u l d a c c o r d i n g l y b e b a s e d u p o n s u c h t h i n g s a s p r e d e t e r m i n e d c r i t e r i a a n d i n f o r m a t i o n d e r i v e d f r o m r e f e r e n c e s e t s a n d s t u d e n t w o r k . ( B r i t i s h C o l u m b i a M i n i s t r y o f E d u c a t i o n , 1 9 9 2 a , p . 1 1 8 ) W i t h i n t w o y e a r s , t h e NOP g o v e r n m e n t r e a r t i c u l a t e d t h e " Y e a r 2 0 0 0 ' s " e m p h a s i s o n c r i t e r i o n - r e f e r e n c i n g b y m a n d a t i n g " c r i t e r i o n - r e f e r e n c e d l e t t e r g r a d e s " f r o m g r a d e s 4 t o 1 2 , a n d e n c o u r a g i n g t e a c h e r s t o u s e " c r i t e r i o n - r e f e r e n c e d e v a l u a t i o n " i n t h e i r c l a s s r o o m p r a c t i c e s ( B r i t i s h C o l u m b i a M i n i s t r y o f E d u c a t i o n , 1 9 8 9 a , 1 9 8 9 b , 1 9 9 4 e , 1 9 9 4 i ) . T h e p o l i c y c h a n g e a p p e a r e d t o t u r n o n u s e s o f t e r m s , c r i t e r i o n — 120 r e f e r e n c e d a n d e v a l u a t i o n . W h e r e a s " Y e a r 2 0 0 0 " p o l i c y d i s c u s s i o n s l i n k e d t h e t e r m , c r i t e r i o n - r e f e r e n c e d , t o a s s e s s m e n t a n d e v a l u a t i o n s y m b o l s , t h e "K—12 E d u c a t i o n P l a n " l i n k e d t h e t e r m , c r i t e r i o n — r e f e r e n c e d , t o e v a l u a t i o n a n d l e t t e r g r a d e s . T h e New D e m o c r a t s t a k e o n a s s e s s m e n t a n d e v a l u a t i o n . A l l e g a t i o n s o f c o r r u p t i o n a g a i n s t t h e V a n d e r Z a l m g o v e r n m e n t a n d i n c r e a s i n g s u p p o r t f o r t h e L i b e r a l P a r t y e n d e d t h e r e i g n o f t h e S o c i a l C r e d i t g o v e r n m e n t i n 1991 ( C r a w l e y , 1 9 9 5 ) . H o w e v e r , t h e NDP d i d n o t come t o p o w e r i n B r i t i s h C o l u m b i a b e c a u s e t h e m a j o r i t y o f v o t e r s h a d s w u n g l e f t - o f - c e n t e r . T h e L i b e r a l a n d S o c i a l C r e d i t p a r t i e s s e c u r e d 5 7 . 3 p e r c e n t o f t h e p o p u l a r v o t e . T h e NDP p a r t y a c q u i r e d o n l y 4 0 . 7 p e r c e n t o f t h e p o p u l a r v o t e , b u t g a i n e d a m a j o r i t y o f s e a t s ( C r a w l e y , 1 9 9 5 ) . A f t e r t w o y e a r s o f e f f o r t s b y t h e new g o v e r n m e n t t o i m p l e m e n t t h e " Y e a r 2 0 0 0 " ( 1 9 8 9 b ) , P r e m i e r H a r c o u r t s t u n n e d t h e p r o v i n c e w i t h h i s a n n o u n c e m e n t t h a t " . . . t h e r e p o r t c a r d o n Y e a r 2 0 0 0 i s i n a n d i t ' s f a i l e d t h e g r a d e " ( V a n c o u v e r S u n , 9 . 4 . 9 3 . p . A l ) . He b a s e d h i s d e c i s i o n t o d i s c a r d t h e Y e a r 2 0 0 0 o n t h e r e s u l t s o f a p u b l i c o p i n i o n p o l l t h a t r e f l e c t e d w i d e s p r e a d 121 d i s s a t i s f a c t i o n w i t h t h e s c h o o l s y s t e m ( C r a w l e y , 1 9 9 5 ) . T h e p o l l ' s f i n d i n g s i n d i c a t e d t h a t members o f t h e p u b l i c w a n t e d t o i m p r o v e t h e q u a l i t y o f e d u c a t i o n b y r e t u r n i n g t o b a s i c s k i l l s a n d m o r e s p e c i f i c s t a n d a r d s . On S e p t e m b e r 1 5 , 1 9 9 3 P r e m i e r H a r c o u r t a p p o i n t e d A r t C h a r b o n n e a u a s M i n i s t e r o f E d u c a t i o n . I n a n e w s r e l e a s e o n J u l y 8 , 1994 t h e M i n i s t r y o f E d u c a t i o n a n n o u n c e d t h a t g r a d e s 4 - 1 2 s t u d e n t s " . . . w i l l r e c e i v e m a n d a t o r y l e t t e r g r a d e s . . . s o p a r e n t s h a v e a b e t t e r u n d e r s t a n d i n g o f how t h e i r c h i l d i s p r o g r e s s i n g . . . . A l o n g w i t h t h e t r a d i t i o n a l l e t t e r g r a d e s o f A , 8 , C+, C , C - , a n d , F , t h e I P , o r I n P r o g r e s s , h a s a l s o b e e n a d d e d " ( B r i t i s h C o l u m b i a M i n i s t r y o f E d u c a t i o n , N R 2 9 - 9 4 , p . 2 3 ) . I n a d d i t i o n , s t r u c t u r e d w r i t t e n c o m m e n t s w o u l d a c c o m p a n y l e t t e r g r a d e s f o r g r a d e s K - 7 s t u d e n t s . M r . C h a r b o n n e a u , M i n i s t e r o f E d u c a t i o n , e x p l a i n e d t h a t c h a n g e s t o r e p o r t i n g p r o c e d u r e s r e s p o n d e d t o p a r e n t s ' c o n c e r n s . C h i l d r e n h a v e b e e n b r i n g i n g home r e p o r t c a r d s t h a t t h e i r p a r e n t s f e e l a r e n o t c l e a r e n o u g h . . . . W e a r e p r o v i d i n g c l e a r g u i d e l i n e s w h i c h w i l l h e l p t e a c h e r s a n d p a r e n t s e v a l u a t e a s t u d e n t ' s • s t r e n g t h s a n d w e a k n e s s e s . T h e s e c h a n g e s a r e f u n d a m e n t a l e l e m e n t s o f t h e e d u c a t i o n r e f o r m c u r r e n t l y t a k i n g p l a c e i n B . C . s c h o o l s . ( B r i t i s h C o l u m b i a M i n i s t r y o f E d u c a t i o n , N R 2 9 - 9 4 , p . 2 3 ) 122 F u r t h e r m o r e , p a r e n t s ' c o n c e r n s o v e r a n e c d o t a l r e p o r t i n g p r o c e d u r e s m o t i v a t e d t h e p r o p o s e d r e f o r m s . T h e new r e p o r t i n g s t a n d a r d s r e p l a c e a n e c d o t a l r e p o r t s . T h e c h a n g e i s p a r t o f t h e i m p r o v e m e n t s t o B . C . ' s e d u c a t i o n s y s t e m a n n o u n c e d l a s t N o v e m b e r b y P r e m i e r M i k e H a r c o u r t a n d C h a r b o n n e a u . C h a r b o n n e a u s a i d t h e new p o l i c y i s i n r e s p o n s e t o p a r e n t s ' c o n c e r n s o v e r t h e a n e c d o t a l r e p o r t i n g s y s t e m , a n d s c h o o l b o a r d s m u s t a d a p t t h e i r r e p o r t i n g p o l i c i e s t o c o m p l y w i t h t h e M i n i s t r y ' s g u i d e l i n e s . T h e r e p o r t i n g s t a n d a r d s h a v e b e e n f i n a l i z e d f o l l o w i n g c o n s u l t a t i o n w i t h p a r e n t s a n d t e a c h e r s . ( B r i t i s h C o l u m b i a M i n i s t r y o f E d u c a t i o n , N R 2 9 - 9 4 , p . 2 3 ) I n S e p t e m b e r 1 9 9 4 , P r e m i e r H a r c o u r t a n d M r . C h a r b o n n e a u r e l e a s e d t h e , " K i n d e r g a r t e n t o G r a d e 12 E d u c a t i o n P l a n " ( B r i t i s h C o l u m b i a M i n i s t r y o f E d u c a t i o n , 1 9 9 4 i ) . P o l i c y d o c u m e n t s , " R e p o r t t o P a r e n t s " a n d " P a r e n t s ' G u i d e t o S t a n d a r d s , " w e r e r e l e a s e d t o t h e g e n e r a l p u b l i c ( B r i t i s h C o l u m b i a M i n i s t r y o f E d u c a t i o n , 1 9 9 4 f ; 1 9 9 4 h ) . A d d i t i o n a l d o c u m e n t s d e s c r i b e d p o l i c i e s a n d i m p l e m e n t a t i o n p l a n s f o r members o f t h e e d u c a t i o n a l c o m m u n i t y ( 1 9 9 4 b ) . D o c u m e n t s r e g a r d i n g r e p o r t i n g p r o c e d u r e s f o r t h e s c h o o l y e a r 1 9 9 4 - 9 5 w e r e r e l e a s e d t o t h e e x e c u t i v e c o m m i t t e e o f t h e M i n i s t r y o f E d u c a t i o n , t h e P r o v i n c i a l E d u c a t i o n C o m m i t t e e , t h e s c h o o l S u p e r i n t e n d e n t s a n d S c h o o l B o a r d C h a i r p e r s o n s . D o c u m e n t s i n c l u d e d a " S t u d e n t P r o g r e s s R e p o r t O r d e r " ( M i n i s t e r i a l O r d e r , 123 B r i t i s h C o l u m b i a M i n i s t r y o f E d u c a t i o n , 1 9 1 / 9 4 ) , " P r o v i n c i a l L e t t e r G r a d e s O r d e r " ( M i n i s t e r i a l O r d e r , B r i t i s h C o l u m b i a M i n i s t r y o f E d u c a t i o n , 1 9 2 / 9 4 ) , a n d a n e w s r e l e a s e e n t i t l e d , "New R e p o r t i n g S t a n d a r d s F o r S t u d e n t s F i n a l i z e d " ( B r i t i s h C o l u m b i a M i n i s t r y o f E d u c a t i o n , N R 2 9 - 9 4 ) . T h e " S t u d e n t P r o g r e s s R e p o r t O r d e r " s t i p u l a t e d t h a t g r a d e s 4 t o 7 p r o g r e s s r e p o r t s m u s t , i n r e l a t i o n t o e x p e c t e d l e a r n i n g o u t c o m e s , w o u l d i n c l u d e l e t t e r g r a d e s u n l e s s a B o a r d d e s i g n a t e d a n a l t e r n a t i v e a p p r o a c h f o r r e p o r t i n g t h i s i n f o r m a t i o n t o p a r e n t s ( B r i t i s h C o l u m b i a M i n i s t r y o f E d u c a t i o n , M 1 9 1 / 9 4 ) . R e p o r t s m u s t a l s o i n c l u d e s t r u c t u r e d w r i t t e n c o m m e n t s c o n c e r n i n g w h a t a s t u d e n t w a s a b l e t o d o , a r e a s n e e d i n g e x t r a a t t e n t i o n , a n d a p p r o a c h e s f o r s u p p o r t i n g t h e s t u d e n t ' s e d u c a t i o n i n r e l a t i o n t o e x p e c t e d l e a r n i n g o u t c o m e s . S t u d e n t s i d e n t i f i e d a s h a v i n g s p e c i a l n e e d s w e r e t o r e c e i v e w r i t t e n r e p o r t s d e s c r i b i n g t h e i r p r o g r e s s i n r e l a t i o n t o t h e e x p e c t a t i o n s o f t h e i r I n d i v i d u a l E d u c a t i o n P r o g r a m . T h e " P r o v i n c i a l L e t t e r G r a d e s O r d e r " i d e n t i f i e d l e t t e r g r a d e s a s A , B , C+, C , C - , I P ( I n P r o g r e s s ) , F ( F a i l e d o r F a i l i n g ) W ( W i t h d r a w a l ) , SG ( S t a n d i n g 124 G r a n t e d ) , a n d , TS ( T r a n s f e r S t a n d i n g ) f o r g r a d e s 4 t h r o u g h 12 ( B r i t i s h C o l u m b i a M i n i s t r y o f E d u c a t i o n , M l 9 2 / 9 4 ) . L e t t e r g r a d e s r a n k e d a s t u d e n t ' s p e r f o r m a n c e f r o m o u t s t a n d i n g o r e x c e l l e n t t o u n a c c e p t a b l e i n r e l a t i o n t o e x p e c t e d l e a r n i n g o u t c o m e s . P e r c e n t a g e s a c c o m p a n i e d l e t t e r g r a d e s A t h r o u g h C—, f o r g r a d e s 11 a n d 12 c o u r s e s . T h e " G u i d e l i n e s F o r S t u d e n t R e p o r t i n g " e x p l a i n e d t h a t l e t t e r g r a d e s w e r e t o b e " c r i t e r i o n -r e f e r e n c e d " ( B r i t i s h C o l u m b i a M i n i s t r y o f E d u c a t i o n , 1 9 9 4 e ) . S t r u c t u r e d w r i t t e n c o m m e n t s o n g r a d e s 4 t o 7 i n t e r m e d i a t e r e p o r t c a r d s w e r e t o i n c l u d e d e s c r i p t i o n s o f b e h a v i o u r , a t t i t u d e , w o r k h a b i t s , a n d e f f o r t . T h r e e f o r m a l a n d t w o i n f o r m a l p r o g r e s s r e p o r t s w e r e r e q u i r e d p e r s t u d e n t p e r y e a r . I n f o r m a l r e p o r t i n g p r o c e d u r e s i n v o l v e d t e a c h e r - p a r e n t a n d t e a c h e r - s t u d e n t -p a r e n t c o n f e r e n c e s , t e l e p h o n e c a l l s a n d , w r i t t e n o r v e r b a l i n t e r i m r e p o r t s . A m i n i m u m o f o n e t e a c h e r -p a r e n t c o n f e r e n c e p e r s t u d e n t w a s r e q u i r e d ( B r i t i s h C o l u m b i a M i n i s t r y o f E d u c a t i o n , 1 9 9 4 e ) . T h e s y m b o l , " I P " ( I n P r o g r e s s ) , w a s t o b e u s e d when a s t u d e n t n e e d e d m o r e t i m e t o m e e t e x p e c t e d l e a r n i n g o u t c o m e s . " I n P r o g r e s s " r e s o n a t e d w i t h t h e " Y e a r 2 0 0 0 " f o c u s o n " c o n t i n u o u s p r o g r e s s " ( B r i t i s h 125 C o l u m b i a M i n i s t r y o f E d u c a t i o n , 1 9 8 9 b ) . I P o n a s t u d e n t p r o g r e s s r e p o r t w a s a c c o m p a n i e d b y c o m m e n t s t h a t d e s c r i b e d a r e a s n e e d i n g s u p p o r t , a n d / o r c e r t a i n r e q u i r e m e n t s t h a t n e e d e d t o b e m e t . T e a c h e r s w e r e i n s t r u c t e d t o o u t l i n e t h e t i m e p e r i o d t h a t a s t u d e n t n e e d e d t o m e e t t h e e x p e c t e d l e a r n i n g o u t c o m e s , a n d t h e t i m e n e e d e d t o r e v i e w a n d e v a l u a t e a s t u d e n t ' s p e r f o rmane e . P a r e n t s o f s t u d e n t s i n g r a d e s A t o 7 w e r e t o b e c o n s u l t e d when I P w a s u s e d o n s u c c e s s i v e r e p o r t s . When a f i n a l r e p o r t i n c l u d e d a n I P , i n f o r m a t i o n w a s t o b e made a v a i l a b l e t o t h e n e x t t e a c h e r . T h i s i n f o r m a t i o n i n v o l v e d d e s c r i p t i o n s o f a s t u d e n t ' s n e e d s a n d w a y s h e r o r h i s p r o g r a m c o u l d b e s u p p o r t e d . T h e d e s i g n a t i o n , I P , w a s t o b e t r a n s f o r m e d t o a l e t t e r g r a d e o n t h e f i r s t r e p o r t c a r d o f t h e f o l l o w i n g s c h o o l y e a r , a n d / o r when a s t u d e n t ' s r e c o r d s w e r e f o r w a r d e d t o a n o t h e r s c h o o l . U s e o f I P o n p r o g r e s s r e p o r t s w a s made m a n d a t o r y f o r t h e s c h o o l y e a r 1 9 9 5 - 9 6 ( B r i t i s h C o l u m b i a M i n i s t r y o f E d u c a t i o n , 1 9 9 4 e ) . S p e c i a l n e e d s s t u d e n t s who w e r e e x p e c t e d t o m e e t t h e l e a r n i n g o u t c o m e s o f t h e p r o v i n c i a l c u r r i c u l u m r e c e i v e d l e t t e r g r a d e s a n d s t r u c t u r e d w r i t t e n c o m m e n t s 126 o n r e p o r t c a r d s . L e t t e r g r a d e s w e r e r e g a r d e d a s i n a p p r o p r i a t e f o r s t u d e n t s who f a i l e d t o m e e t t h e s e s t a n d a r d s . S t r u c t u r e d w r i t t e n c o m m e n t s r e p l a c e d l e t t e r g r a d e s t o d e s c r i b e s t u d e n t p r o g r e s s . T h e M i n i s t r y o f E d u c a t i o n p r o v i d e d s c h o o l b o a r d s w i t h s e v e r a l p l a n n i n g g u i d e s t o s u p p o r t i m p l e m e n t a t i o n o f r e p o r t i n g p o l i c y . " T h e K i n d e r g a r t e n t o G r a d e 12 E d u c a t i o n P l a n " o u t l i n e d t h e w a y s t h e new r e p o r t i n g p o l i c y d i f f e r e d f r o m p r e v i o u s r e q u i r e m e n t s i n t h e f o l l o w i n g m a n n e r : ~ G r a d e s 4 t o 7 t e a c h e r s a r e r e q u i r e d t o r e p o r t u s i n g l e t t e r g r a d e s a s w e l l a s w r i t t e n c o m m e n t s . ~ t h e d e s c r i p t i o n s o f t h e l e t t e r g r a d e s a r e r e v i s e d . ~ " I " f o r i n c o m p l e t e i s r e p l a c e d b y " I P " f o r " i n p r o g r e s s " . ~ t h e r e a r e some new g u i d e l i n e s f o r t h e u s e o f " F " f o r f a i l . ~ L e t t e r g r a d e s " D " a n d " E " w i l l n o l o n g e r b e u s e d . ( B r i t i s h C o l u m b i a M i n i s t r y o f E d u c a t i o n , 1 9 9 4 i p . 1 5 ) . I n c l u d e d i n t h e d o c u m e n t w a s a d e s c r i p t i o n o f l e t t e r g r a d e s . L e t t e r g r a d e s s y m b o l i z e d how e f f e c t i v e l y a s t u d e n t d e m o n s t r a t e d u n d e r s t a n d i n g o f c u r r i c u l u m c r i t e r i a i n r e l a t i o n t o p r o v i n c i a l l y 127 p r e s c r i b e d l e a r n i n g o u t c o m e s . The. " G u i d e l i n e s f o r S t u d e n t R e p o r t i n g f o r t h e " K i n d e r g a r t e n t o G r a d e 12 E d u c a t i o n P l a n " d e s c r i b e d a s s e s s m e n t , e v a l u a t i o n , a n d r e p o r t i n g i n t h e f o l l o w i n g w a y s ( B r i t i s h C o l u m b i a M i n i s t r y o f E d u c a t i o n , 1 9 9 4 e ) : ~ P r o v i n c i a l C u r r i c u l u m G u i d e s d e f i n e e x p e c t e d l e a r n i n g o u t c o m e s t h a t a r e i n t e n d e d t o g u i d e t h e s e t t i n g o f c u r r i c u l u m c r i t e r i a . ~ A s s e s s m e n t a n d e v a l u a t i o n i n f o r m s i n s t r u c t i o n . T h e M i n i s t r y R e s o u r c e s i n t e n d e d t o s u p p o r t t h e p r a c t i c e s o f a s s e s s m e n t a n d e v a l u a t i o n a r e : t h e " W r i t i n g a n d R e a d i n g R e f e r e n c e S e t s " ( B r i t i s h C o l u m b i a M i n i s t r y o f E d u c a t i o n , 1 9 9 2 e ; 1 9 9 4 c > ; " S u p p o r t i n g L e a r n i n g : U n d e r s t a n d i n g a n d A s s e s s i n g t h e P r o g r e s s o f C h i l d r e n i n t h e P r i m a r y P r o g r a m A R e s o u r c e f o r P a r e n t s a n d T e a c h e r s " ( B r i t i s h C o l u m b i a M i n i s t r y o f E d u c a t i o n , 1 9 9 2 b > ; a n d , t h e " A s s e s s m e n t H a n d b o o k S e r i e s : S t u d e n t -C e n t r e d C o n f e r e n c e s , P o r t f o l i o A s s e s s m e n t , S t u d e n t S e l f - A s s e s s m e n t , P e r f o r m a n c e A s s e s s m e n t " ( B r i t i s h C o l u m b i a M i n i s t r y o f E d u c a t i o n , 1 9 9 4 a ) . ~ R e p o r t i n g p o l i c y i s s u p p o r t e d b y t h e " G u i d e l i n e s f o r S t u d e n t R e p o r t i n g " ( B r i t i s h C o l u m b i a M i n i s t r y o f E d u c a t i o n , 1 9 9 4 e ) . I n f o r m a l a n d f o r m a l r e p o r t i n g 128 p r o c e d u r e s s e t g o a l s f o r s t u d e n t l e a r n i n g . F o l l o w i n g t h e t e x t o f t h e " Y e a r 2 0 0 0 - A F r a m e w o r k f o r L e a r n i n g " ( B r i t i s h C o l u m b i a M i n i s t r y o f E d u c a t i o n , 1 9 8 9 b ) , t h e " G u i d e l i n e s f o r S t u d e n t R e p o r t i n g " a n d t h e " A s s e s s m e n t H a n d b o o k S e r i e s " ( B r i t i s h C o l u m b i a M i n i s t r y o f E d u c a t i o n , 1 9 9 4 e ; 1 9 9 4 a ) d r e w d i s t i n c t i o n s b e t w e e n a s s e s s m e n t a n d e v a l u a t i o n . NDP p o l i c y d o c u m e n t s d e s c r i b e d a s s e s s m e n t a s s y s t e m a t i c p r o c e d u r e s f o r c o l l e c t i n g i n f o r m a t i o n a b o u t w h a t s t u d e n t s k n e w , w e r e a b l e t o d o , a n d t r i e d t o d o . E v a l u a t i o n w a s d e s c r i b e d a s p r o c e d u r e s f o r m a k i n g j u d g e m e n t s a n d d e c i s i o n s a b o u t s t u d e n t p e r f o r m a n c e b a s e d u p o n i n t e r p r e t a t i o n o f a s s e s s m e n t d a t a . T h e new g u i d e l i n e s e x p a n d e d t h e " Y e a r 2 0 0 0 " s " i n t e r p r e t a t i o n o f a s s e s s m e n t , a s a p r o c e s s f o r c o l l e c t i n g i n f o r m a t i o n a b o u t w h a t s t u d e n t s w e r e a b l e d o , t o i n c l u d e w h a t s t u d e n t s knew a n d t r i e d t o d o . B o t h S o c i a l C r e d i t a n d NDP a s s e s s m e n t p o l i c i e s r e c o m m e n d e d t h a t a s s e s s m e n t a n d e v a l u a t i o n i n c l a s s r o o m s c o m p a r e s t u d e n t p e r f o r m a n c e w i t h c u r r i c u l u m c r i t e r i a o r p r o v i n c i a l l y p r e s c r i b e d l e a r n i n g o u t c o m e s . " E x p e c t e d l e a r n i n g o u t c o m e s " w e r e p r o v i n c i a l l y p r e s c r i b e d i n d i c a t o r s o f w h a t s t u d e n t s w e r e e x p e c t e d t o l e a r n ( B r i t i s h C o l u m b i a M i n i s t r y o f E d u c a t i o n , 1 9 9 4 e ) . 1 2 9 F o l l o w i n g t h e " Y e a r 2 0 0 0 ' s " f o c u s o n " e x p e c t a t i o n s f o r l e a r n i n g d e v e l o p m e n t , " d o c u m e n t s a s s o c i a t e d w i t h t h e "K t o 12 E d u c a t i o n P l a n " f o c u s e d o n " w i d e l y h e l d e x p e c t a t i o n s " ( B r i t i s h C o l u m b i a M i n i s t r y o f E d u c a t i o n , 1 9 8 9 b ; 1 9 8 9 b ; 1 9 9 2 b ; 1 9 9 4 a ; 1 9 9 4 e ; 1 9 9 4 i ) F o l l o w i n g t h e " Y e a r 2 0 0 0 , " t h e " K t o 12 E d u c a t i o n P l a n " e x p a n d e d r e f e r e n c e s e t s t o a s s i s t t e a c h e r s i n s e t t i n g p e r f o r m a n c e s t a n d a r d s . T h e s e s e t s i n c l u d e d , " E v a l u a t i n g W r i t i n g A c r o s s C u r r i c u l u m " a n d " E v a l u a t i n g W r i t i n g R e a d i n g C u r r i c u l u m " ( B r i t i s h C o l u m b i a M i n i s t r y o f E d u c a t i o n , 1 9 9 2 c ; 1 9 9 4 c ) . I n J u n e 1 9 9 5 , t h e M i n i s t r y d i s t r i b u t e d t h r e e " I n t e g r a t e d R e s o u r c e P a c k a g e s " ( I R P s ) t o s c h o o l s a c r o s s t h e p r o v i n c e ( B r i t i s h C o l u m b i a M i n i s t r y o f E d u c a t i o n , 1 9 9 5 a ; 1 9 9 5 b ; 1 9 9 5 c ) . I R P ' s o u t 1 i n e d p r e s c r i b e d l e a r n i n g o u t c o m e s a n d s u g g e s t e d i n s t r u c t i o n a l t e c h n i q u e s , a s s e s s m e n t s t r a t e g i e s , a n d r e s o u r c e s f o r s c i e n c e , m a t h e m a t i c s , a n d p e r s o n a l p l a n n i n g f r o m k i n d e r g a r t e n t o g r a d e 7 . I m p l e m e n t a t i o n o f I R P ' s w a s s c h e d u l e d f o r S e p t e m b e r 1 9 9 5 . T h e p r e f a c e t o t h e " S c i e n c e K t o 7 I n t e g r a t e d R e s o u r c e P a c k a g e " d e s c r i b e d r e l a t i o n s h i p s among k e y c o n c e p t s i n t h e f o l l o w i n g m a n n e r : 1 3 0 T h e l e a r n i n g o u t c o m e s t a t e m e n t s a r e c o n t e n t s t a n d a r d s f o r t h e p r o v i n c i a l e d u c a t i o n s y s t e m . . . . T h e l e a r n i n g o u t c o m e s a r e s t a t e m e n t s o f w h a t s t u d e n t s a r e e x p e c t e d t o know a n d d o a t a n i n d i c a t e d g r a d e ; t h e y c o m p r i s e t h e p r e s c r i b e d c u r r i c u l u m . L e a r n i n g o u t c o m e s a r e c l e a r l y s t a t e d a n d e x p r e s s e d i n m e a s u r a b l e t e r m s . . . . T h e o u t c o m e s a r e b e n c h m a r k s t h a t w i l l p e r m i t t h e u s e o f c r i t e r i o n — r e f e r e n c e d p e r f o r m a n c e s t a n d a r d s . . . . s t u d e n t p e r f o r m a n c e w i l l v a r y i n r e l a t i o n t o t h e o u t c o m e s . E v a l u a t i o n , r e p o r t i n g , a n d s t u d e n t p l a c e m e n t w i t h r e s p e c t t o t h e s e o u t c o m e s i s d e p e n d e n t o n t h e p r o f e s s i o n a l j u d g e m e n t o f t e a c h e r s , g u i d e d b y p r o v i n c i a l p o l i c y . ( B r i t i s h C o l u m b i a M i n i s t r y o f E d u c a t i o n , 1 9 9 5 c , p . I l l ) T h e " G u i d e l i n e s f o r S t u d e n t R e p o r t i n g " ( B r i t i s h C o l u m b i a M i n i s t r y o f E d u c a t i o n , 1994-e) e x p l a i n e d t h a t t e a c h e r s ' a s s e s s m e n t p r o c e d u r e s i n v o l v e d " . . . o b s e r v a t i o n , s t u d e n t s e l f — a s s e s s m e n t , d a i l y p r a c t i c e a s s i g n m e n t s , q u i z z e s , s a m p l e s o f s t u d e n t w o r k , p e n c i 1 - a n d - p a p e r t e s t s , h o l i s t i c r a t i n g s c a l e s , p r o j e c t s , o r a l a n d w r i t t e n r e p o r t s ; r e v i e w s o f p e r f o r m a n c e , a n d p o r t f o l i o a s s e s s m e n t s " ( p . 1 4 ) . T e a c h e r s ' e v a l u a t i o n s o f s t u d e n t p r o g r e s s w e r e b a s e d u p o n m u l t i p l e f o r m s o f a s s e s s m e n t d a t a . T h e " G u i d e l i n e s f o r S t u d e n t R e p o r t i n g " d e s c r i b e d " c r i t e r i o n — r e f e r e n c e d e v a l u a t i o n " a s a n a p p r o a c h t h a t c o m p a r e d s t u d e n t p e r f o r m a n c e t o c u r r i c u l u m c r i t e r i a a n d w a s r e g a r d e d a s s u i t a b l e f o r c l a s s r o o m u s e ( B r i t i s h C o l u m b i a M i n i s t r y o f E d u c a t i o n , 1 9 9 4 e ) . I n c o n t r a s t , 131 t h e d o c u m e n t s t a t e d t h a t " n o r m - r e f e r e n c e d e v a l u a t i o n " c o m p a r e d s t u d e n t p e r f o r m a n c e w i t h p e r f o r m a n c e o f o t h e r s t u d e n t s a n d was r e g a r d e d a s s u i t a b l e f o r l a r g e - s c a l e s y s t e m a s s e s s m e n t s . N o r m — r e f e r e n c e d e v a l u a t i o n . . . . i s b a s e d o n a ' n o r m a l d i s t r i b u t i o n . ' A n o r m a l d i s t r i b u t i o n s h o w s how a c h i e v e m e n t i n a p a r t i c u l a r a r e a i s d i s t r i b u t e d o v e r a n e n t i r e p o p u l a t i o n . To u s e n o r m — r e f e r e n c e d e v a l u a t i o n a p p r o p r i a t e l y , a s t u d e n t ' s a c h i e v e m e n t m u s t b e c o m p a r e d w i t h a r e f e r e n c e g r o u p l a r g e e n o u g h t o r e p r e s e n t t h e p o p u l a t i o n . P l a c i n g s t u d e n t a c h i e v e m e n t o n a c u r v e d o e s n o t a c c u r a t e l y d e s c r i b e a s t u d e n t ' s i n d i v i d u a l p r o g r e s s ; i t c o m p a r e s s t u d e n t a c h i e v e m e n t t o t h a t o f o t h e r s r a t h e r t h a n c o m p a r i n g how w e l l a s t u d e n t m e e t s t h e c r i t e r i a o f a s p e c i f i e d s e t o f l e a r n i n g o u t c o m e s . ( B r i t i s h C o l u m b i a M i n i s t r y o f E d u c a t i o n , 1 9 9 4 e , p . 1 6 ) E v e n t h o u g h n o r m — r e f e r e n c e d i n s t r u m e n t s w e r e r e g a r d e d a s u n s u i t a b l e f o r u s e b y c l a s s r o o m t e a c h e r s , c a n d i d a t e s f o r f i n a n c i a l a w a r d s a n d S p e c i a l E d u c a t i o n s u p p o r t w e r e i n p a r t i d e n t i f i e d b y m e a n s o f n o r m -r e f e r e n c e d p r o c e d u r e s . T h e " G u i d e l i n e s f o r S t u d e n t R e p o r t i n g " d e s c r i b e d s t e p s i n v o l v e d i n a t e a c h e r ' s u s e o f c r i t e r i o n -r e f e r e n c e d e v a l u a t i o n i n t h e c l a s s r o o m . A s i m i l a r o u t l i n e w a s p r o v i d e d b y t h e I R P ' s ( B r i t i s h C o l u m b i a M i n i s t r y o f E d u c a t i o n , 1 9 9 4 e ; 1 9 9 4 a ) . 1 . I d e n t i f y t h e e x p e c t e d l e a r n i n g o u t c o m e s ( a s s t a t e d i n c u r r i c u l u m g u i d e s ) . 132 2 . I d e n t i f y t h e k e y l e a r n i n g o b j e c t i v e s f o r s t u d e n t s . 3 . E s t a b l i s h a n d s e t c r i t e r i a . A. I n v o l v e s t u d e n t s , when a p p r o p r i a t e , i n e s t a b l i s h i n g c r i t e r i a . 5 . P l a n l e a r n i n g a c t i v i t i e s t h a t w i l l h e l p s t u d e n t s g a i n t h e k n o w l e d g e o r s k i l l s o u t l i n e d i n t h e c r i t e r i a . 6 . I n f o r m s t u d e n t s a b o u t t h e c r i t e r i a t h e i r w o r k w i l l b e e v a l u a t e d a g a i n s t p r i o r t o t h e l e a r n i n g a c t i v i t y . 7 . P r o v i d e e x a m p l e s o f t h e d e s i r e d l e v e l s o f p e r f o r m a n c e . 8 . I m p l e m e n t t h e l e a r n i n g a c t i v i t i e s . 9 . U s e v a r i o u s a s s e s s m e n t m e t h o d s b a s e d o n t h e p a r t i c u l a r a s s i g n m e n t a n d s t u d e n t s . 1 0 . R e v i e w a s s e s s m e n t d a t a a n d e v a l u a t e e a c h s t u d e n t ' s l e v e l o f p e r f o r m a n c e o r q u a l i t y o f w o r k i n r e l a t i o n t o t h e c r i t e r i a . 1 1 . R e p o r t t h e r e s u l t s o f e v a l u a t i o n t o s t u d e n t s a n d p a r e n t s . ( B r i t i s h C o l u m b i a M i n i s t r y o f E d u c a t i o n , 1 9 9 4 e , p p . 1 4 - 1 5 > A l t h o u g h t h e d o c u m e n t r e c o m m e n d e d t h a t n e g o t i a t i o n o f c r i t e r i a s h o u l d o c c u r when i t w a s " a p p r o p r i a t e , " n o c r i t e r i a w e r e p r o v i d e d t o h e l p t e a c h e r s d e c i d e w h a t c o u n t e d a s a p p r o p r i a t e . I n a d d i t i o n , a s s e s s m e n t m e t h o d s a n d r e l a t e d d a t a w e r e i m p o r t a n t c o m p o n e n t s o f c r i t e r i o n - r e f e r e n c e d e v a l u a t i o n . Was c r i t e r i o n - r e f e r e n c e d e v a l u a t i o n new? Y e s a n d n o . B o t h S o c i a l C r e d i t a n d NDP a s s e s s m e n t p o l i c y r e c o m m e n d e d t h a t e v a l u a t i o n t e c h n i q u e s a n d p r o c e d u r e s b e c r i t e r i o n - r e f e r e n c e d . B o t h a s s e s s m e n t p o l i c i e s i n t e r p r e t e d c r i t e r i o n - r e f e r e n c e d a p p r o a c h e s t o a s s e s s m e n t a n d e v a l u a t i o n i n t e r m s o f t e c h n i q u e s t h a t 133 c o m p a r e d s t u d e n t p r o g r e s s w i t h c u r r i c u l u m c r i t e r i a o r l e a r n i n g o u t c o m e s . W i t h i n t h i s c o n t e x t , c r i t e r i o n -r e f e r e n c e d e v a l u a t i o n w a s n o t n e w ; k e e p i n g i n m i n d t h a t t h e " Y e a r 2 0 0 0 " d i d n o t u s e t h e t e r m i n o l o g y , c r i t e r i o n -r e f e r e n c e d e v a l u a t i o n ( B r i t i s h C o l u m b i a M i n i s t r y o f E d u c a t i o n , 1 9 8 9 a ; 1 9 8 9 b ; 1 9 9 4 e ) . C r i t e r i o n - r e f e r e n c e d e v a l u a t i o n w a s l e g i s l a t e d b y t h e " Y e a r 2 0 0 0 " o n t h e b a s i s o f i n t e n t ; n o t o n t h e b a s i s o f t e r m i n o l o g y . U n l i k e t h e " K t o 12 E d u c a t i o n P l a n " t h a t d e s c r i b e d c r i t e r i o n — r e f e r e n c e d e v a l u a t i o n ' a s a s e r i e s o f s t e p s f o r i m p l e m e n t a t i o n b y t e a c h e r s , t h e " Y e a r 2 0 0 0 " d i s c u s s e d c r i t e r i o n - r e f e r e n c i n g a s a n a p p r o a c h t o a s s e s s m e n t a n d e v a l u a t i o n . T h e S t a n d p o i n t o f a P r i n c i p a l G r a n t , t h e p r i n c i p a l o f W e s t h e i g h t s s c h o o l , e x p l a i n e d t h a t t h e p o l i c y c h a n g e w a s new t o e v e r y o n e , a n d t h a t e v e r y o n e h a d t o w o r k t o g e t h e r t o f i g u r e o u t w h a t i t m e a n t ( F N , 0 6 . 1 2 . 9 4 ) . He a d d e d t h a t e v e n t h o u g h h e w a s a p r i n c i p a l , h e d i d n o t h a v e t h e a n s w e r s t o how p o l i c y s h o u l d b e i n t e r p r e t e d . G r a n t r e c o m m e n d e d t h a t I a t t e n d a s e r i e s o f P r o f e s s i o n a l D e v e l o p m e n t Day m e e t i n g s w i t h s t a f f r e g a r d i n g l e t t e r g r a d e s a n d c r i t e r i o n - r e f e r e n c e d 134 e v a l u a t i o n <FN, 0 6 . 1 2 . 9 4 ) . D u r i n g t h e m e e t i n g o n c r i t e r i o n — r e f e r e n c e d e v a l u a t i o n , o n e i n t e r m e d i a t e t e a c h e r a s k e d " J e f f , " t h e D i s t r i c t P r i n c i p a l , w h a t m o t i v a t e d t h e new r e p o r t i n g p o l i c y . J e f f r e p l i e d t h a t , L e t t e r g r a d e s a r e i n t r i n s i c a l l y p o l i t i c a l a n d . . . a n e c d o t a l c o m m e n t s w e r e t r a n s l a t e d t o s t r u c t u r e d w r i t t e n r e p o r t s t o p l a c a t e t h e p u b l i c a s a m e a s u r e o f a c c o u n t a b i l i t y . CFO, 3 1 . 0 1 . 9 5 , p . 10 ) . G r a n t r e s p o n d e d t h a t h e h a d n o t r e c e i v e d c o m p l a i n t s f r o m U e s t h e i g h t s p a r e n t s a b o u t t h e s c h o o l ' s r e p o r t i n g p r a c t i c e s <FQ, 3 1 . 1 . 9 5 , p . 1 0 ) . He p o i n t e d o u t t o J e f f t h a t i f new r e p o r t i n g p o l i c y w a s a r e s p o n s e t o p u b l i c d i s s a t i s f a c t i o n o v e r r e p o r t i n g p r a c t i c e s , t h e n h e d i d n o t u n d e r s t a n d why W e s t h e i g h t s p a r e n t s w e r e s i l e n t o n t h e m a t t e r . S e v e r a l t e a c h e r s c o m m e n t e d t h a t t h e y a l s o h a d r e c e i v e d n o n e g a t i v e f e e d b a c k f r o m p a r e n t s c o n c e r n i n g r e p o r t i n g p r a c t i c e s . J e f f a d d e d t h a t , a l t h o u g h p a r e n t s a s a g r o u p t e n d e d t o s a y t h a t " p u b l i c e d u c a t i o n i s g o i n g down t h e t u b e s , " t h e y a p p e a r e d t o b e h a p p y w i t h t h e i r l o c a l s c h o o l <F0, 3 1 . 0 1 . 9 5 , p . 1 1 ) . G r a n t a n d J e f f e x p r e s s e d a g r e e m e n t t h a t p a r e n t s a n d t h e p u b l i c i n g e n e r a l p l a c e d a g r e a t d e a l o f i m p o r t a n c e o n l e t t e r g r a d e s . G r a n t t h o u g h t t h a t 135 M i n i s t r y p o l i c y r e g a r d i n g l e t t e r g r a d e s f r o m g r a d e s 4 t o 7 w a s c r e a t e d " . . . i n r e s p o n s e t o p a r e n t s w a n t i n g s o m e t h i n g s p e c i f i c t h a t t h e y c o u l d a t t a c h a m e a n i n g t o " ( I n t e r , 2 6 . 0 5 . 9 5 , p . 7> . G r a n t : . . . m y s e n s e a f t e r 3 0 y e a r s i s t h a t f o r m o s t p a r e n t s w h a t t h e y s t i l l w a n t t o know i s how i s my c h i l d d o i n g c o m p a r e d t o t h e r e s t o f t h e c l a s s . . . . ( p . 1 2 ) J e f f s a i d t h a t s y m b o l s l i k e l e t t e r g r a d e s h a d t h e p o w e r t o a r b i t r a t e s e l f - e s t e e m a n d g r o u p m e m b e r s h i p w i t h i n C a n a d i a n c u l t u r e . T h e p o w e r o f t h e s y m b o l s r e g a r d i n g i n c l u s i o n a n d s e l f - e s t e e m i n o u r c u l t u r e i s a m a z i n g . ( F O , 3 1 . 0 1 . 9 5 , p . 1 3 ) . A f t e r t h e m e e t i n g . G r a n t t o l d me how b a d l y h e f e l t a f t e r w i t n e s s i n g t h e d e g r e e o f r e s i s t a n c e h i s s t a f f e x h i b i t e d t o w a r d s c r i t e r i o n — r e f e r e n c e d e v a l u a t i o n a n d l e t t e r g r a d e s . A s p r i n c i p a l , h e w a s r e s p o n s i b l e f o r e n s u r i n g t h a t h i s s t a f f c o m p l i e d w i t h p r o v i n c i a l a n d s c h o o l b o a r d a s s e s s m e n t p o l i c y ( R e p o r t i n g S t u d e n t P r o g r e s s , B r i t i s h C o l u m b i a M i n i s t r y o f E d u c a t i o n , S e p t e m b e r 1 9 9 4 ) . G r a n t : . . . y o u s a t i n a n a f t e r n o o n s e s s i o n w i t h t h e B o a r d r e s o u r c e p e o p l e a n d y o u s a w t h e b o d y l a n g u a g e a r o u n d t h e r o o m . Y o u h e a r d t h e l a c k o f q u e s t i o n s , w h i c h c o u l d b e i n t e r p r e t e d a s c o m p l e t e l a c k o f i n t e r e s t i n w h a t we w e r e t r y i n g t o d o . . . . 1 f e l t r e a l l y e m b a r r a s s e d t h a t a f t e r n o o n . I t h o u g h t I ' v e d o n e w h a t I c a n t o t r y t o r a i s e a w a r e n e s s 136 . . . . T h e r e s o u r c e p e r s o n ( J e f f ) s a i d t o me a s h e ' s w a l k i n g down t h e h a l l a f t e r w a r d s , ' I t h i n k I b l e w i t . ' I s a i d , " N o , I d o n ' t t h i n k y o u b l e w i t , y o u d i d t h e b e s t y o u c o u l d . Y o u know I c a n ' t b e a c c o u n t a b l e f o r how 3 5 o r 4 0 p e o p l e w i l l r e a c t , I c a n u n d e r s t a n d why y o u m i g h t h a v e f e l t t h a t y o u b l e w i t " . ( I n t e r , 2 6 . 0 5 . 9 5 , p . 2 4 ) G r a n t w e n t o n t o d e s c r i b e d i f f i c u l t i e s s c h o o l a d m i n i s t r a t o r s e n c o u n t e r e d i n t r a n s l a t i n g M i n i s t r y a n d B o a r d p o l i c y i n t o " a c t i o n " ( I n t e r , 9 5 . 0 5 . 2 6 ) . We a r e s c h o o l - b a s e d m a n a g e m e n t a n d o u r r o l e i s t o make s u r e t h a t t h e p o l i c y t h a t t h e M i n i s t r y a n d B o a r d i s e s t a b l i s h i n g i s i m p l e m e n t e d . N o w . . . h o w d o e s t h a t t r a n s l a t e i n t o a c t i o n ? . . . f i r s t o f a l l we h a v e t o t r y a n d b e s u r e t h a t we u n d e r s t a n d w h a t t h a t p o l i c y i s s o t h a t . . . w e ' r e c l e a r o n w h a t i t i s w e ' r e b e i n g a s k e d t o d o . A n d i f t h a t m e a n s we n e e d t o u n d e r t a k e some r e a d i n g o r some i n s e r v i c e o u r s e l v e s . . . t o b e a b l e t o . . . b e c l e a r t h a t we u n d e r s t a n d n o t o n l y w h a t t h e p o l i c y s a y s b u t w h a t i t a c t u a l l y m e a n s . . . t h a t ' s p r o b a b l y t h e f i r s t s t e p . . . . t h e " s y s t e m i m m e d i a t e l y s t a r t s t o b r e a k down b e c a u s e t h e r e i s n o c o n s i s t e n t m a n d a t o r y i n s e r v i c e f o r a d m i n i s t r a t o r s t o make s u r e t h a t i n f a c t e v e r y o n e d o e s u n d e r s t a n d . . . . i n t h e same way t e a c h e r s a r e n o t f o r c e d t o a t t e n d p r o f e s s i o n a l d e v e l o p m e n t o n a p a r t i c u l a r t o p i c . . . . ( I n t e r , 2 6 . 0 5 . 9 5 , p . 2 3 ) G r a n t i n t e r p r e t e d t h e M i n i s t r y ' s e m p h a s i s o n c r i t e r i o n — r e f e r e n c e d l e t t e r g r a d e s a s t h e m o s t c r i t i c a l p o l i c y c h a n g e f o r t e a c h e r s ( F N , 0 6 . 1 2 . 9 4 , p . 1 5 1 ) . He t h o u g h t t h a t t h e s h i f t f r o m a n e c d o t a l t o s t r u c t u r e d w r i t t e n c o m m e n t s w a s l e s s c r i t i c a l ( I n t e r , 1 8 . 0 5 . 9 5 , p . 1 ) . S t r u c t u r e d w r i t t e n c o m m e n t s d i f f e r e d f r o m a n e c d o t a l c o m m e n t s i n t h a t t h e f o r m e r w e r e m o r e 137 s p e c i f i c ( I n t e r , 2 6 . 0 5 . 9 5 , p p . 1 - 2 >. A l t h o u g h t h e s h i f t t o s t r u c t u r e d w r i t t e n c o m m e n t s w a s n o t a m a j o r c h a n g e f o r p r i m a r y t e a c h e r s , i t a p p e a r e d t o b e s i g n i f i c a n t f o r i n t e r m e d i a t e t e a c h e r s . G r a n t : . . . i t ' s a b i t o f a s h i f t f r o m j u s t . . . t h e a n e c d o t a l n o t i o n w h e r e s o m e t i m e s p e o p l e r a m b l e d o n a t l e n g t h a b o u t w h a t k i d s c o u l d d o , b u t w e r e n ' t n e c e s s a r i l y a s s p e c i f i c a b o u t a r e a s n e e d i n g i m p r o v e m e n t o r w o r k , a n d c e r t a i n l y t h e e x p e c t a t i o n t h a t t h e r e b e a c l e a r s t a t e m e n t o f g o a l s f o r t h e n e x t t e r m , w h i c h c o u l d i n c l u d e w h a t t h e t e a c h e r ' s g o i n g t o d o , a n d w h a t t h e p a r e n t c o u l d d o t o s u p p o r t t h a t k i n d o f c l a r i f y i n g p u r p o s e , o f g o a l s . . . . S o f o r t h e i n t e r m e d i a t e t h a t i s a c h a n g e b e c a u s e w h a t t h e i n t e r m e d i a t e r e p o r t c a r d c o n s i s t e d o f b e f o r e w e r e t h e l e t t e r g r a d e s a n d w o r k h a b i t m a r k s a n d a s p a c e f o r some a n e c d o t a l comment o r e l a b o r a t i o n , b u t t h e r e w a s n e v e r t h e d i r e c t i o n i n t e r m s o f t h e s t r u c t u r e d w r i t t e n r e p o r t . . . . ( I n t e r , 2 6 . 0 5 . 9 5 , 1 - 2 ) G r a n t a d d e d t h a t some i n t e r m e d i a t e t e a c h e r s w e r e d i s t u r b e d b y t h e a m o u n t o f w r i t i n g r e q u i r e d t o c r e a t e s t r u c t u r e d w r i t t e n c o m m e n t s f o r e a c h s u b j e c t a r e a o n t h e r e p o r t c a r d . A n d o f c o u r s e i t c a u s e d a l o t o f a n x i e t y . . . b e c a u s e i t l o o k e d a s i f i t w a s g o i n g t o r e q u i r e a t r e m e n d o u s a m o u n t m o r e t h a n t e a c h e r s h a d b e e n u s e d t o h a v i n g t o w r i t e . . . . t h e q u e s t i o n w a s r a i s e d i s t h a t g o i n g t o b e a t e a c h r e p o r t c a r d t i m e , b e c a u s e i f t h e r e ' s f i v e o r s i x o r s e v e n s u b j e c t s i n v o l v e d , a n d i f k i d s a r e p l a t o o n i n g t o v a r i o u s s p e c i a l i s t s , a n d e a c h o f t h o s e s p e c i a l i s t s i s e x p e c t e d t o c o n t r i b u t e a w r i t t e n comment a b o u t t h e i r s u b j e c t , t h i s i s a h u g e a d d i t i o n a l a m o u n t o f w o r k f o r t h e i n t e r m e d i a t e t e a c h e r s b e y o n d w h a t t h e y ' v e b e e n a s k e d t o d o . ( I n t e r , 2 6 . 0 5 . 9 5 , p . 2 ) 138 G r a n t a s s u m e d t h a t t e a c h e r s a c r o s s t h e p r o v i n c e s h a r e d t h e s e c o n c e r n s . He e x p l a i n e d t h a t t h e M i n i s t r y o f E d u c a t i o n r e s p o n d e d t o t h e p r o b l e m b y s t a t i n g t h a t , a l t h o u g h c o m m e n t s m u s t b e w r i t t e n f o r e a c h s u b j e c t a r e a o n t h e r e p o r t c a r d , c o m m e n t s n e e d o n l y b e w r i t t e n o n c e a y e a r ( I n t e r , 2 6 . 0 5 . 9 5 , p . 3 ) . G r a n t d e c i d e d t h a t t h e M i n i s t r y i n t e n d e d t h a t t e a c h e r s w r i t e c o m m e n t s o n r e p o r t c a r d s f o r L a n g u a g e A r t s a n d M a t h e m a t i c s f o r e a c h r e p o r t i n g p e r i o d . T h e r e m a i n i n g s u b j e c t s c o u l d b e a d d r e s s e d o n c e d u r i n g t h e y e a r . J e f f a d v i s e d s t a f f t h a t s t r u c t u r e d w r i t t e n c o m m e n t s i n c l u d e d c o m m e n t s o n a t t i t u d e s , w o r k h a b i t s , a n d e f f o r t ( F o r m a l O b s e r v a t i o n C F 0 3 , 3 1 . 0 1 . 9 5 , p . 9 ) . G r a n t a d d e d t h a t t h e s h i f t t o c r i t e r i o n -r e f e r e n c e d e v a l u a t i o n w a s a s e p a r a t e i s s u e f r o m t h e s h i f t t o s t r u c t u r e d w r i t t e n c o m m e n t s . He p o i n t e d o u t t h a t i n t e r m e d i a t e t e a c h e r s o n h i s s t a f f h a d a l w a y s u s e d l e t t e r g r a d e s ( F N , 0 6 . 1 2 . 9 4 , p . 1 5 1 ) . H o w e v e r , t e a c h e r s d i f f e r e d i n t h e i r m e t h o d s o f c o n s t r u c t i n g l e t t e r g r a d e s . G r a n t : . . . t h e r e ' s n o b o d y i n t h a t i n t e r m e d i a t e s t a f f h e r e r i g h t now who i s n ' t u s e d t o g i v i n g l e t t e r g r a d e s , a n d how t h e y ' v e b e e n d e r i v i n g t h o s e l e t t e r g r a d e s p r o b a b l y i s i n a v a r i e t y o f w a y s . B u t m o r e a c c u r a t e l y t h e y p r o b a b l y h a v e b e e n n o r m -r e f e r e n c e d . I s e e d i f f e r e n t p e o p l e , t h e y a d d u p 139 t h e i r m a r k s , t h e y c h a n g e t h e m i n t o p e r c e n t a g e s , w h e t h e r t h e y p u t t h e m o n a b e l l c u r v e o r w h a t t h e y d o I ' m n o t n e c e s s a r i l y e v e n c l e a r how e v e r y o n e h a s d o n e i t , b u t t h r o u g h y e a r s o f e x p e r i e n c e a n d p r a c t i c e , e v e r y o n e h a s t h e i r way o f c o m i n g u p w i t h w h a t t h a t m e a n s . . . . t h e w a y s t h e y h a v e i n t h e p a s t d e r i v e d t h o s e l e t t e r g r a d e s a n d s o m e , i t ' s b e e n t h e v e r y t r a d i t i o n a l o l d - f a s h i o n e d way o f s a y i n g 86% a n d u p i s a n A , a n d 7 8 t o 8 5 i s a B o r w h a t e v e r t h o s e n u m b e r s a r e . A n d f o r a l o t o f p e o p l e i t ' s j u s t b e e n a c a s e o f a d d i n g u p a w h o l e b u n c h o f m a r k s a n d l i t e r a l l y d i v i d i n g t h e m i n t o a p e r c e n t a g e a n d t h e n a s s i g n i n g some l e t t e r g r a d e . . . . t h e s h i f t t o d e v i s i n g a s y s t e m t h a t i s n o l o n g e r n o r m - r e f e r e n c e d b u t c r i t e r i o n - r e f e r e n c e d I t h i n k i s a m a j o r s h i f t f o r many o f t h e s e p e o p l e . ( I n t e r , 1 8 . 0 5 . 9 5 , p p . 1 - 2 ) G r a n t e x p l o r e d t h e s h i f t f r o m n o r m — r e f e r e n c e d t o c r i t e r i o n — r e f e r e n c e d e v a l u a t i o n t h r o u g h h i s d e l i b e r a t i o n s c o n c e r n i n g t h e m e a n i n g o f n o r m -r e f e r e n c e d . G r a n t : . . . e v e n t h e n o t i o n o f n o r m - r e f e r e n c e d a s s e s s m e n t i s . . . o p e n t o a l l k i n d s o f i n t e r p r e t a t i o n b e c a u s e i n t h e s t r i c t e s t s e n s e o f t h e w o r d , i f w e ' r e t a l k i n g a b o u t n o r m — r e f e r e n c e d we u s u a l l y a r e t a l k i n g a b o u t s o m e t h i n g t h a t h a s d e v e l o p e d a s e r i e s o f n o r m s b a s e d o n a f a i r l y l a r g e p o p u l a t i o n , n o t e v e n , y o u know e v e n a c l a s s r o o m p o p u l a t i o n o f 3 0 o r 3 6 , 3 0 t o d a y , w o u l d u n d e r t h e o r i g i n a l d e f i n i t i o n o f n o r m r e f e r e n c i n g b e a l a r g e e n o u g h p o p u l a t i o n . . . . ( I n t e r , 1 8 . 0 5 . 9 5 , p . 3 ) . . . . i n a c t u a l f a c t w h a t w e ' v e b e e n d o i n g f o r y e a r s may n o t e v e n b e t r u l y n o r m — r e f e r e n c e d b e c a u s e we h a v e b e e n e v a l u a t i n g k i d s b a s e d l a r g e l y o n t e a c h e r ' s d e s i g n e d t e s t s o r a s s i g n m e n t s w h i c h may b e t o t a l l y d i f f e r e n t f r o m w h a t we g a v e t h e p r e v i o u s y e a r . . . a n d s o how we c a n e v e n s a y t h a t we h a v e b e e n r e l a t i n g t h e m t o a n o r m i s p r o b a b l y o p e n f o r a l l k i n d s o f d e b a t e a n y w a y . ( I n t e r , 1 8 . 0 5 . 9 5 , p . 4 ) 140 He a d d e d t h a t i n s t r u c t i o n a l s t r a t e g i e s a s s o c i a t e d w i t h c r i t e r i o n — r e f e r e n c e d e v a l u a t i o n o p e n e d t h e p o s s i b i l i t y f o r a l l s t u d e n t s i n a c l a s s t o g e t a n A i n a p a r t i c u l a r a s s i g n m e n t . G r a n t : . . . i f y o u h a v e c o l l e c t i v e l y e s t a b l i s h e d a g r o u p o f c r i t e r i a a n d y o u make s u r e t h a t t h e c h i l d r e n u n d e r s t a n d t h e m a n d t h e r e ' s b e e n some i n p u t a n d some d i s c u s s i o n a r o u n d t h a t , i t ' s c o n c e i v a b l e t h a t . . . . e v e r y o n e c o u l d g e t a n A , o n a n y g i v e n t a s k , p r o d u c t , p r o c e s s , w h a t e v e r . A n d t h a t w o u l d b e a h u g e d i f f e r e n c e f r o m t h e n o t i o n t h a t t h e r e w i l l b e some A s a n d some B s a n d some C s a n d g o d f o r b i d some D s a n d some E s . ( I n t e r , 1 8 . 0 5 . 9 5 , p . 6 > A l t h o u g h h e s p o k e p o s i t i v e l y a b o u t c r i t e r i o n -r e f e r e n c e d g r a d i n g p r a c t i c e s . G r a n t w a s i r r i t a t e d b y t h e M i n i s t r y ' s c l a i m t h a t l e t t e r g r a d e s f o r i n t e r m e d i a t e s t u d e n t s may , o r may n o t , b e r e p o r t e d v i a t h e r e p o r t c a r d . He p o i n t e d o u t t h a t i f t e a c h e r s w e r e n o t r e q u i r e d t o w r i t e t h e l e t t e r g r a d e o n t h e r e p o r t c a r d , t h e n " w h a t w e r e we g o i n g t o h a v e t o e n s u r e t h a t i n f a c t t h e l e t t e r g r a d e h a d b e e n a s s i g n e d , r e p o r t e d , a n d w a s d o c u m e n t e d ? " ( I n t e r , 2 6 . 0 5 . 9 5 , p . 7 ) . He a d d e d t h a t when 7 5 B o a r d s h a d t h e o p t i o n t o d e v e l o p l o c a l p o l i c y c o n c e r n i n g t h e c o m m u n i c a t i o n o f l e t t e r g r a d e s t o p a r e n t s , t h e p o t e n t i a l f o r c o n f u s i o n o v e r s t u d e n t a c h i e v e m e n t w a s e x a c e r b a t e d b y s t u d e n t s t r a n s f e r r i n g f r o m o n e d i s t r i c t t o a n o t h e r . 141 G r a n t e x p l a i n e d t h a t t e a c h e r s , s t u d e n t s , a n d p a r e n t s w o u l d n o t e m b r a c e t h e p o l i c y c h a n g e u n t i l t h e y u n d e r s t o o d w h a t i t m e a n t , a n d t h a t common u n d e r s t a n d i n g n e e d e d t o b e g i n w i t h t e a c h e r s . F u r t h e r m o r e , d i f f e r e n t g r o u p s o f p e o p l e h a v e d i f f e r e n t s t a k e s i n s e e k i n g u n d e r s t a n d i n g ( I n t e r , 1 8 . 0 5 . 9 5 ) . . . . d o t h e y h a v e t h e u n d e r s t a n d i n g ? . . . 1 d o n ' t know i f we c a n t a l k a b o u t a l l o f t h e p e o p l e i n t h e same way b e c a u s e w e ' r e r e a l l y t a l k i n g h e r e a b o u t k i d s , p a r e n t s a n d t e a c h e r s , ( p . 6 ) G r a n t p o i n t e d o u t t h a t some p e o p l e a n d i n s t i t u t i o n s p l a c e d a h i g h v a l u e o n l e t t e r g r a d e s a s e x c h a n g e f o r money a n d e d u c a t i o n a l o p p o r t u n i t y . . . . I t h i n k we h a v e a l o t o f e v i d e n c e i n t h i s s c h o o l t h a t t h e r e a r e s t i l l a l o t o f p e o p l e o u t t h e r e f o r whom t h e u l t i m a t e i m p o r t a n c e o f w h a t t h e k i d s d o i s t h e l e t t e r g r a d e o n t h e r e p o r t c a r d . . . . w h e n k i d s a r e s t i l l m o t i v a t e d b y , t h e y g e t * 2 0 . 0 0 f o r e v e r y A . . . W h e r e ' s t h a t c o m i n g f r o m ? . . . . A n d u n f o r t u n a t e l y p a r t o f t h a t i s d r i v e n b y o t h e r i n s t i t u t i o n s o u t s i d e o f o u r d o m a i n w h i c h a r e s t i l l l o o k i n g f o r A s a n d B s o r 8 6 % . . . . ( I n t e r , 1 8 . 5 . 9 5 , p . 8 ) C o n c l u s i o n Some o b s e r v e r s i n t e r p r e t e d c h a n g e s t o e d u c a t i o n a l p o l i c y b y t h e NDP g o v e r n m e n t a s t h i n l y v e i l e d e f f o r t s t o " . . . l o o k d e c i s i v e a n d . . . t o p u t i t s own s t a m p o n a n e d u c a t i o n p r o g r a m d e s i g n e d b y t h e p r e v i o u s p a r t y i n p o w e r " ( C r a w l e y , 1 9 9 5 , p . 7 ) . My a n a l y s i s o f p o l i c y 142 d o c u m e n t s f r o m 1987 t o 1997 i n d i c a t e d t h a t k e y a s p e c t s o f " Y e a r 2 0 0 0 " a p p r o a c h t o a s s e s s m e n t a n d e v a l u a t i o n w e r e p r e s e n t i n t h e " K t o 12 E d u c a t i o n P l a n " ( B r i t i s h C o l u m b i a M i n i s t r y o f E d u c a t i o n , 1 9 8 9 a ; 1 9 8 9 b ; 1 9 9 4 e ) . T h e " Y e a r 2 0 0 0 " a n d t h e " K t o 12 E d u c a t i o n P l a n " s h a r e d a c o n c e r n f o r c l e a r e r s t a n d a r d s o f a c h i e v e m e n t a n d r e c o m m e n d e d m u l t i d i m e n s i o n a l a n d c r i t e r i o n -r e f e r e n c e d a p p r o a c h e s t o a s s e s s m e n t a n d e v a l u a t i o n . B o t h g o v e r n m e n t s r e c o m m e n d e d t h a t t e a c h e r s i n v o l v e s t u d e n t p a r t i c i p a t i o n i n s e t t i n g p e r f o r m a n c e c r i t e r i a w h e r e a p p r o p r i a t e . T h e y a l s o p r o m o t e d p e r f o r m a n c e a s s e s s m e n t , p o r t f o l i o a s s e s s m e n t , s t u d e n t s e l f — e v a l u a t i o n s / s e l f - a s s e s s m e n t , p e e r — e v a l u a t i o n , o u t c o m e s -b a s e d e d u c a t i o n , r e f e r e n c e s e t s , a n d P r o v i n c i a l L e a r n i n g A s s e s s m e n t s . I d e t e c t e d d i f f e r e n c e s b e t w e e n t h e S o c i a l C r e d i t ' s a n d N D P ' s a p p r o a c h e s t o a s s e s s m e n t a n d e v a l u a t i o n . W h e r e a s " Y e a r 2 0 0 0 " p o l i c y d i s c u s s i o n s u s e d t h e t e r m , c r i t e r i o n - r e f e r e n c e d , w i t h i n t h e c o n t e x t o f a p p r o a c h e s t o a s s e s s m e n t a n d e v a l u a t i o n , t h e " K t o 12 P l a n " u s e d t h e t e r m , c r i t e r i o n - r e f e r e n c e d , i n r e l a t i o n t o e v a l u a t i o n a n d l e t t e r g r a d e s ( B r i t i s h C o l u m b i a M i n i s t r y o f E d u c a t i o n , 1 9 8 9 a ; 1 9 8 9 b ; 1 9 9 4 e ) . 1 4 3 T h e " Y e a r 2 0 0 0 " u s e d t h e t e r m , c r i t e r i o n -r e f e r e n c e d , t o r e f e r t o a p p r o a c h e s t o a s s e s s m e n t a n d e v a l u a t i o n t h a t w e r e r e f e r e n c e d t o c u r r i c u l u m c r i t e r i a a n d l e a r n i n g o u t c o m e s . T h e " K t o 12 E d u c a t i o n P l a n " s p e c i f i e d s t e p s f o r t e a c h e r s t o f o l l o w when u s i n g c r i t e r i o n - r e f e r e n c e d e v a l u a t i o n i n c l a s s r o o m s . F i n a l l y , w h e r e a s " Y e a r 2 0 0 0 " p o l i c y r e c o m m e n d e d t h a t l e t t e r g r a d e s b e u s e d w h e r e a p p r o p r i a t e , t h e NDP g o v e r n m e n t m a n d a t e d c r i t e r i o n - r e f e r e n c e d l e t t e r g r a d e s f rom g r a d e s 4 t o 7 . T h e N D P ' s u s e o f c r i t e r i o n - r e f e r e n c e d i n r e l a t i o n t o e v a l u a t i o n a n d l e t t e r g r a d e s w a s c o n f u s i n g . P o l i c y d o c u m e n t s d e s c r i b e d c r i t e r i o n - r e f e r e n c e d e v a l u a t i o n a s a n a p p r o a c h w h e r e i n t e a c h e r s e n s u r e d t h a t s t u d e n t s u n d e r s t o o d , a n d e v e n s e t , p e r f o r m a n c e c r i t e r i a b e f o r e b e g i n n i n g a t a s k . C r i t e r i o n - r e f e r e n c e d l e t t e r g r a d e s w e r e d e s c r i b e d a s c l a s s i f i c a t i o n s o f s t u d e n t p e r f o r m a n c e c o m p a r e d w i t h e x p e c t e d l e a r n i n g o u t c o m e s . What d i d c r i t e r i o n - r e f e r e n c e d mean w i t h i n t h e c o n t e x t o f c r t i e r i o n - r e f e r e n c e d e v a l u a t i o n ? Why w a s t h e t e r m n o t u s e d i n r e l a t i o n t o a s s e s s m e n t ? When d i d c r i t e r i o n — r e f e r e n c e d e v a l u a t i o n i n v o l v e a s s e s s m e n t m e t h o d s ? When d i d a s s e s s m e n t m e t h o d s i n v o l v e 144 c o m p a r i s o n s o f i n d i v i d u a l p e r f o r m a n c e w i t h c r i t e r i a t h a t s t u d e n t s w e r e a w a r e o f , a n d e v e n p a r t i c i p a t e d i n s e t t i n g , p r i o r t o b e g i n n i n g a t a s k ? How w e r e t e a c h e r s t o d e c i d e when i t w a s a p p r o p r i a t e t o i n v o l v e s t u d e n t p a r t i c i p a t i o n i n s e t t i n g c r i t e r i a ? What d i d c r i t e r i o n — r e f e r e n c e d mean w i t h i n t h e c o n t e x t o f c r i t e r i o n — r e f e r e n c e d l e t t e r g r a d e s ? Were c r i t e r i o n — r e f e r e n c e d l e t t e r g r a d e s c o n s t r u c t e d f r o m d a t a w h e r e i n s t u d e n t s w e r e a w a r e o f c u r r i c u l u m o r p e r f o r m a n c e c r i t e r i a , a n d when a p p r o p r i a t e , t h e y p a r t i c i p a t e d i n s e t t i n g c r i t e r i a ? A n d / o r w e r e c r i t e r i o n - r e f e r e n c e d l e t t e r g r a d e s c o n s t r u c t e d f r o m d a t a w h e r e i n i n d i v i d u a l p e r f o r m a n c e w a s c o m p a r e d w i t h c u r r i c u l u m c r i t e r i a a n d l e a r n i n g o u t c o m e s ? I t i s n o t s u r p r i s i n g t h a t G r a n t w a s c o n f u s e d b y t h e p o l i c y c h a n g e . T h e p o w e r o f l a n g u a g e t o m e d i a t e c o n f u s i o n i s i l l u s t r a t e d b y d i f f i c u l t i e s a s s o c i a t e d w i t h t h e N D P ' s u s e s o f c r i t e r i o n — r e f e r e n c e d , a s s e s s m e n t , a n d e v a l u a t i o n . W i t h i n t h i s c o n t e x t , v a g u e , a m b i g u o u s , a n d e v e n i n c o h e r e n t p o l i c y d i s c u s s i o n s g e n e r a t e d b e w i l d e r m e n t . I n t h e n e x t c h a p t e r , I e x a m i n e how A n n e t r i e d t o make s e n s e o f t h e p o l i c y c h a n g e w i t h i n t h e c o n t e x t o f 145 h e r c l a s s r o o m p r a c t i c e . 146 CHAPTER 5 I g u e s s I j u s t d o w h a t e v e r t o me s e e m s w h a t a p e r s o n s h o u l d d o i f t h e y ' r e a t e a c h e r . < A n n e , I n t e r v i e w , 9 6 - 0 4 — 2 4 ) T h e ' f e e l ' f o r t h e game i s t h e i m m i n e n t s e n s e o f t h e f u t u r e o f t h e game , t h e s e n s e o f d i r e c t i o n o f t h e h i s t o r y o f t h e game t h a t g i v e s t h e game i t s s e n s e . ( B o u r d i e u , 1 9 9 0 , p . 8 2 ) j THE E X P E R I E N C E OF A TEACHER I n t h i s c h a p t e r I e x a m i n e A n n e ' s u n d e r s t a n d i n g o f , a n d r e s p o n s e s t o , t h e p o l i c y c h a n g e i n h e r c l a s s r o o m p r a c t i c e . W h e r e a s p o l i c y d i s c u s s i o n s d e f i n e d a s s e s s m e n t a s p r o c e d u r e s f o r g a t h e r i n g i n f o r m a t i o n a b o u t s t u d e n t p r o g r e s s , A n n e d e f i n e d a s s e s s m e n t a s c l a s s r o o m p r a c t i c e s f o r c o l l e c t i n g a n d m a k i n g j u d g e m e n t s a b o u t s t u d e n t l e a r n i n g b a s e d u p o n c u r r i c u l u m c r i t e r i a . A n n e ' s u n d e r s t a n d i n g o f a s s e s s m e n t p a r a l l e l e d my u n d e r s t a n d i n g o f a s s e s s m e n t - e v a l u a t i o n . A n n e ' s B a c k g r o u n d a n d P h i l o s o p h y o f E d u c a t i o n A n n e b e g a n h e r c a r e e r a s a n e l e m e n t a r y c l a s s r o o m t e a c h e r a n d t e a c h e r - l i b r a r i a n . S i x y e a r s l a t e r s h e t o o k a t w o - y e a r l e a v e f r o m t e a c h i n g t o r a i s e h e r f i r s t c h i l d . S h e r e t u r n e d t o w o r k o n a p a r t - t i m e b a s i s u n t i l h e r s e c o n d s o n w a s b o r n . A n n e t h e n t o o k a s i x — m o n t h 147 l e a v e t o b e w i t h t h e t w o c h i l d r e n . F o l l o w i n g t h i s p e r i o d , s h e w o r k e d a s a t e a c h e r - l i b r a r i a n o n a p a r t -t i m e b a s i s u n t i l h e r y o u n g e s t s o n e n t e r e d g r a d e 8 . A t t h i s t i m e , s h e r e t u r n e d t o f u l l - t i m e t e a c h i n g . T h r o u g h o u t t h e f o l l o w i n g y e a r s s h e t a u g h t a g r a d e 4 c l a s s , t w o g r a d e 4 / 5 c l a s s e s , a n d t w o g r a d e 5 / 6 c l a s s e s . A n n e e x p l a i n e d t h a t h e r p a r e n t s ' e m p h a s i s o n f a m i l y l e d h e r t o p l a c e g r e a t i m p o r t a n c e o n h e r own f a m i l y , a n d i n f l u e n c e d h e r t o s e e s t u d e n t s a s e x t e n d e d f a m i l y ( I n t e r , 4 . 2 8 . 9 6 ) . U n i t y , s h a r i n g , r e s p e c t , a n d t r a d i t i o n w e r e i m p o r t a n t v a l u e s f o r A n n e a t home a n d a t s c h o o l . My f a m i l y i s r e a l l y i m p o r t a n t t o me. My p a r e n t s a l w a y s s t r e s s e d f a m i l y a n d f a m i l y t r a d i t i o n s t h a t I h a v e t r i e d t o c a r r y o n i n my f a m i l y b e c a u s e I h a v e f e l t t h e y w e r e i m p o r t a n t . I t ' s i m p o r t a n t t o h a v e a s e n s e o f f a m i l y . I s u p p o s e i f y o u h a v e a s e n s e o f f a m i l y a n d t h i n k t h a t f a m i l y ' s i m p o r t a n t i t p e r h a p s d o e s r e f l e c t i n y o u r t e a c h i n g . V o u t r y a n d make y o u r c l a s s f e e l l i k e a f a m i l y a n d make e v e r y o n e f e e l t o g e t h e r , e s p e c i a l l y i f y o u h a v e a c o m b i n a t i o n c l a s s . Y o u d o n ' t w a n t t o make t h e m f e e l l i k e e a c h o f t h e m i s a d i f f e r e n t g r a d e . Y o u t r y a n d make e v e r y o n e f e e l a s i f t h e y d o b e l o n g t o o n e common g r o u p , a f a m i l y s o t o s p e a k . I a l w a y s t r y t o make e v e r y b o d y i n t h e c l a s s f e e l v e r y c o m f o r t a b l e , r e l a x e d , a n d w e l c o m e . I e n c o u r a g e e v e r y o n e t o b e p o l i t e a n d n o t p u t e a c h o t h e r d o w n , s o t h a t p e o p l e f e e l s a f e a n d s u p p o r t e d . I s u p p o s e a l l t h i s r e l a t e s t o my s e n s e o f f a m i l y . ( I n t e r , 4 . 2 8 . 9 6 ) 148 P r e s e n t l y , A n n e ' s h u s b a n d i s a h i g h s c h o o l t e a c h e r . H e r s o n s a r e t a k i n g c o l l e g e c o u r s e s a n d w o r k i n g p a r t -t i m e . A n n e a d d e d t h a t u n i v e r s i t y s t u d i e s i n f l u e n c e d h e r p h i l o s o p h y o f e d u c a t i o n a n d c l a s s r o o m p r a c t i c e . D u r i n g h e r t e a c h i n g c a r e e r s h e t o o k c o u r s e s l e a d i n g t o a d i p l o m a i n S p e c i a l E d u c a t i o n . A n n e p o i n t e d o u t t h a t c o u r s e s r a n g i n g f r o m l e a r n i n g d i s a b i l i t i e s t o g i f t e d n e s s s e n s i t i z e d h e r t o t h e d i v e r s i t y o f s t u d e n t s ' n e e d s ( I n t e r , 9 6 - 0 4 - 2 8 ) . . . . t h e S p e c i a l E d u c a t i o n c o u r s e s t h a t I t o o k p r o b a b l y g a v e me a g o o d u n d e r s t a n d i n g o f a l l t h e d i f f e r e n t k i n d s o f l e a r n e r s , a n d t h e f r u s t r a t i o n s t h a t t h e y w o u l d f e e l , a n d t h e n e e d s t h a t t h e y m i g h t h a v e . I t h i n k t h o s e w e r e v e r y u s e f u l c o u r s e s t o h a v e a s a b a c k g r o u n d . I g u e s s I l i k e t o p e r h a p s u s e a g i f t e d e d u c a t i o n m o d e l o f t e a c h i n g , w h e r e i n a c t i v i t i e s a r e o p e n - e n d e d s o t h a t a l l l e a r n e r s c a n a p p r o a c h t h e a c t i v i t i e s a n d e n t e r a t t h e i r l e v e l . . . . 1 l i k e t o u s e g i f t e d e d u c a t i o n a p p r o a c h e s l i k e c r e a t i v e p r o b l e m -s o l v i n g , f u t u r e p r o b l e m - s o l v i n g , c r e a t i v e t h i n k i n g s k i l l s , a n d c r i t i c a l t h i n k i n g s k i l l s w i t h a l l s t u d e n t s b e c a u s e I b e l i e v e t h a t i t s r e a l l y i m p o r t a n t f o r a l l s t u d e n t s t o l e a r n t o t h i n k a n d t o s o l v e p r o b l e m s , t o t h i n k c r i t i c a l l y a n d c r e a t i v e l y . . . . e s p e c i a l l y t h e l o w e i — e n d s t u d e n t s b e c a u s e I t h i n k s o m e t i m e s t h e y l a c k s e l f - e s t e e m a n d t h e y j u s t t h i n k t h a t t h e y c a n ' t come u p w i t h a n s w e r s . . I t ' s r e a l l y i m p o r t a n t f o r s t u d e n t s t o make i m p o r t a n t d e c i s i o n s a b o u t t h e i r l e a r n i n g , t o g e t t o know t h e m s e l v e s a s l e a r n e r s . ( I n t e r , 4 . 2 8 . 9 6 ) A t home, a n d i n t h e c l a s s r o o m , A n n e e m p h a s i z e d t h e 149 i m p o r t a n c e o f m u t u a l r e s p e c t . S h e saw m u t u a l r e s p e c t a s a u n i f y i n g c o d e o f b e h a v i o u r e m b o d i e d i n c l a s s r o o m r e l a t i o n s h i p s . I l i k e t o t r y a n d u n i t e s t u d e n t s a s s o o n a s p o s s i b l e i n t o a c o h e s i v e g r o u p w h e r e t h e y c a n f e e l c o m f o r t a b l e a n d s a f e w i t h e a c h o t h e r , s o t h a t t h e y c a n g i v e o r a l p r e s e n t a t i o n s , a n d s t a t e t h e i r o p i n i o n s f r e e l y , a n d know t h a t t h e y w o n ' t b e l a u g h e d a t o r c r i t i c i z e d . I t ' s i m p o r t a n t , t h a t I r e s p e c t t h e m , t h e i r o p i n i o n s a n d t h o u g h t s , a n d t h a t t h e y r e s p e c t my o p i n i o n s a n d t h o u g h t s . ( I n t e r , 4 . 2 8 . 9 6 ) A n n e ' s e d u c a t i o n a l p h i l o s o p h y c e n t e r e d a r o u n d h e r a s s u m p t i o n t h a t t h e p u r p o s e o f e d u c a t i o n w a s t o empower s t u d e n t s t o " l e a r n how t o l e a r n " ( I n t e r , 4 . 2 8 . 9 6 ) . I w a n t s t u d e n t s t o b e i n d e p e n d e n t l e a r n e r s a n d l e a r n how t o l e a r n , t a k e c h a r g e o f t h e i r l e a r n i n g . F o r me t o b e t h e i r g u i d e , a n d n o t t h e p e r s o n who s u p p o s e d l y k n o w s a l l t h e i n f o r m a t i o n a n d I j u s t g i v e i t t o t h e m a n d t h e y l e a r n w h a t i t i s I t e l l t h e m t o l e a r n . T h e m a i n t h i n g i s , i f y o u d o n ' t know s o m e t h i n g a n d a s l o n g a s y o u know how t o f i n d t h e i n f o r m a t i o n , t h a t ' s t h e i m p o r t a n t t h i n g . ( I n t e r , 4 . 2 8 . 9 6 ) M a k i n g S e n s e Of T h e P o l i c y C h a n g e A n n e ' s u n d e r s t a n d i n g o f c r i t e r i o n — r e f e r e n c e d e v a l u a t i o n w a s s h a p e d b y h e r f a m i l y b a c k g r o u n d , t e a c h e r e d u c a t i o n , c l a s s r o o m p r a c t i c e , p h i l o s o p h y o f e d u c a t i o n , c o l l e a g u e s , p r o f e s s i o n a l d e v e l o p m e n t w o r k s h o p s , p r o f e s s i o n a l r e a d i n g , u n i v e r s i t y c o u r s e w o r k , a n d M i n i s t r y a n d D i s t r i c t O f f i c e a s s e s s m e n t a n d e v a l u a t i o n 150 p o l i c y . H e r p o w e r t o i n t e r p r e t c r i t e r i o n — r e f e r e n c e d e v a l u a t i o n i n h e r c l a s s r o o m p r a c t i c e w a s l i m i t e d b y h e r p e r c e i v e d o b l i g a t i o n t o i m p l e m e n t M i n i s t r y a n d S c h o o l B o a r d a s s e s s m e n t a n d e v a l u a t i o n p o l i c y . A n n e f i r s t e n c o u n t e r e d t h e t e r m , c r i t e r i o n -r e f e r e n c e d e v a l u a t i o n , d u r i n g D i s t r i c t O f f i c e a n d s c h o o l - b a s e d w o r k s h o p s ( I n t e r , 5 . 2 2 . 9 5 ) . On s e v e r a l o c c a s i o n s , w o r k s h o p l e a d e r s u s e d t h e t e r m s , c r i t e r i o n -r e f e r e n c e d a s s e s s m e n t a n d c r i t e r i o n - r e f e r e n c e d e v a l u a t i o n , i n t e r c h a n g e a b l y ( F N , 1 1 . 3 . 9 4 ; F N , 1 . 3 0 . 9 5 ; F N , 1 . 3 1 . 9 5 ) . B o t h e x p r e s s i o n s w e r e u s e d t o r e f e r t o p r a c t i c e s a s s o c i a t e d w i t h i n v o l v i n g s t u d e n t p a r t i c i p a t i o n i n s e t t i n g c r i t e r i a , c o l l e c t i n g i n f o r m a t i o n a b o u t s t u d e n t p r o g r e s s , a n d m a k i n g j u d g e m e n t s a b o u t s t u d e n t p r o g r e s s b a s e d u p o n c u r r i c u l u m c r i t e r i a ( D o c , 1 1 . 3 . 9 4 ; D o c , 1 . 3 0 . 9 5 ; D o c ; 1 . 3 1 . 9 5 ; D o c , 2 . 1 0 . 9 5 ) . On N o v e m b e r 3 , 1994., A n n e a n d I a t t e n d e d a D i s t r i c t O f f i c e p r o f e s s i o n a l d e v e l o p m e n t w o r k s h o p o n c r i t e r i o n — r e f e r e n c e d e v a l u a t i o n . " S a n d r a E v a n s , " t h e w o r k s h o p l e a d e r , t a l k e d a b o u t c r i t e r i o n - r e f e r e n c e d a s s e s s m e n t t h r o u g h o u t t h e m e e t i n g . S h e d i d n o t u s e t h e t e r m , c r i t e r i o n - r e f e r e n c e d e v a l u a t i o n ( F N , 1 1 . 3 . 9 5 ) . 151 P a r t i c i p a n t s i n t h e w o r k s h o p i n c l u d e d a p p r o x i m a t e l y t w e n t y - e i g h t i n v i t e d t e a c h e r s a n d a d m i n i s t r a t o r s . S a n d r a , a c o n s u l t a n t f r o m a n e i g h b o u r i n g b o a r d , b e g a n t h e m e e t i n g b y a s k i n g , "What k i n d o f i n t e l l e c t u a l c a p i t a l d o we n e e d t o b u i l d i n t h e s e c h i l d r e n ? How d o y o u g e t a n d k e e p a j o b i n t h e 2 1 s t . c e n t u r y ? " ( F N , 1 1 . 3 . 9 4 , p . l ) . W i t h o u t p a u s e s h e r e s p o n d e d , " W h e r e c h i l d r e n a r e i n v o l v e d i n p r o c e s s . W h e r e t h e y n e g o t i a t e c r i t e r i a w i t h t e a c h e r s " ( F N , 1 1 . 3 . 9 4 , p . 3 ) . S a n d r a c o n t i n u e d b y a s k i n g , "What i s t h e m o s t i m p o r t a n t p i e c e f o r y o u t o g e t f r o m c r i t e r i o n -r e f e r e n c e d a s s e s s m e n t ? " P a r t i c i p a n t s b r o k e i n t o g r o u p s t o b r a i n s t o r m " n e e d s , w a n t s , a n d w i s h e s " ( F N , 1 1 . 3 . 9 4 , p . 3 ) . E a c h g r o u p c h o s e o n e p e r s o n t o r e c o r d t h e i r i d e a s o n c h a r t p a p e r . T h e r e c o r d e r s r e a d t h e i r r e s p e c t i v e c h a r t s t o t h e g r o u p , a n d t a p e d t h e c h a r t s o n t h e w a l l 5 a r o u n d t h e r o o m . D u r i n g h e r t a l k a b o u t c r i t e r i o n - r e f e r e n c e d a s s e s s m e n t S a n d r a d i s t r i b u t e d a s e r i e s o f h a n d o u t s t h a t d e s c r i b e d s t e p s f o r i m p l e m e n t i n g c r i t e r i o n - r e f e r e n c e d e v a l u a t i o n i n t h e c l a s s r o o m . T h e m a n n e r i n w h i c h s h e i n t r o d u c e d t h i s m a t e r i a l i m p l i e d t h a t c r i t e r i o n -152 r e f e r e n c e d a s s e s s m e n t a n d c r i t e r i o n — r e f e r e n c e d e v a l u a t i o n m e a n t t h e same t h i n g . M o r e o v e r , o n e h a n d o u t i n c l u d e d s t e p s f o r i m p l e m e n t a t i o n o f c r i t e r i o n -r e f e r e n c e d e v a l u a t i o n . A t t e n t i o n w a s d r a w n t o t h o s e s t e p s w h e r e i n s t u d e n t s w e r e t o b e i n v o l v e d i n e s t a b l i s h i n g c r i t e r i a when a p p r o p r i a t e , a n d s t u d e n t s w e r e t o b e made a w a r e o f e v a l u a t i o n c r i t e r i a b e f o r e e n g a g i n g i n a n a c t i v i t y ( D o c , 1 1 . 3 c . 9 4 ) . S a n d r a t h e n e n g a g e d t h e g r o u p i n a n a c t i v i t y c a l l e d t h e " I n t e r n a t i o n a l C l a p p i n g I n s t i t u t e " t o i l l u s t r a t e t h e i m p o r t a n c e o f d i s c u s s i o n a n d n e g o t i a t i o n when s e t t i n g c r i t e r i a w i t h s t u d e n t s ; d i s c u s s i o n a n d n e g o t i a t i o n i m p r o v e d p e r f o r m a n c e . F o u r p e o p l e f r o m t h e a u d i e n c e v o l u n t e e r e d t o b e c l a p p e r s a n d f i v e v o l u n t e e r e d t o b e a s s e s s o r s ( F N , 1 1 . 3 . 9 4 ) . S a n d r a ' s u s e o f t h e t e r m a s s e s s o r a s a n i n d i v i d u a l who e v a l u a t e d c l a p p e r s c o n f l a t e d t h e t e r m s a s s e s s m e n t a n d e v a l u a t i o n . C l a p p e r s i n t r o d u c e d t h e m s e l v e s a n d d e s c r i b e d how t h e y b e c a m e i n t e r e s t e d i n c l a p p i n g . " J a c k , " t h e f i r s t c l a p p e r , c l a p p e d h i s h a n d s a n d t h e n w a s a s k e d b y S a n d r a t o l e a v e t h e r o o m . I n J a c k ' s a b s e n c e S a n d r a t o l d t h e a s s e s s o r s t o r a t e h i s c l a p p i n g o n a s c a l e o f 1 t o 4 . S h e r e c o r d e d a n d t o t a l l e d t h e a s s e s s o r s s c o r e s o n a n 153 o v e r h e a d p r o j e c t o r . J a c k w a s c a l l e d b a c k i n t o t h e r o o m a n d t o l d h i s s c o r e . B e f o r e t h e s e c o n d p a r t i c i p a n t c l a p p e d , S a n d r a p l a c e d t h e " i n t e r n a t i o n a l c r i t e r i a " f o r c l a p p i n g o n t h e o v e r h e a d p r o j e c t o r . C r i t e r i a i n v o l v e d " v o l u m e , " " a p p r o p r i a t e n e s s " a n d " c r e a t i v i t y . " T h e s e c o n d c l a p p e r w a s r a t e d b y t h e a s s e s s o r s o n a s c a l e o f 1 t o 4 u s i n g t h e i n t e r n a t i o n a l c r i t e r i a . S a n d r a a s k e d t h e f i n a l c l a p p e r t o e x p l a i n w h e r e s h e w o u l d b e d o i n g h e r c l a p p i n g , a n d t h e i m p o r t a n c e o f h e r c l a p p i n g . A f t e r h e r c l a p p i n g w a s r a t e d , S a n d r a t o l d t h e woman t h a t s h e c o u l d a s k q u e s t i o n s o f t h e a s s e s s o r s r e g a r d i n g h e r e v a l u a t i o n . T h e woman a s k e d a s s e s s o r s t o c l a r i f y w h a t t h e y m e a n t b y t h e i r u s e o f t h e t e r m , c r e a t i v i t y . T h e n , S a n d r a a s k e d h e r how s h e f e l t a b o u t t h e c r i t e r i a o f c r e a t i v i t y , a n d w h a t k i n d o f a s s e s s m e n t s h e w o u l d l i k e t o h a v e . S a n d r a ' s u s e o f t h e t e r m , a s s e s s m e n t , a s a k i n d o f e v a l u a t i o n r e i n f o r c e d my b e l i e f t h a t c l a s s r o o m p r o c e d u r e s a n d p r a c t i c e s a s s o c i a t e d w i t h a s s e s s m e n t a n d e v a l u a t i o n w e r e i n t e r c o n n e c t e d t o s u c h a d e g r e e t h a t i t w a s v e r y d i f f i c u l t t o a v o i d u s i n g t h e t e r m s i n t e r c h a n g e a b l y ; h e n c e my p r e f e r e n c e f o r t h e e x p r e s s i o n 154 a s s e s s m e n t . - e v a l u a t i o n . T h e l a s t c l a p p e r d e s c r i b e d h e r c r i t e r i a f o r c r e a t i v i t y a n d s a i d t h a t s h e w a n t e d h e r a s s e s s m e n t t o t a k e t h e f o r m o f a n u n s t r u c t u r e d w r i t t e n comment . S a n d r a e n d e d t h e a c t i v i t y b y a s k i n g t h e r e m a i n i n g t w o c l a p p e r s t o s h a r e how t h e y f e l t a b o u t t h e a s s e s s m e n t p r o c e s s . S h e p o i n t e d o u t t h a t t h e a c t i v i t y o f t h e c l a p p i n g i n s t i t u t e i l l u s t r a t e d t h e i m p o r t a n c e o f s e t t i n g c r i t e r i a w i t h p a r t i c i p a n t s s o t h a t t h e y knew how t h e y w e r e a s s e s s e d b e f o r e e n g a g i n g i n a n a c t i v i t y , t o e n s u r e t h a t c r i t e r i a w a s a p p r o p r i a t e , a n d t o c l a r i f y t h e m e a n i n g o f c r i t e r i a ( F N , 1 1 . 3 . 9 4 ) . A l t h o u g h t h e s e p o i n t s w e r e i l l u m i n a t e d b y t h e a c t i v i t y , t h e d i s t i n c t i o n b e t w e e n a s s e s s m e n t a n d e v a l u a t i o n w a s u n c l e a r . I n t h e a f t e r n o o n s e v e r a l t e a c h e r s g a v e t h e f o l l o w i n g t e s t i m o n i a l s r e g a r d i n g t h e i r e x p e r i e n c e s w i t h c r i t e r i o n - r e f e r e n c e d a s s e s s m e n t : " S t a n d a r d s h a v e g o n e u p , a t m o s p h e r e h a s c h a n g e d ; L a n g u a g e h a s c h a n g e d t o c r i t e r i a — l a n g u a g e ; L a n g u a g e h a s c h a n g e d i n t h e c l a s s r o o m " ( F N , 1 1 . 3 . 9 4 ) . T o w a r d s t h e e n d o f t h e d a y , S a n d r a p o i n t e d o u t t h a t l e t t e r g r a d e s w e r e c o n s t r u c t e d f r o m c o m p a r i s o n s o f s t u d e n t w o r k w i t h c l a s s r o o m 155 c r i t e r i a t h a t r e p r e s e n t e d i n t e n d e d l e a r n i n g o u t c o m e s o f t h e c u r r i c u l u m . W e ' r e n o t c o m p a r i n g k i d s . Y o u h a v e t o l o o k a t t h e e n d s a n d m e a s u r e c r i t e r i a i n t e r m s o f how w e l l t h e o u t c o m e i s r e a c h e d . S o y o u a r e m e a s u r i n g t h e p a t h o f t h e o u t c o m e t o b e a c h i e v e d a n d i t d o e s n ' t h a v e t o b e t h e e n t i r e o u t c o m e . Y o u c a n c o m p a r e t h e c h i l d ' s s a m p l e o r p r o d u c t t o t h e c l a s s r o o m c r i t e r i a . . . c o m p a r e i t t o r e f e r e n c e s e t s a n d n a t i o n a l s t a n d a r d s . ( F N , p p . 59—60) S a n d r a e n d e d t h e w o r k s h o p b y p r o m o t i n g a h a n d b o o k e n t i t l e d , " C r i t e r i o n - r e f e r e n c e d E v a l u a t i o n : G e t t i n g S t a r t e d " ( D o c , 1 1 . 3 b . 9 5 ) . H e r c l o s i n g c o m m e n t s w e r e , " T h e r o a d t o s u c c e s s i s a l w a y s u n d e r c o n s t r u c t i o n " ( F N , 1 1 . 3 . 9 5 , p . 7 9 ) . U n l i k e S a n d r a , A n n e d i d n o t u s e t h e t e r m c r i t e r i o n - r e f e r e n c e d a s s e s s m e n t . I n s t e a d , s h e a d o p t e d t h e t e r m , c r i t e r i o n - r e f e r e n c e d e v a l u a t i o n , u s e d b y t h e I n t e r m e d i a t e C o o r d i n a t o r a n d D i s t r i c t P r i n c i p a l i n t h e i r p r o f e s s i o n a l d e v e l o p m e n t w o r k s h o p s ( F N , 1 . 3 0 . 9 5 ; F N , 1 . 3 1 . 9 5 ) . S a n d r a ' s e m p h a s i s o n s e t t i n g c r i t e r i a w i t h s t u d e n t s s t r o n g l y i n f l u e n c e d A n n e t o i n t e r p r e t c r i t e r i o n - r e f e r e n c e d e v a l u a t i o n a s , i n p a r t , a n i n s t r u c t i o n a l s t r a t e g y ( I n t e r , 7 . 2 7 . 9 5 ) . S h e e x p l a i n e d t h a t S a n d r a ' s w o r k s h o p l e d h e r t o r e c a l l i n s t r u c t i o n a l s t r a t e g i e s t h a t s h e w a s a l r e a d y u s i n g i n t h e c l a s s r o o m . 156 When I f i r s t h e a r d a b o u t c r i t e r i o n — r e f e r e n c e d e v a l u a t i o n , i t made a g r e a t d e a l o f s e n s e . When S a n d r a t a l k e d a b o u t t e a c h i n g a n d l e a r n i n g s t r a t e g i e s t h a t I h a v e a l w a y s l i k e d u s i n g i n t h e c l a s s r o o m , t h a t w a s a n i m p o r t a n t c o n n e c t i o n f o r me i n r e l a t i o n t o c r i t e r i o n — r e f e r e n c e d e v a l u a t i o n . ( I n t e r , 5 . 2 8 . 9 5 , p . 1 1 ) A n n e a d d e d t h a t d e v e l o p i n g c r i t e r i a w i t h s t u d e n t s w a s a new i d e a f o r h e r . D e v e l o p i n g c r i t e r i a w i t h s t u d e n t s w a s a new i d e a f o r me t h i s S e p t e m b e r . M a y b e o t h e r p e o p l e knew a b o u t i t b u t I w a s u n a w a r e o f t h e a p p r o a c h . ( I n t e r , 5 . 2 2 . 9 5 , p . 1 7 ) J e f f , a D i s t r i c t P r i n c i p a l , c o n d u c t e d a p r o f e s s i o n a l d e v e l o p m e n t w o r k s h o p o n c r i t e r i o n -r e f e r e n c e d e v a l u a t i o n f o r s t a f f o f W e s t h e i g h t s ' s c h o o l o n J a n u a r y 3 1 , 1 9 9 5 . D u r i n g t h e w o r k s h o p h e d i s t r i b u t e d a h a n d o u t e n t i t l e d , " C r i t e r i o n - r e f e r e n c e d E v a l u a t i o n . " J u s t l i k e t h e i n f o r m a t i o n i n S a n d r a E v a n s " h a n d o u t s , P a g e 6 o f J e f f ' s b o o k l e t o u t l i n e d t h e s t e p s t e a c h e r s w e r e t o f o l l o w t o i m p l e m e n t c r i t e r i o n -r e f e r e n c e d e v a l u a t i o n i n t h e i r c l a s s r o o m s ( D o c , 1 . 3 1 . 9 5 , p . 6 ) . A n d j u s t l i k e S a n d r a , J e f f e m p h a s i z e d s t e p s f o r i m p l e m e n t i n g c r i t e r i o n - r e f e r e n c e d e v a l u a t i o n i n c l a s s r o o m p r a c t i c e t h r o u g h d i s c u s s i n g a n d n e g o t i a t i n g c r i t e r i a w i t h s t u d e n t s . " K a y , " t h e I n t e r m e d i a t e C o o r d i n a t o r , c h a i r e d a " T e a c h e r s - A s - R e s e a r c h e r s " g r o u p , o f w h i c h A n n e w a s a 157 member , t o e x p l o r e i s s u e s a s s o c i a t e d w i t h c r i t e r i o n -r e f e r e n c e d e v a l u a t i o n . D u r i n g o n e m e e t i n g , s h e d i s t r i b u t e d a h a n d b o o k t o g r o u p members e n t i t l e d , " C r i t e r i o n - r e f e r e n c e d E v a l u a t i o n - T h e R o a d t o S u c c e s s i s A l w a y s U n d e r C o n s t r u c t i o n " ( F N , 2 . 1 1 . 9 5 ; D o c , 2 . 1 1 . 9 5 ) . W i t h i n t h i s c o n t e x t , i t i s u s e f u l t o r e c a l l t h a t S a n d r a E v a n s e n d e d a n e a r l i e r w o r k s h o p o n c r i t e r i o n — r e f e r e n c e d a s s e s s m e n t w i t h t h e e x p r e s s i o n , " T h e r o a d t o s u c c e s s i s a l w a y s u n d e r c o n s t r u c t i o n " ( F N , 1 1 . 3 . 9 4 , p . 7 9 ) . L i k e S a n d r a ' s a n d J e f f ' s h a n d o u t s , P a g e 6 o f K a y ' s b o o k l e t d e t a i l e d s t e p s f o r u s i n g c r i t e r i o n - r e f e r e n c e d e v a l u a t i o n i n t h e c l a s s r o o m . S t e p s #4 a n d #5 s u g g e s t e d t h a t t e a c h e r s , " i n v o l v e s t u d e n t s , when a p p r o p r i a t e , i n e s t a b l i s h i n g c r i t e r i a ( a n d ) , i n f o r m s t u d e n t s a b o u t t h e c r i t e r i a t h e i r w o r k w i l l b e e v a l u a t e d a g a i n s t p r i o r t o t h e l e a r n i n g a c t i v i t y " ( D o c , 2 . 1 0 . 9 5 , p . 6 ) . D u r i n g a n M . E d , c o u r s e i n J u l y 1 9 9 5 , A n n e c o n t i n u e d h e r e f f o r t s t o make s e n s e o f c r i t e r i o n -r e f e r e n c e d e v a l u a t i o n b y r e v i e w i n g l i t e r a t u r e a s s o c i a t e d w i t h t h e t e r m , c r i t e r i o n - r e f e r e n c e d . S h e e x a m i n e d how t h e t e r m w a s u s e d i n R o b e r t G l a s e r ' s ( 1 9 6 3 ) d i s c u s s i o n o f c r i t e r i o n - r e f e r e n c e d m e a s u r e m e n t , 158 t h e S u l l i v a n R o y a l C o m m i s s i o n ( B r i t i s h C o l u m b i a M i n i s t r y o f E d u c a t i o n , 1 9 8 8 ) , a n d c u r r e n t BC M i n i s t r y a s s e s s m e n t p o l i c y ( B r i t i s h C o l u m b i a M i n i s t r y o f E d u c a t i o n , 1 9 9 4 a ; 1 9 9 4 e ; 1 9 9 4 i ) . S h e d e c i d e d t h a t a n o v e r a r c h i n g t h e m e o f p o l i c y d o c u m e n t s a n d l i t e r a t u r e w a s t h a t a s s e s s m e n t a n d e v a l u a t i o n s h o u l d b e d i r e c t l y a s s o c i a t e d w i t h c u r r i c u l u m a n d i n s t r u c t i o n ( D o c , 7 . 2 5 . 9 5 ) . A n n e p o i n t e d o u t t h a t t e a c h e r s w e r e c o n f u s e d o v e r how t o i n t e r p r e t t h e t e r m , c r i t e r i o n - r e f e r e n c e d e v a l u a t i o n . . . . 1 t h i n k t h a t p e o p l e ' s p e r c e p t i o n s r e g a r d i n g w h a t c r i t e r i o n — r e f e r e n c e d e v a l u a t i o n m e a n s a r e d i f f e r e n t . F o r e x a m p l e , a r e we t a l k i n g a b o u t e x p l a i n i n g c r i t e r i a t o s t u d e n t s b e f o r e t h e y b e g i n a n a c t i v i t y b u t we h a v e n ' t e n s u r e d t h a t t h e y u n d e r s t a n d e x a c t l y w h a t we mean b y c r i t e r i a ? A r e we a l s o t a l k i n g a b o u t e s t a b l i s h i n g c r i t e r i a w i t h s t u d e n t s ? ( I n t e r , 5 . 2 2 . 9 5 p . 15 ) . . . p r e s e n t l y , I w o n d e r i f c r i t e r i o n - r e f e r e n c e d e v a l u a t i o n m u s t a l w a y s i n v o l v e d i s c u s s i o n w i t h s t u d e n t s , a n d i f c r i t e r i o n — r e f e r e n c e d e v a l u a t i o n i n v o l v e s a t e a c h e r s e t t i n g c r i t e r i a a n d s t u d e n t s s i m p l y s e e i n g c r i t e r i a b e f o r e b e g i n n i n g a n a c t i v i t y . ( I n t e r , p . 1 7 ) A l t h o u g h A n n e p r e f e r r e d t o d i s c u s s a n d n e g o t i a t e c r i t e r i a w i t h s t u d e n t s , s h e s a i d t h a t t h e p r o c e s s w a s t i m e — c o n s u m i n g ( I n t e r , 5 . 2 7 . 9 5 ) . T h e r e f o r e , s h e w a s u n a b l e t o u s e t h e s t r a t e g i e s a s o f t e n a s s h e m i g h t h a v e l i k e d . S h e p o i n t e d o u t t h a t s h e w a n t e d t o make t i m e t o 159 u s e o t h e r p r o c e d u r e s a n d p r a c t i c e s , l i k e t e s t s , t h a t s h e d i d n o t a s s o c i a t e w i t h c r i t e r i o n — r e f e r e n c e d e v a l u a t i o n . ( I n t e r , 5 . 2 8 . 9 5 ) . A s s e s s m e n t - E v a l u a t i o n P r o c e d u r e s a n d P r a c t i c e s A n n e u s e d m u l t i p l e a p p r o a c h e s t o a s s e s s m e n t -e v a l u a t i o n i n h e r c l a s s r o o m p r a c t i c e i n v o l v i n g g a t h e r i n g , m a r k i n g , r e t u r n i n g , a n d f i l i n g o f s t u d e n t s ' a s s i g n m e n t s i n p o r t f o l i o s , c r i t e r i o n - r e f e r e n c e d e v a l u a t i o n a c t i v i t i e s , t e a c h e r o b s e r v a t i o n , h o m e w o r k , a n d l e t t e r g r a d e s a n d s t r u c t u r e d w r i t t e n c o m m e n t s . S h e t h o u g h t t h a t d i f f e r e n t s k i l l s a n d c o n t e n t a r e a s c a l l e d f o r d i f f e r e n t a p p r o a c h e s t o c o l l e c t i n g i n f o r m a t i o n a n d m a k i n g j u d g e m e n t s a b o u t s t u d e n t p r o g r e s s . A n n e b e l i e v e d t h a t m u l t i p l e a p p r o a c h e s g a v e s t u d e n t s a v a r i e t y o f o p p o r t u n i t i e s t o d e m o n s t r a t e u n d e r s t a n d i n g . W i t h i n t h i s c o n t e x t , s t u d e n t s h a d g r e a t e r a c c e s s t o a c h i e v e m e n t . A n n e a l s o w a n t e d s t u d e n t s t o g a i n e x p e r i e n c e w i t h a s s e s s m e n t — e v a l u a t i o n p r a c t i c e s c o m m o n l y u s e d b y t e a c h e r s i n j u n i o r h i g h a n d h i g h s c h o o l . M a r k i n g . A n n e ' s c l a s s r o o m a s s e s s m e n t — e v a l u a t i o n p r a c t i c e s i n v o l v e d d a i l y c o l l e c t i o n , m a r k i n g , r e t u r n i n g , a n d s o m e t i m e s f i l i n g o f s t u d e n t s ' 160 a s s i g n m e n t s i n p o r t f o l i o s . A s s i g n m e n t s t o o k t h e f o r m o f r e a d i n g r e s p o n s e s t o l i t e r a t u r e , j o u r n a l s - w r i t i n g , n o t e s , m a p s , s t o r i e s , t e s t s , p r o b l e m — s o l v i n g w o r k s h e e t s , s t u d e n t s e l f — e v a l u a t i o n s , s c i e n c e e x p e r i m e n t s , p r e s e n t a t i o n s , a n d a r t — w o r k s . I t h i n k p e o p l e s h o u l d u s e a r a n g e o f a s s e s s m e n t t o o l s . . . b e c a u s e y o u s h o u l d b e t e a c h i n g k i d s a r a n g e o f t h i n g s . ( I n t e r , 5 . 2 8 . 9 5 > E a c h d a y s t u d e n t s w o r k e d o n a s s i g n m e n t s t h a t t h e y w e r e r e q u i r e d t o c o m p l e t e w i t h i n c e r t a i n t i m e f r a m e s . A n n e m a i n t a i n e d a l i s t o f c o m p l e t i o n d a t e s f o r a s s i g n m e n t s o n t h e b l a c k b o a r d a t t h e f r o n t o f t h e c l a s s r o o m S t u d e n t s h a n d e d i n c o m p l e t e d a s s i g n m e n t s f o r m a r k i n g a c c o r d i n g t o t h e s c h e d u l e . I n some c a s e s , w o r k w a s d u e t h e same d a y t h a t i t w a s a s s i g n e d . M o s t d u e d a t e s c r o s s e d d a y s a n d w e e k s . S t u d e n t s u s u a l l y h a d t h r e e o r f o u r d a y s t o c o m p l e t e t a s k 5 i n m a t h , l a n g u a g e a r t s , s o c i a l s t u d i e s , a n d s c i e n c e . T h e y h a d s e v e r a l w e e k s t o c o m p l e t e p r o j e c t s . S t u d e n t s s t a y e d a f t e r s c h o o l t o f i n i s h a s s i g n m e n t s . A n n e n o t i f i e d p a r e n t s o f t h o s e s t u d e n t s who n e e d e d t o s p e n d e x t r a t i m e o n t h e i r w o r k a t home. A n n e a s s i g n e d a mark b a s e d u p o n how e f f e c t i v e l y a s t u d e n t d e m o n s t r a t e d h e r o r h i s u n d e r s t a n d i n g o f 161 p e r f o r m a n c e c r i t e r i a . C r i t e r i a v a r i e d a c c o r d i n g t o e x p e c t e d l e a r n i n g o u t c o m e s f o r a s u b j e c t . When s t u d e n t s w o r k e d i n g r o u p s , members o f t h e same g r o u p r e c e i v e d t h e same mark f o r a n a c t i v i t y . A n n e c a r e f u l l y c o n s i d e r e d s t u d e n t s ' s e l f — e v a l u a t i o n s when s h e m a r k e d a s s i g n m e n t s . When a s t u d e n t a s s i g n e d w o r k a s i g n i f i c a n t l y l o w e r o r h i g h e r mark t h a n d i d A n n e , s h e d i s c u s s e d t h e d i s c r e p a n c y w i t h t h e s t u d e n t . I n some i n s t a n c e s , A n n e c h a n g e d h e r mark a f t e r s p e a k i n g w i t h a s t u d e n t . A n n e i n t e r p r e t e d m a r k s a s n u m e r i c a l , f i g u r a t i v e , a n d w r i t t e n s y m b o l s t h a t r e p r e s e n t e d t h e d e g r e e t o w h i c h p e r f o r m a n c e c r i t e r i a w e r e m e t . H e r c h o i c e o f s y m b o l s d e p e n d e d o n t h e n a t u r e o f t h e a s s i g n m e n t . Y o u h a v e t o c h a n g e how y o u ' r e g o i n g t o mark a s s i g n m e n t s a c c o r d i n g t o w h a t i t i s y o u ' r e d o i n g . ( I n t e r , 5 . 2 8 . 9 5 ) S h e e x p l a i n e d t h a t s h e u s e d d i f f e r e n t a p p r o a c h e s t o m a r k i n g a s s i g n m e n t s b a s e d u p o n t h e " o b j e c t i v i t y " a n d " s u b j e c t i v i t y " o f t h e s u b j e c t m a t t e r ( I n t e r , 5 . 2 8 . 0 5 ) . S h e i n t e r p r e t e d a s u b j e c t a s o b j e c t i v e when i t s c o n t e n t c o u l d b e t e s t e d o n t h e b a s i s o f r i g h t a n d w r o n g a n s w e r s . C o m p u t a t i o n s s k i l l s a n d s p e l l i n g w e r e e x a m p l e s o f o b j e c t i v e s u b j e c t m a t t e r . I n c o n t r a s t , 162 when a s u b j e c t d i d n o t l e n d i t s e l f t o t e s t s i n v o l v i n g r i g h t a n d w r o n g a n s w e r s , s h e t h o u g h t t h a t i t w a s s u b j e c t i v e . A n n e d e s c r i b e d r e a d i n g a s s u b j e c t i v e b e c a u s e s t u d e n t s a p p r o a c h e d t h e i r a s s i g n m e n t s f r o m many d i f f e r e n t a n g l e s . S h e t h o u g h t t h a t h e r u n d e r s t a n d i n g o f c r i t e r i o n - r e f e r e n c e d e v a l u a t i o n r e d u c e d t h e s u b j e c t i v i t y o f l a n g u a g e a r t s a s s i g n m e n t s a n d s o c i a l s t u d i e s p r o j e c t s b e c a u s e s h e a n d t h e s t u d e n t s j o i n t l y n e g o t i a t e d p e r f o r m a n c e a n d e v a l u a t i o n c r i t e r i a . I n t h i s w a y , A n n e d i d n o t f e e l s o l e l y r e s p o n s i b l e f o r d e c i d i n g w h a t c o u n t e d a s a v e r a g e , b e l o w — a v e r a g e , a n d a b o v e - a v e r a g e a c h i e v e m e n t . B y d i s c u s s i n g c r i t e r i a w i t h s t u d e n t s s h e s o l v e d t h e d i l e m m a o f m e a n i n g - m a k i n g i n r e l a t i o n t o i d e a s l i k e c r e a t i v e , i n t e r e s t i n g , c o m p l e x , a n d n e a t . A n n e m a r k e d c r e a t i v e w r i t i n g a s s i g n m e n t s a n d p r o j e c t s i n l a n g u a g e a r t s a n d s o c i a l s t u d i e s b y m e a n s o f w r i t t e n c o m m e n t s a n d n u m b e r s f r o m 1 t o 4 . S t u d e n t s a l s o c h o s e a mark a n d w r o t e s u p p o r t i n g c o m m e n t s f o r t h e i r w o r k . A s p r e v i o u s l y s t a t e d , A n n e s p o k e w i t h s t u d e n t s a b o u t t h e i r s e l f — e v a l u a t i o n s w i t h i n t h e c o n t e x t o f a t e a c h e r — s t u d e n t c o n f e r e n c e when t h e r e w e r e 163 l a r g e d i s c r e p a n c i e s b e t w e e n m a r k s . A n n e m a r k e d t e s t s i n s p e l l i n g a n d m a t h o u t o f t o t a l s t h a t r a n g e d f r o m 10 t o 5 0 m a r k s o r m o r e . S h e u s e d t e s t s f r o m t w o t e a c h e r ' s m a n u a l s a s s o c i a t e d w i t h a g r a d e 5 a n d 6 p r o g r a m , a n d t e s t s f r o m t h e h a n d b o o k o f a c o m m e r c i a l l y p r e p a r e d s p e l l i n g p r o g r a m . When r e v i e w i n g s t u d e n t s ' p l a n s f o r s o c i a l s t u d i e s r e s e a r c h , A n n e i n d i c a t e d h e r a p p r o v a l b y i n i t i a l i n g t h e p l a n n i n g s h e e t . When p l a n s w e r e e n d o r s e d i n t h i s m a n n e r , s t u d e n t s w e r e p e r m i t t e d t o p r o c e e d t o t h e n e x t s t a g e o f r e s e a r c h . A n n e ' s a p p r o a c h t o m a r k i n g a l s o i n v o l v e d w r i t i n g c o m m e n t s o n a s s i g n m e n t s i n s t o r y - w r i t i n g , a r t a n d s o c i a l s t u d i e s . D u r i n g a l e s s o n r e g a r d i n g t h e " V o y a g e o f t h e M i m i , " A n n e w r o t e c o m m e n t s c o n c e r n i n g how t h o r o u g h l y s t u d e n t s r e s p o n d e d t o v i d e o s a n d p r i n t m a t e r i a l . S h e p o i n t e d o u t w h e r e a n d how i n d i v i d u a l s t u d e n t s m i g h t e x p a n d t h e i r i d e a s , a n d n o t e d e r r o r s i n g rammar a n d s p e l l i n g . W i t h t h e e x c e p t i o n o f t h e i r j o u r n a l s , s t u d e n t s w e r e e x p e c t e d t o s u b m i t a s e c o n d d r a f t o f w r i t i n g t h a t was f r e e o f s p e l l i n g a n d g r a m m a t i c a l e r r o r s . A n n e c o l l e c t e d a n d m a r k e d s t u d e n t s ' a s s i g n m e n t s a t 164 d i f f e r e n t t i m e s . S o m e t i m e s s h e c o l l e c t e d i n f o r m a t i o n a n d j u d g e d s t u d e n t p e r f o r m a n c e w h i l e a s t u d e n t e n g a g e d i n a p r o b l e m - s o l v i n g a c t i v i t y . D u r i n g r e s e a r c h p r e s e n t a t i o n s , we j o i n t l y d e t e r m i n e d m a r k s a n d w r o t e c o m m e n t s o n a s t u d e n t ' s c r i t e r i a w o r k s h e e t s . W o r k s h e e t s i n d i c a t e d p e r f o r m a n c e c r i t e r i a f o r e a c h c a t e g o r y o r s t a g e o f a n a s s i g n m e n t . S t u d e n t s r e c e i v e d c o p i e s o f t h e s h e e t s when t h e y b e g a n a n a c t i v i t y . B e f o r e g i v i n g p r e s e n t a t i o n s , s t u d e n t s r e t u r n e d t h e i r s h e e t s t o A n n e w i t h s e l f - e v a l u a t i o n s e c t i o n s c o m p l e t e d . A n n e a l s o m a r k e d s t u d e n t s ' a s s i g n m e n t s b e f o r e a n d a f t e r s c h o o l , d u r i n g r e c e s s , a n d a t home. O c c a s i o n a l l y , s t u d e n t s m a r k e d t h e i r own a n d / o r e a c h o t h e r ' s w o r k , a n d t h e n s u b m i t t e d i t t o A n n e f o r r e v i e w . F o r e x a m p l e , s t u d e n t s c o m p l e t e d e n d - o f - u n i t t e s t s f r o m t h e i r m a t h t e x t b o o k s a n d c h e c k e d t h e a c c u r a c y o f t h e i r r e s p o n s e s a g a i n s t a n s w e r s i n t h e t e a c h e r ' s m a n u a l . A n n e s t o r e d h e r m a r k i n g i n s e v e r a l w a y s . S h e k e p t a n o n g o i n g r e c o r d o f s t u d e n t s ' m a r k s i n a mark b o o k . S h e a l s o c o l l e c t e d w o r k s a m p l e s w i t h m a r k s a n d / o r c o m m e n t s a n d f i l e d t h e m i n s t u d e n t s ' p o r t f o l i o s . Work s a m p l e s t o o k t h e f o r m o f a r t w o r k , p r o j e c t s , w o r k -s h e e t s , a n d j o u r n a l s . S t u d e n t s s o m e t i m e s k e p t 165 a s s i g n m e n t s i n d u o t a n g s w h i c h A n n e r e g u l a r l y c a l l e d i n f o r r e v i e w . I t w a s d i f f i c u l t f o r A n n e t o f i n d e n o u g h s t o r a g e room f o r t h e w o r k s h e c o l l e c t e d o v e r a t e r m . A n n e ' s a p p r o a c h t o m a r k i n g i n v o l v e d p r o c e d u r e s a n d p r a c t i c e s f o r g a t h e r i n g i n f o r m a t i o n a b o u t s t u d e n t p r o g r e s s , m a k i n g j u d g e m e n t s a b o u t t h i s i n f o r m a t i o n , a n d s t o r i n g w o r k s a m p l e s w i t h m a r k s a n d / o r c o m m e n t s i n s t u d e n t p o r t f o l i o s f o r o n g o i n g c o n s i d e r a t i o n . We a g r e e d t h a t I w o u l d g a i n i n s i g h t s i n t o h e r c l a s s r o o m a s s e s s m e n t - e v a l u a t i o n p r o c e d u r e s a n d p r a c t i c e s b y h e l p i n g h e r w i t h m a r k i n g . I n a d d i t i o n , I w o u l d b e t t e r u n d e r s t a n d how s h e c o n s t r u c t e d l e t t e r g r a d e s f o r t h e r e p o r t c a r d . C r i t e r i o n — r e f e r e n c e d e v a l u a t i o n . A n n e saw c r i t e r i o n — r e f e r e n c e d e v a l u a t i o n a s s t r a t e g i e s f o r c o l l e c t i n g a n d m a k i n g j u d g e m e n t s a b o u t i n f o r m a t i o n r e g a r d i n g s t u d e n t p r o g r e s s b a s e d u p o n a c t i v i t i e s w h e r e i n s t u d e n t s p a r t i c i p a t e d i n s e t t i n g c r i t e r i a . S h e l i k e d c r i t e r i o n - r e f e r e n c e d e v a l u a t i o n b e c a u s e s h e e n j o y e d d i s c u s s i n g a n d n e g o t i a t i n g c r i t e r i a w i t h s t u d e n t s . S h e e x p l a i n e d t h a t , " . . . 1 t h i n k . . . t r y i n g i t w i t h t h e k i d s , y o u p r o v e t o y o u r s e l f i t ' s v e r y v a l u a b l e " ( I n t e r , 5 . 2 2 . 9 5 , p . 2 3 ) . 166 B y m i d - J u l y 1 9 9 5 , A n n e ' s r e s e a r c h a n d r e f l e c t i o n s o n h e r u n d e r s t a n d i n g o f c r i t e r i o n — r e f e r e n c e d e v a l u a t i o n l e d h e r t o make t h e f o l l o w i n g o b s e r v a t i o n s . D u r i n g t h e p a s t s c h o o l y e a r , my s t u d e n t s a n d I h a v e w o r k e d c o l l a b o r a t i v e l y t o i m p l e m e n t c r i t e r i o n — r e f e r e n c e d e v a l u a t i o n . T h e v a l u e o f t h i s p r o c e s s i s t h a t we h a v e d e v e l o p e d a s h a r e d u n d e r s t a n d i n g o f c u r r i c u l u m e x p e c t a t i o n s a n d c r i t e r i a f o r a s s e s s m e n t a n d e v a l u a t i o n . ( D o c , 7 . 2 5 . 9 5 , p p . 7 - 8 ) S h e a d d e d t h a t d i s c u s s i n g a n d n e g o t i a t i n g c r i t e r i a w i t h s t u d e n t s r e s u l t e d i n s e v e r a l o u t c o m e s t h a t c o n t r i b u t e d t o s h a r e d u n d e r s t a n d i n g . F o r e x a m p l e , a c h i e v e m e n t l e v e l s o f t e n i m p r o v e d when s t u d e n t s d i a l o g u e d a b o u t t h e s i g n i f i c a n c e a n d m e a n i n g s o f p e r f o r m a n c e c r i t e r i a . A n n e p o i n t e d o u t t h a t s t u d e n t s d i d n o t a l w a y s u n d e r s t a n d h e r e x p e c t a t i o n s f o r a n a s s i g n m e n t when s h e t o l d t h e m w h a t t h e c r i t e r i a w e r e ; e v e n when s h e w r o t e t h e m d o w n . O n g o i n g d i s c u s s i o n a n d n e g o t i a t i o n among h e r a n d s t u d e n t s c l a r i f i e d t h e m e a n i n g o f c r i t e r i a . A n n e : I t s h o u l d b e c l e a r t o s t u d e n t s w h a t y o u e x p e c t o f t h e m t o g e t a p a r t i c u l a r m a r k . T h e d i s c u s s i o n t h a t y o u h a v e w i t h s t u d e n t s i s e x t r e m e l y i m p o r t a n t . I c a n w r i t e s o m e t h i n g o n t h e b l a c k b o a r d , o v e r h e a d , o r a w o r k s h e e t b u t i t may n o t b e c l e a r t o s t u d e n t s w h a t I e x p e c t o f t h e m . ( I n t e r , 7 . 2 7 . 9 5 , p . 4- ) . T h i s n e v e r s e e m s t o h a p p e n w i t h c r i t e r i o n - r e f e r e n c e d e v a l u a t i o n b e c a u s e w e ' v e h a d t h a t d i s c u s s i o n a n d e v e r y b o d y u n d e r s t a n d s w h a t e v e r y b o d y i s t a l k i n g a b o u t . 167 ( I n t e r , 5 . 2 2 . 9 5 p . 1 6 ) A n n e came t o b e l i e v e t h a t c r i t e r i o n - r e f e r e n c e d e v a l u a t i o n i n v o l v e d s h a r i n g h e r p o w e r t o name a n d d e f i n e p e r f o r m a n c e c r i t e r i a a n d s t a n d a r d s o f a c h i e v e m e n t w i t h s t u d e n t s ( D o c , 7 . 2 5 . 9 5 ) . S h e t h o u g h t t h a t s h a r i n g h e r p o w e r w i t h s t u d e n t s i n t h i s way c o n t r i b u t e d t o a w o r k i n g e n v i r o n m e n t t h a t p r o m o t e d m u t u a l r e s p e c t a n d s h a r e d u n d e r s t a n d i n g ( I n t e r , 7 . 2 7 . 9 5 ) . A n n e c o m m e n t e d t h a t some t e a c h e r s w e r e c o n c e r n e d t h a t s t u d e n t s m i g h t l o s e r e s p e c t f o r t h e m i f t h e y s h a r e d t h e i r p o w e r i n t h i s w a y . H o w e v e r , s h e s a i d t h a t s h e h a d n o t f o u n d t h i s t o b e t h e c a s e . I ' m t h e t e a c h e r b u t I d o n ' t know e v e r y t h i n g . T h e r e a r e t h i n g s t h a t I h a v e n ' t t h o u g h t o f t h a t t h e y t h i n k o f , a n d I t h i n k s h a r i n g y o u r p o w e r w i t h s t u d e n t s r e a l l y means g u i d i n g s t u d e n t s . I f e e l c o m f o r t a b l e d o i n g t h a t . S t u d e n t s a r e p r o b a b l y m o r e c o o p e r a t i v e t o o . T h e y c e r t a i n l y d o n o t l o s e r e s p e c t f o r a t e a c h e r w i t h t h i s a p p r o a c h . I n f a c t , t h e y p r o b a b l y r e s p e c t a t e a c h e r m o r e f o r r e s p e c t i n g t h e m i n t h i s m a n n e r , ( p p . 5—6) I b e l i e v e t h a t t h e p r o c e s s o f n e g o t i a t i n g c r i t e r i a means t h a t a t e a c h e r s h a r e s h e r p o w e r w i t h s t u d e n t s t o s e t p e r f o r m a n c e a n d e v a l u a t i o n c r i t e r i a . S h a r i n g my p o w e r i n t h i s way c o n t r i b u t e s t o t h e d e v e l o p m e n t o f m u t u a l r e s p e c t i n t h e c l a s s r o o m a n d c r e a t e s a s u p p o r t i v e w o r k i n g e n v i r o n m e n t . ( D o c , 7 . 2 5 . 9 5 , p . 1 0 - 1 1 ) A n n e s u g g e s t e d t h a t m u t u a l r e s p e c t among a t e a c h e r a n d h e r s t u d e n t s w a s a n i m p o r t a n t f a c t o r i n d e v e l o p i n g 168 s h a r e d u n d e r s t a n d i n g ( I n t e r , 5 . 2 2 . 9 5 ) . S h e b e l i e v e d t h a t m u t u a l r e s p e c t w a s a c h i e v e d i n a n e n v i r o n m e n t w h e r e p a r t i c i p a n t s f e l t " s a f e " t o e x p r e s s t h e i r o p i n i o n s a n d a s k q u e s t i o n s . . . . y o u n e e d t o h a v e a s a f e e n v i r o n m e n t i n y o u r c l a s s r o o m w h e r e s t u d e n t s c a n f e e l c o m f o r t a b l e t o s h a r e i d e a s a n d a s k q u e s t i o n s . C h i l d r e n n e e d t o f e e l t h a t a t e a c h e r r e s p e c t s t h e i r i d e a s a n d o p i n i o n s t o f e e l s a f e . M o r e o v e r , t h e y d o n o t f e e l s a f e i f o t h e r s t u d e n t s c r i t i c i z e t h e m o r l a u g h a t t h e m t h e m . A t e a c h e r n e e d s t o p r e v e n t t h i s f r o m h a p p e n i n g . ( I n t e r , p p . 18—19) C h i l d r e n h a v e w o n d e r f u l m i n d s a n d we n e e d t o a p p r e c i a t e a n d r e s p e c t t h a t f a c t . ( I n t e r , 5 . 2 8 . 9 5 , p . 10 ) A n n e a d d e d t h a t s t u d e n t s ' k n o w l e d g e a n d i n t e r e s t s w e r e r e c o