Open Collections

UBC Theses and Dissertations

UBC Theses Logo

UBC Theses and Dissertations

A qualitative systems approach to studying innovation implementation in an inter-organizational smoking.. Terpstra, Jennifer Lynn 2011

You don't seem to have a PDF reader installed, try download the pdf

Item Metadata

Download

Media
ubc_2011_spring_terpstra_jennifer.pdf [ 1.39MB ]
Metadata
JSON: 1.0071765.json
JSON-LD: 1.0071765+ld.json
RDF/XML (Pretty): 1.0071765.xml
RDF/JSON: 1.0071765+rdf.json
Turtle: 1.0071765+rdf-turtle.txt
N-Triples: 1.0071765+rdf-ntriples.txt
Original Record: 1.0071765 +original-record.json
Full Text
1.0071765.txt
Citation
1.0071765.ris

Full Text

A Qualitative Systems Approach to Studying Innovation Implementation in an Inter­Organizational Smoking Cessation Network  by  Jennifer Lynn Terpstra  B.A., The University of Lethbridge, 2000 M.P.H., San Diego State University, 2005    A THESIS SUBMITTED IN PARTIAL FULFILLMENT OF THE REQUIREMENTS FOR THE DEGREE OF  DOCTOR OF PHILOSOPHY   in   The Faculty of Graduate Studies  (Interdisciplinary Studies)    THE UNIVERSITY OF BRITISH COLUMBIA (Vancouver)   April 2011  © Jennifer Lynn Terpstra, 2011     ii Abstract The overarching purpose of this study was to explore the implementation of an innovation in the North American quitline network using qualitative data and a systems approach. The innovation chosen to explore in more depth was evaluating effectiveness of the tobacco cessation quitlines. The three research questions guiding the study were 1) What are the factors influencing implementation of the innovation, 2) How do system structure and dynamics impact implementation of the innovation, and 3) What strategies can be used to achieve successful implementation of the innovation. To answer the research questions, 19 semi­structured interviews were conducted with decision­makers in the quitline network. The interview data were analyzed using a thematic analysis technique and a systems change framework from the literature. The findings suggest that there were a broad range of factors influencing implementation of the innovation at multiple levels of the system. The findings also provide insights into how differences in quitline structure and system dynamics influenced implementation of the innovation. Lastly, these findings were used to identify potential strategies and provide recommendations to improve future implementation efforts in the quitline network.     iii Preface  This study was approved by the Human Ethics Board at the University of British Columbia. The ethics certificate number provided by the Human Ethics Board for this study is H09­01651.    iv Table of Contents  Abstract .............................................................................................................................................................. ii Preface ............................................................................................................................................................... iii Table of Contents .......................................................................................................................................... iv List of Tables ................................................................................................................................................ viii List of Figures ................................................................................................................................................. ix Acknowledgements ....................................................................................................................................... x Dedication ........................................................................................................................................................ xi Chapter 1. Introduction ............................................................................................................................... 1 Chapter Overview ....................................................................................................................................... 1 Study Rationale ........................................................................................................................................... 2 Study Purpose & Research Questions ................................................................................................... 5 Dissertation Outline .................................................................................................................................... 6 Chapter 2. Literature Review .................................................................................................................... 8 Chapter Overview ....................................................................................................................................... 8 Knowledge Translation & Evidence­Based Practices ...................................................................... 8 Implementation ......................................................................................................................................... 10 Approaches to Implementation ............................................................................................................ 12 Systems Change ....................................................................................................................................... 15 Complexity of Evaluation Innovations .............................................................................................. 18 Systems Thinking..................................................................................................................................... 20 Complexity Science as a Theoretical Approach for Systems Change ...................................... 22 Principles of Complex Systems ...................................................................................................... 23 Robustness ........................................................................................................................................ 24 Interconnectedness ......................................................................................................................... 25 Nonlinearity ..................................................................................................................................... 27 Feedback Loops .............................................................................................................................. 28 Self­Organizing ............................................................................................................................... 29 Leverage Points ............................................................................................................................... 30 Summary..................................................................................................................................................... 32 Chapter 3. Context ...................................................................................................................................... 34 Chapter Overview .................................................................................................................................... 34 Tobacco Use & Cessation ..................................................................................................................... 34 North American QLs ............................................................................................................................... 35 Structure & Characteristics of the QL Network ......................................................................... 36 Decision­Makers ............................................................................................................................. 38 Service Providers ............................................................................................................................ 38 State Funders ................................................................................................................................... 40 Canadian QL Funders ................................................................................................................... 40 Evaluation Contractors ................................................................................................................. 41 Centers for Disease Control and Prevention ........................................................................... 42 NAQC ................................................................................................................................................ 42 QL Funding ...................................................................................................................................... 43 The QL System ......................................................................................................................................... 44   v Innovations in the QLs ........................................................................................................................... 47 Implementing Evidence­Based Innovations..................................................................................... 47 Knowledge Integration in QLs: Networks that Improve Cessation (KIQNIC) ..................... 48 Overview of the Innovation .................................................................................................................. 51 Chapter 4. Methods .................................................................................................................................... 55 Chapter Overview .................................................................................................................................... 55 Researcher Perspective, Location, & Role ....................................................................................... 55 Ethics ........................................................................................................................................................... 59 Interviewee Sample ................................................................................................................................. 60 Recruitment & Data Collection ........................................................................................................... 63 KIQNIC Survey Recruitment .......................................................................................................... 64 Snowball Sampling Recruitment .................................................................................................... 69 Interviews ................................................................................................................................................... 70 Post Interview Procedure ....................................................................................................................... 76 Data Analysis & Interpretation ............................................................................................................ 78 Coding .................................................................................................................................................... 79 Interpretation & Writing Up the Results for the Thematic Analysis ................................... 81 Webinar Focus Group to Discuss Study Results ............................................................................ 82 Judging the Quality of Qualitative Data ............................................................................................ 86 Summary..................................................................................................................................................... 89 Chapter 5. Normative Elements ............................................................................................................ 91 Chapter Overview .................................................................................................................................... 91 Definitions of the Innovation ................................................................................................................ 92 Goals of Evaluating Effectiveness ...................................................................................................... 93 Justification for Funding as the Driver to Evaluate Effectiveness ............................................. 97 Relationship between Evaluation & QL Operations ...................................................................... 99 Conducting Meaningful Utilization­Focused Evaluation ........................................................... 101 Aggregation of Evaluation Data & Fear of Cross­QL Comparisons ...................................... 106 Summary................................................................................................................................................... 110 Chapter 6. System Resources ............................................................................................................... 112 Chapter Overview .................................................................................................................................. 112 Human Resources .................................................................................................................................. 113 Skills & Knowledge ......................................................................................................................... 114 Designated Staff for Evaluation .................................................................................................... 115 Social Resources .................................................................................................................................... 117 Relationship 1: QL to QL ............................................................................................................... 118 Relationship 2: NAQC, CDC & the QLs ................................................................................... 120 Relationship 3: Service Providers & Funders ........................................................................... 123 Relationship 4: QL with the State ................................................................................................ 127 Relationship 5: QL & Third Party Evaluation Contractors ................................................... 131 Economic Resources & Opportunities ............................................................................................. 134 Cost of Evaluation ............................................................................................................................. 135 Funding Arrangements .................................................................................................................... 137 Summary................................................................................................................................................... 138 Chapter 7. System Regulations & Operations ................................................................................ 140 Chapter Overview .................................................................................................................................. 140   vi System Regulations ............................................................................................................................... 141 Funding Mandate to Conduct Evaluation................................................................................... 141 Mandate to Collect MDS Data ...................................................................................................... 142 System Operations: Power & Decision­Making ........................................................................... 143 NAQC ................................................................................................................................................... 144 Conformity & Inclusion ............................................................................................................. 145 Federal Government & CDC ......................................................................................................... 146 State Funders ...................................................................................................................................... 148 Service Providers ............................................................................................................................... 151 Information & Resources ................................................................................................................ 152 Ownership of the Data ................................................................................................................ 153 Type of Data Collected ............................................................................................................... 156 Summary................................................................................................................................................... 158 Chapter 8. Discussion .............................................................................................................................. 161 Chapter Overview .................................................................................................................................. 161 Research Question 1 .............................................................................................................................. 163 Research Question 2 .............................................................................................................................. 166 Dynamic Complexity ....................................................................................................................... 167 Structural Differences Across QLs .............................................................................................. 169 Summary of the Findings .................................................................................................................... 170 Research Question 3 .............................................................................................................................. 174 Simple Rules as Strategies for Achieving Implementation .................................................. 175 Simple Rule 1: Promote Organizational & Network Learning ....................................... 177 Simple Rule 2: Build Partnerships & Increase Information Flow.................................. 179 Leverage Points as Strategies for Achieving Implementation ............................................. 181 Leverage Point 1 ........................................................................................................................... 181 Leverage Point 2 ........................................................................................................................... 183 Summary................................................................................................................................................... 184 Chapter 9. Conclusions & Recommendations ................................................................................ 186 Chapter Overview .................................................................................................................................. 186 Lessons Learned ..................................................................................................................................... 186 Lesson 1: Application of a Systems Approach ......................................................................... 186 Lesson 2: Engaging Study Participants ...................................................................................... 187 Lesson 3: Systems Thinking .......................................................................................................... 188 Contributions of the Study .................................................................................................................. 191 Contribution 1: Example of Systems Thinking Application ................................................ 191 Contribution 2: Providing a Qualitative Approach to the KIQNIC Study ....................... 192 Contribution 3: Humanizing the Data ......................................................................................... 194 Contribution 4: Insight into Systems Change & Implementation ....................................... 195 Contribution 5: Addition of Subthemes to the Systems Change Framework .................. 197 Study Strengths ....................................................................................................................................... 197 Study Limitations ................................................................................................................................... 198 Recommendations for Practitioners .................................................................................................. 200 Recommendation 1: Application of a Systems Approach to Implementation ................ 200 Recommendation 2: Reduce Evaluation & Resource Fragmentation in the System ..... 204 Recommendation 3: Strive for a Paradigm Shift Toward Innovation ............................... 205   vii Recommendations for Future Research ........................................................................................... 206 References ................................................................................................................................................... 212 Appendices .................................................................................................................................................. 226 Appendix A. KIQNIC Survey List of Innovations ...................................................................... 226 Appendix B. KIQNIC Survey Implementation Stage Question ............................................... 227 Appendix C. Example of Recruitment Email ................................................................................ 228 Appendix D. Interview Script ............................................................................................................ 229 Appendix E. Final Codebook ............................................................................................................. 233 Appendix F. Focus Group Invitation ................................................................................................ 235     viii List of Tables Table 1. Interviewee Organization Sample Summary ............................................................ 61 Table 2. Sample Characteristics by Interviewee ................................................................... 622 Table 3. Interview Questions & Topic Areas ......................................................................... 74 Table 4. Participant Identified Subthemes Relevant to Goals of the Evaluation Innovation . 94 Table 5. Participant Identified Subthemes for Utilization, Aggregation, & Fear of QL Comparisons ................................................................................................................. 103 Table 6. Participant Identified Human Resources ................................................................ 113 Table 7. Participant Identified Relationship Resources ........................................................ 118 Table 8. Participant Identified Economic Resource ............................................................. 135 Table 9. Participant Identified Mandate Subthemes ............................................................. 141 Table 10. Participant Identified Power Subthemes ............................................................... 144 Table 11. Participant Identified Information & Resources Subthemes ................................ 153    ix List of Figures Figure 1. Different Quitline Structure Possibilities ................................................................ 38 Figure 2. Description of the QL System ................................................................................. 46 Figure 3. Consort Table .......................................................................................................... 66 Figure 4. Summary of the Findings ...................................................................................... 173     x Acknowledgements There are many people that have helped me to reach this point, and I thank them all. In particular, I would like to thank my committee members for their guidance over the last five years. Thanks to Allan for introducing me to the world of systems thinking, for always treating me with the respect of a colleague, and for encouraging me to think big. Thanks to Chris for her encouragement and mentorship in evaluation. Thanks to Scott for inviting me to join the KIQNIC team and for providing the financial support for this project. And thanks to Wendy for her diligent editing, guidance through the world of qualitative research, and for teaching me to recognize and question the underlying assumptions of my research. I would also like to thank my family and friends for their ongoing support throughout my academic career. I would especially like to thank my mother for always believing in me. Lastly and most importantly, I’d like to thank my husband for being the most amazing partner throughout the entire process, without whose unconditional support and encouragement this would not have been possible.    xi Dedication     To my husband, Chad.        1 Chapter 1. Introduction Chapter Overview In recent years, the need to close the gap between research and practice in public health has become increasingly apparent because all too often, critical evidence produced by research fails to be implemented into public health practice and lessons learned from current practice are not always incorporated into new public health research (Davies, Nutley, & Walter, 2005). Despite efforts and resources dedicated to knowledge translation (KT) in public health, this gap “remains a substantial obstacle to improving the quality of health care” (AHRQ, 2001, p.1). Over the last five decades our understanding and conceptualization of the KT process has evolved from a linear, reductionist type approach to a systems approach (Best, Hiatt, & Norma, 2008). A systems approach contrasts with the linear approach in that it recognizes the complexity of both the innovation and the system and considers the network of interdependencies influencing the KT process. A systems approach also acknowledges the context­innovation interaction as a key element to successful KT.   A systems approach provides an alternative paradigm that requires different models and methodologies but can in return produce unique findings and insights to understanding implementation problems. A reductionist approach to implementation attempts to reduce the phenomenon to the smallest parts possible, studying it at a subsystem level. The reductionist approach is a mechanistic view that assumes that the individual parts of the system can be studied separately to understand and predict the properties and behaviours of the whole.     2 In contrast, a systems approach assumes that properties can emerge at the macro level that cannot be identified or explained at the subsystem level, or from the sum of the parts. Emergence is a key distinction between systems science and reductionism. An example that illustrates this distinction is a human being. One could study the subparts (e.g., heart, brain, muscles) but this would not be the same as looking at the whole person. Even in systems where it is feasible to study every subpart, this would still not provide an understanding of the emergent properties and behaviours at the macro level.  Systems science is a broad area of study and there are many streams within the systems field. Complexity science is a relatively new area of study within systems science that provides specific principles to help guide a systems approach to studying social phenomenon (Flood, 2010). The purpose of this study was to contribute to studying implementation phenomena by adding a qualitative systems approach to a larger positivist quantitative study. This study applies a systems approach and specifically uses complexity science as the underlying theoretical tool.  Study Rationale My dissertation project was developed based on a larger study funded by the National Institutes of Health (NIH) titled Knowledge Integration in Quitlines: Networks that Improve Cessation (KIQNIC). A primary goal of KIQNIC is to assess how decision­making is a moderator for network characteristics and implementation outcomes in quitlines (QLs). The implementation outcome variable is measured as a summative score of 23 innovations in the QLs. Further details regarding the KIQNIC study and the innovations are provided in chapter three (context). A QL is a telephone­based cessation    3 service that has been shown to be effective in helping people who want to quit using tobacco (Zhu et al., 2002). QLs offer telephone support primarily through counselling, information, and self­help materials. The number of states and provinces in North America offering QL services for smokers and other tobacco­users has increased exponentially in the last decade. Currently, there are QLs available in all ten provinces in Canada and all 50 states, plus the District of Columbia and Puerto Rico in the United States (U.S.).  KIQNIC researchers have been collecting quantitative data from the QLs through an annual survey conducted over three years. My dissertation project was conducted between the first and second wave of survey data collection, July 2009 and June 2010, respectively. I participated as a collaborator on the KIQNIC project for approximately one year, assisting with various aspects of the research and became interested in the implementation part of the project. Specifically, I became interested in how different methodological approaches to studying the phenomenon could confirm or yield different findings and insights.  Although KIQNIC is using social network analysis (SNA), which is a systems approach, it is based primarily on a positivist paradigm and is collecting only quantitative survey data. For example, one of the objectives of the study is to identify mediator variables for implementation that are reproducible across innovations. The value of this type of research approach is contested by some researchers who argue that because of the “complexity of the innovation, the dynamic and contingent nature of the implementation process, and the shifting environmental context (political, economic, technological), complex service level innovations are inherently unpredictable and that the search for    4 reproducible "effect sizes," "mediators," and "moderators" is likely to prove fruitless” (Greenhalgh et al., 2008, p.2). An alternative approach is to observe, reflect, and describe the phenomenon using theory, as opposed to trying to identify specific determinants of implementation and predict the system (Greenhalgh et al., 2010).  Implementation of innovations is an iterative process with complex interdependencies in the social system and it has been argued that understanding it requires both qualitative and quantitative methods (Greenhalgh et al., 2010). Qualitative data provide a different perspective on the problem and can complement quantitative data. According to Easterby­Smith, Lyles and Tsang (2008), qualitative methods are better when describing how things change over time and for investigating processes of knowledge transfer, whereas quantitative studies have been better at capturing what is happening at a single point in time.  Qualitative research has many definitions, but a key difference between quantitative and qualitative research is that the latter is naturalistic, meaning the researcher studies the phenomenon in its natural setting and is part of the world by interpreting and making sense of the phenomenon based on the meanings provided by social actors (Denzin & Lincoln, 2005). Denzin and Lincoln (2005, p.10) also suggest that qualitative research emphasizes social experiences and meanings, while quantitative emphasizes “measurement and causal relationships between variables, not processes.” Furthermore, qualitative research is well suited to hypothesis generation, whereas quantitative research is better suited to hypothesis testing (W.K. Kellogg Foundation, 2007).     5 Given the characteristics of the system and the implementation process described above, a systems approach, particularly complexity science, provides a solid theoretical grounding for this study. A system refers to “a set of elements interrelated among themselves and within the environment” (National Cancer Institute, 2007, p. 14). The QL system includes the QL organizations and the actors, as well as less obvious system elements such as policies, culture, and incentives. A more detailed description of the QL system is provided in chapter three. The QL network is a complex adaptive system, meaning that there are a multitude of interconnected parts that are constantly interacting and adapting over time (Holland, 1992). The innovations in the QLs are also high in complexity and successful implementation is often contingent upon simultaneous changes in various system parts. The fluidity and complexity of the system and innovations makes a strictly positivist approach inappropriate because it is not possible to predict the system outcomes or to reproduce the results. The specific theoretical approach driving this dissertation study is complexity science, which integrates elements of interpretivist and positivist approaches and will be described in greater detail in chapter two (the literature review).  Study Purpose & Research Questions The overarching purpose of my study was to build upon the positivist quantitative KIQNIC study by exploring the implementation of an innovation in the QLs using qualitative data and a systems approach based on complexity science. Although I will not be integrating the qualitative and quantitative data in my study, the qualitative data could be combined with the KIQNIC findings at a later date to move towards a mixed­methods    6 integrative approach. A single innovation was identified from the list of innovations included in the implementation section of the KIQNIC survey (Appendix A). The innovation “to conduct an evaluation of the effectiveness of the QL,” was selected because of a high level of interest in the innovation and the potential for the findings to have practical implications for the QLs. Greater detail regarding the innovation selection process is provided in chapter three. The implementation of this innovation was explored using qualitative data collected via nineteen interviews with decision­makers in the QL community. This study was guided by the following research questions:  Question 1: What are the factors influencing implementation of the innovation? Question 2: How do system structure and dynamics impact implementation of the innovation? Question 3: What strategies can be used to achieve successful implementation of the innovation?  Dissertation Outline This dissertation consists of nine chapters that together present a comprehensive overview of the literature, the study, and the subsequent findings. Chapter one provides a brief overview of the dissertation, including the research questions and the impetus behind it. Chapter two provides a review of the literature presented in a flow of logic leading from KT and evidence­based practices, through implementation, and concluding with an argument for the system approach. I also provide an overview of key complex system principles, which is the theoretical lens applied to my study. Chapter three provides the context of the study including an overview of tobacco related health    7 mortality and morbidity, a description of the North American QLs, the KIQNIC project, and the innovation studied in this project. The fourth chapter presents my research methods and provides a detailed account of the process of the study including my researcher role and perspective, the study design and methods, ethics, and key decisions made throughout the study. Chapters five, six and seven cover the findings of the study from the thematic analysis. Specifically, in chapter five, I present the normative elements, chapter six is the system resources, and chapter seven is the system regulations and operations. The eighth chapter is the discussion where I reflect on the findings in the context of the literature review and address how the results answer the three research questions. Chapter nine is the final conclusion chapter where I describe the theoretical, methodological, and practical contributions of the study, present lessons learned as well as recommendations for practice and research, and strengths and limitations of the study.     8 Chapter 2. Literature Review Chapter Overview In this chapter, I present the relevant areas of the literature that formed the basis for the theoretical grounding and rationale for my study. I begin by describing the connection between evidence­based practice (EBP) and implementation, followed by an overview of the implementation literature including definitions of the concept, challenges of the field, and the shift from a focus on linear reductionist models to a systems approach to implementation. I conclude the chapter by describing the systems change field including systems thinking followed by an overview of complex systems principles and their relevance to this implementation study. It is important to understand key complex systems principles, as this was the theoretical approach used to frame the study and analyze the results.   Knowledge Translation & Evidence­Based Practices  Evidence­based practice is a priority topic in tobacco control, as well as other areas of public health (AHRQ, 2001). The general consensus is that the utilization of evidence in practice will increase effectiveness and quality of public health practice. As such, significant research efforts have been directed towards understanding how to translate evidence from research to practice (Greenhalgh, Glenn, Bate, Macfarlane, & Kyriakidou, 2005). The last five decades have witnessed an evolution in the KT field whereby linear models have been replaced by relationship models and most recently by systems models (Best et al., 2008). A landmark study conducted by Rogers (1995) developed the diffusion of innovations theory, which has been a foundation of knowledge    9 for future work exploring the translation of evidence to practice. However, Roger’s diffusion of innovation theory and much of the early work in the KT field has approached the problem from a linear lens (Best et al., 2008). With this approach, KT is conceptualized as a one­directional process where evidence is produced by researchers and passed onto practitioners to implement into practice. This approach does not account for the potential context­innovation interaction or the dynamic complexity of the innovation and the system.    Recent definitions of KT reflect this evolved understanding of it as “a process that takes place within a complex system of interactions between researchers and knowledge users” (CIHR, 2005, p. 1). The Canadian Institutes of Health (CIHR) define KT as “a dynamic and iterative process that includes synthesis, dissemination, exchange and ethically­sound application of knowledge to improve the health of Canadians, provide more effective health services and products and strengthen the health care system”(CIHR, 2005, p. 1). CIHR also uses the term Knowledge­to­Action (KTA) and has adopted a specific action cycle or process. The addition of the ‘action’ part of KT is reflective of the increased understanding that evidence is not automatically taken up in practice once it has been ‘translated’ or disseminated to practice settings (Graham et al., 2006). “The action part of the process can be thought of as a cycle leading to implementation or application” (CIHR, 2005, p. 1). This term emphasizes the need for active efforts for implementation once an innovation has been diffused and disseminated.      10 Implementation  The recognition of the need for active efforts to implement innovations after successful dissemination and diffusion has spurred the field of implementation sciences. Implementation science is the “investigation of methods, interventions (strategies), and variables to influence adoption of evidence­based healthcare practices by individuals and organizations to improve clinical and operational decision making, and includes testing the effectiveness of interventions to promote and sustain use of evidence­based healthcare practices” (Titler, Everett, & Adams, 2007, p. S53).  Until recently, there has been a dearth of implementation literature to draw from and the little available, which overlaps with change management and organizational development, is complex in that there are no clear solutions provided to achieve implementation success (Greenhalgh et al., 2005). However, the implementation field has taken root within the last decade, as is evident by the creation of the open access journal specifically for implementation research (Eccles & Mittman, 2006). Despite the advent of the implementation journal and increased funding in this area, there are still many challenges to this field. A primary one is that it lacks a common language and is dispersed across numerous different disciplines. For example, the management and policy literatures refer to innovation implementation and organizational change, the educational literature refers to transformative change, and the health research literature refers to research utilization, implementation, knowledge exchange, and knowledge translation often as synonymous concepts.  Furthermore, implementation as a term can refer to both an outcome and a process. Implementation has been defined as “the early usage activities that often follow    11 the adoption decision” (Meyers, Sivakumar, & Nakata, 1999, p. 295). It has also been defined as a process by Timmreck (1997, p. 328) that encompasses “the act of converting planning, goals, and objectives into action through administrative structure, management activities, policies, procedures, and regulations, and organizational actions of new programs.” This definition describes the necessary activities that take place in order to successfully implement an innovation. Institutionalization and sustainability are terms that denote a high level of implementation in which an innovation has been integrated into the organizational functioning or routine use (Stetler, Ritchie, Rycroft­Malone, Schultz & Charns, 2009). Although implementation and institutionalization are technically different, they are often used interchangeably in the literature. Implementation of innovations requires organizational change to occur and as such overlaps significantly with the organizational change and management literatures (Moss, 1983; Shortell, 1981). In the health sciences, the term ‘practice’ is used, whereas the management literature more commonly uses the term ‘innovation’. Innovations can be products with distinct boundaries, but they can also be less tangible entities such as practices, policies, or processes that are new to an organization. The KIQNIC project uses the term ‘practice,’ although the list of practices could also be referred to as innovations as they are a mix of practices, policies, and processes that are relatively new to the QLs. In fact, the majority of the relevant literature would use the term ‘innovations.’ Evaluating effectiveness of the QLs could be considered an innovation because it is a relatively new practice in the QL system. Furthermore, there is a new ‘policy’ in the QL system for all QLs to be conducting evaluation and using a standardized evaluation framework. The practice of evaluating effectiveness in the QL system has not yet been    12 successfully institutionalized. This means that evaluating effectiveness as a practice has not yet been successfully taken up into routine practice and become part of regular daily functioning in the QLs. Therefore the terms practice, policy, and innovation are all appropriate concepts for describing evaluating effectiveness in the QLs. From this point forward, I will primarily use the term innovation in reference to the practice of evaluating effectiveness in the QLs. Attempts at innovation implementation are often unsuccessful and the reasons why some innovations are successfully institutionalized and others are not is unclear (Repenning, 2002). As such, understanding determinants of successful implementation has become a topic of significant interest in the innovation and implementation literature.   Approaches to Implementation There exist two distinct methodological approaches for studying organizational change and implementation in the literature: 1) the traditional variance approach (e.g., predictive linear models), and 2) a process narrative approach (e.g., ethnographies) (Van de Ven & Poole, 2005). The majority of organizational change and implementation studies use the traditional variance method with a few applying the process narrative. Even fewer apply a mix of approaches, despite studies that have demonstrated the advantage of an integrative approach (Saberwhal & Robey, 1995; Poole & Van de Ven, 1989).  The different scientific approaches (i.e., variance versus process) are reflected in the different types of implementation models in the literature. According to Marble (2000), there are two types of implementation models, the positivist and interpretivist    13 models. A positivist position “assumes an external and knowable reality that can be objectively measured, an impartial researcher, and the possibility of producing generalizable statements about the behaviours of the natural and social world” (Greenhalgh, Potts, Wong, Bark, & Swinglehurst, 2009, p. 734). In contrast, an interpretivist position “assumes a socially constructed reality that is never objectively or unproblematically knowable and a researcher whose identity and values are inevitably implicated in the research process” (Greenhalgh et al., 2009, p. 734). The scientific approach used to study the phenomenon will determine the potential findings that can be obtained.  Many of the implementation models in the literature fit into Marble’s positivist school (Greenhalgh et al., 2005). Greenhalgh et al. (2005. p.178) suggest that the positivist models have “in common the notion that the implementation process occurs as a sequence of stages that can be planned and controlled, and that planning, controlling and evaluating against predefined success criteria is the key to implementation.” An example of a staged and controlled approach to implementation is provided by Graham et al. (2006) in their implementation cycle model. This model does provide some consideration of the need for iteration in the implementation process, as is evident by the fact that the model is circular and not linear. However, it is still a specific, controlled, step­by­step process for implementation.  Implementation research from a positivist approach also applies a mechanistic approach, assuming that it can be dissected into individual determinants that can be studied independently and assessed for their impact on implementation (e.g., adopter skills and type of evidence). This approach assumes that an ideal combination of these    14 factors can be identified and generalized to different settings and innovations. The problem with the examination of only specific factors or determinants of change (i.e., a reductionist approach) is that it ignores the interdependencies of the factors/agents and the dynamic complexities of the phenomenon that arises from the interactions (Sterman, 2000). Some researchers suggest that the rationale approach to implementing innovations in health services lies at the root of many of the failed attempts to introduce new innovations because it neglects the complexity of the phenomenon (Fonesca, 2001; Plsek & Greenhalgh, 2001). In fact, studies that have attempted to develop a universal formula for successful implementation have been largely inconsistent. For example, one study may find that receptive culture for change is a necessary determinant, whereas another study may find it has no significant influence on the implementation outcomes. The inconsistency in determinants is often attributed to the differences in contextual conditions across settings (Kitson et al., 1998). Another problem with many of the implementation studies using the traditional variance approach is that they assume that the factors/determinants are fixed, when in fact they are dynamic (Bucknall, 2007). For example, Bucknall (2007) describes how models for decision­making in research utilization assume that the environment is static, when in fact it is constantly changing. In Bucknall’s study, the behaviours of clinicians varied across time depending on the characteristics of the context at particular points in time.  In contrast, an interpretivist approach to implementation assumes that implementation is not a staged and controlled process, but rather occurs as a result of “social interaction, exchange of ideas, and mutual sense­making” (Greenhalgh et al., 2005, p. 177). In this approach, context and social processes are considered to be central    15 to knowledge production and utilization (Dopson & Fitzgerald, 2005). Determinants of successful implementation are highly contextual and interact in complex ways, which is why it is not possible to generalize results from one implementation study to another although patterns in the data may be similar if the contexts under examination are also similar (Plsek, 2003). Plsek (2003) suggests that it is in large part because of context interaction that there can be no universal formula for successful implementation. Furthermore, because of the interdependencies in the system it is not possible to study the problem in a ‘strict’ mechanistic way. Instead, it is ideal to consider the whole system including both mechanistic components and the dynamic context interaction. The acceptance of a whole system, or a systems change approach to implementation, is growing in the implementation field and researchers are beginning to explicitly state the need for a systems change approach to implementation (Kitson, 2009). Aligned with this approach, the evaluation innovation in the QL system requires systems change in order for it to be fully implemented and institutionalized to the point of sustainability, which has yet to be achieved. The following section describes the meaning of systems change and why systems change is needed for full implementation and institutionalization of the evaluation innovation.  Systems Change  Implementation and institutionalization of an innovation is essentially a process of change. The difficulty in achieving change is directly related to the dynamic complexity of both the innovation and the system (Greenhalgh et al., 2005). Foster­Fishman, Nowell, and Yang (2007) suggest that a systems change approach is needed when a problem is    16 deeply embedded in a system’s dominant norms and other system structures and parts. Systems change refers to a fundamental shift in the nature of the system and substantial changes to the structural, relational makeup of a system (Hirsch, Levine, & Miller, 2007). Systems change also requires consideration of contextual factors as an active component in the process (Suppovitz & Snyder, 2005; Netting, O'Connor & Fauri, 2007). There are numerous different contexts and the systems change agents must identify the most important contexts to consider. For example, the social, cultural, and political contexts are all important to consider when planning systems change (Kreger, Brindis, Manuel, & Sassoubre, 2007). The need to consider multiple contexts as active agents is yet another reason why it is not possible to develop one universal model for implementation or systems change.   It is also necessary to consider the principles underlying the system in order to achieve it. To assist with this process, Foster­Fishman et al. (2007) developed a framework for assessing and creating systems change based on organizational change and systems thinking literature. According to them (2007, p. 201), systems change requires three considerations: “1) understanding different perspectives concerning the problem situation; 2) locating root causes to systemic problems by identifying system parts and their patterns of interdependency that explain the status quo; and 3) using this information to identify leverage points that will cultivate second­order change.” The authors also note that systems change requires changes to deep structures of the system, such as normative elements (e.g., attitudes, values, expectations) as well as other system elements such as system resources (e.g., human, social, economic capital), regulations (e.g., policies and procedures) and operations (e.g., decision­making structures), which    17 are the root causes of the system problems. The goal when using this framework is to look at these system parts across levels, niches, organizations, and actors to determine differences between system parts or interactions that create patterns in the system. The patterns can be used to identify leverage points that can shift the system towards the desired state. Despite Foster­Fishman’s framework for assessing and creating systems change, achieving it remains difficult. One of the main reasons is a paucity of literature to guide such efforts. In fact, Greenhalgh et al. (2005) identified only one large­scale program (Riley, Taylor, & Elliott, 2001) that was designed around a whole systems approach in their comprehensive review of the literature. Thus, it is not surprising that scientists trained in the linear, reductionist approach have difficulty moving toward a whole systems approach to implementation because it requires a different type of thinking. This is clear in that a traditional change approach focuses heavily on specific actors or parts in the system; whereas, systems change requires consideration of the patterns in the system, which are created by the interactions between actors and system parts (Olson, Eoyang, Beckhard, & Vaill, 2001).  Qualitative data have been used in recent systems change studies and have demonstrated ‘added value’ to a strictly quantitative approach. Qualitative data can be used to answer research questions pertaining to what the innovation meant to the stakeholders, as well as the social and technical challenges involved (Greenhalgh et al., 2010). In a recent qualitative study by Greenhalgh et al. (2009), the authors showed that there is no simple recipe for systems change because contexts are complex and rapidly changing.    18 In another recent systems change study, Greenhalgh et al. (2010) used a mix of qualitative and quantitative methods to show that challenges to implementing a technology innovation were complex interdependencies of both social and technical nature. Together these studies provide evidence for the innovation­context interaction and the inherent complexity of the implementation process. The researchers suggest that for numerous reasons, it was not ideal to use a strictly positivist approach that involved pre­post comparisons or identification of linear causal relationships. For example, there was a dynamic local context and wider policy environment that was influencing the systems change process (Greenhalgh et al., 2009). Due to the dynamic complexity of both the system and the innovation, a mixed­methods integrative approach would be ideal for studying the systems change process. Similarly, the QL system and evaluation innovation are also high in dynamic complexity. Therefore, adding a qualitative component that complements the existing quantitative data being collected by KIQNIC allows for movement toward the ideal approach for studying systems change.  Complexity of Evaluation Innovations Successful implementation is a result of both the innovation and system characteristics (Greenhalgh et al., 2005). Thus far, I have focused on the importance of examining system characteristics for successful implementation. However, it is also important to consider the characteristics of the innovation in terms of implementation because not all innovations are equal. Specifically, “the more complex the innovation, the more iterative, complex and multidirectional will be the implementation process” (Greenhalgh et al., 2005, p. 175).     19   Institutionalization becomes increasingly more difficult when the innovation lacks clearly defined boundaries and when the implementation target is complex. For example, implementing a hand­washing protocol for physicians in a hospital is less complex than implementing an evaluation policy in a diverse network of organizations with decentralized decision­making. In the hand­washing example, the innovation can be easily defined and agreed upon by the different stakeholders and there is likely only one governing body with the authority to make the decision to implement the policy. In the evaluation example, the implementation process is more difficult because there are many stakeholders involved with different opinions on the policy. Although both examples require consideration of the context and barriers to implementation, the evaluation policy example often requires systems change in order to achieve successful institutionalization. Evaluation innovations inherently have a high degree of dynamic complexity. In order for evaluation results to be used, it is necessary to involve members in the evaluation process and to include a process of reflection and adaptation to ensure that the evaluation is relevant and useful (Patton, 2002; Patton, 2008). As a result, institutionalizing evaluation innovations usually requires substantial changes to the system itself. Also, successful institutionalization often requires changes to multiple parts of the system. Because of the high degree of dynamic complexity of both the evaluation innovation and the QL system, institutionalization of the evaluation innovation requires systems change, which in turn requires systems thinking.      20 Systems Thinking  Systems are defined as bounded entities with interdependent parts, where the whole is greater than the sum of the parts (Stacey, 1996). In the context of systems change, a system refers to, “a set of actors, activities, and settings that are directly or indirectly perceived to have influence in or be affected by a given problem situation” (Foster­Fishman et al., 2007, p. 198). Innovation implementation is viewed very differently from a systems thinking approach relative to a reductionist approach. From a systems approach, innovation is seen as an emergent phenomenon, resulting from underlying patterns of interactions between the actors and system parts (Fonesca, 2001). The systems approach recognizes the dynamic complexity and interdependency of both the innovation and the system (Fonesca, 2001).  To further understand the meaning of a systems approach to studying implementation, consider the example of the hand­washing protocol described in a previous section. Reductionism usually assumes that the best approach is to simplify the phenomenon by reducing down to the smallest components possible, to study it at the subsystem level, and abstract the independent parts from the rest of the system. The assumption in this approach is that the individual parts can be studied independently in order to understand the whole. As such, a reductionist approach to implementing a hand­washing protocol for physicians in a hospital may include an intervention (e.g., presentation) to increase the physicians’ knowledge of, and attitudes towards, disease spread through physician­patient contact.      21 In contrast, the systems approach is more ecological in nature as it would view the physician as embedded in the organization, which is embedded in the larger socio­political system, and all of these levels are constantly interacting. A systems approach would recognize the interdependencies in the system and consider those that are influencing the physicians’ behaviours. A systems approach would consider the political and institutional context, the relationships between different actors, and also the physical environment of the hospital. An intervention from a systems approach would not just address the physicians’ attitudes and knowledge. It may consider physician knowledge as one aspect in addition to factors at the organizational and socio­political level (e.g., organization culture, physician training, hospital scheduling policies, incentives, physical layout of hospital, nurse­physician relationships, etc.). An intervention from a systems approach would likely intervene at multiple parts and levels of the system. For example, interventions might include the physician presentation, placement of antibacterial lotion above each patient’s bed, and implementation of a reward policy that incentivizes physicians to wash their hands between each patient visit. In order to create a hospital culture that emphasizes hand washing the intervention might also target other stakeholders in the hospital such as the administrators and nurses. Another aspect of a systems approach is consideration of unintended consequences. Because of the interconnectivity of system parts, changes in one part of a system will result in changes in other parts of the system. For example, providing a financial incentive to physicians for hand washing could result in resentment from other hospital medical staff and a culture in the hospital that is driven by monetary gains over patient welfare.     22 Systems thinking aims to capture these interdependencies between different levels and parts of the system to better understand how an innovation can be implemented. Systems thinking also recognizes that there are different types of systems, such as simple systems, open/closed systems, and complex systems; each with different principles guiding the system’s behaviour. I will describe complex systems in more detail below as it is this type of system that best characterizes the QL system.   Complexity Science as a Theoretical Approach for Systems Change Complexity science is a branch of systems science that looks specifically at the behaviour of complex systems (Zimmerman, 2001). From this approach, a system is viewed as a living organism and as such is seen to have behaviours. A complex system is a network of interdependencies that is constantly adapting, learning, and changing over time (Cilliers, 1998). Complex systems operate based on unique principles and characteristics that guide the system’s behaviour. The majority of implementation problems in the health area are located within complex systems (Plsek, 2001). As such, it is important to understand complexity principles in order to change the system.   Complexity science can be used as a theoretical grounding and conceptual framework for guiding implementation and systems change case studies (Anderson, Crabtree, Steele, & McDaniel, 2005). Complexity science is viewed as a new type of science that incorporates elements of both positivism and interpretivism (Vogel, 2009). For example, similar to interpretivism, it emphasizes context, integration of information across different perspectives, and does not aim for reproducibility or predictability of specific outcomes. However, similar to the positivist approach, it assumes that there are    23 identifiable causal relationships that create patterns in the system, albeit the relationships are viewed as nonlinear. As previously mentioned, an integrative approach has been shown to have an advantage over a strictly interpretivist or positivist approach in implementation and organizational change studies (Saberwhal & Robey, 1995; Poole & Van de Ven, 1989).  Although the current study is qualitative and interpretivist, it is intended to complement the KIQNIC study which uses a positivist quantitative approach. By using complexity science as a theoretical approach, the results of this study can be incorporated into the KIQNIC study findings at a later date to create an integrative mix­methods study of systems change and implementation. Furthermore, the use of theory in implementation research has been inadequate and there is a need for more theory (Cummings et al., 2007; Grimshaw et al., 2004). Complexity science has been shown to be useful for studying the implementation of evidence­based practices and systems change (Murphy­Smith, 2004) and is therefore the theoretical approach used to frame this study. The Foster­Fishman (2007) framework was developed based on the organizational change and systems thinking literature specifically to guide systems change efforts.   Principles of Complex Systems  As previously mentioned, complexity science makes the application of systems thinking easier (Flood, 2010). Complexity science provides specific principles to help understand the behaviours of a social system. The purpose of the following section is to describe key complex systems principles as well as how they are related to systems change for innovation implementation. The goal of this study is not to test complexity    24 science or to assess the complexity of the QL system. The impetus for describing the complexity principles is to be explicit about the assumptions underlying the research paradigm with respect to the system’s behaviour. It should be noted that a combination of both interpretivist (e.g., change via acting on relationships) and positivist (e.g., causal feedback loops) approaches are demonstrated throughout the description of complexity principles. The assumptions underlying the research paradigm of this study include that the QL system is robust, has a multitude of dynamic interconnections between parts, and has nonlinear causal relationships that create feedback loops in the system. These underlying assumptions of the QL system’s behaviour are described in greater detail below.  Robustness  One characteristic of complex systems is that they are thought to be robust and resistant to change (Carlson & Doyle, 2002). Robustness refers to “the maintenance of some desired system characteristics despite fluctuations in the behaviours of its component parts or its environment” (Carlson & Doyle, 2002, p. 2539). Perturbations in complex systems may cause upset initially, but the system will quickly re­organize back to its initial state of equilibrium. This characteristic is important in the context of systems change because it helps to explain why many change efforts have little effect or success. Complex systems have an internal structure and patterns that maintain the status quo or equilibrium (Carlson & Doyle, 2002). In order to achieve systems change, it is important to understand all aspects of the system that are contributing to maintaining the status quo such as structures, relationships, and perspectives (Behrens & Foster­Fishman, 2007).     25  Interconnectedness Part of what makes complex systems so robust and resistant to change is the interconnectedness of the system (The National Academies Keck Futures Initiatives, 2009). Complex systems have inter­linkages between components that are dynamic so that change in one system component affects other components. There are a couple of pertinent implications for this principle of interconnectedness, one is related to robustness and the other to nonlinearity.  In terms of robustness, if a change intervention is directed to one component of the system, it may change that one component momentarily. However, because of the inter­linkages in the system that one component is being ‘pushed’ on by many other system components. If change has only been made in that one component and the rest of the system is still in the initial state, then the rest of the system will ‘push’ the changed component back to its initial state. Take, for example, an attempt to shift a healthcare organization from a focus on treating disease to a focus on health promotion and disease prevention. One intervention that has been advocated for is having health practitioners (e.g., primary care physicians) provide counseling to patients on positive lifestyle modification (Egede & Zheng, 2002). Although the intervention may succeed in educating the physicians and changing their values so that they will want to counsel the patients on healthy lifestyle changes, this single intervention is unlikely to be successful if done alone. The problem is that other components of the system are not congruent with this change. That is, if lifestyle counseling is not on the reimbursement schedule, then physicians will not likely do it even if they believe it is important (Sesselberg, Klein,    26 O'Connor, & Johnson, 2010). Another example of push back could be if a pharmaceutical company has been visiting physicians marketing a new blood pressure drug and providing free samples, then the physicians may be more likely to give the drug to a patient with high blood pressure (Vancelik, Beyhun, Acemoglu, & Calikoglu, 2007). The problem is further compounded by the fact that physicians perceive a major barrier to be the patients’ unwillingness to change their lifestyle in order to reduce risk factors (Jallinoja et al., 2007). The perceived patient’s unwillingness then interacts with pharmaceutical marketing to reinforce the physician’s choice to treat the patient with a drug instead of lifestyle counseling. This example illustrates why targeting change in one component of the system is unlikely to achieve success.    In order to achieve change in a complex system, it is necessary to have parallel mechanisms for change across different parts and aspects of the system. It is critical that any systems change planning and evaluation efforts consider the coherence and alignment of system components (Suppovitz & Snyder, 2005). The solutions, or change interventions, must be interdependent in the same way that the system is interdependent (Janzen, Nelson, Hausfather, & Ochocka, 2007). Incongruence between parts of the change efforts, or between different system components, will increase the likelihood that the change efforts will fail. For example, if decision­makers in a health system are advocating a shift towards health promotion, but they do not make healthy lifestyle counseling a billable treatment for physicians, then this incongruence between change goals and current policies will cause resistance to change. Similarly, if physicians are receiving compensation or “kick­backs” from pharmaceutical companies, then this will    27 also create resistance to changing the system towards the desired shift to health promotion.   Nonlinearity The other important implication of interconnectedness of the system is the principle of nonlinearity. Complex systems are nonlinear systems, which in technical terms means that the input is not necessarily equal to the output (Willy, Neugebauer, & Gerngroß, 2003). In this case, a very small input (i.e., an intervention) could result in a massive output (i.e., change), and conversely, a very large input could result in little to no output (Eoyang, 1998).  The key characteristic that allows for this phenomenon to occur is that variables can be both a cause and an effect of specific phenomena in a nonlinear system. In a linear system, it is assumed that a variable is either a cause or an effect; it is never both simultaneously. In a nonlinear system, cause and effect relationships are distal, not so obvious or easy to identify and include variables that are a cause and an effect simultaneously. An example of a linear relationship is the relationship between the gene for Huntington’s disease and an individual getting the disease. In this example, the gene is the cause and the disease is the effect, and the gene cannot also be the effect in the relationship. However, linear relationships such as this are rare in implementation and social systems. More common are nonlinear reciprocal relationships. For example, the relationship between expectations and perceptions is nonlinear because expectation has a causal effect on perceptions, and perceptions in turn can have a causal effect on    28 expectations. In this way, both variables in the model are both a cause and an effect in the relationship. It is because of this nonlinearity that outcomes can be greatly amplified.  Nonlinearity is an important concept for systems change for several reasons. For one, nonlinearity can cause unintended consequences in the change efforts. Change in the targeted component can cause a chain reaction of changes that can ultimately come back around and affect the original targeted component. The unintended consequences can result in amplifying or dampening of the desired outcome in the targeted component and it can also create completely different changes in the system. It is not possible to predict exact outcomes in complex nonlinear systems because there are too many extraneous variables that cannot be controlled for (Eoyang, 1998). Instead, it is important to identify the interdependencies in the system and think through the potential non­linear relationships when trying to change the system.   Feedback Loops Another reason why interconnectedness and nonlinearity are important for systems change is because these principles create feedback loops which are at the heart of systems thinking and are critical for systems change. They are a result of nonlinearity in the system, which allows a variable to be both a cause and an effect at the same time (Sterman, 2000). According to system dynamics theory, all complex systems are made up of two kinds of feedback loops: positive (i.e., self­reinforcing) and negative (i.e., self­correcting) (Sterman, 2000). The terms ‘positive’ and ‘negative’ are not value laden in this context, they only refer to amplifying (positive) or dampening (negative) an initial condition. An example of a negative feedback loop is a thermostat that corrects the    29 temperature by changing the initial condition, such as the heat coming from the heater. An example of a positive feedback loop is the broken windows paradigm  (i.e., when a neighbourhood has abandoned buildings with broken windows it encourages the vandalism of other buildings) (Foster­Fishman et al., 2007). In this case, the broken windows can amplify the initial condition of vandalism. Also, variables can be part of multiple feedback loops, which increases the dynamic complexity of the system (Hirsch et al., 2007). Foster­Fishman et al. (2007) instruct systems change agents using their framework to identify key feedback loops influencing the systems change.  System thinking assumes that the system’s behaviour is a result of the underlying feedback mechanisms and that it is necessary to understand both the behaviours and the feedback mechanisms (Hirsch et al., 2007). A complex system adapts and changes over time because it learns and all learning depends on feedback loops. One strategy for systems change is to consider existing feedback loops in the system, as well as develop new feedback loops that help achieve the desired outcome.   Self­Organizing   The object of change in a complex systems approach is on influencing the interactions and exchanges in the system in order to alter the path of self­organizing (W.K. Kellogg Foundation, 2007). Self­organization is defined as the process “whereby new emergent structures, patterns and properties arise without being externally imposed on the system” (Zimmerman, 2001, p. 270). Although the system is complex, there are patterns of interaction that can provide cues for interventions. Patterns in the system emerge over time as a result of these interactions and adaptations within the system. In    30 addition, agents in a system are constantly learning and adapting as a result of interactions with each other and the system. It is important to understand the self­organizing patterns of the system in order to change the direction of the system.  Patterns for innovation in networks are discernable and these patterns have implications for service and policy decision­making (Kash & Rycoft, 2000). It is important to study and understand the underlying dynamics and structure in interorganizational networks leading to innovation (Gay & Dousset, 2005). A complex systems approach and identification of self­organizing patterns for innovation in networks is useful to decision­makers as it can be used to inform policy decisions (Frenken, 2000).   Leverage Points Leverage points are the “places in a complex system where a small shift in one thing can produce big changes in everything” (Meadows, 1999, p. 1). As such, leverage points are considered a strategy for achieving implementation and other change initiatives in complex systems. Leverage points are possible because of interdependencies/interactions in complex systems. As a result of the interdependencies, change in one part of the system can create change in other interconnected parts of the system. Numerous possible leverage points exist in a system, with different degrees of potential impact on system change. Leverage points can be counterintuitive and it can be difficult to identify the most powerful and correct leverage points for achieving systems change (Meadows, 1999). Meadows acknowledges that there are no definitive rules that can be generalized to all complex systems, but provides a suggestive list of leverage    31 points to serve as a benchmark. The leverage points, in order from most to least likely to create change are: 1) power to transcend paradigms, 2) mindset out of which the system arises, 3) goals of the system, 4) organize system structure, 5) rules of the system, 6) information flows, 7) positive feedback, 8) negative feedback, 9) length of delays, 10) physical structure, 11) size of system stabilizers, and 12) constants and parameters (Meadows, 1999). Meadows’ twelve leverage point levels have been further modified by Malhi et al. (2009) who collapsed them into five leverage/intervention levels for systems change in food policy. For example, one of the leverage points under Meadow’s goal category proposed by Malhi et al. (2009) to change the food system is: agricultural policy that maximizes positive health outcomes and minimizes negative health impacts. Another of the leverage points proposed by Malhi et al. (2009) under Meadow’s structure category is: public education on consumption of an environmentally sustainable diet. Malhi et al. (2009) propose that these leverage points, along with nineteen other leverage points developed based on their five intervention leverage point levels, will help shift the food system to be more healthy, green, fair and affordable.  Foster­Fishman et al. (2007) propose two types of leverage points: 1) those that shift fundamental parts to be consistent with the desired change, and 2) those that strengthen system parts that are already consistent with the desired change. The authors suggest that leverage points can be parts of the system (e.g., system elements) or patterns and interactions in the system. Understanding leverage points for systems change also requires consideration of the root of the problem or the moral positions at the heart of the system (Kreger et al., 2007). For example, systems change requires modification of the ‘deep structures’ of the system such as normative elements (e.g., attitudes, values,    32 expectations), which are often the root causes of system problems (Foster­Fishman et al., 2007). Social processes can also serve as an important lever for change (Tseng & Seidman, 2007).  Summary The fields of KT and implementation sciences have evolved significantly over the last five decades from linear models to systems models (Best et al., 2008). The system models address the inherent complexity of both the system and the innovation. Unfortunately, there is a dearth of literature available to guide implementation from a systems approach. The majority of the implementation literature applies a positivist quantitative approach that cannot adequately consider the dynamic complexity of both the innovation and the system. A mixed­methods approach that integrates both interpretivist and positivist thinking has been shown to be advantages for studying systems change. The KIQNIC study applies a positivist quantitative approach to studying implementation in the QLs. This approach has many benefits and provides valuable information for studying the problem. For example, it will identify network connections between organizations and causal relationships in the system. However, a qualitative interpretivist approach provides additional insights and information for understanding the problem. The goal of this present study is to demonstrate the value of adding a qualitative interpretivist perspective to studying the implementation of an evaluation innovation in the QLs. Although the integration of the quantitative and qualitative data is outside of the scope of this project, the hope is that at a later date the KIQNIC project can integrate both approaches to create a more comprehensive understanding of the implementation    33 phenomenon. Complexity science provides a theoretical framework that integrates interpretivist and positivist concepts and will thereby allow for a merging of the KIQNIC study findings with the qualitative findings from this study at a later date. The next chapter provides the context for this study including a description of the KIQNIC study and the QL system, as well as the evaluation innovation selected to study in more depth.     34 Chapter 3. Context Chapter Overview The following chapter describes the context for this study. The first section provides an overview of the tobacco context. The following section describes the North American quitlines including the structure of the network, the QL system and the key stakeholders discussed throughout this paper. The final sections in this chapter include a description of the KIQNIC project and an overview of innovation implementation. A detailed description of the evaluation innovation studied in this project is included in the final section.   Tobacco Use & Cessation    Despite significant efforts, tobacco related mortality and morbidity continues to be a daunting public health problem. Tobacco use is the leading preventable cause of mortality and morbidity in North America (CDC, 2005) and is responsible for 400,000 deaths per year in the U.S. (CDC, 2009). Lung cancer is the leading cause of cancer­related deaths among both men and women (WHO, 2009) and smoking causes almost 90% of all lung cancer (Wingo et al., 1999). In 2008, an estimated 20.6% (46.0 million) of the United State’s adult population (!"#$%&’()*(%+,­reported as current cigarette smokers (CDC, 2009). In 2009, approximately 17% (4.8 million) of the Canadian population aged 15 and older self­reported as current smokers (Health Canada, 2010a). In addition, Canada spends over $3.5 billion to provide direct medical care to tobacco users and over $15 billion when indirect costs are factored in (e.g., worker absenteeism) (Health Canada, 2010b). Tobacco­related illnesses kill about 47,581 Canadians each year    35 (Makomaski­Illing & Kaiserman, 2004) and more than 1,000 Canadians die each year from heart disease and cancer caused by second­hand smoke (Health Canada, 2008).    The majority of smokers recognize the harmful effects of tobacco use and a large percentage attempt to quit each year (U.S. DHHS, 2004). In 2008, approximately 45.3% (20.8 million) of the adult cigarette smokers in the U.S. had attempted to quit smoking within the twelve months prior to the survey used to collect these tobacco statistics (CDC, 2009). Unfortunately, only about six percent are actually successful at quitting for more than one month on a given attempt (U.S. DHHS, 2004). Quitting tobacco use is difficult, because most people who use tobacco regularly are addicted to the nicotine (Benowitz, 2009). Smoking addiction is a complex problem involving a combination of pharmacological and behavioural factors. For these reasons, significant efforts and resources have been directed into tobacco cessation research and initiatives to better understand and help individuals quit. Quitlines (QLs) are one of the primary tobacco cessation services offered throughout North America.   North American QLs  A QL is a telephone­based cessation service that helps people who want to quit using tobacco. QLs offer telephone support primarily through counselling, information, and self­help materials. Some QLs offer additional services such as medications, online cessation information and programs, and referrals to community­based cessation programs. The first QL started operation in California in 1995 and it grew out of a clinical research trial that demonstrated the effectiveness of phone counselling for tobacco cessation (Zhu et al., 2002). The number of states and provinces in North    36 America offering QL services for smokers and other tobacco­users has increased exponentially in the last decade.  Currently, there are QLs available in all ten provinces in Canada and all 50 states, plus the District of Columbia, and Puerto Rico in the United States. In addition to these 62 QLs, there are also 22 QLs in Europe, eight QLs in Australia, and one in Mexico. QLs represent a unique opportunity to reduce tobacco use in North America and globally. In 2008, forty­seven of the fifty­two U.S. QLs received a total of 409,902 incoming calls from tobacco users (median = 4,847 calls per QL). That same year, 18,125 incoming calls from tobacco users were received by nine of the Canadian QLs (median = 591 calls per QL) (North American Quitline Consortium, 2009). Given the significant amount of resources being directed to QLs, as well as the number of people reaching out to them for assistance with quitting, it is imperative that they be effective and efficient. In order to increase effectiveness and efficiency, the QLs must be able to disseminate and implement research­based and practice­based innovations throughout the network.  Structure & Characteristics of the QL Network  As described above, there are ten QLs in Canada, 52 in the U.S., and one in Mexico, that together make­up the North American QL network. However, for the purpose of this study, the North American QL network will refer to only the Canadian and American QLs, as the Mexican QL was not included in either this study or the larger KIQNIC study. Also, it is important to note that although both American and Canadian QLs were included, the primary focus is on the QLs in the U.S. There are a couple of reasons for the dominant focus on QLs from this particular country. First, there are far    37 fewer Canadian QLs in the network and in general they receive far fewer calls than the American QLs do. The second reason is that although there was equal opportunity for decision­makers from both countries to be recruited into this study, only two Canadians were successfully recruited. As such, the study is focused predominantly on the American QLs with significantly less information and findings provided on the Canadian QLs.  The structure of the QLs in these two countries is similar, as for the most part they are composed of two primary entities, the funder organization (e.g., state health department) and the service provider organization. There is, however, some variation in this structure and figure one illustrates some of the different QL structures. In this figure, model A represents a service provider dedicated to a single QL and model B represents two QLs with the same service provider. In addition to the service providers and funder organizations, other entities within the QL community include the North American Quitline Consortium (NAQC), external evaluation contractors, and the Center for Disease Control (CDC) in the U.S. Model C in the figure represents a QL that has an external organization as an evaluation contractor. Lastly, model D represents a QL where there are two service providers and one funder organization. This is a sample of some of the possible variations in QL structure but not all. Most of the American QLs receive their funding from one or both of two possible funding sources, state funding and CDC. The Canadian QL funders are different for each province and include: the provincial ministry of health, the Canadian Cancer Society, Heart and Stroke Foundation of Canada, Health Canada, and Alberta Health Services. Below is a description of the different organizations and actors that are part of the QL community that I will refer to throughout this manuscript.     38 Figure 1. Different Quitline Structure Possibilities  Decision­Makers The KIQNIC study, which is described in greater detail below, defined decision­makers as, “any individual at a QL funder, service provider or coordinating organization who is involved in decision­making about the implementation of QL practices.” According to the KIQNIC project, there are 276 decision­makers in the QL system. The decision­makers include a variety of positions in the QLs including managers, directors, and coordinators. The decision­makers vary significantly in terms of their educational backgrounds and experiences. For example, some of the decision­makers are PhD level researchers with positions in universities and others are administrators with no research background.   Service Providers The service provider organization is the entity that is responsible for providing the telephone counselling services. The service provider characteristics and additional    39 responsibilities vary significantly across providers. There are private for profit service providers and public not for profit service providers. Three of the public service providers are located in universities, for example the first QL was established with the University of California ­ San Diego (UCSD) as the service provider. The university service providers, as well as some of the other service providers are contracted to service only one QL. For instance, UCSD provides telephone counselling services only to the California QL. In contrast, there are larger service providers that contract with multiple QL funders.  Until recently, the two largest QL service providers in the U.S. were Free and Clear, a for­profit company, and the American Cancer Society (ACS), a not for profit organization. Together, these two service providers held the majority of the QL contracts in the states and were in competition with each other. In fall of 2010, these two service providers formed a collaborative wherein Free and Clear assumed all of ACS’s contracts. In Canada, all of the QLs with the exception of Alberta and British Columbia are operated by the Canadian Cancer Society. The QL in Alberta is operated and funded by Alberta health services and the QL in British Columbia is operated by Sykes, a for profit tobacco cessation company.  The QLs also have different protocols for the provision of telephone counselling. Although they all provide telephone counselling, which is viewed as an evidence­based practice (innovation), there are significant differences in the details of how these services are provided. For example, some QLs may have all Master degree level counsellors conducting the calls with QL clients and others may have non­college graduates working as operators in a call centre trained in a counselling protocol.     40  State Funders  The majority of QLs in the U.S. receive some state funding, usually from either Tobacco Master Settlement Agreement (MSA) funds, or from tobacco excise taxes. The state funding is administered through the state health departments and these are the organizations referred to by the term “funder organization” in the American QL partnerships. The state funders have contracts with service providers, sometimes the contracts are open for competitive bidding and sometimes they are not. For example, the UCSD service provider does not bid for their state­funding contract because they have an inter­agency agreement. The role of the state funder also varies across the QLs, with some being more involved in decision­making than others. The state funders usually are responsible for decision­making with respect to evaluation and many of the state funders contract with external organizations to evaluate their QL.  Canadian QL Funders As previously mentioned, there is more variation in funders for the Canadian QLs. Alberta is the only QL that is funded and operated by its provincial Health Services. The QLs in British Columbia, Ontario, and Quebec are funded by various departments within the Ministry of Health. The Saskatchewan QL has two funders, the Canadian Cancer Society and the Heart and Stroke Foundation of Saskatchewan. Health Canada funds the QLs in Manitoba, Newfoundland, and New Brunswick. The Prince Edward Island (PEI) QL is funded by the Canadian Cancer Society, PEI division.     41 Evaluation Contractors  In the U.S., some of the QLs conduct evaluation in­house and others contract with an external evaluation organization. The reasons for contracting with an external evaluation entity are either: 1) not having the capacity and resources to evaluate in­house or 2) having a mandate from the state funder to use a specified external contractor. In many cases, the QL is assigned a third party evaluation contractor by the state. The QLs that are not assigned an evaluation contractor by the state may or may not conduct their own evaluation. Some of the QLs choose to hire external entities to conduct their evaluation or to do the database management because they do not have the internal capacity to conduct it themselves. In some cases, a QL funder will contract with the service provider to do both the service and the evaluation of the QL. There are however, examples of QLs that conduct all aspects of the evaluation in­house. Examples of the evaluation contractors are private consulting companies and evaluation units in universities.  In Canada, there is one primary evaluation entity that conducts evaluation for the majority of the Canadian QLs and this entity is located within the University of Waterloo. There is no similar primary evaluation entity in the U.S. with most of the QLs having different evaluation contractors. However, funding for evaluation of the QLs in Canada has been very unstable over the years due to changes in funding policies at the national and provincial level. At the time of conducting this study, government funding was not being provided to evaluate the QLs with the exception of Ontario. It was also unclear whether any of the other Canadian QLs were still collecting evaluation data at the time of this study, given the lack of funding for it.    42  Centers for Disease Control and Prevention The Centers for Disease Control and Prevention (CDC) in the U.S. plays multiple roles in the QL community, including evidence source, funder and NAQC partner. One of CDC’s primary responsibilities in general is the translation of evidence to practice and they also play this role for the QLs. In recent years, the CDC has taken an increasing role as a funder for the American QLs and as such has increasing power over decision­making. At the time of conducting this study (2010), the federal government in the U.S. gave $45,000,000 in funding to the QLs as part of the American Recovery and Reinvestment Act (ARRA). The CDC was responsible for administering this substantial amount of funding and under the instructions of the federal government, included strict regulations for accountability reporting in the QL contracts for the funding. As part of the ARRA funding mandates, the QLs will be required to provide the CDC with their data from the Minimal Data Standards (MDS), which will be explained in greater detail below in the ‘Overview of the Innovation’ section. CDC will be collecting the MDS data from the American QLs, entering it into a database, and making the data public. This will be the first time in QL history that evaluation data of any kind will be collected and put into an aggregate form (i.e., all QLs together). The other role that CDC plays is as a support to NAQC, they have a strong partnership and an explicit contract of support.  NAQC In 2004 the North American QL Consortium (NAQC) was established with the primary role to promote evidence­based services across North American QLs. NAQC is a    43 non­profit organization, which receives funding from a variety of organizations including CDC in the U.S. and Robert Wood Johnson Foundation, to help ensure that NAQC can continue to support the QLs in North America. NAQC consists of a team of six staff members (including a director of research), a board of directors, and an advisory council. NACQ provides leadership and works to bring together diverse partners such as state and provincial QL administrators, QL service providers, researchers and national organizations in the U.S. and Canada. NAQC provides a forum for shared learning in hopes of improving the operations and effectiveness of the QLs. The QLs must pay for memberships to NAQC and the memberships provide a variety of benefits including access to forums and professional development activities. Not all members of the QL community are members of NAQC and the QLs’ ability to provide memberships to all individuals in a QL vary. For example, not all QLs can afford to provide memberships to their service providers and evaluation contractors, so in some cases evaluation contractors are not part of NAQC and therefore do not have access to NAQC forums and member resources.   QL Funding There is no standardization of funding across the QLs and there is significant variation in both the source and amount of funding. In 2009 the QL budgets ranged from $77,218 for the smallest budget to $17,869,238 for the largest. The range for the Canadian QL budgets is within the range just described but has not been reported publicly and therefore is not reported in this study. The reason why it has not been reported publicly is that because there are so few QLs it would be too easy to connect the    44 various budgets to the respective QLs. Similar to the American QLs, there is also a significant variation in budgets across the Canadian QLs.  The following information is specifically related to the American QLs. As previously mentioned, some of these QLs receive their funding through tobacco Master Settlement Agreement (MSA) dollars and others through tobacco taxes. Also, the way that tobacco settlement dollars were allocated and secured differs across states and subsequently impacts the QL funding in terms of stability and amount received. For example, one state had chosen to securitize payments of the MSA. The governor of the state and the legislature had made the decision to sell the MSA payments to a securitization company, who gave the state a lump sum, in exchange for the annual payments. Another state had put the MSA funds into an interest bearing account, which had then been used to supplement the budget during budget cuts. There is also significant variation in the degree of stability of the funding across QLs, which is partly attributed to the source of the funding and partly to the political context of the state. The different funds across states also come with different reporting requirements, as well as different regulations about what the funds can be used for. These huge variations in funding result in very different QL contexts that inevitably impact the implementation of evaluation innovations in the QLs.   The QL System The overarching goal of this study is to explore implementation of the evaluation innovation in the QLs using a qualitative systems approach. As such, it is important to understand the complexity of the QL system, in order to think through how and why a    45 systems approach is necessary. It is impossible to describe every facet of the QL system because there are simply far too many components to include. However, in this section I describe some of the main components that will be relevant to the later findings presented that aid in understanding systems thinking in the QLs. Specifically, I will present some of the key system components that will be included in this study, including system levels, actors, organizations, and niches (Foster­Fishman, 2007; Janzen, 2007). It should be noted that there is no single correct way to describe the system as there are many alternative ways to arrange the components. The objective here is to illustrate how my approach is using a systems perspective by exploring different levels and parts of the system. The system can be viewed as having five different levels: 1) federal, 2) state/provincial, 3) QL network, 4) individual QLs, and 5) individual organizations (see figure 2). The federal level is primarily involved in funding of the QLs and includes entities such as the CDC. The primary entities at the state/provincial level are the state health departments, which represent the funder organization in the QL partnership. The QL network level represents all of the QLs together, whereas the QL level represents individual QLs which usually consist of a service provider and a funder. The organizational level primarily includes the funders, service providers, and third party evaluation contractors. And lastly, the actors are the individuals within the different organizations.       46 Figure 2. Description of the QL System  The actors can cross system levels and niches, although they usually do not cross between different organizations. Some of the key actors include: researchers, project officers (CDC), tobacco control managers (state) evaluators (contractor), directors, managers, and other QL staff. The different actors have different perspectives of the evaluation innovation that are influenced by their location in the system.   Niches generally have less tangible boundaries and cross multiple system levels. Examples of niches include funding, research, culture, and incentives. Some of the QL’s service providers are part of a university and as a result are part of the research niche. The research niche has a pressure to evaluate and publish whereas QLs outside of the research niche do not necessarily have this pressure. The pressure and culture of the research niche creates a difference in priorities for the different QLs. These niches in the system can also be referred to as different system parts and are another element to consider in a systems approach to implementation.      47  Innovations in the QLs There has been a plethora of tobacco related research conducted over the last few decades, much of it specifically looking at effective practices for promoting and supporting tobacco cessation. For example, research has demonstrated that smoking cessation rates are significantly improved if behavioural therapy and pharmacotherapy are used in conjunction, as opposed to either applied independently (Hughes, 1995). The evidence­based practices come from various sources including CDC, the Public Health Institute, and the research literature. The QLs also develop practice­based innovations that are shared between QLs. The practice­based innovations are often service norms or organizational policies that improve their services. For example, one of the innovations on the KIQNIC list is a faxed­based referral, which is a practice­based innovation or service norm, that has spread throughout the QL network as a suggested practice to improve reach in QLs (appendix A). Both the research­based and the practice­based innovations on the KIQNIC list have the potential to improve the QLs effectiveness. However, these innovations are not easily diffused and implemented throughout the network. There are many reasons why dissemination and implementation of innovations is difficult, many of which pertain to the network characteristics and structure.   Implementing Evidence­Based Innovations The implementation of evidence­based innovations is difficult in most settings, but the difficulty is compounded in complex systems such as the QLs. The QL structure and characteristics add several dimensions of complexity to efforts to promote and    48 implement evidence­based innovations. For example, the QLs have a decentralized decision­making structure, which means that there is no single agent responsible for making and enforcing decisions on what innovations to implement. Each QL is a semi­autonomous entity, with a unique perspective and context, and each QL experiences different barriers to implementation, making it impossible to apply one standardized intervention for implementation. Furthermore, the diverse QL contexts create a tension between fidelity versus adaptation, where QLs must balance maintaining fidelity, with adapting innovations to be appropriate for a QL context. These factors are part of the reason why successful dissemination and implementation of innovations is challenging in the QL community. In response to the challenge, and also the potential benefit to achieving the implementation of evidence­based innovations, a research grant was funded to explore this issue in more depth.     Knowledge Integration in QLs: Networks that Improve Cessation (KIQNIC)  KIQNIC is a large research grant funded by the National Institutes of Health (NIH) in the U.S. A primary goal of KIQNIC is to assess how decision­making in QL organizations is a moderator for network characteristics and implementation outcomes. My dissertation project was developed based on my work with the KIQNIC project. I was invited to join the research team in the second year of the grant, during the instrument development phase, in order to assist with the implementation measurement piece of the study. The principal investigator of the grant is located at the University of Arizona, but the KIQNIC research team consists of researchers and NAQC members located    49 throughout the U.S. and Canada. One of the KIQNIC team members is the Research Director of NAQC and this individual plays a key mediator role between the KIQNIC study and the QL community. The Research Director was also my primary resource in developing my dissertation topic and research questions. I initially had numerous discussions with this individual about different research topics and their potential value to the QL community. The Research Director also provided guidance in determining which innovation to select from the KIQNIC survey to explore in more depth for this project. More details describing the innovation and the reason for choosing it are described in the following section. Another group of actors in the KIQNIC project is the workgroup, which consists of decision­makers in the QL community. The role of the workgroup is to provide guidance and feedback to the KIQNIC research team. To date the workgroup has primarily been involved in reviewing data collection instruments and providing feedback on preliminary results. The workgroup was also heavily involved in developing the list of 23 innovations (Appendix A). KIQNIC is collecting quantitative data from the QL decision­makers through an annual survey conducted over three years. My dissertation project was conducted between the first and second wave of survey data collection, July 2009 and June 2010, respectively. There are three primary constructs to the KIQNIC survey, social networking, decision­making, and implementation of innovations. The social networking construct measures connections between different organizations in the network. The decision­making construct measures how decisions to adopt innovations are made in the QLs and what factors are considered when making decisions to adopt innovations. The    50 decision­making construct was developed using the theory of planned behaviour, which estimates an individual’s intention to perform a particular behaviour (Ajzen, 1985).  The outcome measure for KIQNIC is the implementation of innovations measured using a summative score (range 0­23) of the 23 innovations (Appendix A). The list of innovations was developed by the KIQNIC workgroup and it includes both evidence­based (i.e., best practices) innovations from the literature, as well as practice­based innovations, which are referred to as ‘service norms’. At the request of the KIQNIC workgroup, the innovations are referred to as ‘new practices (innovations),’ instead of, ‘best practices (innovations)’ by the KIQNIC research team. For the implementation section of the online survey, respondents were asked to report their QL’s level of implementation for each of the 23 innovations on the list. Respondents were led through a skip pattern question that determined which stage of implementation the respondents’ QL was in for each innovation (Appendix B).    Results from the baseline KIQNIC survey demonstrated significant inconsistency in responses to the implementation section for respondents from the same organizations. For example, four different respondents from the same organization selected four different options for implementation level of the same innovation (e.g., aware, decided not to implement; aware, in discussion; and fully implemented). The inconsistency in responses supported my assumption that there was a sufficient lack of understanding of the phenomenon being studied to warrant an additional qualitative interpretive study that provided insight into the ‘black box’ of implementation of innovations in the QLs. Furthermore, the KIQNIC study was limited in that it applied a positivist approach and used only quantitative data to study the implementation phenomena. Thus, the    51 overarching purpose of my dissertation study is to build upon the KIQNIC study by further exploring the implementation of innovations in the QLs using qualitative data and a systems approach.  Complexity theory is the systems approach used to guide the study, which incorporates a mix of both positivist and interpretivist principles. As previously stated, this study is different from the KIQNIC study in that the goal is to observe, reflect and describe the phenomenon in a theory driven way, as opposed to trying to identify specific determinants of implementation and predict the system (Greenhalgh et al., 2010).  In this way, qualitative interpretivist findings can be added to the KIQNIC findings at a later date to create a more comprehensive understanding of the implementation phenomena. Although integration of the quantitative and qualitative findings is outside of the scope of this project, next steps after this study is completed can involve integration of the data in order to move the KIQNIC project towards a mixed­methods integrative approach.   Overview of the Innovation I chose to explore one innovation in greater depth and selected an innovation from the list of 23 innovations in the implementation section of the KIQNIC survey (appendix A). The innovation selected from the list was: “to evaluate the effectiveness of the QL.” This innovation was selected as the case based on discussions with my PhD committee and the Director of Research for NAQC. We decided that this innovation would be best to explore in more depth because it was of significant interest to NAQC and also because    52 of its level of complexity as an innovation. By this I mean that there were many factors involved in implementing this innovation.  The selected innovation (evaluating effectiveness of the QL) was of significant interest to NAQC members and one that NAQC had been investing effort and resources into implementing. One of NAQC’s main priorities was, and is still, to create and implement a standardized system for evaluating effectiveness of the QLs. This goal was considered important because it will enable the QL community to evaluate services and produce data that can be used to answer decision­makers questions to inform practice and policy decisions. Therefore by selecting this innovation to study, the dissertation project had the potential to produce results that could be used by NAQC to support their future evaluation endeavors. My understanding of the importance of this innovation to NAQC is based on my review of materials on the NAQC website and my discussions with NAQC’s Research Director. Of course, one of the limitations of this approach is that my understanding is based on information from a single person. I recognize that this innovation may not be of significant interest to all decision­makers in the QLs. A major step in progressing to this desired outcome was made in 2005, with the completion of the Minimal Data Set (MDS), which is a standardized data collection system for outcome data such as reach and quit rates. At the time of this study (2010), all of the QLs had implemented the MDS. Although the majority of the QLs collect MDS data, there has been no aggregation of the data at the QL network level. As mentioned in the CDC section above, aggregation of the MDS data for all American QLs will happen for the first time in 2011, as part of a mandate for the ARRA funding. The CDC will be collecting MDS data from these QLs and entering it into a common database that will be    53 made public. This process will begin in 2011 and will be the first time that American QL data of any type will be collected and entered at the aggregate level for the purpose of cross­QL comparisons. The MDS provides information at the QL level on the reach and quit rates, but it does not provide data to evaluate effectiveness or compare different service options (e.g., four counseling calls versus five counseling calls). As such, the MDS does not achieve NAQC’s ultimate goal, to collect standardized data from the QLs that can be used to create an evidence­based system and inform practice and policy decisions. Another effort to achieve this goal was made in 2007 when the National Cancer Institute (NCI) partnered with researchers from UCSD (California QL) to create a ‘data warehouse,’ a database that housed information on the QL services. These efforts were unsuccessful in part because many of the QLs were uneasy about providing information for the database for reasons not fully known to me.  No plans were described by any of the participants to include Canadian QL data in the CDC database. Also as previously mentioned, there is one primary evaluation contractor for the Canadian QLs located at the University of Waterloo. Although the data from these QLs is in a single database, there was no evidence to suggest that any cross­QL comparisons or aggregate analysis had ever been conducted using this data.  There are several characteristics of the selected innovation that make it challenging to study, but also valuable and applicable to many of the implementation challenges in public health. Similar to many of the innovations listed on the KIQNIC survey and to innovations in public health generally, the evaluation innovation lacks a clear definition and description of its components. Although evaluating effectiveness of QLs is designated a “best practice” by the CDC, there is no specific definition provided    54 in the KIQNIC survey (CDC, 2004). It is difficult to assess whether or not an innovation has been implemented successfully when that innovation has not been fully defined. Furthermore, the innovation of interest (evaluating effectiveness) is a small piece embedded within a much larger effort to create a system of evidence­based cessation services. Therefore, it is necessary to study the larger picture of systems change in order to understand implementation of this innovation.    As explained in the literature review different research designs and study methods provide various advantages and disadvantages to studying implementation problems. Studies such as Greenhalgh et al. (2010) have demonstrated the value of using qualitative data to answer questions on the meanings of innovations to stakeholders and the social and technical challenges of implementation. The recent studies that explicitly recognize the complexity of health service innovations, as well as the complexity of the systems, tend to favour mixed­methods that aim to observe and reflect, as opposed to quantify and replicate (Greenhalgh et al., 2010). The following chapter provides the detailed methods of the study that I used to address my research questions.      55 Chapter 4. Methods Chapter Overview The overarching goal of my study was to explore the implementation of the evaluation innovation in the QLs using a systems approach. I used a combination of inductive and deductive techniques to explore the phenomenon (Silverman, 2000). In this case, the phenomenon of interest was the implementation of the innovation, evaluating effectiveness in the QLs. To do this, I conducted 19 semi­structured interviews with decision­makers in the QL community and analyzed the interview transcripts using a thematic analysis (Braun & Clark, 2006).  This chapter provides a detailed description of my research methods, starting with a description of my researcher perspective, location, and role. I then provide details on ethical issues including obtaining consent, confidentiality, and risk status of the participant population. In the following section, I provide details describing the participant sample and the recruitment strategies used. Next, I outline the interview process including the activities that occurred both during and after the interviews with participants. Lastly, the methods are described for the data analysis process, specifically the thematic analysis methodology (Braun & Clark, 2006). The final section of the chapter addresses the quality of the study and the analysis.   Researcher Perspective, Location, & Role I mentioned briefly in chapter one that I started working on the KIQNIC project approximately six­months prior to starting my dissertation and that it was my interest in the implementation phenomenon that was the impetus for my research project. I had    56 initially been recruited to the KIQNIC project specifically to provide expertise and assist with measuring implementation. I noticed quickly that my perspective and epistemological grounding was different than some of the other researchers on the project and also different from the conceptual framing of the project. For example, one of the primary goals was to assess decision­making in the QLs as a mediator variable between network characteristics and implementation outcomes. For the numerous reasons highlighted in chapter one, I struggled with being able to identify a single mediator variable across such diverse QLs and innovations. Furthermore, the decision­making construct was being measured by the theory of planned behaviour, which is an individual behaviour change model (Ajzen, 1985) and from my perspective does not seem appropriate for assessing change in a complex system. The impetus for this project was the desire to explore the implementation phenomenon from a different research paradigm and epistemological grounding.     My epistemological grounding is a mix of approaches and methods, as the majority of my formal academic training has been in quantitative methods using a linear reductionist approach. Until my PhD program, the models of change that I used and was familiar with were primarily individual change models. However, I have also worked on several qualitative projects, starting with a nursing project during my Bachelors degree. I would not consider myself either a quantitative or qualitative researcher, but I have sufficient knowledge to work with both.  I had initially considered including both qualitative and quantitative data in my dissertation but decided to focus on just the qualitative approach for several reasons. The first is that I view this methodology as the most necessary for addressing my research    57 questions. The second reason is that I wanted to demonstrate the value in using a qualitative approach to study implementation phenomena. As previously mentioned, the KIQNIC study was already investing significant resources into the quantitative approach and there was no discussion of the need to add a qualitative component. I saw this as an opportunity to demonstrate the value in using a qualitative interpretivist approach to studying implementation and decided to focus entirely on this approach.  Furthermore, during my PhD program I have been studying systems thinking, particularly complexity science and have moved towards organizational and systems change models as opposed to individual change models. I also have a strong background in evaluation, with a personal bias towards conducting utilization­focused evaluation. This means that I consider the goal of evaluation to be utilization of results, which is achieved through collaborative efforts with stakeholders of the evaluation (Patton, 2008). Although this may sound obvious, the traditional approach to evaluation would suggest that the evaluator remain separate and objective from the ‘evaluand’ (evaluation term meaning target of the evaluation) and the stakeholders and does not emphasize utilization (Patton, 2002; Patton, 2008). I mention this because although the study is not an evaluation study per se, I am looking at an evaluation innovation and my approach to conducting evaluation will influence my interpretation of the data.  Because I had only been involved with the KIQNIC project for approximately six­months prior to starting my project, my knowledge of the QL network was limited. I was also an ‘outsider’ to the QL community and my position on the KIQNIC project was not sufficient for connecting with the QLs as this project was also outside the QL community. In order to get more insight into the QLs while developing my project, I    58 communicated extensively with the Research Director of NAQC who was also a member of the KIQNIC research team. She and I had numerous discussions about the focus of my project including what methods would be best to use and what innovation would be best to study. By ‘best methods’ I mean what would be acceptable to the participants and also most likely to provide useful information to NAQC. I considered these practical issues in conjunction with the potential for the study results to make a theoretical contribution to the literature. This individual was also involved in the interview guide development process and joined my PhD committee in reviewing and providing feedback on my early versions of the guide. She was particularly helpful with the language in the guide and ensuring that it was appropriate for the respondents. She was also the first person I interviewed for the study, as described in a later section of this chapter titled ‘participant sample.’   The dynamics between the participants and myself was different from any other project that I had worked on. This is because unlike past participant samples, this sample consisted of all professionals with high education levels (e.g., lowest was a bachelors degree). I did not feel the same potential power issues that I have experienced on other community­based research projects. This is not to suggest that there were no power dynamics between the participants and myself. The participants in many ways felt like my peers, or in some cases fellow academics and researchers. The majority had a graduate degree and were sympathetic to and supportive of graduate research projects. Also, because the interviews were conducted over the telephone both parties were blinded to each other’s age, gender and race/ethnicity. However, in some cases age approximation could be deduced and in the majority of the cases respondents were most    59 likely older than me. There were two participants that were clearly younger than the majority of the participants and closer to my age. Gender was also deduced and is included in the section below on interviewee sample.     Ethics  The study was approved by the University of British Columbia’s Behavioural Research Ethics Board. All participants were emailed an electronic version of the consent form during the initial email communication. They were also mailed a hardcopy of the consent form prior to the interview, along with a pre­stamped and addressed envelope to return the signed consent form back to me. The population of decision­makers was considered a “minimal risk” population as they were not vulnerable and the risk involved was part of their regular job function. It is possible that they may have felt coerced into participating or feared that refusal to participate in the study could jeopardize their job or relationship with the QL community. However, at no time did I sense the participants were participating out of coercion.    Although the participants were a minimal risk population, I was aware that some of the information that they shared was sensitive and could pose a risk if it was made public and linked to them. A few of the participants expressed some hesitation and concern regarding the information that they provided. I attempted to minimize the risk to participants in several ways. First, all participants were given the opportunity to review their interview transcript after the interview and were allowed to edit the transcript by deleting information, correcting information, and inserting additional information. Further details regarding the number of transcripts and the information that was edited    60 can be found in the post interview section below. A second strategy for protecting the participants was that I assigned the transcripts codes instead of putting interviewee names on the transcripts (e.g., KI­3 for the third key informant interview conducted). Lastly, all interviewees were invited to participate in a webinar session/focus group to discuss the results of the study. The details regarding the focus group process and participation are provided later in this chapter. Despite precautions taken to protect the confidentiality and anonymity of the participants there is still a risk that participants may be identified based on their quotations. It is also possible that by describing sample characteristics, others could incorrectly or correctly deduce whom the individuals were who participated in the interviews. The reason for providing participants with an opportunity to review the results was to ensure that nothing is published that will put them at risk or that they are uncomfortable with.   Interviewee Sample  In total, nineteen interviews were completed including two with NAQC, eight with service providers, seven with funders, one with CDC, and two with third party evaluation contractors (see table 1). Descriptions of these different organizations and actors are provided in chapter three. As described in chapter three, the system can be viewed as having different levels, including organization, state/province and federal, as well as different niches including research and funding. Together this sample of interviewees represents a mix of organizations, levels and niches in the system, and together they provide a range of perspectives on the implementation phenomenon.     61 Table 1. Interviewee Organization Sample Summary NAQC  Service Providers State Funders CDC  Evaluation contractors 2*  8  7  1  2 * One of the NAQC interviewees was also an evaluation contractor but is placed in the NAQC category because this is his/her current and dominant role  Table two provides a more detailed summary of the sample characteristics. The service provider and funder interviews together represented 24 of the 62 QLs. Two of the interviewees were from Canada and the remainder was from the U.S. The two Canadians that were interviewed were highly knowledgeable of the Canadian QLs. Interview number 17 was conducted with two participants from the same organization together. Both of these individuals had been recruited through the KIQNIC survey (described below) and emailed recruitment letters separately. They responded to my email collectively and requested to be interviewed together. They both had specific knowledge to answer different parts of the interview and together were able to address all of the topics in the interview guide (described later).         62 Table 2. Sample Characteristics by Interviewee  Interview  Recruitment Method Organization  Country  Gender  Educational Level Position KI­1  Elite interview  NAQC  US  F  Doctoral  Director of research KI­2  Snowball  CDC  US  F  Doctoral  Senior scientific advisor KI­3  KIQNIC survey Service provider (university) US  F  Doctoral  Assistant professor  KI­4  Snowball  Service provider (university) US  F  Masters   Project manager KI­5  KIQNIC survey Service provider  US  F  Masters   Director  KI­6  KIQNIC survey Service provider (university) US  F  Masters   Manager  KI­7  KIQNIC survey Service provider   US  M  Doctoral  Director  KI­8  KIQNIC survey Service provider  US  M  Bachelors  Program manager  KI­9  KIQNIC survey Funder/health department US  F  Masters  Cessation coordinator  KI­10  KIQNIC survey Service provider (university) US  M  Bachelors  Program director  KI­11  Snowball  NAQC & evaluation contractor Canada  F  Doctoral  Evaluator & associate professor KI­12  KIQNIC survey Funder/health department US  M  Bachelors  Project director  KI­13  Snowball  Evaluation contractor US  F  Doctoral  Program evaluator  KI­14  Snowball  Service provider (university) US  M  Masters  Director  KI­15  KIQNIC survey Funder/health department US  M  Masters  Tobacco cessation coordinator KI­16  KIQNIC survey Funder/health department US  F  Bachelors  Tobacco treatment specialist  KI­17  KIQNIC survey Funder/health Department US  F F 1) Bachelors 2) Masters 1) Tobacco cessation specialist 2) Director KI­18  Snowball  Evaluation contractor Canada  F  Masters  Manager  KI­19  KIQNIC survey Funder/health department US  M  Masters  Public health specialist     63 Recruitment & Data Collection  The following section provides details for the data collection process including the recruitment strategies used, the interview process, and the post interview activities. Participants were recruited via two different recruitment strategies: the KIQNIC survey (purposive sampling) and snowball sampling. The total number of interviewees was determined based on feasibility, data saturation, and number of individuals available to interview. Data saturation “refers to the point at which an investigator has obtained sufficient data to feel confident that an understanding of the phenomenon has been achieved” (Corring, 2004, p. 70). Although I felt that an understanding of the phenomenon had in fact been achieved, I do not believe that data saturation had been reached. Based on the systems theory presented in this study, there are numerous diverse perspectives across the QL system. By no means can 20 decision­makers provide the necessary information to reach saturation given the number of different perspectives in the system. For this reason, it seems improbable that data saturation can ever be reached in a system study such as this.  The final recruitment numbers from all sources is listed in table 2. Recruitment emails and letters were tailored as much as possible for each interviewee. This was partly to create an environment that suggested to the interviewees that they were not just another case in a sample of many and that their perspectives were valued. The sampling process was a combination of snowball and purposive sampling to recruit expert interviewees. An expert interviewee is an individual who has expertise on the particular topic of interest (Boeije, 2010). The first interview was an elite interview conducted with the Research Director of NAQC. An elite interview is slightly different from an expert    64 interview as it refers to someone that is either “high­ranking or well­known” and in this case the Research Director was well known in the QLs (Boeije, 2010, p. 63). The purpose of interviewing her first was to collect contextual information to help frame the problem of interest and to learn about the history of QLs and more specifically, evaluation in the QLs. A limitation of this approach is that the problem was framed initially from this elite interview. However, obtaining her assistance with the project was both necessary and invaluable as it enabled me to make the results more relevant to the participants and also provided me with the knowledge I needed to sufficiently understand the practice and context being studied to conduct the other interviews.   KIQNIC Survey Recruitment The purposive sampling technique was done using the KIQNIC survey. Purposive sampling is a non­probability sampling strategy where “each sample element is selected for a purpose, usually because of the unique position of the sample elements” (Schutt, 2006, p. 155). According to Macnee and McCabe (2008, p. 121) “a purposive sample consists of participants who are intentionally or purposefully selected because they have certain characteristics related to the purpose of the research.” In this approach, people who are knowledgeable of the targeted issue and represent specific perspectives are selected, but they are not intended to represent the larger population. According to Schutt (2006), the goal is to get adequate representation of the sample and situation and to sample until you have achieved saturation and completeness, meaning that no new information is being collected and an overall sense of the issue has been achieved. Macnee and McCabe (2008) suggest that a key strength of this approach is that the    65 researcher can obtain rich data by carefully choosing individuals to interview who are knowledgeable of the topic being studied. However, these authors also suggest that a major limitation is that a researcher may prematurely focus the data collection on a specific perspective or element and miss other broader information. For the purposive sampling, a question was added to the first wave of the KIQNIC survey conducted in July­August 2009. The principle investigator of KIQNIC, who is also one of my doctoral committee members, gave his approval for me to add the recruitment question to the survey. The question asked if the respondent would be interested in participating in a dissertation project to explore innovation implementation in the QLs. After the data from the first survey wave had been collected for the KIQNIC project all project team members were provided with an Excel file with the KIQNIC data in it. I extracted the cases that responded, “yes­interested,” to the recruitment question on the KIQNIC survey and put them into a tentative sample file. In addition to the recruitment question, I also had the following variables in the file: the QL and organization they worked for, the state/province of the QL, and their responses for the stage of implementation for the evaluation innovation (Appendix B).    There were a total of 276 decision­makers recruited for the KIQNIC survey and as illustrated in the consort table (see figure 3), 192 of them completed the survey and responded to the dissertation recruitment question on the survey. Of the 192 who responded 37 agreed to be interviewed, and these 37 individuals together completed 59 KIQNIC surveys, representing 50 QLs. As described in the context chapter, a QL consists of a funder organization and a service provider organization, and in some cases, there can be one service provider for multiple QLs. For example, the American Cancer Society    66 (ACS) was the service provider for 10 of the QLs in the network. One of the decision­makers for the ACS completed 10 versions of the KIQNIC survey, one for each QL that they provided service to.   Figure 3. Consort Table  I realize that 37 out of a potential 192 respondents is a low response rate and it would have been ideal to follow­up with those who chose not to participate. However, I could not follow­up with these 155 decision­makers because I did not have their contact information since only those that responded ‘yes’ to the recruitment question provided their contact emails. Based on lessons learned from the KIQNIC study, I suspect that part of the reason for the low response rate is that this population already participates in a considerable amount of research and may be suffering from research fatigue. Given that they were being recruited through a research survey that was fairly lengthy, they were Number of potential intervieweesLevel of implementation(N= QLs)Response to recruitment  survey questionNumber that responded to the recruitment question on the KIQNIC surveyInitial number of decision makers recruited for KIQNIC survey276192 Responded137 No37 Yes1Not aware1Aware & in discussion2Low Level 1High level145Fully 3284 N/A   67 probably not inclined to volunteer for yet another study. Also anecdotally, I have noticed a lack of enthusiasm for research in this population because they do not always see the benefit of it.  Of the 50 QLs represented, four were excluded due to having responded on the KIQNIC survey that their QL was at a low level of implementation for the innovation (i.e., evaluation of effectiveness). Only respondents who responded with either ‘fully implemented’ or ‘high level of implementation’ on the KIQNIC implementation question for the case innovation were included in the final sample population. This decision was made based on the advice of my PhD committee with the intention to focus the study. The rationale for this decision was that it was already necessary to have multiple interview scripts due to variation in the interviewees (e.g., funder versus service provider) and having QLs at too many levels of implementation would have made it difficult to draw comparisons across interviews and QLs. Of the remaining 46 QLs, one responded that they were at a ‘high level’ of implementation and the others reported to be ‘fully implemented.’ There were a total of 33 decision­makers who completed the KIQNIC survey for the sample of 46 QLs and these were considered the final sample of potential interviewees from the KIQNIC survey.  Nine of the 33 key informants were from service provider organizations (defined in chapter three), which together represented 21 of the QLs. One of these individuals did not complete the contact information on the KIQNIC survey question and therefore could not be reached. In addition, between the time of the KIQNIC survey and interviews for this project being conducted, two of the 33 key informants left the QLs. One of the    68 decision­makers worked for the American Cancer Society (ACS), which ended its service provider contracts in December 2009 and the majority of its employees were let go.  All the individuals in the initial KIQNIC recruitment sample were emailed recruitment emails (Appendix C). The invites were sent out in waves over a three­month period. The order of the invites was made based on characteristics of the individuals and information learned from previous interviews. I selected the first five individuals based on my perceived expectation that they would be able to provide information to inform the history and context of the innovation and the QLs. My objective was to get a better understanding of the innovation and context that I was exploring.  There were 19 individuals identified through the KIQNIC survey who were sent recruitment emails but were not interviewed. Of the 19, only one individual responded to confirm that he/she was not interested in participating. One individual forwarded the recruitment email to a staff member. Two emails bounced back as incorrect email addresses. The remaining 15 individuals did not respond to the recruitment emails. There was also an interview conducted with two individuals together from the same organization. Both of these individuals had been identified through the KIQNIC survey and requested to be interviewed together when they responded to my recruitment email. A second follow­up email was sent approximately one month after the first recruitment email was sent. In total, thirteen of the original 32 individuals identified through the KIQNIC survey were interviewed. And as described above, two of those thirteen were interviewed together, making a total of twelve interviews conducted through KIQNIC survey recruitment.      69 Snowball Sampling Recruitment “A sampling procedure may be defined as snowball sampling when the researcher accesses informants through contact information that is provided by other informants” (Noy, 2008, p. 329). Snowball sampling is the most widely used sampling method in qualitative research and there are many advantages and also some disadvantages to this recruitment approach (Noy, 2008). An advantage suggested by Offredy and Vickers (2010, p. 139) that is relevant to this study is that “it can be an effective strategy for the identification of participants who are able to provide important insights, knowledge, understanding and information about the experience or event that is the focus of the research”. However, there are also disadvantages to this approach as in my study informants often suggested other informants that they had a close working relationship and with whom they may have shared similar perspectives. Since snowball sampling “relies on and partakes in the dynamics of natural and organic social networks,” it was difficult to recruit from outside the informants’ social network using this approach (Noy, 2008, p. 329). It is possible that individuals in the same network may have similar experiences and values and I need to be careful not to assume that they represent all individuals in the network.   Each interviewee was asked for recommendations for individuals to interview who were knowledgeable of the topic. If they had someone to suggest, then I would send a recruitment email to the interviewee to forward on to the potential interviewee identified in the interview. The potential interviewee would then contact me via email to schedule an interview. Attempts to recruit individuals recommended for an interview by another interviewee were made for all those recommended. All individuals who responded    70 positively to the recruitment email were scheduled for an interview. In total, six individuals identified through snowball sampling were successfully interviewed. Only one of these individuals was nominated by the initial elite interview.    Another challenge to the snowball sampling approach was that I had the initial informant send a recruitment email (provided by me) to the snowball informant and left the onus of contacting me with the snowball informant. This approach proved to be problematic as only four of the 16 individuals sent snowball recruitment emails responded to the email and contacted me to participate. Also as previously mentioned, the decision­makers are asked to participate in a lot of research and it is possible that they opted not to participate because of research fatigue and/or being too busy with their jobs.   In the remaining two cases, I directly contacted individuals who were identified with snowball sampling, but did not respond to a forwarded recruitment email. In both cases, I was aware of the individual and their role in the QLs through documents published on the NAQC website. Both of these individuals were viewed as critical to interview because they were highly involved with evaluation activities in the QLs. I used email addresses that were posted publicly on the Internet to send recruitment email letters to them and both individuals responded positively and were subsequently interviewed for the study.   Interviews   The primary source of data collection was interviews with decision­makers from the QL network representing different parts of the system, including organizations, levels and niches of the system. Fontana and Frey (2005, p. 697) suggest that “interviewing is    71 one of the most common and powerful ways in which we try to understand our fellow humans.” Interviews can take multiple forms such as structured, unstructured, and semi­structured interviews. Fontana and Frey (2005) also suggest that interviewing is a subjective process rather than a neutral data­gathering tool and that the data obtained from interviews is a mutually developed story that is bounded in history, politics, and culture. Interviews for this study were semi­structured to ensure that key information was covered and to provide flexibility to allow participants to provide additional insights unknown to the interviewer and to pursue some tangential matters (Hakim, 2000).    Participants were scheduled for interviews after they had received and signed the informed consent. The interview was scheduled via email communication at a time that was convenient for the participant. The duration of the interviews ranged between 45­80 minutes in length and were conducted via Skype, an online communication tool, and recorded using ‘Call Recorder for Skype.’ I called the participants from my computer using Skype to their telephone so it was not possible to use two­way video conferencing. Although video would have been nice so that we could have visual contact, it would have required that all of the participants have computers with Skype software, microphone, and a video camera. Skype video conferencing is also problematic as it reduces the quality of the call and requires a strong Internet connection. For these reasons I decided to have the interviewees participate in the interview from their phone and did not use the Skype video option. With this format the quality of the calls was very good with only minimal incidents of not being able hear each other.    A limitation of the study is that I did not ask participants to complete a demographic survey prior to the interview. However, the first section of the interview    72 was descriptive questions (Neuman, 2006) including questions related their role and experience with the QLs. I also obtained their educational information via email signature and other documents, as well as made inferences regarding their gender.    At the time of the interview, I called the participant and began the interview, by asking if he/she had any questions about the study or the consent form. I answered any questions the participant had and informed the participant that the interview would be recorded. In hindsight, I should have asked for the participants’ permission to record instead of informing them that they would be recorded, but none of the participants objected to being recorded. Next, I provided a brief overview of the study and then proceeded with the interview questions. I had developed an interview guide for different actor groups in the system based on the implementation and systems literature, as well as the research questions (Appendix D). I shared the interview guides with the Research Director of NAQC and my committee members and revised them based on the feedback provided. The interview scripts had to be tailored for different actor groups because the same questions would not be appropriate for everyone, as they varied on several key characteristics. For example, some individuals represented service providers and others funders. Some worked with only one QL, whereas others worked with multiple QLs. An example of how I tailored the interview script is that I asked interviewees from service providers and health departments (QL organizations) about their QL funding source, but I did not ask this question of the CDC interviewee because it would not make sense to do so. I also tailored the interview questions based on the individual interviewee’s characteristics. Tailoring interview guides for specific respondents and situations is a    73 typical characteristic of field interviews (Neuman, 2006). For example, if the interviewee had a lot of experience and involvement in the broader QL network, then I would pursue questions about the QL network. However, if the interviewee’s experiences were limited to their individual QL, then I would not ask questions about broader network issues. Although there was variation in which questions were asked and how they were asked exactly, there were consistent topic sections across all of the interviews. I had topic issues that I wanted to cover and had developed a list of questions for each issue or topic.  Below is a list of the topics in the interview script and samples of the questions under each topic issue (see table 3). I did not link exact interview questions with a specific research question because information from a single question could provide insights into both specific factors influencing implementation (question 1) and also patterns in the system (question 2) when combined with other information. For the most part, the background topic area provided background information on the topic and the other questions addressed research questions one and two. Although this distinction was sometimes blurred depending on the information provided by the interviewees. The third research question was not linked specifically to any of the interview questions and instead was addressed through the interpretation and discussion of the findings.    74 Table 3. Interview Questions & Topic Areas Topic Area  Sample Interview Questions Background  Can you describe your organization and QL? What is your role in the QL? What is your experience with evaluation? Funding  What are the sources of funding for your QL? How stable has this funding been over the years of operation? Are there any expectations or mandates for evaluation with this funding? Interviewees’ perspective of the innovation What does it mean to evaluate effectiveness?  What is the goal of evaluating effectiveness?  What does it mean to “fully implement” this innovation?  Description of evaluation in their QL Who conducts the evaluation for your QL?  How are decisions about evaluation made in your QL?  What type of evaluation is conducted at your QL and organization? How are the evaluation results used? What are barriers to your QL evaluating effectiveness?  Why did your QL start conducting evaluations? QL changes over time How has evaluation in your QL changed over time?   Why did these changes occur?  QL Relationships  Does your QL share information about evaluation with other QLs?  How would you describe the relationship between your organization and your partner organizations (e.g., service provider, evaluation contractor)? Evaluation in the broader network  How has evaluation in the QL network changed over time?   How can evaluation in the QL network be improved?  What are some of the differences across QLs that influence evaluation?  The interview was characteristic of a field interview and not a survey interview in that I posed open­ended questions, allowed joint control over the pace and direction of the interview between myself and the respondent, and showed interest in responses and encouraged elaboration (Neuman, 2006). Similar to Chase's (2003) instructions for conducting interviews, I developed a detailed script and spent significant time revising it and working on the flow of the questions, but then with the exception of the first section of the interview guide, I did not follow the order exactly. Instead, I responded to the natural flow of the conversation and worked with the information being provided by the    75 interviewee, as opposed to trying to force him/her into following the order of questions on the pre­structured interview script. Respondents would often inadvertently address topics from sections later in the interview guide while answering an open­ended question near the beginning of the guide. I listened to the respondents and made notes of things to follow­up on with them later in the interview once I had an opportunity to interject without interrupting the respondent’s speech or thoughts.  I allowed the respondent to jointly manage the pace and direction of the interview, although making sure that all topics in the interview guide were addressed (Neuman, 2006). There were very few times when it was necessary to bring the interviewee back to the interview topic and the majority of them were talkative and required little or no prompting to share information. There were two interviewees who answered questions with a couple of sentences and required more coaxing to elaborate on their responses. Out of respect for the participants’ time I attempted to be diligent with keeping to the one­hour time limit. In a couple of cases the participants insisted on continuing past the hour mark, providing assurance that it was not problem for them. Overall the participants’ response to the study was very positive. Several participants expressed a desire to contribute to understanding the problem under examination. There was also very little difficulty with the scheduling of the interviews as only one had to be rescheduled.  I also adjusted my language to be appropriate for different respondents, which is typical of a semi­structured interview process and is a way to “approach the world from the subject’s perspective” (Berg, 2009, p. 107). For example, when interviewing the two respondents from evaluation contracting organizations and the two NAQC interviewees (table 1), I used specific evaluation terminology such as “process” and “outcome    76 evaluation,” in response to their usage of this terminology in the interview. I did not use such formal evaluation terminology with all participants as many of them would not be familiar with this terminology and did not use it themselves.  There were several incidents where interviewees hesitated in stating a thought, mentioning that he/she maybe should not share this information or were concerned they were sharing too much information with an outsider. In these cases, I reassured them that they would be given an opportunity to review the transcript and to remove any statements that they were uncomfortable with after the interview. Five of interviewees made changes to their transcripts, which is described in greater detail in the following section titled “post­interview”.    A limitation of the study was that the interviews were conducted over the phone and “telephone interviews lack face­to­face nonverbal cues that researchers use to pace their interviews and to determine the direction to move in” (Berg, 2009, p. 122). Although all of the participants were in their offices for the interview and there was no background noise or distractions during any of the interviews, I still felt a little bit disconnected from them. I could not see the body language or pick up on any nonverbal cues and this made it more difficult to connect with them. However, telephone interviews were necessary due to the geographical constraints on the study.   Post Interview Procedure   Interviewees were given a five­dollar gift certificate to Starbucks in return for their participation. The gift certificate was mailed directly to them immediately upon completion of the interview. The interview recordings were converted from movie files    77 into MP3 files and saved under a file name that corresponded with the interview number (e.g., KI­3). The MP3 files were sent to a professional transcription company where they were transcribed verbatim and saved as a Word document with the same file name as the corresponding MP3 file. The primary advantage of using a professional transcription company as opposed to transcribing them myself is that it required less of my time. The disadvantages of this approach is that it reduced my familiarity with the data, increased risks with respect to maintaining confidentiality of the data, and increased risk of errors in the transcription. I minimized the last risk by checking the transcripts for accuracy before being saved as the final transcript document. This activity also helped to familiarize myself with the data. I reviewed the transcripts within two to seven days after completing the interviews, cross­referencing potential errors with the audio recording of the interview and correcting any errors in the transcript. I minimized the risk to confidentiality by not including their name on the file, although their first name is stated in the interview.    Participants were contacted once the transcript was ready and asked if they wanted to review it. If they did, it was emailed to them in Microsoft Word. They were also asked to make any requests for changes to the transcript within two weeks and to highlight requested changes by using the track changes feature when reviewing the document. Interviewees were invited to edit the transcript by deleting information, correcting information, and inserting additional information. Twelve of the interviewees opted to review their transcript and five of those made changes to it. The majority of the changes were additions of information that the participant thought of after the interview and a few removed information they were uncomfortable sharing. All changes were tracked so that    78 I could see and document the changes. I considered all the deletions of information to be benign and non­threatening to the integrity of the data in any way. For example, one participant deleted a comment where she/he had remarked on a colleague’s age, in that they “had been around forever.” Final transcripts, with participant modifications were saved and then converted into text files. The text files were uploaded into NVIVO version 8 (a qualitative software analysis program) for analysis.  Data Analysis & Interpretation The data analysis and interpretation of the data was conducted through an iterative process of coding, decision­making, and interpreting. I used the thematic analysis approach described by Braun and Clark (2006) which “is a method for identifying, analysis and reporting patterns (themes) within data. It minimally organizes and describes your data set in (rich) detail” (Braun & Clark, 2006, p. 79). I used this approach because it was flexible and it allowed me to see patterns in my data (Braun & Clark, 2006). In this approach, analysis of free flowing text is done in large blocks or chunks of texts (Ryan & Bernard, 2000). The unit of analysis is the chunks of text that reflect a single theme which is a “...patterned response or meaning within the dataset” (Braun & Clark, 2006, p. 82). “Themes are abstract (and often fuzzy) constructs that investigators identify before, during, and after data collection” (Ryan & Bernard, 2000, p. 780). Sources of themes include the literature, the scientists’ own experiences with the subject matter, and the text itself. Braun and Clark (2006) provided six phases for thematic analysis which I generally followed: 1) familiarize yourself with your data, 2) generate initial codes, 3) search for themes, 4) review themes, 5) define and name themes, and 6) produce the report.     79  Coding Coding refers to the analysis of the transcripts, it is a process of dissecting and differentiating the data in a meaningful way, while also combining and keeping the relations between the parts intact while reflecting on the information provided (Flick, 2006). Coding is a data reduction process (Flick, 2006) and interpretation occurs throughout the coding process (Ryan & Bernard, 2000).  The coding was done in chunks of data large enough to capture the essence of the interviewee’s point. In some cases, a chunk of data may have had multiple codes which helped to identify overlap between different coding categories. The transcripts were read and coded in NVIVO. I read the first five transcripts several times, attempting to code them while keeping in mind the systems literature. I tried different approaches to coding the data that would capture the information being communicated by the participants from a systems approach.  At one point during the process of developing themes the information coming from the data reminded me of a systems change framework that I had read previously. The systems change framework developed by Foster­Fishman et al. (2007) provides four broad system element categories that they consider essential for achieving systems change: system norms, system resources, system regulations, and system operations. The framework elements are sufficiently broad that they cannot provide specific information for different systems and innovations, however the framework does provide a useful heuristic to guide systems thinking. I decided to use the framework as a heuristic and considered this a strength of the study as it allowed me to contribute to building on other    80 systems change work in the literature. This framework works well because it was developed based on the organizational change and systems thinking literature, which is consistent with the theoretical approach of my study. This is the deductive part of my analysis. I also reflected on a list of questions provided by Foster­Fishman et al. (2007) to help think through the relevance of the various system elements to systems change. Again, the questions are broad and not appropriate for all systems but are useful for prompting reflexive thinking during the analysis. I used both inductive and deductive approaches to identify the themes and subthemes. For example, the Foster­Fishman et al. (2007) framework presents three types of system resources ­ human, social, and economic. I used these resources as themes because they corresponded to what interviewees had to say and then inductively drew further subthemes from the data such as “designated staff’ under the human resources theme. In this way, the analysis helped to flesh out the original framework based on the case under examination. I developed the final codebook through an iterative process of reading, coding, revising, and refining the codes. After I had coded a group of transcripts, I would create a coding report through NVIVO which consisted of all the coded information for each theme. The coded information was copied and pasted into a word document that had all the themes and subthemes with the coded information under them. I reviewed the document multiple times and re­organized the information as patterns were identified. I adjusted and refined the codes along the way, as I read additional transcripts, and other trends and patterns started to emerge. The codebook was modified and revised in this iterative manner until I had an empirically based list of final codes that was a good fit for the data. While developing the codebook I also developed and refined definitions for the    81 codes. The final codebook and definitions were then used to code all 19 transcripts (see appendix E). I then drafted the results chapters and got feedback from my committee members on the findings and made revisions to the write­up based on their feedback. Four months later I analyzed the transcripts a second time using the codebook and with consideration of the revisions that had been made to the write­up of the results. I compared the results of the second analysis to the first and found that results were consistent across both analyses. There were slight differences in the tallies for the number of participants that had identified each theme. This is primarily because the transcripts had a lot of information and not all of it was captured in the