Open Collections

UBC Theses and Dissertations

UBC Theses Logo

UBC Theses and Dissertations

A qualitative systems approach to studying innovation implementation in an inter-organizational smoking.. Terpstra, Jennifer Lynn 2011

You don't seem to have a PDF reader installed, try download the pdf

Item Metadata

Download

Media
[if-you-see-this-DO-NOT-CLICK]
ubc_2011_spring_terpstra_jennifer.pdf [ 1.39MB ]
Metadata
JSON: 1.0071765.json
JSON-LD: 1.0071765+ld.json
RDF/XML (Pretty): 1.0071765.xml
RDF/JSON: 1.0071765+rdf.json
Turtle: 1.0071765+rdf-turtle.txt
N-Triples: 1.0071765+rdf-ntriples.txt
Original Record: 1.0071765 +original-record.json
Full Text
1.0071765.txt
Citation
1.0071765.ris

Full Text

A Qualitative Systems Approach to Studying Innovation Implementation in an  Inter­Organizational Smoking Cessation Network    by    Jennifer Lynn Terpstra    B.A., The University of Lethbridge, 2000  M.P.H., San Diego State University, 2005        A THESIS SUBMITTED IN PARTIAL FULFILLMENT  OF THE REQUIREMENTS FOR THE DEGREE OF    DOCTOR OF PHILOSOPHY      in      The Faculty of Graduate Studies    (Interdisciplinary Studies)        THE UNIVERSITY OF BRITISH COLUMBIA  (Vancouver)     April 2011    © Jennifer Lynn Terpstra, 2011       Abstract  The overarching purpose of this study was to explore the implementation of an innovation in  the North American quitline network using qualitative data and a systems approach. The  innovation chosen to explore in more depth was evaluating effectiveness of the tobacco  cessation quitlines. The three research questions guiding the study were 1) What are the  factors influencing implementation of the innovation, 2) How do system structure and  dynamics impact implementation of the innovation, and 3) What strategies can be used to  achieve successful implementation of the innovation. To answer the research questions, 19  semi­structured interviews were conducted with decision­makers in the quitline network. The  interview data were analyzed using a thematic analysis technique and a systems change  framework from the literature. The findings suggest that there were a broad range of factors  influencing implementation of the innovation at multiple levels of the system. The findings  also provide insights into how differences in quitline structure and system dynamics  influenced implementation of the innovation. Lastly, these findings were used to identify  potential strategies and provide recommendations to improve future implementation efforts  in the quitline network.         ii   Preface    This study was approved by the Human Ethics Board at the University of British Columbia.  The ethics certificate number provided by the Human Ethics Board for this study is H09­ 01651.        iii   Table of Contents    Abstract .............................................................................................................................................................. ii  Preface ............................................................................................................................................................... iii  Table of Contents .......................................................................................................................................... iv  List of Tables ................................................................................................................................................ viii  List of Figures ................................................................................................................................................. ix  Acknowledgements ....................................................................................................................................... x  Dedication ........................................................................................................................................................ xi  Chapter 1. Introduction ............................................................................................................................... 1  Chapter Overview ....................................................................................................................................... 1  Study Rationale ........................................................................................................................................... 2  Study Purpose & Research Questions ................................................................................................... 5  Dissertation Outline .................................................................................................................................... 6  Chapter 2. Literature Review .................................................................................................................... 8  Chapter Overview ....................................................................................................................................... 8  Knowledge Translation & Evidence­Based Practices ...................................................................... 8  Implementation ......................................................................................................................................... 10  Approaches to Implementation ............................................................................................................ 12  Systems Change ....................................................................................................................................... 15  Complexity of Evaluation Innovations .............................................................................................. 18  Systems Thinking..................................................................................................................................... 20  Complexity Science as a Theoretical Approach for Systems Change ...................................... 22  Principles of Complex Systems ...................................................................................................... 23  Robustness ........................................................................................................................................ 24  Interconnectedness ......................................................................................................................... 25  Nonlinearity ..................................................................................................................................... 27  Feedback Loops .............................................................................................................................. 28  Self­Organizing ............................................................................................................................... 29  Leverage Points ............................................................................................................................... 30  Summary..................................................................................................................................................... 32  Chapter 3. Context ...................................................................................................................................... 34  Chapter Overview .................................................................................................................................... 34  Tobacco Use & Cessation ..................................................................................................................... 34  North American QLs ............................................................................................................................... 35  Structure & Characteristics of the QL Network ......................................................................... 36  Decision­Makers ............................................................................................................................. 38  Service Providers ............................................................................................................................ 38  State Funders ................................................................................................................................... 40  Canadian QL Funders ................................................................................................................... 40  Evaluation Contractors ................................................................................................................. 41  Centers for Disease Control and Prevention ........................................................................... 42  NAQC ................................................................................................................................................ 42  QL Funding ...................................................................................................................................... 43  The QL System ......................................................................................................................................... 44      iv   Innovations in the QLs ........................................................................................................................... 47  Implementing Evidence­Based Innovations..................................................................................... 47  Knowledge Integration in QLs: Networks that Improve Cessation (KIQNIC) ..................... 48  Overview of the Innovation .................................................................................................................. 51  Chapter 4. Methods .................................................................................................................................... 55  Chapter Overview .................................................................................................................................... 55  Researcher Perspective, Location, & Role ....................................................................................... 55  Ethics ........................................................................................................................................................... 59  Interviewee Sample ................................................................................................................................. 60  Recruitment & Data Collection ........................................................................................................... 63  KIQNIC Survey Recruitment .......................................................................................................... 64  Snowball Sampling Recruitment .................................................................................................... 69  Interviews ................................................................................................................................................... 70  Post Interview Procedure ....................................................................................................................... 76  Data Analysis & Interpretation ............................................................................................................ 78  Coding .................................................................................................................................................... 79  Interpretation & Writing Up the Results for the Thematic Analysis ................................... 81  Webinar Focus Group to Discuss Study Results ............................................................................ 82  Judging the Quality of Qualitative Data ............................................................................................ 86  Summary..................................................................................................................................................... 89  Chapter 5. Normative Elements ............................................................................................................ 91  Chapter Overview .................................................................................................................................... 91  Definitions of the Innovation ................................................................................................................ 92  Goals of Evaluating Effectiveness ...................................................................................................... 93  Justification for Funding as the Driver to Evaluate Effectiveness ............................................. 97  Relationship between Evaluation & QL Operations ...................................................................... 99  Conducting Meaningful Utilization­Focused Evaluation ........................................................... 101  Aggregation of Evaluation Data & Fear of Cross­QL Comparisons ...................................... 106  Summary................................................................................................................................................... 110  Chapter 6. System Resources ............................................................................................................... 112  Chapter Overview .................................................................................................................................. 112  Human Resources .................................................................................................................................. 113  Skills & Knowledge ......................................................................................................................... 114  Designated Staff for Evaluation .................................................................................................... 115  Social Resources .................................................................................................................................... 117  Relationship 1: QL to QL ............................................................................................................... 118  Relationship 2: NAQC, CDC & the QLs ................................................................................... 120  Relationship 3: Service Providers & Funders ........................................................................... 123  Relationship 4: QL with the State ................................................................................................ 127  Relationship 5: QL & Third Party Evaluation Contractors ................................................... 131  Economic Resources & Opportunities ............................................................................................. 134  Cost of Evaluation ............................................................................................................................. 135  Funding Arrangements .................................................................................................................... 137  Summary................................................................................................................................................... 138  Chapter 7. System Regulations & Operations ................................................................................ 140  Chapter Overview .................................................................................................................................. 140     v   System Regulations ............................................................................................................................... 141  Funding Mandate to Conduct Evaluation................................................................................... 141  Mandate to Collect MDS Data ...................................................................................................... 142  System Operations: Power & Decision­Making ........................................................................... 143  NAQC ................................................................................................................................................... 144  Conformity & Inclusion ............................................................................................................. 145  Federal Government & CDC ......................................................................................................... 146  State Funders ...................................................................................................................................... 148  Service Providers ............................................................................................................................... 151  Information & Resources ................................................................................................................ 152  Ownership of the Data ................................................................................................................ 153  Type of Data Collected ............................................................................................................... 156  Summary................................................................................................................................................... 158  Chapter 8. Discussion .............................................................................................................................. 161  Chapter Overview .................................................................................................................................. 161  Research Question 1 .............................................................................................................................. 163  Research Question 2 .............................................................................................................................. 166  Dynamic Complexity ....................................................................................................................... 167  Structural Differences Across QLs .............................................................................................. 169  Summary of the Findings .................................................................................................................... 170  Research Question 3 .............................................................................................................................. 174  Simple Rules as Strategies for Achieving Implementation .................................................. 175  Simple Rule 1: Promote Organizational & Network Learning ....................................... 177  Simple Rule 2: Build Partnerships & Increase Information Flow.................................. 179  Leverage Points as Strategies for Achieving Implementation ............................................. 181  Leverage Point 1 ........................................................................................................................... 181  Leverage Point 2 ........................................................................................................................... 183  Summary................................................................................................................................................... 184  Chapter 9. Conclusions & Recommendations ................................................................................ 186  Chapter Overview .................................................................................................................................. 186  Lessons Learned ..................................................................................................................................... 186  Lesson 1: Application of a Systems Approach ......................................................................... 186  Lesson 2: Engaging Study Participants ...................................................................................... 187  Lesson 3: Systems Thinking .......................................................................................................... 188  Contributions of the Study .................................................................................................................. 191  Contribution 1: Example of Systems Thinking Application ................................................ 191  Contribution 2: Providing a Qualitative Approach to the KIQNIC Study ....................... 192  Contribution 3: Humanizing the Data ......................................................................................... 194  Contribution 4: Insight into Systems Change & Implementation ....................................... 195  Contribution 5: Addition of Subthemes to the Systems Change Framework .................. 197  Study Strengths ....................................................................................................................................... 197  Study Limitations ................................................................................................................................... 198  Recommendations for Practitioners .................................................................................................. 200  Recommendation 1: Application of a Systems Approach to Implementation ................ 200  Recommendation 2: Reduce Evaluation & Resource Fragmentation in the System ..... 204  Recommendation 3: Strive for a Paradigm Shift Toward Innovation ............................... 205     vi   Recommendations for Future Research ........................................................................................... 206  References ................................................................................................................................................... 212  Appendices .................................................................................................................................................. 226  Appendix A. KIQNIC Survey List of Innovations ...................................................................... 226  Appendix B. KIQNIC Survey Implementation Stage Question ............................................... 227  Appendix C. Example of Recruitment Email ................................................................................ 228  Appendix D. Interview Script ............................................................................................................ 229  Appendix E. Final Codebook ............................................................................................................. 233  Appendix F. Focus Group Invitation ................................................................................................ 235          vii   List of Tables  Table 1. Interviewee Organization Sample Summary ............................................................ 61  Table 2. Sample Characteristics by Interviewee ................................................................... 622  Table 3. Interview Questions & Topic Areas ......................................................................... 74  Table 4. Participant Identified Subthemes Relevant to Goals of the Evaluation Innovation . 94  Table 5. Participant Identified Subthemes for Utilization, Aggregation, & Fear of QL  Comparisons ................................................................................................................. 103  Table 6. Participant Identified Human Resources ................................................................ 113  Table 7. Participant Identified Relationship Resources ........................................................ 118  Table 8. Participant Identified Economic Resource ............................................................. 135  Table 9. Participant Identified Mandate Subthemes ............................................................. 141  Table 10. Participant Identified Power Subthemes ............................................................... 144  Table 11. Participant Identified Information & Resources Subthemes ................................ 153        viii   List of Figures  Figure 1. Different Quitline Structure Possibilities ................................................................ 38  Figure 2. Description of the QL System ................................................................................. 46  Figure 3. Consort Table .......................................................................................................... 66  Figure 4. Summary of the Findings ...................................................................................... 173          ix   Acknowledgements  There are many people that have helped me to reach this point, and I thank them all. In  particular, I would like to thank my committee members for their guidance over the last five  years. Thanks to Allan for introducing me to the world of systems thinking, for always  treating me with the respect of a colleague, and for encouraging me to think big. Thanks to  Chris for her encouragement and mentorship in evaluation. Thanks to Scott for inviting me to  join the KIQNIC team and for providing the financial support for this project. And thanks to  Wendy for her diligent editing, guidance through the world of qualitative research, and for  teaching me to recognize and question the underlying assumptions of my research. I would  also like to thank my family and friends for their ongoing support throughout my academic  career. I would especially like to thank my mother for always believing in me. Lastly and  most importantly, I’d like to thank my husband for being the most amazing partner  throughout the entire process, without whose unconditional support and encouragement this  would not have been possible.       x   Dedication           To my husband, Chad.             xi        Chapter 1. Introduction  Chapter Overview  In recent years, the need to close the gap between research and practice in public  health has become increasingly apparent because all too often, critical evidence produced  by research fails to be implemented into public health practice and lessons learned from  current practice are not always incorporated into new public health research (Davies,  Nutley, & Walter, 2005). Despite efforts and resources dedicated to knowledge  translation (KT) in public health, this gap “remains a substantial obstacle to improving  the quality of health care” (AHRQ, 2001, p.1). Over the last five decades our  understanding and conceptualization of the KT process has evolved from a linear,  reductionist type approach to a systems approach (Best, Hiatt, & Norma, 2008). A  systems approach contrasts with the linear approach in that it recognizes the complexity  of both the innovation and the system and considers the network of interdependencies  influencing the KT process. A systems approach also acknowledges the context­ innovation interaction as a key element to successful KT.     A systems approach provides an alternative paradigm that requires different   models and methodologies but can in return produce unique findings and insights to  understanding implementation problems. A reductionist approach to implementation  attempts to reduce the phenomenon to the smallest parts possible, studying it at a  subsystem level. The reductionist approach is a mechanistic view that assumes that the  individual parts of the system can be studied separately to understand and predict the  properties and behaviours of the whole.       1        In contrast, a systems approach assumes that properties can emerge at the macro  level that cannot be identified or explained at the subsystem level, or from the sum of the  parts. Emergence is a key distinction between systems science and reductionism. An  example that illustrates this distinction is a human being. One could study the subparts  (e.g., heart, brain, muscles) but this would not be the same as looking at the whole  person. Even in systems where it is feasible to study every subpart, this would still not  provide an understanding of the emergent properties and behaviours at the macro level.   Systems science is a broad area of study and there are many streams within the  systems field. Complexity science is a relatively new area of study within systems  science that provides specific principles to help guide a systems approach to studying  social phenomenon (Flood, 2010). The purpose of this study was to contribute to  studying implementation phenomena by adding a qualitative systems approach to a larger  positivist quantitative study. This study applies a systems approach and specifically uses  complexity science as the underlying theoretical tool.     Study Rationale  My dissertation project was developed based on a larger study funded by the  National Institutes of Health (NIH) titled Knowledge Integration in Quitlines: Networks  that Improve Cessation (KIQNIC). A primary goal of KIQNIC is to assess how decision­ making is a moderator for network characteristics and implementation outcomes in  quitlines (QLs). The implementation outcome variable is measured as a summative score  of 23 innovations in the QLs. Further details regarding the KIQNIC study and the  innovations are provided in chapter three (context). A QL is a telephone­based cessation      2        service that has been shown to be effective in helping people who want to quit using  tobacco (Zhu et al., 2002). QLs offer telephone support primarily through counselling,  information, and self­help materials. The number of states and provinces in North  America offering QL services for smokers and other tobacco­users has increased  exponentially in the last decade. Currently, there are QLs available in all ten provinces in  Canada and all 50 states, plus the District of Columbia and Puerto Rico in the United  States (U.S.).   KIQNIC researchers have been collecting quantitative data from the QLs through  an annual survey conducted over three years. My dissertation project was conducted  between the first and second wave of survey data collection, July 2009 and June 2010,  respectively. I participated as a collaborator on the KIQNIC project for approximately  one year, assisting with various aspects of the research and became interested in the  implementation part of the project. Specifically, I became interested in how different  methodological approaches to studying the phenomenon could confirm or yield different  findings and insights.   Although KIQNIC is using social network analysis (SNA), which is a systems  approach, it is based primarily on a positivist paradigm and is collecting only quantitative  survey data. For example, one of the objectives of the study is to identify mediator  variables for implementation that are reproducible across innovations. The value of this  type of research approach is contested by some researchers who argue that because of the  “complexity of the innovation, the dynamic and contingent nature of the implementation  process, and the shifting environmental context (political, economic, technological),  complex service level innovations are inherently unpredictable and that the search for      3        reproducible "effect sizes," "mediators," and "moderators" is likely to prove fruitless”  (Greenhalgh et al., 2008, p.2). An alternative approach is to observe, reflect, and describe  the phenomenon using theory, as opposed to trying to identify specific determinants of  implementation and predict the system (Greenhalgh et al., 2010).   Implementation of innovations is an iterative process with complex  interdependencies in the social system and it has been argued that understanding it  requires both qualitative and quantitative methods (Greenhalgh et al., 2010). Qualitative  data provide a different perspective on the problem and can complement quantitative  data. According to Easterby­Smith, Lyles and Tsang (2008), qualitative methods are  better when describing how things change over time and for investigating processes of  knowledge transfer, whereas quantitative studies have been better at capturing what is  happening at a single point in time.   Qualitative research has many definitions, but a key difference between  quantitative and qualitative research is that the latter is naturalistic, meaning the  researcher studies the phenomenon in its natural setting and is part of the world by  interpreting and making sense of the phenomenon based on the meanings provided by  social actors (Denzin & Lincoln, 2005). Denzin and Lincoln (2005, p.10) also suggest  that qualitative research emphasizes social experiences and meanings, while quantitative  emphasizes “measurement and causal relationships between variables, not processes.”  Furthermore, qualitative research is well suited to hypothesis generation, whereas  quantitative research is better suited to hypothesis testing (W.K. Kellogg Foundation,  2007).       4        Given the characteristics of the system and the implementation process described  above, a systems approach, particularly complexity science, provides a solid theoretical  grounding for this study. A system refers to “a set of elements interrelated among  themselves and within the environment” (National Cancer Institute, 2007, p. 14). The QL  system includes the QL organizations and the actors, as well as less obvious system  elements such as policies, culture, and incentives. A more detailed description of the QL  system is provided in chapter three. The QL network is a complex adaptive system,  meaning that there are a multitude of interconnected parts that are constantly interacting  and adapting over time (Holland, 1992). The innovations in the QLs are also high in  complexity and successful implementation is often contingent upon simultaneous  changes in various system parts. The fluidity and complexity of the system and  innovations makes a strictly positivist approach inappropriate because it is not possible to  predict the system outcomes or to reproduce the results. The specific theoretical approach  driving this dissertation study is complexity science, which integrates elements of  interpretivist and positivist approaches and will be described in greater detail in chapter  two (the literature review).     Study Purpose & Research Questions  The overarching purpose of my study was to build upon the positivist quantitative  KIQNIC study by exploring the implementation of an innovation in the QLs using  qualitative data and a systems approach based on complexity science. Although I will not  be integrating the qualitative and quantitative data in my study, the qualitative data could  be combined with the KIQNIC findings at a later date to move towards a mixed­methods      5        integrative approach. A single innovation was identified from the list of innovations  included in the implementation section of the KIQNIC survey (Appendix A). The  innovation “to conduct an evaluation of the effectiveness of the QL,” was selected  because of a high level of interest in the innovation and the potential for the findings to  have practical implications for the QLs. Greater detail regarding the innovation selection  process is provided in chapter three. The implementation of this innovation was explored  using qualitative data collected via nineteen interviews with decision­makers in the QL  community. This study was guided by the following research questions:   Question 1: What are the factors influencing implementation of the innovation?  Question 2: How do system structure and dynamics impact implementation of the  innovation?  Question 3: What strategies can be used to achieve successful implementation of  the innovation?     Dissertation Outline  This dissertation consists of nine chapters that together present a comprehensive  overview of the literature, the study, and the subsequent findings. Chapter one provides a  brief overview of the dissertation, including the research questions and the impetus  behind it. Chapter two provides a review of the literature presented in a flow of logic  leading from KT and evidence­based practices, through implementation, and concluding  with an argument for the system approach. I also provide an overview of key complex  system principles, which is the theoretical lens applied to my study. Chapter three  provides the context of the study including an overview of tobacco related health      6        mortality and morbidity, a description of the North American QLs, the KIQNIC project,  and the innovation studied in this project. The fourth chapter presents my research  methods and provides a detailed account of the process of the study including my  researcher role and perspective, the study design and methods, ethics, and key decisions  made throughout the study. Chapters five, six and seven cover the findings of the study  from the thematic analysis. Specifically, in chapter five, I present the normative elements,  chapter six is the system resources, and chapter seven is the system regulations and  operations. The eighth chapter is the discussion where I reflect on the findings in the  context of the literature review and address how the results answer the three research  questions. Chapter nine is the final conclusion chapter where I describe the theoretical,  methodological, and practical contributions of the study, present lessons learned as well  as recommendations for practice and research, and strengths and limitations of the study.       7        Chapter 2. Literature Review  Chapter Overview  In this chapter, I present the relevant areas of the literature that formed the basis  for the theoretical grounding and rationale for my study. I begin by describing the  connection between evidence­based practice (EBP) and implementation, followed by an  overview of the implementation literature including definitions of the concept, challenges  of the field, and the shift from a focus on linear reductionist models to a systems  approach to implementation. I conclude the chapter by describing the systems change  field including systems thinking followed by an overview of complex systems principles  and their relevance to this implementation study. It is important to understand key  complex systems principles, as this was the theoretical approach used to frame the study  and analyze the results.      Knowledge Translation & Evidence­Based Practices   Evidence­based practice is a priority topic in tobacco control, as well as other  areas of public health (AHRQ, 2001). The general consensus is that the utilization of  evidence in practice will increase effectiveness and quality of public health practice. As  such, significant research efforts have been directed towards understanding how to  translate evidence from research to practice (Greenhalgh, Glenn, Bate, Macfarlane, &  Kyriakidou, 2005). The last five decades have witnessed an evolution in the KT field  whereby linear models have been replaced by relationship models and most recently by  systems models (Best et al., 2008). A landmark study conducted by Rogers (1995)  developed the diffusion of innovations theory, which has been a foundation of knowledge      8        for future work exploring the translation of evidence to practice. However, Roger’s  diffusion of innovation theory and much of the early work in the KT field has approached  the problem from a linear lens (Best et al., 2008). With this approach, KT is  conceptualized as a one­directional process where evidence is produced by researchers  and passed onto practitioners to implement into practice. This approach does not account  for the potential context­innovation interaction or the dynamic complexity of the  innovation and the system.      Recent definitions of KT reflect this evolved understanding of it as “a process that   takes place within a complex system of interactions between researchers and knowledge  users” (CIHR, 2005, p. 1). The Canadian Institutes of Health (CIHR) define KT as “a  dynamic and iterative process that includes synthesis, dissemination, exchange and  ethically­sound application of knowledge to improve the health of Canadians, provide  more effective health services and products and strengthen the health care system”(CIHR,  2005, p. 1). CIHR also uses the term Knowledge­to­Action (KTA) and has adopted a  specific action cycle or process. The addition of the ‘action’ part of KT is reflective of the  increased understanding that evidence is not automatically taken up in practice once it  has been ‘translated’ or disseminated to practice settings (Graham et al., 2006). “The  action part of the process can be thought of as a cycle leading to implementation or  application” (CIHR, 2005, p. 1). This term emphasizes the need for active efforts for  implementation once an innovation has been diffused and disseminated.         9        Implementation   The recognition of the need for active efforts to implement innovations after  successful dissemination and diffusion has spurred the field of implementation sciences.  Implementation science is the “investigation of methods, interventions (strategies), and  variables to influence adoption of evidence­based healthcare practices by individuals and  organizations to improve clinical and operational decision making, and includes testing  the effectiveness of interventions to promote and sustain use of evidence­based  healthcare practices” (Titler, Everett, & Adams, 2007, p. S53).   Until recently, there has been a dearth of implementation literature to draw from  and the little available, which overlaps with change management and organizational  development, is complex in that there are no clear solutions provided to achieve  implementation success (Greenhalgh et al., 2005). However, the implementation field has  taken root within the last decade, as is evident by the creation of the open access journal  specifically for implementation research (Eccles & Mittman, 2006). Despite the advent of  the implementation journal and increased funding in this area, there are still many  challenges to this field. A primary one is that it lacks a common language and is  dispersed across numerous different disciplines. For example, the management and policy  literatures refer to innovation implementation and organizational change, the educational  literature refers to transformative change, and the health research literature refers to  research utilization, implementation, knowledge exchange, and knowledge translation  often as synonymous concepts.   Furthermore, implementation as a term can refer to both an outcome and a  process. Implementation has been defined as “the early usage activities that often follow      10        the adoption decision” (Meyers, Sivakumar, & Nakata, 1999, p. 295). It has also been  defined as a process by Timmreck (1997, p. 328) that encompasses “the act of converting  planning, goals, and objectives into action through administrative structure, management  activities, policies, procedures, and regulations, and organizational actions of new  programs.” This definition describes the necessary activities that take place in order to  successfully implement an innovation. Institutionalization and sustainability are terms  that denote a high level of implementation in which an innovation has been integrated  into the organizational functioning or routine use (Stetler, Ritchie, Rycroft­Malone,  Schultz & Charns, 2009). Although implementation and institutionalization are  technically different, they are often used interchangeably in the literature.  Implementation of innovations requires organizational change to occur and as  such overlaps significantly with the organizational change and management literatures  (Moss, 1983; Shortell, 1981). In the health sciences, the term ‘practice’ is used, whereas  the management literature more commonly uses the term ‘innovation’. Innovations can  be products with distinct boundaries, but they can also be less tangible entities such as  practices, policies, or processes that are new to an organization. The KIQNIC project uses  the term ‘practice,’ although the list of practices could also be referred to as innovations  as they are a mix of practices, policies, and processes that are relatively new to the QLs.  In fact, the majority of the relevant literature would use the term ‘innovations.’  Evaluating effectiveness of the QLs could be considered an innovation because it is a  relatively new practice in the QL system. Furthermore, there is a new ‘policy’ in the QL  system for all QLs to be conducting evaluation and using a standardized evaluation  framework. The practice of evaluating effectiveness in the QL system has not yet been      11        successfully institutionalized. This means that evaluating effectiveness as a practice has  not yet been successfully taken up into routine practice and become part of regular daily  functioning in the QLs. Therefore the terms practice, policy, and innovation are all  appropriate concepts for describing evaluating effectiveness in the QLs. From this point  forward, I will primarily use the term innovation in reference to the practice of evaluating  effectiveness in the QLs.  Attempts at innovation implementation are often unsuccessful and the reasons  why some innovations are successfully institutionalized and others are not is unclear  (Repenning, 2002). As such, understanding determinants of successful implementation  has become a topic of significant interest in the innovation and implementation literature.      Approaches to Implementation  There exist two distinct methodological approaches for studying organizational  change and implementation in the literature: 1) the traditional variance approach (e.g.,  predictive linear models), and 2) a process narrative approach (e.g., ethnographies) (Van  de Ven & Poole, 2005). The majority of organizational change and implementation  studies use the traditional variance method with a few applying the process narrative.  Even fewer apply a mix of approaches, despite studies that have demonstrated the  advantage of an integrative approach (Saberwhal & Robey, 1995; Poole & Van de Ven,  1989).   The different scientific approaches (i.e., variance versus process) are reflected in  the different types of implementation models in the literature. According to Marble  (2000), there are two types of implementation models, the positivist and interpretivist      12        models. A positivist position “assumes an external and knowable reality that can be  objectively measured, an impartial researcher, and the possibility of producing  generalizable statements about the behaviours of the natural and social world”  (Greenhalgh, Potts, Wong, Bark, & Swinglehurst, 2009, p. 734). In contrast, an  interpretivist position “assumes a socially constructed reality that is never objectively or  unproblematically knowable and a researcher whose identity and values are inevitably  implicated in the research process” (Greenhalgh et al., 2009, p. 734). The scientific  approach used to study the phenomenon will determine the potential findings that can be  obtained.   Many of the implementation models in the literature fit into Marble’s positivist  school (Greenhalgh et al., 2005). Greenhalgh et al. (2005. p.178) suggest that the  positivist models have “in common the notion that the implementation process occurs as  a sequence of stages that can be planned and controlled, and that planning, controlling  and evaluating against predefined success criteria is the key to implementation.” An  example of a staged and controlled approach to implementation is provided by Graham et  al. (2006) in their implementation cycle model. This model does provide some  consideration of the need for iteration in the implementation process, as is evident by the  fact that the model is circular and not linear. However, it is still a specific, controlled,  step­by­step process for implementation.   Implementation research from a positivist approach also applies a mechanistic  approach, assuming that it can be dissected into individual determinants that can be  studied independently and assessed for their impact on implementation (e.g., adopter  skills and type of evidence). This approach assumes that an ideal combination of these      13        factors can be identified and generalized to different settings and innovations. The  problem with the examination of only specific factors or determinants of change (i.e., a  reductionist approach) is that it ignores the interdependencies of the factors/agents and  the dynamic complexities of the phenomenon that arises from the interactions (Sterman,  2000). Some researchers suggest that the rationale approach to implementing innovations  in health services lies at the root of many of the failed attempts to introduce new  innovations because it neglects the complexity of the phenomenon (Fonesca, 2001; Plsek  & Greenhalgh, 2001). In fact, studies that have attempted to develop a universal formula  for successful implementation have been largely inconsistent. For example, one study  may find that receptive culture for change is a necessary determinant, whereas another  study may find it has no significant influence on the implementation outcomes. The  inconsistency in determinants is often attributed to the differences in contextual  conditions across settings (Kitson et al., 1998). Another problem with many of the  implementation studies using the traditional variance approach is that they assume that  the factors/determinants are fixed, when in fact they are dynamic (Bucknall, 2007). For  example, Bucknall (2007) describes how models for decision­making in research  utilization assume that the environment is static, when in fact it is constantly changing. In  Bucknall’s study, the behaviours of clinicians varied across time depending on the  characteristics of the context at particular points in time.   In contrast, an interpretivist approach to implementation assumes that  implementation is not a staged and controlled process, but rather occurs as a result of  “social interaction, exchange of ideas, and mutual sense­making” (Greenhalgh et al.,  2005, p. 177). In this approach, context and social processes are considered to be central      14        to knowledge production and utilization (Dopson & Fitzgerald, 2005). Determinants of  successful implementation are highly contextual and interact in complex ways, which is  why it is not possible to generalize results from one implementation study to another  although patterns in the data may be similar if the contexts under examination are also  similar (Plsek, 2003). Plsek (2003) suggests that it is in large part because of context  interaction that there can be no universal formula for successful implementation.  Furthermore, because of the interdependencies in the system it is not possible to study the  problem in a ‘strict’ mechanistic way. Instead, it is ideal to consider the whole system  including both mechanistic components and the dynamic context interaction. The  acceptance of a whole system, or a systems change approach to implementation, is  growing in the implementation field and researchers are beginning to explicitly state the  need for a systems change approach to implementation (Kitson, 2009). Aligned with this  approach, the evaluation innovation in the QL system requires systems change in order  for it to be fully implemented and institutionalized to the point of sustainability, which  has yet to be achieved. The following section describes the meaning of systems change  and why systems change is needed for full implementation and institutionalization of the  evaluation innovation.     Systems Change   Implementation and institutionalization of an innovation is essentially a process of  change. The difficulty in achieving change is directly related to the dynamic complexity  of both the innovation and the system (Greenhalgh et al., 2005). Foster­Fishman, Nowell,  and Yang (2007) suggest that a systems change approach is needed when a problem is      15        deeply embedded in a system’s dominant norms and other system structures and parts.  Systems change refers to a fundamental shift in the nature of the system and substantial  changes to the structural, relational makeup of a system (Hirsch, Levine, & Miller, 2007).  Systems change also requires consideration of contextual factors as an active component  in the process (Suppovitz & Snyder, 2005; Netting, O'Connor & Fauri, 2007). There are  numerous different contexts and the systems change agents must identify the most  important contexts to consider. For example, the social, cultural, and political contexts  are all important to consider when planning systems change (Kreger, Brindis, Manuel, &  Sassoubre, 2007). The need to consider multiple contexts as active agents is yet another  reason why it is not possible to develop one universal model for implementation or  systems change.    It is also necessary to consider the principles underlying the system in order to  achieve it. To assist with this process, Foster­Fishman et al. (2007) developed a  framework for assessing and creating systems change based on organizational change and  systems thinking literature. According to them (2007, p. 201), systems change requires  three considerations: “1) understanding different perspectives concerning the problem  situation; 2) locating root causes to systemic problems by identifying system parts and  their patterns of interdependency that explain the status quo; and 3) using this  information to identify leverage points that will cultivate second­order change.” The  authors also note that systems change requires changes to deep structures of the system,  such as normative elements (e.g., attitudes, values, expectations) as well as other system  elements such as system resources (e.g., human, social, economic capital), regulations  (e.g., policies and procedures) and operations (e.g., decision­making structures), which      16        are the root causes of the system problems. The goal when using this framework is to  look at these system parts across levels, niches, organizations, and actors to determine  differences between system parts or interactions that create patterns in the system. The  patterns can be used to identify leverage points that can shift the system towards the  desired state.  Despite Foster­Fishman’s framework for assessing and creating systems change,  achieving it remains difficult. One of the main reasons is a paucity of literature to guide  such efforts. In fact, Greenhalgh et al. (2005) identified only one large­scale program  (Riley, Taylor, & Elliott, 2001) that was designed around a whole systems approach in  their comprehensive review of the literature. Thus, it is not surprising that scientists  trained in the linear, reductionist approach have difficulty moving toward a whole  systems approach to implementation because it requires a different type of thinking. This  is clear in that a traditional change approach focuses heavily on specific actors or parts in  the system; whereas, systems change requires consideration of the patterns in the system,  which are created by the interactions between actors and system parts (Olson, Eoyang,  Beckhard, & Vaill, 2001).   Qualitative data have been used in recent systems change studies and have  demonstrated ‘added value’ to a strictly quantitative approach. Qualitative data can be  used to answer research questions pertaining to what the innovation meant to the  stakeholders, as well as the social and technical challenges involved (Greenhalgh et al.,  2010). In a recent qualitative study by Greenhalgh et al. (2009), the authors showed that  there is no simple recipe for systems change because contexts are complex and rapidly  changing.      17        In another recent systems change study, Greenhalgh et al. (2010) used a mix of  qualitative and quantitative methods to show that challenges to implementing a  technology innovation were complex interdependencies of both social and technical  nature. Together these studies provide evidence for the innovation­context interaction and  the inherent complexity of the implementation process. The researchers suggest that for  numerous reasons, it was not ideal to use a strictly positivist approach that involved pre­ post comparisons or identification of linear causal relationships. For example, there was a  dynamic local context and wider policy environment that was influencing the systems  change process (Greenhalgh et al., 2009). Due to the dynamic complexity of both the  system and the innovation, a mixed­methods integrative approach would be ideal for  studying the systems change process. Similarly, the QL system and evaluation innovation  are also high in dynamic complexity. Therefore, adding a qualitative component that  complements the existing quantitative data being collected by KIQNIC allows for  movement toward the ideal approach for studying systems change.     Complexity of Evaluation Innovations  Successful implementation is a result of both the innovation and system  characteristics (Greenhalgh et al., 2005). Thus far, I have focused on the importance of  examining system characteristics for successful implementation. However, it is also  important to consider the characteristics of the innovation in terms of implementation  because not all innovations are equal. Specifically, “the more complex the innovation, the  more iterative, complex and multidirectional will be the implementation process”  (Greenhalgh et al., 2005, p. 175).       18           Institutionalization becomes increasingly more difficult when the innovation lacks   clearly defined boundaries and when the implementation target is complex. For example,  implementing a hand­washing protocol for physicians in a hospital is less complex than  implementing an evaluation policy in a diverse network of organizations with  decentralized decision­making. In the hand­washing example, the innovation can be  easily defined and agreed upon by the different stakeholders and there is likely only one  governing body with the authority to make the decision to implement the policy. In the  evaluation example, the implementation process is more difficult because there are many  stakeholders involved with different opinions on the policy. Although both examples  require consideration of the context and barriers to implementation, the evaluation policy  example often requires systems change in order to achieve successful institutionalization.  Evaluation innovations inherently have a high degree of dynamic complexity. In  order for evaluation results to be used, it is necessary to involve members in the  evaluation process and to include a process of reflection and adaptation to ensure that the  evaluation is relevant and useful (Patton, 2002; Patton, 2008). As a result,  institutionalizing evaluation innovations usually requires substantial changes to the  system itself. Also, successful institutionalization often requires changes to multiple parts  of the system. Because of the high degree of dynamic complexity of both the evaluation  innovation and the QL system, institutionalization of the evaluation innovation requires  systems change, which in turn requires systems thinking.         19        Systems Thinking   Systems are defined as bounded entities with interdependent parts, where the  whole is greater than the sum of the parts (Stacey, 1996). In the context of systems  change, a system refers to, “a set of actors, activities, and settings that are directly or  indirectly perceived to have influence in or be affected by a given problem situation”  (Foster­Fishman et al., 2007, p. 198). Innovation implementation is viewed very  differently from a systems thinking approach relative to a reductionist approach. From a  systems approach, innovation is seen as an emergent phenomenon, resulting from  underlying patterns of interactions between the actors and system parts (Fonesca, 2001).  The systems approach recognizes the dynamic complexity and interdependency of both  the innovation and the system (Fonesca, 2001).   To further understand the meaning of a systems approach to studying  implementation, consider the example of the hand­washing protocol described in a  previous section. Reductionism usually assumes that the best approach is to simplify the  phenomenon by reducing down to the smallest components possible, to study it at the  subsystem level, and abstract the independent parts from the rest of the system. The  assumption in this approach is that the individual parts can be studied independently in  order to understand the whole. As such, a reductionist approach to implementing a hand­ washing protocol for physicians in a hospital may include an intervention (e.g.,  presentation) to increase the physicians’ knowledge of, and attitudes towards, disease  spread through physician­patient contact.         20        In contrast, the systems approach is more ecological in nature as it would view the  physician as embedded in the organization, which is embedded in the larger socio­ political system, and all of these levels are constantly interacting. A systems approach  would recognize the interdependencies in the system and consider those that are  influencing the physicians’ behaviours. A systems approach would consider the political  and institutional context, the relationships between different actors, and also the physical  environment of the hospital. An intervention from a systems approach would not just  address the physicians’ attitudes and knowledge. It may consider physician knowledge as  one aspect in addition to factors at the organizational and socio­political level (e.g.,  organization culture, physician training, hospital scheduling policies, incentives, physical  layout of hospital, nurse­physician relationships, etc.). An intervention from a systems  approach would likely intervene at multiple parts and levels of the system. For example,  interventions might include the physician presentation, placement of antibacterial lotion  above each patient’s bed, and implementation of a reward policy that incentivizes  physicians to wash their hands between each patient visit. In order to create a hospital  culture that emphasizes hand washing the intervention might also target other  stakeholders in the hospital such as the administrators and nurses. Another aspect of a  systems approach is consideration of unintended consequences. Because of the  interconnectivity of system parts, changes in one part of a system will result in changes in  other parts of the system. For example, providing a financial incentive to physicians for  hand washing could result in resentment from other hospital medical staff and a culture in  the hospital that is driven by monetary gains over patient welfare.       21        Systems thinking aims to capture these interdependencies between different levels  and parts of the system to better understand how an innovation can be implemented.  Systems thinking also recognizes that there are different types of systems, such as simple  systems, open/closed systems, and complex systems; each with different principles  guiding the system’s behaviour. I will describe complex systems in more detail below as  it is this type of system that best characterizes the QL system.      Complexity Science as a Theoretical Approach for Systems Change  Complexity science is a branch of systems science that looks specifically at the  behaviour of complex systems (Zimmerman, 2001). From this approach, a system is  viewed as a living organism and as such is seen to have behaviours. A complex system is  a network of interdependencies that is constantly adapting, learning, and changing over  time (Cilliers, 1998). Complex systems operate based on unique principles and  characteristics that guide the system’s behaviour. The majority of implementation  problems in the health area are located within complex systems (Plsek, 2001). As such, it  is important to understand complexity principles in order to change the system.    Complexity science can be used as a theoretical grounding and conceptual  framework for guiding implementation and systems change case studies (Anderson,  Crabtree, Steele, & McDaniel, 2005). Complexity science is viewed as a new type of  science that incorporates elements of both positivism and interpretivism (Vogel, 2009).  For example, similar to interpretivism, it emphasizes context, integration of information  across different perspectives, and does not aim for reproducibility or predictability of  specific outcomes. However, similar to the positivist approach, it assumes that there are      22        identifiable causal relationships that create patterns in the system, albeit the relationships  are viewed as nonlinear. As previously mentioned, an integrative approach has been  shown to have an advantage over a strictly interpretivist or positivist approach in  implementation and organizational change studies (Saberwhal & Robey, 1995; Poole &  Van de Ven, 1989).   Although the current study is qualitative and interpretivist, it is intended to  complement the KIQNIC study which uses a positivist quantitative approach. By using  complexity science as a theoretical approach, the results of this study can be incorporated  into the KIQNIC study findings at a later date to create an integrative mix­methods study  of systems change and implementation. Furthermore, the use of theory in implementation  research has been inadequate and there is a need for more theory (Cummings et al., 2007;  Grimshaw et al., 2004). Complexity science has been shown to be useful for studying the  implementation of evidence­based practices and systems change (Murphy­Smith, 2004)  and is therefore the theoretical approach used to frame this study. The Foster­Fishman  (2007) framework was developed based on the organizational change and systems  thinking literature specifically to guide systems change efforts.      Principles of Complex Systems   As previously mentioned, complexity science makes the application of systems  thinking easier (Flood, 2010). Complexity science provides specific principles to help  understand the behaviours of a social system. The purpose of the following section is to  describe key complex systems principles as well as how they are related to systems  change for innovation implementation. The goal of this study is not to test complexity      23        science or to assess the complexity of the QL system. The impetus for describing the  complexity principles is to be explicit about the assumptions underlying the research  paradigm with respect to the system’s behaviour. It should be noted that a combination of  both interpretivist (e.g., change via acting on relationships) and positivist (e.g., causal  feedback loops) approaches are demonstrated throughout the description of complexity  principles. The assumptions underlying the research paradigm of this study include that  the QL system is robust, has a multitude of dynamic interconnections between parts, and  has nonlinear causal relationships that create feedback loops in the system. These  underlying assumptions of the QL system’s behaviour are described in greater detail  below.    Robustness   One characteristic of complex systems is that they are thought to be robust and  resistant to change (Carlson & Doyle, 2002). Robustness refers to “the maintenance of  some desired system characteristics despite fluctuations in the behaviours of its  component parts or its environment” (Carlson & Doyle, 2002, p. 2539). Perturbations in  complex systems may cause upset initially, but the system will quickly re­organize back  to its initial state of equilibrium. This characteristic is important in the context of systems  change because it helps to explain why many change efforts have little effect or success.  Complex systems have an internal structure and patterns that maintain the status quo or  equilibrium (Carlson & Doyle, 2002). In order to achieve systems change, it is important  to understand all aspects of the system that are contributing to maintaining the status quo  such as structures, relationships, and perspectives (Behrens & Foster­Fishman, 2007).       24          Interconnectedness  Part of what makes complex systems so robust and resistant to change is the  interconnectedness of the system (The National Academies Keck Futures Initiatives,  2009). Complex systems have inter­linkages between components that are dynamic so  that change in one system component affects other components. There are a couple of  pertinent implications for this principle of interconnectedness, one is related to robustness  and the other to nonlinearity.   In terms of robustness, if a change intervention is directed to one component of  the system, it may change that one component momentarily. However, because of the  inter­linkages in the system that one component is being ‘pushed’ on by many other  system components. If change has only been made in that one component and the rest of  the system is still in the initial state, then the rest of the system will ‘push’ the changed  component back to its initial state. Take, for example, an attempt to shift a healthcare  organization from a focus on treating disease to a focus on health promotion and disease  prevention. One intervention that has been advocated for is having health practitioners  (e.g., primary care physicians) provide counseling to patients on positive lifestyle  modification (Egede & Zheng, 2002). Although the intervention may succeed in  educating the physicians and changing their values so that they will want to counsel the  patients on healthy lifestyle changes, this single intervention is unlikely to be successful  if done alone. The problem is that other components of the system are not congruent with  this change. That is, if lifestyle counseling is not on the reimbursement schedule, then  physicians will not likely do it even if they believe it is important (Sesselberg, Klein,      25        O'Connor, & Johnson, 2010). Another example of push back could be if a pharmaceutical  company has been visiting physicians marketing a new blood pressure drug and  providing free samples, then the physicians may be more likely to give the drug to a  patient with high blood pressure (Vancelik, Beyhun, Acemoglu, & Calikoglu, 2007). The  problem is further compounded by the fact that physicians perceive a major barrier to be  the patients’ unwillingness to change their lifestyle in order to reduce risk factors  (Jallinoja et al., 2007). The perceived patient’s unwillingness then interacts with  pharmaceutical marketing to reinforce the physician’s choice to treat the patient with a  drug instead of lifestyle counseling. This example illustrates why targeting change in one  component of the system is unlikely to achieve success.     In order to achieve change in a complex system, it is necessary to have parallel  mechanisms for change across different parts and aspects of the system. It is critical that  any systems change planning and evaluation efforts consider the coherence and  alignment of system components (Suppovitz & Snyder, 2005). The solutions, or change  interventions, must be interdependent in the same way that the system is interdependent  (Janzen, Nelson, Hausfather, & Ochocka, 2007). Incongruence between parts of the  change efforts, or between different system components, will increase the likelihood that  the change efforts will fail. For example, if decision­makers in a health system are  advocating a shift towards health promotion, but they do not make healthy lifestyle  counseling a billable treatment for physicians, then this incongruence between change  goals and current policies will cause resistance to change. Similarly, if physicians are  receiving compensation or “kick­backs” from pharmaceutical companies, then this will      26        also create resistance to changing the system towards the desired shift to health  promotion.     Nonlinearity  The other important implication of interconnectedness of the system is the  principle of nonlinearity. Complex systems are nonlinear systems, which in technical  terms means that the input is not necessarily equal to the output (Willy, Neugebauer, &  Gerngroß, 2003). In this case, a very small input (i.e., an intervention) could result in a  massive output (i.e., change), and conversely, a very large input could result in little to no  output (Eoyang, 1998).   The key characteristic that allows for this phenomenon to occur is that variables  can be both a cause and an effect of specific phenomena in a nonlinear system. In a linear  system, it is assumed that a variable is either a cause or an effect; it is never both  simultaneously. In a nonlinear system, cause and effect relationships are distal, not so  obvious or easy to identify and include variables that are a cause and an effect  simultaneously. An example of a linear relationship is the relationship between the gene  for Huntington’s disease and an individual getting the disease. In this example, the gene  is the cause and the disease is the effect, and the gene cannot also be the effect in the  relationship. However, linear relationships such as this are rare in implementation and  social systems. More common are nonlinear reciprocal relationships. For example, the  relationship between expectations and perceptions is nonlinear because expectation has a  causal effect on perceptions, and perceptions in turn can have a causal effect on      27        expectations. In this way, both variables in the model are both a cause and an effect in the  relationship. It is because of this nonlinearity that outcomes can be greatly amplified.   Nonlinearity is an important concept for systems change for several reasons. For  one, nonlinearity can cause unintended consequences in the change efforts. Change in the  targeted component can cause a chain reaction of changes that can ultimately come back  around and affect the original targeted component. The unintended consequences can  result in amplifying or dampening of the desired outcome in the targeted component and  it can also create completely different changes in the system. It is not possible to predict  exact outcomes in complex nonlinear systems because there are too many extraneous  variables that cannot be controlled for (Eoyang, 1998). Instead, it is important to identify  the interdependencies in the system and think through the potential non­linear  relationships when trying to change the system.     Feedback Loops  Another reason why interconnectedness and nonlinearity are important for  systems change is because these principles create feedback loops which are at the heart of  systems thinking and are critical for systems change. They are a result of nonlinearity in  the system, which allows a variable to be both a cause and an effect at the same time  (Sterman, 2000). According to system dynamics theory, all complex systems are made up  of two kinds of feedback loops: positive (i.e., self­reinforcing) and negative (i.e., self­ correcting) (Sterman, 2000). The terms ‘positive’ and ‘negative’ are not value laden in  this context, they only refer to amplifying (positive) or dampening (negative) an initial  condition. An example of a negative feedback loop is a thermostat that corrects the      28        temperature by changing the initial condition, such as the heat coming from the heater.  An example of a positive feedback loop is the broken windows paradigm  (i.e., when a  neighbourhood has abandoned buildings with broken windows it encourages the  vandalism of other buildings) (Foster­Fishman et al., 2007). In this case, the broken  windows can amplify the initial condition of vandalism. Also, variables can be part of  multiple feedback loops, which increases the dynamic complexity of the system (Hirsch  et al., 2007). Foster­Fishman et al. (2007) instruct systems change agents using their  framework to identify key feedback loops influencing the systems change.   System thinking assumes that the system’s behaviour is a result of the underlying  feedback mechanisms and that it is necessary to understand both the behaviours and the  feedback mechanisms (Hirsch et al., 2007). A complex system adapts and changes over  time because it learns and all learning depends on feedback loops. One strategy for  systems change is to consider existing feedback loops in the system, as well as develop  new feedback loops that help achieve the desired outcome.      Self­Organizing     The object of change in a complex systems approach is on influencing the   interactions and exchanges in the system in order to alter the path of self­organizing  (W.K. Kellogg Foundation, 2007). Self­organization is defined as the process “whereby  new emergent structures, patterns and properties arise without being externally imposed  on the system” (Zimmerman, 2001, p. 270). Although the system is complex, there are  patterns of interaction that can provide cues for interventions. Patterns in the system  emerge over time as a result of these interactions and adaptations within the system. In      29        addition, agents in a system are constantly learning and adapting as a result of  interactions with each other and the system. It is important to understand the self­ organizing patterns of the system in order to change the direction of the system.   Patterns for innovation in networks are discernable and these patterns have  implications for service and policy decision­making (Kash & Rycoft, 2000). It is  important to study and understand the underlying dynamics and structure in  interorganizational networks leading to innovation (Gay & Dousset, 2005). A complex  systems approach and identification of self­organizing patterns for innovation in  networks is useful to decision­makers as it can be used to inform policy decisions  (Frenken, 2000).     Leverage Points  Leverage points are the “places in a complex system where a small shift in one  thing can produce big changes in everything” (Meadows, 1999, p. 1). As such, leverage  points are considered a strategy for achieving implementation and other change initiatives  in complex systems. Leverage points are possible because of  interdependencies/interactions in complex systems. As a result of the interdependencies,  change in one part of the system can create change in other interconnected parts of the  system. Numerous possible leverage points exist in a system, with different degrees of  potential impact on system change. Leverage points can be counterintuitive and it can be  difficult to identify the most powerful and correct leverage points for achieving systems  change (Meadows, 1999). Meadows acknowledges that there are no definitive rules that  can be generalized to all complex systems, but provides a suggestive list of leverage      30        points to serve as a benchmark. The leverage points, in order from most to least likely to  create change are: 1) power to transcend paradigms, 2) mindset out of which the system  arises, 3) goals of the system, 4) organize system structure, 5) rules of the system, 6)  information flows, 7) positive feedback, 8) negative feedback, 9) length of delays, 10)  physical structure, 11) size of system stabilizers, and 12) constants and parameters  (Meadows, 1999). Meadows’ twelve leverage point levels have been further modified by  Malhi et al. (2009) who collapsed them into five leverage/intervention levels for systems  change in food policy. For example, one of the leverage points under Meadow’s goal  category proposed by Malhi et al. (2009) to change the food system is: agricultural policy  that maximizes positive health outcomes and minimizes negative health impacts. Another  of the leverage points proposed by Malhi et al. (2009) under Meadow’s structure category  is: public education on consumption of an environmentally sustainable diet. Malhi et al.  (2009) propose that these leverage points, along with nineteen other leverage points  developed based on their five intervention leverage point levels, will help shift the food  system to be more healthy, green, fair and affordable.   Foster­Fishman et al. (2007) propose two types of leverage points: 1) those that  shift fundamental parts to be consistent with the desired change, and 2) those that  strengthen system parts that are already consistent with the desired change. The authors  suggest that leverage points can be parts of the system (e.g., system elements) or patterns  and interactions in the system. Understanding leverage points for systems change also  requires consideration of the root of the problem or the moral positions at the heart of the  system (Kreger et al., 2007). For example, systems change requires modification of the  ‘deep structures’ of the system such as normative elements (e.g., attitudes, values,      31        expectations), which are often the root causes of system problems (Foster­Fishman et al.,  2007). Social processes can also serve as an important lever for change (Tseng &  Seidman, 2007).     Summary  The fields of KT and implementation sciences have evolved significantly over the  last five decades from linear models to systems models (Best et al., 2008). The system  models address the inherent complexity of both the system and the innovation.  Unfortunately, there is a dearth of literature available to guide implementation from a  systems approach. The majority of the implementation literature applies a positivist  quantitative approach that cannot adequately consider the dynamic complexity of both  the innovation and the system. A mixed­methods approach that integrates both  interpretivist and positivist thinking has been shown to be advantages for studying  systems change. The KIQNIC study applies a positivist quantitative approach to studying  implementation in the QLs. This approach has many benefits and provides valuable  information for studying the problem. For example, it will identify network connections  between organizations and causal relationships in the system. However, a qualitative  interpretivist approach provides additional insights and information for understanding the  problem. The goal of this present study is to demonstrate the value of adding a qualitative  interpretivist perspective to studying the implementation of an evaluation innovation in  the QLs. Although the integration of the quantitative and qualitative data is outside of the  scope of this project, the hope is that at a later date the KIQNIC project can integrate both  approaches to create a more comprehensive understanding of the implementation      32        phenomenon. Complexity science provides a theoretical framework that integrates  interpretivist and positivist concepts and will thereby allow for a merging of the KIQNIC  study findings with the qualitative findings from this study at a later date. The next  chapter provides the context for this study including a description of the KIQNIC study  and the QL system, as well as the evaluation innovation selected to study in more depth.       33        Chapter 3. Context  Chapter Overview  The following chapter describes the context for this study. The first section  provides an overview of the tobacco context. The following section describes the North  American quitlines including the structure of the network, the QL system and the key  stakeholders discussed throughout this paper. The final sections in this chapter include a  description of the KIQNIC project and an overview of innovation implementation. A  detailed description of the evaluation innovation studied in this project is included in the  final section.      Tobacco Use & Cessation      Despite significant efforts, tobacco related mortality and morbidity continues to be   a daunting public health problem. Tobacco use is the leading preventable cause of  mortality and morbidity in North America (CDC, 2005) and is responsible for 400,000  deaths per year in the U.S. (CDC, 2009). Lung cancer is the leading cause of cancer­ related deaths among both men and women (WHO, 2009) and smoking causes almost  90% of all lung cancer (Wingo et al., 1999). In 2008, an estimated 20.6% (46.0 million)  of the United State’s adult population (!"#$%&'()*(%+,­reported as current cigarette  smokers (CDC, 2009). In 2009, approximately 17% (4.8 million) of the Canadian  population aged 15 and older self­reported as current smokers (Health Canada, 2010a). In  addition, Canada spends over $3.5 billion to provide direct medical care to tobacco users  and over $15 billion when indirect costs are factored in (e.g., worker absenteeism)  (Health Canada, 2010b). Tobacco­related illnesses kill about 47,581 Canadians each year     34        (Makomaski­Illing & Kaiserman, 2004) and more than 1,000 Canadians die each year  from heart disease and cancer caused by second­hand smoke (Health Canada, 2008).      The majority of smokers recognize the harmful effects of tobacco use and a large   percentage attempt to quit each year (U.S. DHHS, 2004). In 2008, approximately 45.3%  (20.8 million) of the adult cigarette smokers in the U.S. had attempted to quit smoking  within the twelve months prior to the survey used to collect these tobacco statistics  (CDC, 2009). Unfortunately, only about six percent are actually successful at quitting for  more than one month on a given attempt (U.S. DHHS, 2004). Quitting tobacco use is  difficult, because most people who use tobacco regularly are addicted to the nicotine  (Benowitz, 2009). Smoking addiction is a complex problem involving a combination of  pharmacological and behavioural factors. For these reasons, significant efforts and  resources have been directed into tobacco cessation research and initiatives to better  understand and help individuals quit. Quitlines (QLs) are one of the primary tobacco  cessation services offered throughout North America.      North American QLs   A QL is a telephone­based cessation service that helps people who want to quit  using tobacco. QLs offer telephone support primarily through counselling, information,  and self­help materials. Some QLs offer additional services such as medications, online  cessation information and programs, and referrals to community­based cessation  programs. The first QL started operation in California in 1995 and it grew out of a  clinical research trial that demonstrated the effectiveness of phone counselling for  tobacco cessation (Zhu et al., 2002). The number of states and provinces in North      35        America offering QL services for smokers and other tobacco­users has increased  exponentially in the last decade.   Currently, there are QLs available in all ten provinces in Canada and all 50 states,  plus the District of Columbia, and Puerto Rico in the United States. In addition to these  62 QLs, there are also 22 QLs in Europe, eight QLs in Australia, and one in Mexico. QLs  represent a unique opportunity to reduce tobacco use in North America and globally. In  2008, forty­seven of the fifty­two U.S. QLs received a total of 409,902 incoming calls  from tobacco users (median = 4,847 calls per QL). That same year, 18,125 incoming calls  from tobacco users were received by nine of the Canadian QLs (median = 591 calls per  QL) (North American Quitline Consortium, 2009). Given the significant amount of  resources being directed to QLs, as well as the number of people reaching out to them for  assistance with quitting, it is imperative that they be effective and efficient. In order to  increase effectiveness and efficiency, the QLs must be able to disseminate and implement  research­based and practice­based innovations throughout the network.     Structure & Characteristics of the QL Network   As described above, there are ten QLs in Canada, 52 in the U.S., and one in  Mexico, that together make­up the North American QL network. However, for the  purpose of this study, the North American QL network will refer to only the Canadian  and American QLs, as the Mexican QL was not included in either this study or the larger  KIQNIC study. Also, it is important to note that although both American and Canadian  QLs were included, the primary focus is on the QLs in the U.S. There are a couple of  reasons for the dominant focus on QLs from this particular country. First, there are far      36        fewer Canadian QLs in the network and in general they receive far fewer calls than the  American QLs do. The second reason is that although there was equal opportunity for  decision­makers from both countries to be recruited into this study, only two Canadians  were successfully recruited. As such, the study is focused predominantly on the American  QLs with significantly less information and findings provided on the Canadian QLs.   The structure of the QLs in these two countries is similar, as for the most part they  are composed of two primary entities, the funder organization (e.g., state health  department) and the service provider organization. There is, however, some variation in  this structure and figure one illustrates some of the different QL structures. In this figure,  model A represents a service provider dedicated to a single QL and model B represents  two QLs with the same service provider. In addition to the service providers and funder  organizations, other entities within the QL community include the North American  Quitline Consortium (NAQC), external evaluation contractors, and the Center for Disease  Control (CDC) in the U.S. Model C in the figure represents a QL that has an external  organization as an evaluation contractor. Lastly, model D represents a QL where there are  two service providers and one funder organization. This is a sample of some of the  possible variations in QL structure but not all. Most of the American QLs receive their  funding from one or both of two possible funding sources, state funding and CDC. The  Canadian QL funders are different for each province and include: the provincial ministry  of health, the Canadian Cancer Society, Heart and Stroke Foundation of Canada, Health  Canada, and Alberta Health Services. Below is a description of the different  organizations and actors that are part of the QL community that I will refer to throughout  this manuscript.       37        Figure 1. Different Quitline Structure Possibilities     Decision­Makers  The KIQNIC study, which is described in greater detail below, defined decision­ makers as, “any individual at a QL funder, service provider or coordinating organization  who is involved in decision­making about the implementation of QL practices.”  According to the KIQNIC project, there are 276 decision­makers in the QL system. The  decision­makers include a variety of positions in the QLs including managers, directors,  and coordinators. The decision­makers vary significantly in terms of their educational  backgrounds and experiences. For example, some of the decision­makers are PhD level  researchers with positions in universities and others are administrators with no research  background.     Service Providers  The service provider organization is the entity that is responsible for providing the  telephone counselling services. The service provider characteristics and additional      38        responsibilities vary significantly across providers. There are private for profit service  providers and public not for profit service providers. Three of the public service providers  are located in universities, for example the first QL was established with the University  of California ­ San Diego (UCSD) as the service provider. The university service  providers, as well as some of the other service providers are contracted to service only  one QL. For instance, UCSD provides telephone counselling services only to the  California QL. In contrast, there are larger service providers that contract with multiple  QL funders.   Until recently, the two largest QL service providers in the U.S. were Free and  Clear, a for­profit company, and the American Cancer Society (ACS), a not for profit  organization. Together, these two service providers held the majority of the QL contracts  in the states and were in competition with each other. In fall of 2010, these two service  providers formed a collaborative wherein Free and Clear assumed all of ACS’s contracts.  In Canada, all of the QLs with the exception of Alberta and British Columbia are  operated by the Canadian Cancer Society. The QL in Alberta is operated and funded by  Alberta health services and the QL in British Columbia is operated by Sykes, a for profit  tobacco cessation company.   The QLs also have different protocols for the provision of telephone counselling.  Although they all provide telephone counselling, which is viewed as an evidence­based  practice (innovation), there are significant differences in the details of how these services  are provided. For example, some QLs may have all Master degree level counsellors  conducting the calls with QL clients and others may have non­college graduates working  as operators in a call centre trained in a counselling protocol.       39          State Funders   The majority of QLs in the U.S. receive some state funding, usually from either  Tobacco Master Settlement Agreement (MSA) funds, or from tobacco excise taxes. The  state funding is administered through the state health departments and these are the  organizations referred to by the term “funder organization” in the American QL  partnerships. The state funders have contracts with service providers, sometimes the  contracts are open for competitive bidding and sometimes they are not. For example, the  UCSD service provider does not bid for their state­funding contract because they have an  inter­agency agreement. The role of the state funder also varies across the QLs, with  some being more involved in decision­making than others. The state funders usually are  responsible for decision­making with respect to evaluation and many of the state funders  contract with external organizations to evaluate their QL.    Canadian QL Funders  As previously mentioned, there is more variation in funders for the Canadian QLs.  Alberta is the only QL that is funded and operated by its provincial Health Services. The  QLs in British Columbia, Ontario, and Quebec are funded by various departments within  the Ministry of Health. The Saskatchewan QL has two funders, the Canadian Cancer  Society and the Heart and Stroke Foundation of Saskatchewan. Health Canada funds the  QLs in Manitoba, Newfoundland, and New Brunswick. The Prince Edward Island (PEI)  QL is funded by the Canadian Cancer Society, PEI division.        40        Evaluation Contractors   In the U.S., some of the QLs conduct evaluation in­house and others contract with  an external evaluation organization. The reasons for contracting with an external  evaluation entity are either: 1) not having the capacity and resources to evaluate in­house  or 2) having a mandate from the state funder to use a specified external contractor. In  many cases, the QL is assigned a third party evaluation contractor by the state. The QLs  that are not assigned an evaluation contractor by the state may or may not conduct their  own evaluation. Some of the QLs choose to hire external entities to conduct their  evaluation or to do the database management because they do not have the internal  capacity to conduct it themselves. In some cases, a QL funder will contract with the  service provider to do both the service and the evaluation of the QL. There are however,  examples of QLs that conduct all aspects of the evaluation in­house. Examples of the  evaluation contractors are private consulting companies and evaluation units in  universities.   In Canada, there is one primary evaluation entity that conducts evaluation for the  majority of the Canadian QLs and this entity is located within the University of Waterloo.  There is no similar primary evaluation entity in the U.S. with most of the QLs having  different evaluation contractors. However, funding for evaluation of the QLs in Canada  has been very unstable over the years due to changes in funding policies at the national  and provincial level. At the time of conducting this study, government funding was not  being provided to evaluate the QLs with the exception of Ontario. It was also unclear  whether any of the other Canadian QLs were still collecting evaluation data at the time of  this study, given the lack of funding for it.      41          Centers for Disease Control and Prevention  The Centers for Disease Control and Prevention (CDC) in the U.S. plays multiple  roles in the QL community, including evidence source, funder and NAQC partner. One of  CDC’s primary responsibilities in general is the translation of evidence to practice and  they also play this role for the QLs. In recent years, the CDC has taken an increasing role  as a funder for the American QLs and as such has increasing power over decision­ making. At the time of conducting this study (2010), the federal government in the U.S.  gave $45,000,000 in funding to the QLs as part of the American Recovery and  Reinvestment Act (ARRA). The CDC was responsible for administering this substantial  amount of funding and under the instructions of the federal government, included strict  regulations for accountability reporting in the QL contracts for the funding. As part of the  ARRA funding mandates, the QLs will be required to provide the CDC with their data  from the Minimal Data Standards (MDS), which will be explained in greater detail below  in the ‘Overview of the Innovation’ section. CDC will be collecting the MDS data from  the American QLs, entering it into a database, and making the data public. This will be  the first time in QL history that evaluation data of any kind will be collected and put into  an aggregate form (i.e., all QLs together). The other role that CDC plays is as a support to  NAQC, they have a strong partnership and an explicit contract of support.    NAQC  In 2004 the North American QL Consortium (NAQC) was established with the  primary role to promote evidence­based services across North American QLs. NAQC is a      42        non­profit organization, which receives funding from a variety of organizations including  CDC in the U.S. and Robert Wood Johnson Foundation, to help ensure that NAQC can  continue to support the QLs in North America. NAQC consists of a team of six staff  members (including a director of research), a board of directors, and an advisory council.  NACQ provides leadership and works to bring together diverse partners such as state and  provincial QL administrators, QL service providers, researchers and national  organizations in the U.S. and Canada. NAQC provides a forum for shared learning in  hopes of improving the operations and effectiveness of the QLs. The QLs must pay for  memberships to NAQC and the memberships provide a variety of benefits including  access to forums and professional development activities. Not all members of the QL  community are members of NAQC and the QLs’ ability to provide memberships to all  individuals in a QL vary. For example, not all QLs can afford to provide memberships to  their service providers and evaluation contractors, so in some cases evaluation contractors  are not part of NAQC and therefore do not have access to NAQC forums and member  resources.     QL Funding  There is no standardization of funding across the QLs and there is significant  variation in both the source and amount of funding. In 2009 the QL budgets ranged from  $77,218 for the smallest budget to $17,869,238 for the largest. The range for the  Canadian QL budgets is within the range just described but has not been reported  publicly and therefore is not reported in this study. The reason why it has not been  reported publicly is that because there are so few QLs it would be too easy to connect the      43        various budgets to the respective QLs. Similar to the American QLs, there is also a  significant variation in budgets across the Canadian QLs.   The following information is specifically related to the American QLs. As  previously mentioned, some of these QLs receive their funding through tobacco Master  Settlement Agreement (MSA) dollars and others through tobacco taxes. Also, the way  that tobacco settlement dollars were allocated and secured differs across states and  subsequently impacts the QL funding in terms of stability and amount received. For  example, one state had chosen to securitize payments of the MSA. The governor of the  state and the legislature had made the decision to sell the MSA payments to a  securitization company, who gave the state a lump sum, in exchange for the annual  payments. Another state had put the MSA funds into an interest bearing account, which  had then been used to supplement the budget during budget cuts. There is also significant  variation in the degree of stability of the funding across QLs, which is partly attributed to  the source of the funding and partly to the political context of the state. The different  funds across states also come with different reporting requirements, as well as different  regulations about what the funds can be used for. These huge variations in funding result  in very different QL contexts that inevitably impact the implementation of evaluation  innovations in the QLs.      The QL System  The overarching goal of this study is to explore implementation of the evaluation  innovation in the QLs using a qualitative systems approach. As such, it is important to  understand the complexity of the QL system, in order to think through how and why a      44        systems approach is necessary. It is impossible to describe every facet of the QL system  because there are simply far too many components to include. However, in this section I  describe some of the main components that will be relevant to the later findings presented  that aid in understanding systems thinking in the QLs. Specifically, I will present some of  the key system components that will be included in this study, including system levels,  actors, organizations, and niches (Foster­Fishman, 2007; Janzen, 2007). It should be  noted that there is no single correct way to describe the system as there are many  alternative ways to arrange the components. The objective here is to illustrate how my  approach is using a systems perspective by exploring different levels and parts of the  system.  The system can be viewed as having five different levels: 1) federal, 2)  state/provincial, 3) QL network, 4) individual QLs, and 5) individual organizations (see  figure 2). The federal level is primarily involved in funding of the QLs and includes  entities such as the CDC. The primary entities at the state/provincial level are the state  health departments, which represent the funder organization in the QL partnership. The  QL network level represents all of the QLs together, whereas the QL level represents  individual QLs which usually consist of a service provider and a funder. The  organizational level primarily includes the funders, service providers, and third party  evaluation contractors. And lastly, the actors are the individuals within the different  organizations.          45        Figure 2. Description of the QL System     The actors can cross system levels and niches, although they usually do not cross  between different organizations. Some of the key actors include: researchers, project  officers (CDC), tobacco control managers (state) evaluators (contractor), directors,  managers, and other QL staff. The different actors have different perspectives of the  evaluation innovation that are influenced by their location in the system.    Niches generally have less tangible boundaries and cross multiple system levels.  Examples of niches include funding, research, culture, and incentives. Some of the QL’s  service providers are part of a university and as a result are part of the research niche. The  research niche has a pressure to evaluate and publish whereas QLs outside of the research  niche do not necessarily have this pressure. The pressure and culture of the research niche  creates a difference in priorities for the different QLs. These niches in the system can also  be referred to as different system parts and are another element to consider in a systems  approach to implementation.        46          Innovations in the QLs  There has been a plethora of tobacco related research conducted over the last few  decades, much of it specifically looking at effective practices for promoting and  supporting tobacco cessation. For example, research has demonstrated that smoking  cessation rates are significantly improved if behavioural therapy and pharmacotherapy  are used in conjunction, as opposed to either applied independently (Hughes, 1995). The  evidence­based practices come from various sources including CDC, the Public Health  Institute, and the research literature. The QLs also develop practice­based innovations  that are shared between QLs. The practice­based innovations are often service norms or  organizational policies that improve their services. For example, one of the innovations  on the KIQNIC list is a faxed­based referral, which is a practice­based innovation or  service norm, that has spread throughout the QL network as a suggested practice to  improve reach in QLs (appendix A). Both the research­based and the practice­based  innovations on the KIQNIC list have the potential to improve the QLs effectiveness.  However, these innovations are not easily diffused and implemented throughout the  network. There are many reasons why dissemination and implementation of innovations  is difficult, many of which pertain to the network characteristics and structure.      Implementing Evidence­Based Innovations  The implementation of evidence­based innovations is difficult in most settings,  but the difficulty is compounded in complex systems such as the QLs. The QL structure  and characteristics add several dimensions of complexity to efforts to promote and      47        implement evidence­based innovations. For example, the QLs have a decentralized  decision­making structure, which means that there is no single agent responsible for  making and enforcing decisions on what innovations to implement. Each QL is a semi­ autonomous entity, with a unique perspective and context, and each QL experiences  different barriers to implementation, making it impossible to apply one standardized  intervention for implementation. Furthermore, the diverse QL contexts create a tension  between fidelity versus adaptation, where QLs must balance maintaining fidelity, with  adapting innovations to be appropriate for a QL context. These factors are part of the  reason why successful dissemination and implementation of innovations is challenging in  the QL community. In response to the challenge, and also the potential benefit to  achieving the implementation of evidence­based innovations, a research grant was funded  to explore this issue in more depth.        Knowledge Integration in QLs: Networks that Improve Cessation  (KIQNIC)   KIQNIC is a large research grant funded by the National Institutes of Health  (NIH) in the U.S. A primary goal of KIQNIC is to assess how decision­making in QL  organizations is a moderator for network characteristics and implementation outcomes.  My dissertation project was developed based on my work with the KIQNIC project. I was  invited to join the research team in the second year of the grant, during the instrument  development phase, in order to assist with the implementation measurement piece of the  study. The principal investigator of the grant is located at the University of Arizona, but  the KIQNIC research team consists of researchers and NAQC members located      48        throughout the U.S. and Canada. One of the KIQNIC team members is the Research  Director of NAQC and this individual plays a key mediator role between the KIQNIC  study and the QL community. The Research Director was also my primary resource in  developing my dissertation topic and research questions. I initially had numerous  discussions with this individual about different research topics and their potential value to  the QL community. The Research Director also provided guidance in determining which  innovation to select from the KIQNIC survey to explore in more depth for this project.  More details describing the innovation and the reason for choosing it are described in the  following section. Another group of actors in the KIQNIC project is the workgroup,  which consists of decision­makers in the QL community. The role of the workgroup is to  provide guidance and feedback to the KIQNIC research team. To date the workgroup has  primarily been involved in reviewing data collection instruments and providing feedback  on preliminary results. The workgroup was also heavily involved in developing the list of  23 innovations (Appendix A).  KIQNIC is collecting quantitative data from the QL decision­makers through an  annual survey conducted over three years. My dissertation project was conducted  between the first and second wave of survey data collection, July 2009 and June 2010,  respectively. There are three primary constructs to the KIQNIC survey, social  networking, decision­making, and implementation of innovations. The social networking  construct measures connections between different organizations in the network. The  decision­making construct measures how decisions to adopt innovations are made in the  QLs and what factors are considered when making decisions to adopt innovations. The      49        decision­making construct was developed using the theory of planned behaviour, which  estimates an individual’s intention to perform a particular behaviour (Ajzen, 1985).   The outcome measure for KIQNIC is the implementation of innovations measured  using a summative score (range 0­23) of the 23 innovations (Appendix A). The list of  innovations was developed by the KIQNIC workgroup and it includes both evidence­ based (i.e., best practices) innovations from the literature, as well as practice­based  innovations, which are referred to as ‘service norms’. At the request of the KIQNIC  workgroup, the innovations are referred to as ‘new practices (innovations),’ instead of,  ‘best practices (innovations)’ by the KIQNIC research team. For the implementation  section of the online survey, respondents were asked to report their QL’s level of  implementation for each of the 23 innovations on the list. Respondents were led through  a skip pattern question that determined which stage of implementation the respondents’  QL was in for each innovation (Appendix B).      Results from the baseline KIQNIC survey demonstrated significant inconsistency   in responses to the implementation section for respondents from the same organizations.  For example, four different respondents from the same organization selected four  different options for implementation level of the same innovation (e.g., aware, decided  not to implement; aware, in discussion; and fully implemented). The inconsistency in  responses supported my assumption that there was a sufficient lack of understanding of  the phenomenon being studied to warrant an additional qualitative interpretive study that  provided insight into the ‘black box’ of implementation of innovations in the QLs.  Furthermore, the KIQNIC study was limited in that it applied a positivist approach and  used only quantitative data to study the implementation phenomena. Thus, the      50        overarching purpose of my dissertation study is to build upon the KIQNIC study by  further exploring the implementation of innovations in the QLs using qualitative data and  a systems approach.   Complexity theory is the systems approach used to guide the study, which  incorporates a mix of both positivist and interpretivist principles. As previously stated,  this study is different from the KIQNIC study in that the goal is to observe, reflect and  describe the phenomenon in a theory driven way, as opposed to trying to identify specific  determinants of implementation and predict the system (Greenhalgh et al., 2010).   In this way, qualitative interpretivist findings can be added to the KIQNIC findings at a  later date to create a more comprehensive understanding of the implementation  phenomena. Although integration of the quantitative and qualitative findings is outside of  the scope of this project, next steps after this study is completed can involve integration  of the data in order to move the KIQNIC project towards a mixed­methods integrative  approach.      Overview of the Innovation  I chose to explore one innovation in greater depth and selected an innovation from  the list of 23 innovations in the implementation section of the KIQNIC survey (appendix  A). The innovation selected from the list was: “to evaluate the effectiveness of the QL.”  This innovation was selected as the case based on discussions with my PhD committee  and the Director of Research for NAQC. We decided that this innovation would be best  to explore in more depth because it was of significant interest to NAQC and also because      51        of its level of complexity as an innovation. By this I mean that there were many factors  involved in implementing this innovation.   The selected innovation (evaluating effectiveness of the QL) was of significant  interest to NAQC members and one that NAQC had been investing effort and resources  into implementing. One of NAQC’s main priorities was, and is still, to create and  implement a standardized system for evaluating effectiveness of the QLs. This goal was  considered important because it will enable the QL community to evaluate services and  produce data that can be used to answer decision­makers questions to inform practice and  policy decisions. Therefore by selecting this innovation to study, the dissertation project  had the potential to produce results that could be used by NAQC to support their future  evaluation endeavors. My understanding of the importance of this innovation to NAQC is  based on my review of materials on the NAQC website and my discussions with NAQC’s  Research Director. Of course, one of the limitations of this approach is that my  understanding is based on information from a single person. I recognize that this  innovation may not be of significant interest to all decision­makers in the QLs.  A major step in progressing to this desired outcome was made in 2005, with the  completion of the Minimal Data Set (MDS), which is a standardized data collection  system for outcome data such as reach and quit rates. At the time of this study (2010), all  of the QLs had implemented the MDS. Although the majority of the QLs collect MDS  data, there has been no aggregation of the data at the QL network level. As mentioned in  the CDC section above, aggregation of the MDS data for all American QLs will happen  for the first time in 2011, as part of a mandate for the ARRA funding. The CDC will be  collecting MDS data from these QLs and entering it into a common database that will be      52        made public. This process will begin in 2011 and will be the first time that American QL  data of any type will be collected and entered at the aggregate level for the purpose of  cross­QL comparisons. The MDS provides information at the QL level on the reach and  quit rates, but it does not provide data to evaluate effectiveness or compare different  service options (e.g., four counseling calls versus five counseling calls). As such, the  MDS does not achieve NAQC’s ultimate goal, to collect standardized data from the QLs  that can be used to create an evidence­based system and inform practice and policy  decisions. Another effort to achieve this goal was made in 2007 when the National  Cancer Institute (NCI) partnered with researchers from UCSD (California QL) to create a  ‘data warehouse,’ a database that housed information on the QL services. These efforts  were unsuccessful in part because many of the QLs were uneasy about providing  information for the database for reasons not fully known to me.   No plans were described by any of the participants to include Canadian QL data  in the CDC database. Also as previously mentioned, there is one primary evaluation  contractor for the Canadian QLs located at the University of Waterloo. Although the data  from these QLs is in a single database, there was no evidence to suggest that any cross­ QL comparisons or aggregate analysis had ever been conducted using this data.   There are several characteristics of the selected innovation that make it  challenging to study, but also valuable and applicable to many of the implementation  challenges in public health. Similar to many of the innovations listed on the KIQNIC  survey and to innovations in public health generally, the evaluation innovation lacks a  clear definition and description of its components. Although evaluating effectiveness of  QLs is designated a “best practice” by the CDC, there is no specific definition provided      53        in the KIQNIC survey (CDC, 2004). It is difficult to assess whether or not an innovation  has been implemented successfully when that innovation has not been fully defined.  Furthermore, the innovation of interest (evaluating effectiveness) is a small piece  embedded within a much larger effort to create a system of evidence­based cessation  services. Therefore, it is necessary to study the larger picture of systems change in order  to understand implementation of this innovation.      As explained in the literature review different research designs and study methods   provide various advantages and disadvantages to studying implementation problems.  Studies such as Greenhalgh et al. (2010) have demonstrated the value of using qualitative  data to answer questions on the meanings of innovations to stakeholders and the social  and technical challenges of implementation. The recent studies that explicitly recognize  the complexity of health service innovations, as well as the complexity of the systems,  tend to favour mixed­methods that aim to observe and reflect, as opposed to quantify and  replicate (Greenhalgh et al., 2010). The following chapter provides the detailed methods  of the study that I used to address my research questions.         54        Chapter 4. Methods  Chapter Overview  The overarching goal of my study was to explore the implementation of the  evaluation innovation in the QLs using a systems approach. I used a combination of  inductive and deductive techniques to explore the phenomenon (Silverman, 2000). In this  case, the phenomenon of interest was the implementation of the innovation, evaluating  effectiveness in the QLs. To do this, I conducted 19 semi­structured interviews with  decision­makers in the QL community and analyzed the interview transcripts using a  thematic analysis (Braun & Clark, 2006).   This chapter provides a detailed description of my research methods, starting with  a description of my researcher perspective, location, and role. I then provide details on  ethical issues including obtaining consent, confidentiality, and risk status of the  participant population. In the following section, I provide details describing the  participant sample and the recruitment strategies used. Next, I outline the interview  process including the activities that occurred both during and after the interviews with  participants. Lastly, the methods are described for the data analysis process, specifically  the thematic analysis methodology (Braun & Clark, 2006). The final section of the  chapter addresses the quality of the study and the analysis.      Researcher Perspective, Location, & Role  I mentioned briefly in chapter one that I started working on the KIQNIC project  approximately six­months prior to starting my dissertation and that it was my interest in  the implementation phenomenon that was the impetus for my research project. I had      55        initially been recruited to the KIQNIC project specifically to provide expertise and assist  with measuring implementation. I noticed quickly that my perspective and  epistemological grounding was different than some of the other researchers on the project  and also different from the conceptual framing of the project. For example, one of the  primary goals was to assess decision­making in the QLs as a mediator variable between  network characteristics and implementation outcomes. For the numerous reasons  highlighted in chapter one, I struggled with being able to identify a single mediator  variable across such diverse QLs and innovations. Furthermore, the decision­making  construct was being measured by the theory of planned behaviour, which is an individual  behaviour change model (Ajzen, 1985) and from my perspective does not seem  appropriate for assessing change in a complex system. The impetus for this project was  the desire to explore the implementation phenomenon from a different research paradigm  and epistemological grounding.       My epistemological grounding is a mix of approaches and methods, as the   majority of my formal academic training has been in quantitative methods using a linear  reductionist approach. Until my PhD program, the models of change that I used and was  familiar with were primarily individual change models. However, I have also worked on  several qualitative projects, starting with a nursing project during my Bachelors degree. I  would not consider myself either a quantitative or qualitative researcher, but I have  sufficient knowledge to work with both.   I had initially considered including both qualitative and quantitative data in my  dissertation but decided to focus on just the qualitative approach for several reasons. The  first is that I view this methodology as the most necessary for addressing my research      56        questions. The second reason is that I wanted to demonstrate the value in using a  qualitative approach to study implementation phenomena. As previously mentioned, the  KIQNIC study was already investing significant resources into the quantitative approach  and there was no discussion of the need to add a qualitative component. I saw this as an  opportunity to demonstrate the value in using a qualitative interpretivist approach to  studying implementation and decided to focus entirely on this approach.   Furthermore, during my PhD program I have been studying systems thinking,  particularly complexity science and have moved towards organizational and systems  change models as opposed to individual change models. I also have a strong background  in evaluation, with a personal bias towards conducting utilization­focused evaluation.  This means that I consider the goal of evaluation to be utilization of results, which is  achieved through collaborative efforts with stakeholders of the evaluation (Patton, 2008).  Although this may sound obvious, the traditional approach to evaluation would suggest  that the evaluator remain separate and objective from the ‘evaluand’ (evaluation term  meaning target of the evaluation) and the stakeholders and does not emphasize utilization  (Patton, 2002; Patton, 2008). I mention this because although the study is not an  evaluation study per se, I am looking at an evaluation innovation and my approach to  conducting evaluation will influence my interpretation of the data.   Because I had only been involved with the KIQNIC project for approximately six­ months prior to starting my project, my knowledge of the QL network was limited. I was  also an ‘outsider’ to the QL community and my position on the KIQNIC project was not  sufficient for connecting with the QLs as this project was also outside the QL  community. In order to get more insight into the QLs while developing my project, I      57        communicated extensively with the Research Director of NAQC who was also a member  of the KIQNIC research team. She and I had numerous discussions about the focus of my  project including what methods would be best to use and what innovation would be best  to study. By ‘best methods’ I mean what would be acceptable to the participants and also  most likely to provide useful information to NAQC. I considered these practical issues in  conjunction with the potential for the study results to make a theoretical contribution to  the literature. This individual was also involved in the interview guide development  process and joined my PhD committee in reviewing and providing feedback on my early  versions of the guide. She was particularly helpful with the language in the guide and  ensuring that it was appropriate for the respondents. She was also the first person I  interviewed for the study, as described in a later section of this chapter titled ‘participant  sample.’    The dynamics between the participants and myself was different from any other  project that I had worked on. This is because unlike past participant samples, this sample  consisted of all professionals with high education levels (e.g., lowest was a bachelors  degree). I did not feel the same potential power issues that I have experienced on other  community­based research projects. This is not to suggest that there were no power  dynamics between the participants and myself. The participants in many ways felt like  my peers, or in some cases fellow academics and researchers. The majority had a  graduate degree and were sympathetic to and supportive of graduate research projects.  Also, because the interviews were conducted over the telephone both parties were  blinded to each other’s age, gender and race/ethnicity. However, in some cases age  approximation could be deduced and in the majority of the cases respondents were most      58        likely older than me. There were two participants that were clearly younger than the  majority of the participants and closer to my age. Gender was also deduced and is  included in the section below on interviewee sample.        Ethics   The study was approved by the University of British Columbia’s Behavioural  Research Ethics Board. All participants were emailed an electronic version of the consent  form during the initial email communication. They were also mailed a hardcopy of the  consent form prior to the interview, along with a pre­stamped and addressed envelope to  return the signed consent form back to me. The population of decision­makers was  considered a “minimal risk” population as they were not vulnerable and the risk involved  was part of their regular job function. It is possible that they may have felt coerced into  participating or feared that refusal to participate in the study could jeopardize their job or  relationship with the QL community. However, at no time did I sense the participants  were participating out of coercion.      Although the participants were a minimal risk population, I was aware that some   of the information that they shared was sensitive and could pose a risk if it was made  public and linked to them. A few of the participants expressed some hesitation and  concern regarding the information that they provided. I attempted to minimize the risk to  participants in several ways. First, all participants were given the opportunity to review  their interview transcript after the interview and were allowed to edit the transcript by  deleting information, correcting information, and inserting additional information.  Further details regarding the number of transcripts and the information that was edited      59        can be found in the post interview section below. A second strategy for protecting the  participants was that I assigned the transcripts codes instead of putting interviewee names  on the transcripts (e.g., KI­3 for the third key informant interview conducted). Lastly, all  interviewees were invited to participate in a webinar session/focus group to discuss the  results of the study. The details regarding the focus group process and participation are  provided later in this chapter.  Despite precautions taken to protect the confidentiality and anonymity of the  participants there is still a risk that participants may be identified based on their  quotations. It is also possible that by describing sample characteristics, others could  incorrectly or correctly deduce whom the individuals were who participated in the  interviews. The reason for providing participants with an opportunity to review the  results was to ensure that nothing is published that will put them at risk or that they are  uncomfortable with.      Interviewee Sample   In total, nineteen interviews were completed including two with NAQC, eight  with service providers, seven with funders, one with CDC, and two with third party  evaluation contractors (see table 1). Descriptions of these different organizations and  actors are provided in chapter three. As described in chapter three, the system can be  viewed as having different levels, including organization, state/province and federal, as  well as different niches including research and funding. Together this sample of  interviewees represents a mix of organizations, levels and niches in the system, and  together they provide a range of perspectives on the implementation phenomenon.       60        Table 1. Interviewee Organization Sample Summary  NAQC  Service  State  CDC  Evaluation  Providers  Funders  contractors  2*  8  7  1  2  * One of the NAQC interviewees was also an evaluation contractor but is placed in the NAQC category  because this is his/her current and dominant role     Table two provides a more detailed summary of the sample characteristics. The  service provider and funder interviews together represented 24 of the 62 QLs. Two of the  interviewees were from Canada and the remainder was from the U.S. The two Canadians  that were interviewed were highly knowledgeable of the Canadian QLs. Interview  number 17 was conducted with two participants from the same organization together.  Both of these individuals had been recruited through the KIQNIC survey (described  below) and emailed recruitment letters separately. They responded to my email  collectively and requested to be interviewed together. They both had specific knowledge  to answer different parts of the interview and together were able to address all of the  topics in the interview guide (described later).             61        Table 2. Sample Characteristics by Interviewee  Interview  KI­1  KI­2  KI­3  KI­4  KI­5  KI­6  KI­7  KI­8  KI­9   Recruitment  Organization  Method  Elite  NAQC  interview    Snowball  CDC  KIQNIC  survey  Snowball  KIQNIC  survey  KIQNIC  survey  KIQNIC  survey  KIQNIC  survey  KIQNIC  survey  KIQNIC  survey  Snowball   Country  US   Gender  Educational  Position  Level  F  Doctoral  Director of research   US   F   Service provider  (university)  Service provider  (university)  Service provider    Service provider  (university)  Service provider    US   F   Doctoral    Doctoral   US   F   Masters    Senior scientific  advisor  Assistant professor    Project manager   US   F   Masters    Director    US   F   Masters    US   M   Doctoral   Service provider   US   M   Bachelors   US   F   Masters   US   M   Bachelors   Canada   F   Doctoral   Manager    Director    Program manager    Cessation  coordinator   Program director    Evaluator &  associate professor   US   M   Bachelors   US   F   US   M   US   M   US   F   KI­13   KIQNIC  survey  Snowball   KI­14   Snowball   KI­15   KIQNIC  survey  KIQNIC  survey   Funder/health  department  Service provider  (university)  NAQC &  evaluation  contractor  Funder/health  department  Evaluation  contractor  Service provider  (university)  Funder/health  department  Funder/health  department   KI­17   KIQNIC  survey   Funder/health  Department   US   F  F   KI­18   Snowball   Canada   F   KI­19   KIQNIC  survey   Evaluation  contractor  Funder/health  department   US   M   KI­10  KI­11  KI­12   KI­16   Project director    Doctoral  Program evaluator    Masters  Director    Masters  Tobacco cessation  coordinator  Bachelors  Tobacco treatment  specialist    1) Bachelors  1) Tobacco  2) Masters  cessation specialist  2) Director  Masters  Manager    Masters  Public health  specialist           62        Recruitment & Data Collection   The following section provides details for the data collection process including  the recruitment strategies used, the interview process, and the post interview activities.  Participants were recruited via two different recruitment strategies: the KIQNIC survey  (purposive sampling) and snowball sampling. The total number of interviewees was  determined based on feasibility, data saturation, and number of individuals available to  interview. Data saturation “refers to the point at which an investigator has obtained  sufficient data to feel confident that an understanding of the phenomenon has been  achieved” (Corring, 2004, p. 70). Although I felt that an understanding of the  phenomenon had in fact been achieved, I do not believe that data saturation had been  reached. Based on the systems theory presented in this study, there are numerous diverse  perspectives across the QL system. By no means can 20 decision­makers provide the  necessary information to reach saturation given the number of different perspectives in  the system. For this reason, it seems improbable that data saturation can ever be reached  in a system study such as this.   The final recruitment numbers from all sources is listed in table 2. Recruitment  emails and letters were tailored as much as possible for each interviewee. This was partly  to create an environment that suggested to the interviewees that they were not just  another case in a sample of many and that their perspectives were valued. The sampling  process was a combination of snowball and purposive sampling to recruit expert  interviewees. An expert interviewee is an individual who has expertise on the particular  topic of interest (Boeije, 2010). The first interview was an elite interview conducted with  the Research Director of NAQC. An elite interview is slightly different from an expert      63        interview as it refers to someone that is either “high­ranking or well­known” and in this  case the Research Director was well known in the QLs (Boeije, 2010, p. 63). The purpose  of interviewing her first was to collect contextual information to help frame the problem  of interest and to learn about the history of QLs and more specifically, evaluation in the  QLs. A limitation of this approach is that the problem was framed initially from this elite  interview. However, obtaining her assistance with the project was both necessary and  invaluable as it enabled me to make the results more relevant to the participants and also  provided me with the knowledge I needed to sufficiently understand the practice and  context being studied to conduct the other interviews.      KIQNIC Survey Recruitment  The purposive sampling technique was done using the KIQNIC survey. Purposive  sampling is a non­probability sampling strategy where “each sample element is selected  for a purpose, usually because of the unique position of the sample elements” (Schutt,  2006, p. 155). According to Macnee and McCabe (2008, p. 121) “a purposive sample  consists of participants who are intentionally or purposefully selected because they have  certain characteristics related to the purpose of the research.” In this approach, people  who are knowledgeable of the targeted issue and represent specific perspectives are  selected, but they are not intended to represent the larger population. According to Schutt  (2006), the goal is to get adequate representation of the sample and situation and to  sample until you have achieved saturation and completeness, meaning that no new  information is being collected and an overall sense of the issue has been achieved.  Macnee and McCabe (2008) suggest that a key strength of this approach is that the      64        researcher can obtain rich data by carefully choosing individuals to interview who are  knowledgeable of the topic being studied. However, these authors also suggest that a  major limitation is that a researcher may prematurely focus the data collection on a  specific perspective or element and miss other broader information.  For the purposive sampling, a question was added to the first wave of the  KIQNIC survey conducted in July­August 2009. The principle investigator of KIQNIC,  who is also one of my doctoral committee members, gave his approval for me to add the  recruitment question to the survey. The question asked if the respondent would be  interested in participating in a dissertation project to explore innovation implementation  in the QLs. After the data from the first survey wave had been collected for the KIQNIC  project all project team members were provided with an Excel file with the KIQNIC data  in it. I extracted the cases that responded, “yes­interested,” to the recruitment question on  the KIQNIC survey and put them into a tentative sample file. In addition to the  recruitment question, I also had the following variables in the file: the QL and  organization they worked for, the state/province of the QL, and their responses for the  stage of implementation for the evaluation innovation (Appendix B).     There were a total of 276 decision­makers recruited for the KIQNIC survey and  as illustrated in the consort table (see figure 3), 192 of them completed the survey and  responded to the dissertation recruitment question on the survey. Of the 192 who  responded 37 agreed to be interviewed, and these 37 individuals together completed 59  KIQNIC surveys, representing 50 QLs. As described in the context chapter, a QL consists  of a funder organization and a service provider organization, and in some cases, there can  be one service provider for multiple QLs. For example, the American Cancer Society      65        (ACS) was the service provider for 10 of the QLs in the network. One of the decision­ makers for the ACS completed 10 versions of the KIQNIC survey, one for each QL that  they provided service to.     Figure 3. Consort Table   Initial number of decision makers  recruited for KIQNIC survey  276  Number that responded to the  recruitment question on the KIQNIC  survey  Response to recruitment  survey  question  Level of implementation  1  (N= QLs)  Not aware  Number of potential interviewees  84 N/A  192  Responded  137   37   No  Yes  1  2  1  45  Aware & in  discussion  Low Level   High level  Fully   1  32    I realize that 37 out of a potential 192 respondents is a low response rate and it  would have been ideal to follow­up with those who chose not to participate. However, I  could not follow­up with these 155 decision­makers because I did not have their contact  information since only those that responded ‘yes’ to the recruitment question provided  their contact emails. Based on lessons learned from the KIQNIC study, I suspect that part  of the reason for the low response rate is that this population already participates in a  considerable amount of research and may be suffering from research fatigue. Given that  they were being recruited through a research survey that was fairly lengthy, they were      66        probably not inclined to volunteer for yet another study. Also anecdotally, I have noticed  a lack of enthusiasm for research in this population because they do not always see the  benefit of it.   Of the 50 QLs represented, four were excluded due to having responded on the  KIQNIC survey that their QL was at a low level of implementation for the innovation  (i.e., evaluation of effectiveness). Only respondents who responded with either ‘fully  implemented’ or ‘high level of implementation’ on the KIQNIC implementation question  for the case innovation were included in the final sample population. This decision was  made based on the advice of my PhD committee with the intention to focus the study.  The rationale for this decision was that it was already necessary to have multiple  interview scripts due to variation in the interviewees (e.g., funder versus service provider)  and having QLs at too many levels of implementation would have made it difficult to  draw comparisons across interviews and QLs. Of the remaining 46 QLs, one responded  that they were at a ‘high level’ of implementation and the others reported to be ‘fully  implemented.’ There were a total of 33 decision­makers who completed the KIQNIC  survey for the sample of 46 QLs and these were considered the final sample of potential  interviewees from the KIQNIC survey.   Nine of the 33 key informants were from service provider organizations (defined  in chapter three), which together represented 21 of the QLs. One of these individuals did  not complete the contact information on the KIQNIC survey question and therefore could  not be reached. In addition, between the time of the KIQNIC survey and interviews for  this project being conducted, two of the 33 key informants left the QLs. One of the      67        decision­makers worked for the American Cancer Society (ACS), which ended its service  provider contracts in December 2009 and the majority of its employees were let go.   All the individuals in the initial KIQNIC recruitment sample were emailed  recruitment emails (Appendix C). The invites were sent out in waves over a three­month  period. The order of the invites was made based on characteristics of the individuals and  information learned from previous interviews. I selected the first five individuals based  on my perceived expectation that they would be able to provide information to inform the  history and context of the innovation and the QLs. My objective was to get a better  understanding of the innovation and context that I was exploring.   There were 19 individuals identified through the KIQNIC survey who were sent  recruitment emails but were not interviewed. Of the 19, only one individual responded to  confirm that he/she was not interested in participating. One individual forwarded the  recruitment email to a staff member. Two emails bounced back as incorrect email  addresses. The remaining 15 individuals did not respond to the recruitment emails. There  was also an interview conducted with two individuals together from the same  organization. Both of these individuals had been identified through the KIQNIC survey  and requested to be interviewed together when they responded to my recruitment email.  A second follow­up email was sent approximately one month after the first recruitment  email was sent. In total, thirteen of the original 32 individuals identified through the  KIQNIC survey were interviewed. And as described above, two of those thirteen were  interviewed together, making a total of twelve interviews conducted through KIQNIC  survey recruitment.         68        Snowball Sampling Recruitment  “A sampling procedure may be defined as snowball sampling when the researcher  accesses informants through contact information that is provided by other informants”  (Noy, 2008, p. 329). Snowball sampling is the most widely used sampling method in  qualitative research and there are many advantages and also some disadvantages to this  recruitment approach (Noy, 2008). An advantage suggested by Offredy and Vickers  (2010, p. 139) that is relevant to this study is that “it can be an effective strategy for the  identification of participants who are able to provide important insights, knowledge,  understanding and information about the experience or event that is the focus of the  research”. However, there are also disadvantages to this approach as in my study  informants often suggested other informants that they had a close working relationship  and with whom they may have shared similar perspectives. Since snowball sampling  “relies on and partakes in the dynamics of natural and organic social networks,” it was  difficult to recruit from outside the informants’ social network using this approach (Noy,  2008, p. 329). It is possible that individuals in the same network may have similar  experiences and values and I need to be careful not to assume that they represent all  individuals in the network.     Each interviewee was asked for recommendations for individuals to interview who   were knowledgeable of the topic. If they had someone to suggest, then I would send a  recruitment email to the interviewee to forward on to the potential interviewee identified  in the interview. The potential interviewee would then contact me via email to schedule  an interview. Attempts to recruit individuals recommended for an interview by another  interviewee were made for all those recommended. All individuals who responded      69        positively to the recruitment email were scheduled for an interview. In total, six  individuals identified through snowball sampling were successfully interviewed. Only  one of these individuals was nominated by the initial elite interview.      Another challenge to the snowball sampling approach was that I had the initial   informant send a recruitment email (provided by me) to the snowball informant and left  the onus of contacting me with the snowball informant. This approach proved to be  problematic as only four of the 16 individuals sent snowball recruitment emails  responded to the email and contacted me to participate. Also as previously mentioned, the  decision­makers are asked to participate in a lot of research and it is possible that they  opted not to participate because of research fatigue and/or being too busy with their jobs.     In the remaining two cases, I directly contacted individuals who were identified   with snowball sampling, but did not respond to a forwarded recruitment email. In both  cases, I was aware of the individual and their role in the QLs through documents  published on the NAQC website. Both of these individuals were viewed as critical to  interview because they were highly involved with evaluation activities in the QLs. I used  email addresses that were posted publicly on the Internet to send recruitment email letters  to them and both individuals responded positively and were subsequently interviewed for  the study.      Interviews     The primary source of data collection was interviews with decision­makers from   the QL network representing different parts of the system, including organizations, levels  and niches of the system. Fontana and Frey (2005, p. 697) suggest that “interviewing is      70        one of the most common and powerful ways in which we try to understand our fellow  humans.” Interviews can take multiple forms such as structured, unstructured, and semi­ structured interviews. Fontana and Frey (2005) also suggest that interviewing is a  subjective process rather than a neutral data­gathering tool and that the data obtained  from interviews is a mutually developed story that is bounded in history, politics, and  culture. Interviews for this study were semi­structured to ensure that key information was  covered and to provide flexibility to allow participants to provide additional insights  unknown to the interviewer and to pursue some tangential matters (Hakim, 2000).      Participants were scheduled for interviews after they had received and signed the   informed consent. The interview was scheduled via email communication at a time that  was convenient for the participant. The duration of the interviews ranged between 45­80  minutes in length and were conducted via Skype, an online communication tool, and  recorded using ‘Call Recorder for Skype.’ I called the participants from my computer  using Skype to their telephone so it was not possible to use two­way video conferencing.  Although video would have been nice so that we could have visual contact, it would have  required that all of the participants have computers with Skype software, microphone,  and a video camera. Skype video conferencing is also problematic as it reduces the  quality of the call and requires a strong Internet connection. For these reasons I decided  to have the interviewees participate in the interview from their phone and did not use the  Skype video option. With this format the quality of the calls was very good with only  minimal incidents of not being able hear each other.      A limitation of the study is that I did not ask participants to complete a   demographic survey prior to the interview. However, the first section of the interview      71        was descriptive questions (Neuman, 2006) including questions related their role and  experience with the QLs. I also obtained their educational information via email signature  and other documents, as well as made inferences regarding their gender.       At the time of the interview, I called the participant and began the interview, by   asking if he/she had any questions about the study or the consent form. I answered any  questions the participant had and informed the participant that the interview would be  recorded. In hindsight, I should have asked for the participants’ permission to record  instead of informing them that they would be recorded, but none of the participants  objected to being recorded. Next, I provided a brief overview of the study and then  proceeded with the interview questions.  I had developed an interview guide for different actor groups in the system based  on the implementation and systems literature, as well as the research questions (Appendix  D). I shared the interview guides with the Research Director of NAQC and my committee  members and revised them based on the feedback provided. The interview scripts had to  be tailored for different actor groups because the same questions would not be  appropriate for everyone, as they varied on several key characteristics. For example,  some individuals represented service providers and others funders. Some worked with  only one QL, whereas others worked with multiple QLs. An example of how I tailored  the interview script is that I asked interviewees from service providers and health  departments (QL organizations) about their QL funding source, but I did not ask this  question of the CDC interviewee because it would not make sense to do so.  I also tailored the interview questions based on the individual interviewee’s  characteristics. Tailoring interview guides for specific respondents and situations is a      72        typical characteristic of field interviews (Neuman, 2006). For example, if the interviewee  had a lot of experience and involvement in the broader QL network, then I would pursue  questions about the QL network. However, if the interviewee’s experiences were limited  to their individual QL, then I would not ask questions about broader network issues.  Although there was variation in which questions were asked and how they were asked  exactly, there were consistent topic sections across all of the interviews. I had topic issues  that I wanted to cover and had developed a list of questions for each issue or topic.   Below is a list of the topics in the interview script and samples of the questions  under each topic issue (see table 3). I did not link exact interview questions with a  specific research question because information from a single question could provide  insights into both specific factors influencing implementation (question 1) and also  patterns in the system (question 2) when combined with other information. For the most  part, the background topic area provided background information on the topic and the  other questions addressed research questions one and two. Although this distinction was  sometimes blurred depending on the information provided by the interviewees. The third  research question was not linked specifically to any of the interview questions and  instead was addressed through the interpretation and discussion of the findings.      73        Table 3. Interview Questions & Topic Areas  Topic Area  Background  Funding   Interviewees’  perspective of  the innovation  Description of  evaluation in  their QL   QL changes over  time  QL Relationships   Evaluation in the  broader network    Sample Interview Questions  Can you describe your organization and QL?  What is your role in the QL?  What is your experience with evaluation?  What are the sources of funding for your QL?  How stable has this funding been over the years of operation?  Are there any expectations or mandates for evaluation with this  funding?  What does it mean to evaluate effectiveness?   What is the goal of evaluating effectiveness?   What does it mean to “fully implement” this innovation?   Who conducts the evaluation for your QL?   How are decisions about evaluation made in your QL?   What type of evaluation is conducted at your QL and organization?  How are the evaluation results used?  What are barriers to your QL evaluating effectiveness?   Why did your QL start conducting evaluations?  How has evaluation in your QL changed over time?    Why did these changes occur?   Does your QL share information about evaluation with other QLs?   How would you describe the relationship between your organization  and your partner organizations (e.g., service provider, evaluation  contractor)?  How has evaluation in the QL network changed over time?    How can evaluation in the QL network be improved?   What are some of the differences across QLs that influence  evaluation?     The interview was characteristic of a field interview and not a survey interview in  that I posed open­ended questions, allowed joint control over the pace and direction of  the interview between myself and the respondent, and showed int