跨文化研究方法论

在跨国家的研究方法方面：前言

跨国家和跨文化的调查研究一直在增长迅速进行了几十年和兴趣如何更好地做他们还可能从未如此巨大。在国际社会学协会研究委员会33（逻辑和方法论）几次会议都致力于跨文化跨国家的调查方法和本卷的论文绝大多数在那个会议上被提出。

从事比较研究的研究人员一直担心的计量问题，可比性，可靠性和他们的数据的有效性。但设计和执行的比较研究已经显着自20世纪六十年代和二十世纪七十年代（戈捷，2000年）的早期跨国项目的改变。

1. 跨国家研究

在六七十年代，跨国项目往往基本的案例研究。关于同一主题的全国性设计问卷，用来收集在不同国家的数据（见本迪克斯，1963;巴恩斯和Kaase，1979年）。即使在以这种方式不包括翻译，测量挑战依然在概念层面：“比较社会学研究代表尝试开发理念和概括的区别什么是所有社会的真实，什么是社会真正的在一个点的水平在时间和空间“（本迪克斯，1963：532）。

一个在早期研究中的主要问题是在不同的社会制度观察社会现象是否具有可比性或没?方法（S）使用不同国家测量 ?在社会和政治制度的差异研究，

?翻译从一种语言到另一种语言和一种文化到另一种文化。

“单变量的交叉系统的比较将取决于在单元与测量的每个社会系统内的规模”（普泽沃有（见普沃斯基和Teune，1970：11）。系统误差，在跨国研究的早期阶段举行是由产生

斯基＆Teune，1970：42）。克服语言障碍被视为迈向可比性的第一步。研究人员学会了“功能等同”（但见约翰逊，1998年）和有关思想，以提高跨文化王兴仁实现问题的表面效度“迭代翻译”过程。其结果是，他们试图用“回译”检查他们提高提高翻译要么努力（如布里斯林，1980;但见哈克尼斯，2003），或者放弃的翻译，主张使用所选择的每民粹化国家的具体项目这将衡量在研究整个人群相同的基础结构。普沃斯基和Teune（1970年），例如，在跨文化研究的要求相比，略去指标以及国家指标应适用。

有关社会人口信息数据，并协调好对合并数据集的变量。

与直接测量难道我们甚至在国家研究调查的问题，因为国家的社会是在课堂上的隶属关系不同，在教育和文化历史（生活在不同的宗教，即哲学）。该不光彩的答案的问题是根本无视这研究者的理解问题常问题。

2. 问题翻译与设计

工作在认知框架之间的区分问题本意和问题感知意义，调查方法论认知已经制定并细

深知可比性的问题，使用的方法调查当前的时间来翻译，来测试源问卷问题，以收集

化技术预测试问卷（见的捐款问题在压等2004，）。国际研究，调查方法论和语言学家已经翻译精炼技术和策略，逐步取代旧的是翻译和考试的安排（哈克尼斯，2003;哈克尼斯等，2004）。长期以来，人们一直推荐使用，例如，翻译团队，包括专业知识的调查，调查的主题和语言。在调查中凸显的翻译，：如由政府（REF）美国局和那些欧洲社会调查（WEB）最近的指导方针，强调ESTA点。与此同时，更清晰的感知翻译问题已明显呈现百分点，比以往任何时候都之间的问题，问题的设计翻译的相互关系。由于问题被认为在背景下，不同的情境在哪家反式迟来的问题进行处理（不同的文化）可感知变化的精心翻译的问题（布劳恩，2003;哈克尼斯，2004年）的意思。更需要研究如何解决设计问题更好，描绘出的潜力，适应生产时的问卷新源语言版本。

3. 协调的过程

人口和社会经济变量描述一个人的行为的上下文。上下文变量是变量或变量背景（布劳恩和莫勒，2003：112）“包含必要的信息来定义齐群，之间建立的态度和社会的这些事实的因果关系，并确定分数尺度之间的差异。”

在标准化的许多乡村俱乐部没有问题存在，收集有关人口和社会经济变量的数据。即使在德国，标准化的进程始于七十年代末，只有少数的项目使用的建议标准。在可比的跨国家研究，对现有的标准化工具或指标，可以发现只有一个非常小的组变量（见Hoffmeyer-Zlotnik和狼，2003年）。

今天，国际数据收集程序使用协调不同的技术，但都有共同的方法论意识的高层次。 通常情况下，统一输出是事后的协调，这是协调利益进行了追溯。输出的协调开始从一个共同的定义国际商定的重刑变量代表一个共同指标。被调查的目标或目标值确定。合适的调查方法的选择留给参加研究，并通过国家类别的全国测量仪来完成。在这里，国家的研究人员的目标应该是共同的指标的最佳运作。如果测量过程是有效的国家以及国际概念，则该方法被称为事前输出协调。这个伟大的情况下，如果国家计量需要国际比赛，是罕见的;国家指标通常我们反映他们被开发的文化。

在国际社会调查项目（ISSP）贯彻执行混合输出和输入（见下文）的统一的关于社会人口变量。由于这是调查的正在开展的计划，会员提前知道有什么信息要协作选中。在需要被包括在档案准则是相当具体而正在成为更加具体的过程。他们的乡村俱乐部只是从而可以根据国家的问题，收集需要什么样的计划。同时，许多乡村俱乐部ISSP ISSP调查领域作为一个更大的研究和社会人口问题的具体配方的一部分，可以通过更大的研究确定。该ISSP有一个特殊的工作组人口统计方法目前工作的协调输出问题。

输入需要协调国际公认的标准处理程序（如定义，概念，聚合，分类法）为出发点，然后一个协调使用调查的方法来实施相关的原始标准。 “所有调查的国家俱乐部使用完全相同的调查过程中完美的情况下。针对具体国家的特殊性只允许他们是不可缺少的“（的信息社会技术，1999：1）。输入统一始终是事前的协调。

欧洲社会调查（ESS）是为协调输入一个例子。该问卷是在语言从主要是英语英语组

科学家开发的。由于在ESS收入类别，例如，是针对英国的收入结构，这些类别不适合其他一些参与国俱乐部。例如，在分析ESS轮1的数据Hoffmeyer-Zlotnik与时代华纳（本卷）无法重现收入结构在葡萄牙或卢森堡它充分。 4. 概述

社会对此卷的概念诞生在第六届国际科学大会方法论在阿姆斯特丹，2004年8月，在逻辑和方法论国际所以社会学协会研究委员会主办33。大部分捐款问题在本卷此案从阿姆斯特丹会议论文。

捐款问题在本书中都举办四部分组成。第一部分涉及设计和实施跨文化调查。一个国家制定的音符布莱尔Piccinino仪器往往需要修改为其它用途。他们探讨的问题类型，并指出遇到了预测试技niques（包括新的和传统的认知策略）是解决哪些类型的问题非常有用。 DEAN，卡斯帕，McAvinchey，REED＆QUIROZ介绍新艾迪系统蒸发散的“问题评估系统”，编码工具的预测试仪器旨在发掘源调查问卷的跨文化问题。讨论Sagebiel关于性别工程的国际比较项目，概述参与管理一个复杂的国际研究设计，并在工程教育提出的比较对性别问题的潜力与挑战。约翰逊，CHO，HOLBROOK，O'ROURKE，WARNECKE与查韦斯的贡献研究调查问卷设计的效果功能的变化对有关文化的理解困难。

MILLER，

WILLIS，EASON，MOSES＆CANFIELD他们的研究结果描述了关于测试的调查问题中的跨文化研究，采用的分析方法在哪家结果的编码和制表进行了补充采访“开放式文本注释。

第二部分包括三个这与可比性或“对等”的问题，应对不同的试卷。 BRAUN＆HARKNESS探索方面和非语言特征之间的关系的语言锚那调查问题创造“等”或可比性的问题。 ROTHER为调查的ESS移民问题的基础上，“功能等同”的潜在问题。 Zucha的研究主要集中在跨国研究和使用的数据结构性等效性研究是否ISSP实证构建通用的是被调查国的俱乐部。第三部分汇集了社会人口的论文随着调和体内不同类型的调查信息。 K?RNER＆MEYER讨论途径形成和谐在德国官方统计欧洲使用对比住户调查社会人口信息。投入人口和社会经济变量的统一的欧洲社会调查（ESS）科尔斯鲁德和肖克目前的例子，在这是由专家组成的中央统筹的团队开发的变量。最后，SCHOLZ呈现从国际社会调查项目（ISSP）根据国家具体问题的教育变量人口和社会经济变量的协调的一个例子，然后一个绝对转换成的国际体系。

该卷的最后一节包含单独的论文讨论跨国的角度出发，社会人口变量。 WARNER＆HOFFMEYER-ZLOTNIK讨论测量挑战的收入是跨国调查，而HOFFMEYER-ZLOTNIK与华纳专注于教育的比较社会研究的测量。这两篇论文在 - 在欧洲社会调查所使用的仪器CLUDE讨论。 Ganzeboom途径来比较不同的职业编码（详细和“粗”的编码）。LAMBERT呈现种族的不同的概念，并在社会调查研究不同的测量仪器，并从两个角度讨论了合理的替

代解决方案。WOLF注意到关于在国际社会调查项目和欧洲社会调查宗教参与和宗教测量定睛一看，报告对宗教在欧洲国家的国家的水平相一致的结果部分虽然使用不同的指标的调查。

参考文献

Barnes, S. H., M. Kaase, et al. 1979. Political Action: Mass Participation in Five Western Democracies. Beverly Hills: Sage.

Bendix, R. 1963. “Concepts and Generalizations in Comparative Sociological Studies.” American Sociological Review 28: 532-539.

Braun, M. 2003. Funktionale Aquivalenz in interkulturell vergleichenden Umfragen. Mythos und Realitat. Habilitationsschrift.

Braun, M., and P. Ph. Mohler. 2003. “Background Variables.” Pp. 99-113 in Cross- Cultural Survey Methods, edited by Harkness, J. A., F. J. R. van de Vijver, and P. Ph. Mohler. Hoboken NJ: Wiley.

Brislin, R. W. 1980. “The Wording and Translation of Research Instruments.” Pp. 137-164 in Field Methods in Cross-Cultural Research, edited by Lonner, W. J., and J. W. Berry. Beverly Hills, CA: Sage.

European Social Survey (ESS). European Social Survey, Round 2. Specification for par- ticipating countries. http://www.europeansocialsurvey.org/

Gauthier, A. H. 2000. The Promises of Comparative Research. Paper prepared for the European Panel Analysis Group.

Harkness, J. A. 2003. “Questionnaire Translation.” Pp. 35-56 in Cross-Cultural Survey Methods, edited by Harkness, J. A., F. J. R. van de Vijver, and P. Ph. Mohler. Hoboken NJ: Wiley.

Harkness, J. A. 2004. Translation: Final Report on Round One to the European Commis- sion. ESS. http://europeansocialsurvey.org/

Harkness, J. A., B. Pennell, and A. Schoua-Glusberg. 2004. “Questionnaire Translation and Assessment.” in Methods for Testing and Evaluating Survey Questionnaires, ed- ited by Presser, S., J. Rothgeb, M. Couper, J. Lessler, E. Martin, and E. Singer. New Jersey: John Wiley and Sons.

Johnson, T. P. 1998. “Approaches to Equivalence in Cross-Cultural and Cross-National Survey Research.” Pp. 1-40 in Cross-Cultural Survey Equivalence. ZUMA- Nachrichten Spezial 3, edited by Harkness, J. A. Mannheim: ZUMA.

Hoffmeyer-Zlotnik, J. H. P., and C. Wolf (Eds.). Advances in Cross-National Comparison. A European Working Book for Demographic and Socio-Economic Variables. New York: Kluwer Academic / Plenum Publishers. Information Society Technologies and CHINTEX. 1999. CHINTEX Synopsis. Contract no IST-1999-11101. http://www.destatis.de/chintex/download/synopsis.pdf

International Social Survey Programme (ISSP). www.issp.org/ Presser, S., J. Rothgeb, M. Couper, J. Lessler, E. Martin, J. Martin, and E. Singer (Eds.).

2004. Methods for Testing and Evaluating Survey Questionnaires. New Jersey: John

Wiley and Sons. Przeworski, A., and H. Teune. 1970. The Logic of Comparative Social Inquiry. New York: Wiley. JURGEN H.P. HOFFMEYER-ZLOTNIK & JANET A. HARKNESS

第一部分：设计和实施跨文化SURVEYS

跨文化和多文化的调查和开发工具的测试 约翰尼·布莱尔琳达Piccinino

开发低成本技术并行跨文化仪器发展：问题评估系统（QAS-04）

伊丽莎白·迪恩，雷切尔卡斯帕，乔治娜McAvinchey，莱蒂西亚里德和王鸣基罗斯

性别与工程使用的欧盟委员会项目一个混合的国际可比方法论方法 Felizitas Sagebiel

在问题设计的影响文化变异特点答辩理解

蒂莫西·P·约翰逊，年轻赵翼，阿廖沙霍尔布鲁克，黛安·奥罗克，理查德Warnecke和诺埃尔·查韦斯

口译的跨文化认知访谈结果：混合方法方法

克里斯汀·米勒，戈登·威利斯，康妮陈奕迅，丽莎·摩西与贝丝·坎菲尔德

开发和测试仪器进行跨文化和多元文化调查

约翰尼·布莱尔和LINDA PICCININO 1. 引言

有几个动机提出更广泛，更系统地使用仪器的开发和测试本章中所描述的方法：广泛的研究背景，其中跨文化仪器开发时提出了一个有条不紊考虑到这些不同的上下文中进行设计的影响仪器的发展将是有益的。测量误差的研究表明，许多因素可以发挥响应误差和数据质量具有重要作用;与这些因素究竟如何发挥作用的数据集合中的分析已经发展更复杂（Biemer等人，1991;压等人，2004）。由于测量仪器的测量误差的研究开发主要是通过非跨文化的研究和经验，但没有理由相信其研究结果不具备跨文化调查，重要的后果。最后，预测试技术的范围内增长，作为对这些不同的技术优势和劣势的研究。

当考虑的，其中跨文化或多种文化调查完成的情况的范围内研究上下文的潜在重要性变得明显。其中一些研究上下文的简单列表使得它明显的是，有必要设计一个调查工具可导致产生有许多原因，当考虑跨文化因素。研究人员有时会设计“从零开始”的手段用在文化不是自己的。已经施用在一种文化背景的仪器可能需要提供在不同的培养可比测量。或器械可被设计在不同的文化的使用，无论是在一个单一的调查或多个独立的调查。文化边界的交叉可以或可以不涉及遍历国家或语言的界限为好。不同的语言群体和相当独特的文化是的，当然，在一个国家内遇到的，以及国际。

直到最近，在跨文化调查仪器开发的文献主要集中在翻译的问题。但有一些影响，除了翻译的准确性测量误差许多其他因素。会话含意影响他们听到超出了陈述或问题（格莱斯，1989年）的字面意思的事情的人的解释。的问题顺序效应的影响可能会有所不同，从一种文化到另一种（施瓦茨，2003）。一项调查的一般目的的受访者的认识，数据的计划用途，及保密的保证，也影响他们如何理解和应对调查问题的因素。最后，认知的一些方面中，影响反应的行为和响应的影响可以在不同文化差异（Johnson等，1997）。虽然已经在跨文化调查设计的重要发展（例如，见Grosh和Glewwe，2000年），特别调查“的方法太多了文献中的技术报告表明，经常不采取可用的工具充分利用开发和测试技术。在设计仪器的跨文化和多文化研究使用一种是现在普遍使用的预试技术或更多肯定可以解决遇到的很多问题。

在跨文化调查设计和调查等“方法的技术报告文献表明，许多调查不采取可用仪器的开发和测试技术充分利用。在设计仪器的跨文化和多文化研究使用一种是现在普遍使用的预试技术或更多肯定可以解决遇到的很多问题。

它可能是，这些技术本身有时需要调整，以适应文化因素，这仍然是将受益于对特定的调查经验，认真报告，以及从方法学研究的另一个领域。重要的是要记住，在发展跨文化的仪器，研究人员面临字迹清晰的问题是捕获感兴趣的结构和目前受访者认为是合理的任务的所有常见的问题是很重要的;但添加到这些是一系列的文化和交际的问题。

文化的问题也存在于研究人员的调查设计为自己的文化和国家。然而，许多因素，特

别是社会规范为行为和相互作用，可能会考虑到几乎是无意识地。这些类型的问题，但是，也可以不知不觉地在设计时对另一种文化的一项调查显示，文化之间传输的调查，或设计一个调查，意味着要适应多文化的忽视。所有这些不同的因素支持应用系统的方法来定义仪器的发展问题和潜在的问题，选择合适的仪器检测方法和认真落实他们的潜在价值。

2. 反应中的作用

关注响应效果有着悠久的历史，在调查研究，但似乎已经起到少得多的角色在跨文化调查方法比研究和调查不涉及跨文化问题。响应作用发挥的调查测量误差至关重要的作用。大部分的反应效果研究其次Sudman和布拉德的荟萃分析的结果显示，超出调查问题的文本，响应任务的性质可以强烈地影响受访者的答案（Sudman和布拉德，1974年）。在报告的一大系列实验，结果重新分析舒曼和压脚（1981）提供了从替代问题的措辞产生了广泛的影响的证据。

截至目前为止，很少有人知道背后这些影响底层的务实和心理机制。调查方法（CASM）运动的认知方面开始改变这种状况。许多作品已经阐明如何认知和交际过程影响的调查回应产生一些已观察到的响应效果光（施瓦茨和Sudman，1996;施瓦茨，1996; Tourangeau，裂口及Rasinski，2000）。这似乎一个合乎逻辑的步骤，延长认知测试和分析方法，跨文化研究，当然在这个方向的一些重要的工作已经完成。有强有力的证据表明来自不同文化背景的受访者可以在他们的反应各不相同的行为反应，以相同的调查问题。在一个重要的文件，约翰逊等人。 （1997）提出一个有说服力的案例文化差异的潜在冲击的反应过程的每个阶段：理解，记忆，反应形成和报告。这种作用的结果，在某种程度上，一个事实，即“文化团体也被称为沿个人主义与集体主义的维度上有所不同，情绪控制与情感的表现力，阳刚之气与阴柔，和身体接触的可接受性”（Johnson等人， 1997：89）。

内存检索和判断的形成同样可以受到文化差异。特别是，语义记忆 - 将信息存储与概念范畴 - 可以构建不同的跨文化。无论这种差异会影响调查的召回工作，是一个悬而未决的问题。在形成某些类型的判断，受访者有时会依靠一个参照系（例如，什么是合理的预期，比如说，医疗），或定位点（如什么是规范或什么是“平均”的行为在他们的，比如说文化，时间在休闲花费），并就这些启发式的设备决定他们的答案。当然是有，职权和锚点这些框架可能会有所不同跨文化的可能性。如果是这样，响应尺度可能不能以相同的方式使用时，一个重要的因素，如果，例如，结果在多个国家进行比较。最后，响应的编辑可能会受到受访者的申报任务的理解 - 很多信息是如何通过?affected受访者报告任务的理解 - 有多少信息被通缉响应公开回应的问题，或者是约翰逊等人。 （1997）指出，受这些因素的自我介绍和面试答辩的相互作用的某些方面。

最近，强范德?维杰威（2003）回顾了我们所知道的尊重文化的社会期望的区域影响效果。这可以被看作是一个特殊的，但是示例性的，情况下的响应编辑。他们的讨论集中在

社会期望是否可能对来自不同文化背景，这可能是在不同文化之间的反应倾向真正的差异功能受访者不同的影响。但另一种观点认为，社会期望可能是由于调查问题，采访者和受访者，或者两者之间的相互作用特性。特别是，他们指出：“受访者和面试官有时会产生不同的反应模式之间的文化差异。”此外，他们还指出，调查的管理模式会影响报告，特别是对敏感的问题。

总之，对于影响响应行为的因素很多存在用于期望文化差异一些理论依据，但对于大多数，只有少量的调查为基础的研究已经完成。但是，即使我们知道在这一点上的小建议谨慎的假设以及如何测量仪器跨文化将“旅行”;并使用多个“工具”来评估的工具将如何执行。 尽管这项研究并没有集中在这些研究结果的意义为预测试已创建或改变在不同文化的工作该仪器，显然这是一个显著的问题。至于可以从文献很多跨文化的开发工具来确定和测试一直关注的翻译。超越了原来的问题的翻译质量的问题，因为已经注意到，理解可以是不同的或困难的（不相同的问题），由于文化因素。此外，它往往是不清楚使用它的研究者的家居文化，更不用说它的性能如何可能会影响移植入另一种文化背景之前有多少做了预测试仪器上的。这似乎是合理的，考虑到以上和跨文化的调查，即使是非正式的观察惯例的研究指出，这些调查可能使用的预测试方法更为广泛受益。如何以最佳方式完成，以及这些方法本身需要适应的跨文化研究方面是为未来的方法研究和实际应用的主题。

3回顾仪器测试3.1可比性尺度若干问题的

在预先测试和测试过程的另一个重要组成部分是揭露社会异同不可观察和可观察到的行为频率的测量。做到这一点的一种方式是设计和测试一组被认为是可比较从一个文化背景到另一个反应鳞片。根据所用的响应规模型，得出的结论有关行为的差异及其发生的频率可以是虚假或误导。只有当在代表多种语言和上下文问卷项目具有等效响应秤那可比测量和有效的推论可以得到的（Smith＆沃尔特，2004）0.1

吉，施瓦茨和尼斯贝特（2000）采用了一套开放式的反应和一组频率扩展到探索行为和记忆的文化差异。他们发现，当使用频率尺度，这对观察到的行为，并在中国和美国不可见的行为频率的报道不同影响。吉等人。 （2000）也报道，当开放式响应格式使用，它产生的结果观察到的行为，大约相当于中国和美国（为意，设计）。他们得出的结论是，根据所使用的响应格式，研究人员可以得出有关行为文化差异不同的结论。这项研究说明，在跨文化研究中使用频率尺度的潜在风险，并强调需要应对规模的预试。 3.2等效

类似措施的问题往往是在跨文化调查的问题。这种等价成为关注的中心，当一个调查涵盖多个文化背景，或当同样的调查进行比较不同的文化和国家的目的。有措施等同性的本质多个维度：问题等同理解，包括响应体重秤和相当于答辩利用反应尺度（如上所述）。

这些尺寸似乎集中，虽然有是在这一点上没有办法达成协议。

约翰逊（1998年）提供了等效替代概念进行全面审查，并列出52种等价于文献审查中发现的;并接着consider他们对调查设计的重点影响。许多这些类型的彼此不同之处仅略;和类型也包括从高层次的，概念性的概念，如完全对等，文化对等，以什么似乎是等价的非常字面概念，如文本等价。其中之一是测量等价，有时被定义为“...实例，其中因子装入和误差方差跨组相同”并且其中，当“...调查项目发生语义等价...后跨两个或多个培养物表现出相同的含义翻译。“最后这两类，其中前者似乎包含问题的回应类别，似乎表明一个合理的方向朝着等价的操作定义。此外，这个方向似乎也给自己借钱给开发实用程序实现等效。我们提出一些建议，开始指定这样的程序。

第一步是不等价的点的鉴定。专家评审，重点人群和认知的采访都可以在这样的鉴定可能有用。但是，除非非等价的程度大，努力和样品量大小必要请埃森来完成此识别可能比需要的典型预测试，以确定理解和其他任务的响应性能大得多。一个连续过程的方法可能是在这个阶段非常有用。例如，国内专家或专家小组可以能够识别可能的非对等的区域。首席调查员或数据分析员会再判断是非等价的可能产生的影响，考虑到这些变量的影响，这个问题的粗糙程度和可能影响样本的比例可能。在此评估的基础上，将需要做出有关删除或调整的非对等的重要性决定。正如测量误差其他来源，这是很少可能校正每一个潜在的缺陷。识别和评估这一进程将随着时间的推移变得更可靠随着经验的积累与不同的人群和调查主题和措施。

有可能修改了仪器的问题或其它特征以实现等价。做不到这一点，有可能确定非等价的措施之间的关系，并允许它在数据分析。例如，如果在包括确定双方，他们夸大了，也就是说，相较于年轻人从其他族群他们的健康状况，以及夸张的程度有些估计，统计调整可能是年轻的西班牙裔男性的调查可能的。虽然我们认为这个过程可能是昂贵和相对复杂，这些因素都必须对非等价重点分析的潜在影响称重。

3.3有效性

建构效的重要性，以确保在设计的另一种文化背景下捕捉你正试图测量什么仪器的项Miller等人。 （1981年）在其早期论文问由一个概念，其含义针对某一特定国家的目，是您要测量什么有效的交涉，该国家或文化中。

可靠指标，并评估认为是国家间有效的索引（在这种情况下，美国和波兰）的部分。他们开始了他们的分析，通过研究在美国调查发现，是要相比，公波兰复制调查项中，国家的有效性。分析寻找的应该是衡量关键概念（即专制保守主义）项目内部一致性：在其他相关概念（即个性），协方差任何因测量误差的关键概念的项目经验分化和素质这显示了它的指数是概念的充分的代表性。

他们通过观察一个国家免受来自其他国家的数据因素分析得出的指数在国内指数的相

关性研究明年在authoritarian-保守主义的索引项的跨国有效性。看着他们那是常见的那些对特定国家的这两个国家和指标的统计特性。

研究人员得出结论，也就是一套核心项目是有一个相同的意义在这两个国家，但有特一些研究人员（Miller等，1981）认可的某些统计工具（如因子分析）的工具，以评定国家的项目，而这些项目应保持特定的只对各自国家的指数。

估在跨文化调查手段构建的有效性。其他如纱丽，范德草原和Gallhofer（2004）指出，研究人员像坎贝尔和费斯克（1959年），谁坚持认为，如果以上的方法来测量相同的特质有效性也最好进行评估;以这种方式，可以检测到的错误。它们指的是方法可能很简单，如使用多个版本的响应规模和比较它们的相互关系。然后有效期可以从感兴趣的性状和“真实分数”（定义为一个表示使用的性状和方法所观察到的变量的分量）之间的关系的强度估计。

4. 预测试技术

可用的预测试技术是众所周知的。这些技术的潜在优势和缺点在许多来源已经注意到根据实验研究（压＆布莱尔，1994;压等，2004），或书籍提供实用AD-副执行（福勒，1995; Czaja与布莱尔，2005年），为预试过程中提出的质量框架（布莱尔Piccinino，2004），或从理论角度（马丁，2001）认为预测试技术。所有这些观点都是对技术的跨文化调查工具的预测试的应用程序可能很重要的。下面我们列出了主要的技术和注意选择理论和实践问题，可能是相关的跨文化调查，以及有关技术如何可能会被调整，以便解决一些我们已经提出的问题提出了一些建议。

压和布莱尔（1994年）相比，在每一个方法的反复试验使用一个单一的问卷调查4预试的方法。测试的方法是：传统的预测试，行为编码，认知访谈和专家小组。基于模型的编码方案中使用的归类问题答辩语义，答辩任务，采访任务，或分析。平均来说，专家小组被认为是最有生产力通过发现的问题的总数进行测定。专家小组和行为编码比在横跨试验发现的问题的数量的其它方法更可靠，以及在其问题分布。

这可能是最重要的影响，跨文化研究的关注答辩语义和答辩任务问题的调查结果。认知面试是一贯更好地识别答辩语义问题;而传统的预测试和专家小组是最擅长识别答辩任务的困难。

下面我们提供的主要的前测技术的概述，并注意额外的理论和实践问题，可能是相关的跨文化调查，以及有关技术如何可能会被调整，以便解决一些我们已经提出的问题提出了一些建议。

4.1专家评审

专家评论是一个总称许多不同的活动，涉及不同类型的专家的建议是引起以不同的方式。最相关这里有关于特定国家或文化中的调查将进行专家;和专家的语言，方言或方言中，调查将进行。是什么让一个人的专家？在一定程度上，只是被土著或精通一门语言可以

有资格作为足够的专业知识。它也是很重要的要注意可能内培养的类布莱尔/ Piccinino：发展与仪器的测试differences。当然，不同的专家可能得出不同的结论，并提供了相互矛盾的建议或解决方案，以质疑的问题。即使是这种类型的冲突可能是确定需要在设计或测试更多关注的问题是有用的。

选择专家的问题可能是适用于任何调查，但特别让其他文化，那里的主要研究者或调查方法论可能无法胜任鉴别“专家”。为帮助解决这个问题，可以有更广泛的价值的一种方法还有就是利用专家小组。在这种情况下，通常是三个或更多的专家都汇聚为相关调查问题的讨论。专家们不需要都具有相同的专业是信息有关特定问题。一位专家可以有一个良好的整体理解，例如，如何对医疗系统的功能，但不熟悉接入困难，在国家经验的某些亚群。而另一位专家可能会明白生活在城市中的人通常如何处理某些财务问题，但知之甚少同样的功能是如何工作的在贫困的农村地区。

例如，在支付意愿调查，肯尼亚（McGunnigle等，2000），数据的检查表明，调查者和被调查者有问题，关于投标价格（价格愿意支付）调查问题，并经常输入的数字金额是/否的问题。另外，在仪器的服务费类常常不匹配所提供的实际服务。与后 - 事实上，工作人员在肯尼亚一些讨论是必要的了解服务及收费系统是如何工作的，并实现数据问题。这些问题可能已经被最小化，如果与肯尼亚的专家讨论调查问卷的最后开发阶段之前发生的。 当招募的专家小组，以既覆盖认为重要的是，调查在手区域的范围内，但也有一些重叠在专业知识，使替代的判断或观点，可以识别和评估是有用的。

4.2认知访谈

标准的四阶段响应模型（例如Tourangeau＆Rasinski，1988）假定一个顺序集合的认知任务受访必须在回答调查问题进行。此描述性模型提供了用于仪器测试以及收集数据的其它方面的有益总体框架。

认知面试是一个通用术语，一组可用的技术，可用于以各种组合在一对一的预测试面谈（钜＆布莱尔，2004）。在很大程度上，认知采访，包括受访者自言自语，报告一切，想到他们回答问题。自言自语是结合两种类型的探头：同时，在面试时问;和追溯，问后间采访（或之后自足采访的部分）。该探测器可部分提前写好的认知面试以及面试时的即兴创作。认知面试官探头或者基于困难的受访者“的迹象（如澄清要求，改变答案，不能产生一个答案），或在有关的问题，这可能会导致响应问题方面的猜测。有证据表明，前者类型的探针是更可靠，更不太可能转起来误报（即“辨识”不存在的问题）比后者的类型，尽管这些上下文无关探针可以产生更多的问题，以及（钜＆布莱尔2004年）。没有协议，但是在这些研究结果的实际影响。威利斯（2004年）的“认知访谈：为提高问卷设计，A工具”最全面的治疗方法日期，需要用他所谓的积极探索更积极的看法。直到在技术方法上的一些研究已经在跨文化环境中进行的，谨慎建议在探头的选择。

认知访谈的主要力量是确定在响应过程的任何阶段问题的潜在能力：理解，记忆，反

应形成或反应的报告。认知采访经常发现可能的原因的认定问题的发生;这些信息可以帮助指导问题修复。除了基本的响应任务的问题，认知的面试也许可以帮助识别可能在跨文化的调查尤为重要务实的沟通问题。但是只有少量的研究，以时间来支持这一论点。 在认知interview- ING一些变种要求的任务可能是对一些受访者非常困难，是非常有用牢记。这些都不是一般的人被要求做的事情;一些详细的说明或实施例可能需要。一些认知的采访任务，像自言自语或意译，需要首先让受访者明白他们被要求做。

即使受访者了解任务，那些谁可能是不太清楚或更小的社会适应一个陌生人面前讲话可能与某些形式的认知面试的困难。如果有可能的文化障碍，以必要的认知采访的顺利进行交互的类型，国内的专家也许能够指出这一点在规划过程的早期阶段。在这种情况下，研究人员可能会选择一个版本的认知面试的是考虑到了这些障碍，或决定不使用认知面试的。当然，这需要研究人员解释清楚的认知采访过程中对国内的专家。

心思缜密应考虑这些问题，因为困难的认知反应任务有时被误认为是困难，从不同的角度，格罗夫斯等task.?Looked在调查的回应。 （1992），在讨论的受访者直接提问的方法来确定与意义的问题，指出“......对意义的问题将自己受到较大的测量误差。”

然而，如果目标人群成员可以，就整体而言，自我表达充分，而且舒适回应探头和完成其他必要的认知采访任务，认知测试可以揭露了一系列问题和可能的解决方案，以及一个有效的方法。

在与菲律宾的一个项目，2003年相关的工作，既为各类计划生育/医疗服务提供者的结构化和自填问卷进行预测。通过认知测试，人们发现供应商（尤其是助产士）发现，调查问卷的自我管理的部分是不相关的，因此并没有太注意回答它（商业市场战略计划，2003年）。

4.3焦点小组 聚焦组可以采取不同的形式用于不同的目的。重点小组可以由专家（如上所述）谁提供深入了解目标人群的国家，文化和他们的语言的相关方面，还是在调查的任何方面发表意见。然而，通常，聚焦组由目标人群成员。正如在美国重点群体，需要决定作出什么基组合物将最好创造必要的开放交换，以产生有用的信息 - 无论是关于特定主题或反应实际调查草案的问题。该项目的IN-国家的专家可以判断焦点小组的互动是否能预计为必要的工作，如果没有，什么样的修改可能。

例如，在牙买加的生殖健康研究（杨，2003年），重点人群和角色扮演之前最后的调查问卷开发测试显示，在对青年药剂师根据年轻人的性别观念的差异，他们是否或从在市内或近郊区。神秘的客户端脚本进行了修改，把男孩和女孩的独立药房的需求，以及为适应“上城”和“闹”使用这些青少年语言或俚语。即使在美国开发的原始仪器是英语，在英语用法的文化和语言的差异基本上足以保证测试。

在另一项研究中，在肯尼亚的一项调查（McGunnigle，2000等）的评估认为，如果

该项目有一个较长的时间框架，焦点小组可以提供诊所的收费结构更为系统的信息比对信息，仅仅依靠客户端离职面谈。

Still另一种类型的问题，遇到的一项调查显示在阿尔巴尼亚（合作伙伴健康

Reformplus，2004年），并在肯尼亚，在那里的小变异被发现在五级的应对方案，以约客户满意度与医疗服务提供者和问题一定程度上服务。客户普遍报道的满意度与供应商/服务良好或优秀，但在非正式询问，有的承认他们被赋予了结构化面试“礼貌”的答案，实际上经历的满意程度低于报道。焦点小组和咨询国内有关风俗，政治和礼仪在该地区的专家们可能已经发现，这是习惯，不公开说出关于卫生保健提供者/员工的负面看法。这可能已被纠正通过允许调查进行相应的修改，可能使用不同的数据收集模式，和使用更精细的介绍来尝试减轻的趋势被申请人使用非负响应。

4.4传统的预试

传统的预试如此命名是因为它是预测试的最常见的形式，并没有其他说明，什么人会认为，如果说只有一个预测试已进行。该技术是基于一种仿真的调查中。从目标人口受访少量样品进行采样，并调查施用到它们只是按预期在实际研究。结构化情况汇报会召开之后在面试官给他们的整体和面试怎么跑到自己的问题，逐题测验，有什么问题的受访者经历过，可能的话，可能会提高仪器什么样的变化。

而常规的预测试可以包括后的采访情况汇报，以补充面试官的印象，通常是面试官只是充当代理的记者问题的受访者。行为编码（以下描述）也可掺入到常规的预测试。无论是后采访述职答辩和行为编码可用于验证（或没有）有些考官会报告。

在跨文化的调查，尤其是当一个国内承包商时，它是重要的采访者经过一个预测试训练，不仅覆盖计划的全部项目访问者训练的问题，而且还讨论了（举例）的种信息，它们预计能够报告有关在汇报。应鼓励他们要么期间或之后每次面试在述职用来做笔记。 在卢旺达最近的一个项目中，充分规划面试官前测两天培训被截断到两个小时，由于不可避免的行政和管理资源削减。其结果是，面试官在场上表现不佳，不得不承受通过现场过程（合作伙伴健康Reformplus（2004年b）培训中途。

4.5答辩汇报 正如所指出的，传统的预测试可以补充以不同的方式来获得有关仪器和具体项目如何进行的详细和更丰富的信息。马上采访结束后，受访者可以通过面试者在想什么意思的具体问题，他们认为哪些项目是困难的，所以，除其他事项外要求。当然，潜在的问题通过预测试团队开发的名单应告知述职的面试问题。如果认知面试先于传统预试，往往在认知测试中发现的问题可以告知答辩后的采访述职的建设。

汇报问题可在任一一个开环或闭环响应格式。但也有一些证据（格罗夫斯等，1992）

开环和闭环响应述职项目可能产生不同的信息，更重要的是，目前不同类型的受访者回应的问题。他们指出，受访者谁更善于表达可能men-不被别人注意的问题化。但是，这可能会给与他们的整个人口分布发生这种问题的可能性的一种虚假的安全感。两节课可能采取从这样的结果：第一，题型的混合可能会比依靠只是一种较好;第二，人们应该牢记预测试的基本定性性质（而一般小样本），而不是指望学习太多，如果缺陷被留下未修正的可能出现的问题分布。

4.6行为编码

行为编码是基于什么样的问题和回答面试过程应该是这样的，在没有问题的缺陷（福勒，1995年）的概念。理想情况下，面试官会逐字读出的问题，如果没有错误，答辩将选择的提供应对方案之一。当该过程失败，某些种类的行为很可能可以看出，如申请人的中断和重新读取或澄清，访问者读数误差等请求。从理想的跨浏览器，受访者的互动，这些偏差，如果这些发生比较频繁的被当作了问题，问题的指标;与发生在问题15％的问题，主管一个常用的阈值。

这种技术确实引起一些问题。我们应该期待在跨文化调查组相同的“指标”的行为？是否有补充码，可以捕捉特定的测试在其他文化的行为？将与其他文化表示以同样的方式，在美国受访者的问题？他们将志愿者的意见，提出问题，要求重复等，如果有牌照这样做呢？这是诸如此类的事情，检查与国内的专家 - 将这个或其他测试方法的假设工作?expected在其他文化？最终，这些题型需要通过仔细的方法研究和实际经验的调查正在进行的技术报告的组合来解决。

5概述工艺方法预测试中

的方法的质量的方法来测试问卷是保证覆盖的问题和有关的问题的潜在类型，可以发生在不同的“的实现”或跨文化调查的上下文的范围内的一种方式。这个想法是，指定的跨文化仪/调查情况的类型后，人们考虑的特定的一组可能出现的潜在问题。这组可能的问题的区域引导的预测试技术来解决这些区域的选择。

布莱尔Piccinino（2004）报价为制度化参与跨文化仪器预先测试阶段的方法。他们提出的过程方法的一个目的是要确保全面覆盖的任务，问题和与仪器开发相关的潜在问题。这些任务，问题和困难可以是，例如，在测试的参数，文化的关注，并且具体缺陷问题，并在支持材料。这种方法需要专家团队的协同努力，以确保适当的覆盖面发生。调查手段往往是有缺陷的，在回想起来，似乎很简单，显而易见的原因。强调潜在的问题覆盖面认识到这一点。这是可以肯定的，在寻找问题“的所有岩石都被上缴”的重要。

显然，一个翻译工具可以在新的语言表现不同，当完全等同的话是不可用;或者更严

重的是，如果没有类似的概念存在于目标的文化。不太明显的是，一个工具可能导致测量误差，由于被申请人是不符合任何答辩能力或所需的任务时，调查的问题是在不经意间与一些文化规范和期望的冲突。

作为一个例子，用于计划生育服务在菲律宾的一项调查显示，2003年（商业市场战略，2003年）问卷调查以英语进行实施，也是在他加禄语。虽然翻译成他加禄语并没有彻底的测试，问卷的预测试有助于显示，受访者发现他加禄语的翻译使用的太字面，使他们有时错过了真正意义上使用的术语或解释的方言。在预试还表示，他加禄语更熟络的版本是首选的受访者。

Approaches翻译涉及各个团队的设计和审查程序可以解决许多问题（哈克尼斯，2003;哈克尼斯等，2002;德拉蓬特，平移和罗斯，2003年）。的过程质量方法的重点是比翻译更广泛，而且也适用于当翻译（严格来说）没有必要的。这种方法应包括沟通的语用学，甚至延伸到实际的数据收集实现问题。过程方法的认识到，无论是技术设计问题和操作问题 - 比如面试官的行为，或获得的来自国内的承包商预测试结果彻底报道 - 可能会影响测量误差。的处理方法的强度是利用一个能够适应于特定的调查总体框架。作为该方法被用在不同的调查它是可能的变体是一般框架会发展。这种变化的文档的传播将是至关重要的这种方法的持续发展。 6摘要

另外，在上述的讨论中，我们已经表明仪器的开发和测试的问题的量的预测试技术的替代组合可能是有用的。此外，我们建议人们可能会遇到和技术可能的修改，使之更适合于跨文化的仪器测试潜在的问题。需要注意的是，这些建议是基于判断和经验，而不是方法论的研究是非常重要的。显然，这将是必要的，以进行这样的研究，以了解如何使用这些方法效果最好。即使在这样的研究结果，开始变得可用，但它仍然有必要考虑每个调查的具体特点，题材，管理和目标人口的模式。

Biemer, P. P., R. M. Groves, L. E. Lyberg, N. A. Mathiowetz, and S. Sudman. 1991. Meas- urement Errors in Surveys. New York: John Wiley & Sons.

Blair, J., and L. Piccinino. 2004. Paper presented at the RC33 Sixth International Confer- ence on Social Science Methodology in Amsterdam, The Netherlands, August 16-20, 2004. (Also published in proceedings

volume, ZUMA, May/June 2005.) A Process Quality Approach to the Development and Testing of Cross-Cultural Survey Instruments.

Campbell, D., and D. Fiske. 1959. “Convergent and Discriminant Validation by the Multi- trait Multimethod Matrices.” Psychological Bulletin 56:81-105.

Commercial Market Strategies (CMS) project. 2003. Personal communication. Conrad, F., and J. Blair. 2004. “Data Quality in Cognitive Interviews: The Case of Verbal Reports.” Pp. 67-87 in Questionnaire Development, Evaluation and Testing Methods,

edited by Presser, S., J. Rothgeb, M. Couper, J. Lessler, E. Martin, J. Martin, and E.

Singer. New York: John Wiley & Sons. Czaja, R., and J. Blair. 2005. Designing Surveys: A Guide to Decisions and Procedures.

Thousand Oaks: Pine Forge Press. Fowler, F. J. Jr. 1995. Improving Survey Questions: Design and Evaluation.

Thousand

Oaks: Sage Publications. Grice, P. 1989. Studies in the Way of Words. Cambridge: Harvard University Press. Grosh, M., and P. Glewwe (Eds.). 2000. Designing Household Survey Questionnaires for Developing Countries. Lessons from 15 Years of the Living Standards Measurement

Study. Washington: The World Bank. Groves, R. M., N. H. Fultz, and E. Martin. 1992. “Direct Questioning about Comprehen-

sion in a Survey Setting.” Pp. 49-61 in Questions about Questions: Inquiries into the

Cognitive Bases of Surveys, edited by Tanur, J. M. New York: Russell Sage Foundation. Harkness, J. 2003. “Questionnaire Translation.” Pp. 35-56 in Cross-cultural survey meth- ods, edited by Harkness, J., F. J. R. van de Vijver, and P. P. Mohler. Hoboken: John

Wiley & Sons. Harkness, J., A. Schoua-Glusberg, and B. Pennell. 2002. Questionnaire Translation and Questionnaire Design. Proceedings of the International Conference on Questionnaire Development, Evaluation, and Testing Methods (QDET), Charleston, South Carolina, November 14-17.

Johnson, T. P. 1998. “Approaches to Equivalence in Cross-Cultural and Cross-National Survey Research.” In Cross-Cultural Survey Equivalence, edited by Harkness, J. Mannheim, Germany: ZUMA News Special, Vol. 3. Johnson, T. P., D. O’Rourke, N. Chavez, S. Sudman, R. Warneke, and L. Lacey. 1997. “Social Cognition and Responses to Survey Questions among Culturally Diverse Populations.” Pp. 87-113 in Survey Measurement and Process Quality, edited by Ly- berg, C., P. Biemer, M. Collin, C. Dippo, E. deLeeuw, N. Schwartz, and D. Trewin. New York: John Wiley & Sons.

Johnson, T. P. and F. J. R. van de Vijver. 2003. “Social Desirability in Cross-cultural Research.” Pp. 195-204 in Cross-Cultural Survey Methods, edited by Harkness, J., F. J. R. van de Vijver, and P. P. Mohler. Hoboken: John Wiley & Sons.

Ji, L., N. Schwarz, and R. E. Nisbett. 2000. “Culture, Autobiographical Memory, and Behavioral Frequency Reports: Measurement Issues in Cross-Cultural Studies.” Per- sonality and Social Psychology Bulletin (May 2000).

Martin, E. 2001. Theoretical Perspectives on the Question and Answer Process: Implica- tions for Pretesting. Proceedings Quest 2001, U.S. Census Bureau, Washington, DC, October 24-25, 2001, pp. 6-19.

Blair/Piccinino: The Development and Testing of Instruments ... 29

McGunnigle, M., L. Piccinino, and T. J. Ryan. 2000. Kenya Survey on Willingness to Pay and Client Satisfaction. Bethesda, MD: Pathfinder/Kenya, Abt Associates Inc.

Miller, J., K. M. Slomczynski, and R. J. Schoenberg. 1981. ?Assessing Comparability of Measurement in Cross-National Research: Authoritarian-Conservatism in Different Sociocultural Settings.” Social Psychology Quarterly, 44 (3):178-191.

Partners for Health Reformplus. 2004a. Primary Health Care Reform in Albania: Baseline Survey of Basic Health Service Utilization, Expenditures and Quality. Bethesda, MD: The Partners for Health Reformplus Project, Abt Associates Inc.

Partners for Health Reformplus. 2004b. USAID/Government of Rwanda National Health Accounts project. Personal communication.

Presser, S., M. Couper, J. Lessler, E. Martin, J. Martin, J. Rothgeb, and E. Singer (Eds). 2004. Methods for Testing and Evaluating Survey Questionnaires. Hoboken: John Wiley & Sons.

Presser, S., and J. Blair. 1994. “Survey Pretesting: Do Different Methods Produce Differ- ent Results?” Pp. 75-104 in Sociological Methodology, Vol. 24, edited by Marsden, P. Washington: American Sociological Association.

de la Puente, M., Y. Pan, and D. Rose. 2003. Paper presented to the Federal Committee on Statistical

Methodology Research Conference, Arlington VA, November 17-19, 2003. An Overview of Proposed Census Bureau Guidelines for the Translation of Data Col- lection Instruments and Supporting Materials.

Saris, W. E., W. van der Veld, and I. Gallhofer. 2004. “Development and Improvement of Questionnaires Using Predictions of Reliability and Validity.” Pp. 275-297 in Methods for Testing and Evaluating Survey Questionnaires, edited by Presser, S., M. Couper, J. Lessler, E. Martin, J. Martin, J. Rothgeb, and E. Singer. Hoboken: John Wiley & Sons.

Schuman, H., and S. Presser. 1981. Questions and Answers in Attitude Surveys. Experi- ments on Question

Form, Wording and Context. Orlando: Academic Press.

Schwarz, N. 1996. Cognition and Communication: Judgmental Biases, Research Methods and the Logic of Conversation. Mahwah : Lawrence Erlbaum & Associates.

Schwarz, N. 2003. “Culture-Sensitive Context Effects: A Challenge for Cross-Cultural Surveys.” Pp. 93-100 in Cross-Cultural Survey Methods, edited by Harkness, J., F. J. R. van de Vijver, and P. Ph. Mohler. Hoboken: John Wiley & Sons.

Schwarz, N., and S. Sudman. 1996. Answering Questions: Methodology for Determining Cognitive and Communicative Processes in Survey Research. San Francisco: Jossey- Bass.

Smith, T. W., and K. M. Wolter. 2004. Paper presented to the American Statistical Asso- ciation, Toronto, August 2004. Techniques for Calibrating Response Scales across Countries and Languages.

30 ZUMA-Nachrichten Spezial Band 10, Cross-National Research

Sudman, S. and N. Bradburn. 1974. Response Effects in Surveys: A Review and Synthesis. Chicago: Aldine. Tourangeau, R., and K. A. Rasinski. 1988. “Cognitive Processes underlying Context Effects in Attitude Measurement.” Psychological Bulletin 103:299-314.

Tourangeau, R., L. Rips, and K. Rasinski. 2000. The Psychology of Survey Response. Cambridge: Cambridge University Press.

Willis, G. 2004. Cognitive Interviewing: A Tool for Improving Questionnaire Design. Newbury Park: Sage Publications.

Young, B. 2003. Evaluating the Knowledge and Attitudes of Health Providers in the Pro- vision of Emergency Contraception Pills and Condoms to Jamaican Adolescents. Commercial Market Strategies (CMS) project. Kingston: JA Young Research Ltd.

开发低成本的技术并行交叉文化仪器开发： 问题评估系统（QAS-04）

伊丽莎白·迪恩，RACHEL CASPAR，GEORGINA MCAVINCHEY，LETICIA REED＆王鸣QUIROZ

许多方法都用于制备仪器多元文化的管理，根据研究的范围，进度和预算。连续问卷发展，最常见的方法来开发跨文化的手段，也是最经济实惠的。设计师制定和预测试的源语言的工具，然后把它翻译成使用特定文化的剪裁目标语言（S）。相比之下，并行开发整合整个设计和预测试过程中目标的文化。平行发展的缺点是，它是昂贵的，耗时的，并受到版本控制问题。问题评估系统（QAS）是一种编码工具的预测试仪器（威利斯和Lessler，1999）。该QAS支持的问题的认知要求的项目分类，并介绍了可能导致错误的响应特性。鉴定的结果来修改问题的措辞，措辞回应，问卷格式，问题顺序。本文介绍进行更新QAS识别由于跨文化和问题跨语言应用问题的研究。 1引言

全球化趋势和人口结构的变化要求文化之间的理解以及技术能力的多国语言（克罗宁，2003年）进行有效的沟通。需要了解其他的文化和语言是这样的高等教育机构现在需要多元化培训学习的大多数领域。在美国，在少数民族人口人口结构的变化带来了文化的多

样性，常伴有语言上的差距。拉丁美洲和亚洲的的分origin超过75％的外国出生的美国人口，并符合语言的要求是对健康和社会服务机构，教育工作者，政策制定者和研究者的一个挑战。随着需求的信息从不同的人口上升，调查研究负责设法弥合语言和文化的差距，并确保在调查研究准确地表述（弗洛雷斯等，2002; Li等，2001）。

迫切需要在仪表翻译和改编妥善的做法目前已在调查研究了半个多世纪。在跨文化的一致性早期研究发现，措辞和翻译被认为在实现媲美的工具用于研究目的（Kumata和施拉姆，1956年）的过程中“最薄弱的环节”。在20世纪60年代末和70年代初，跨国调查项目出现，而大部分涉及人类行为的跨文化研究者的青睐在全球范围内的调查。从跨文化的研究产生的利益，如提高分析变量的取值范围，并提高灵敏度的背景下，已不可能在单一文化的研究（布里斯林，1993）获得。跨文化调查研究的需求，再加上谋取其利益的愿望，都推现场为建立在仪器改编和翻译的声音的做法。

在美国，对西班牙进行访问的标准做法与我们的跨文化理解的方法以及发展。参加到群体之间的文化和语言的差异，当开发一个新的仪器是昂贵和费时，因此，采用单一文化背景下的现有问卷是调查问卷开发中最常用的方法。虽然比较便宜，利用现有仪器常常未能解决的语义，概念和规范等价。忽略了解决问题的可比性能降低措施的有效性和可靠性。查找仪器设计过程中解决文化和语言问题的声音，但廉价的方法是调查研究的目标尚未实现。到目前为止，开发了很多方法都需要权衡成本之间（无论是在金钱和时间上）和仪器的质量。 一个可能的解决方案，结合语言感知到仪器的发展阶段，在一个相对较小的成本来解决在预测试阶段潜在的语言和文化的问题。问题评估系统，或QAS-99（威利斯和Lessler，1999），识别可能导致响应误差问题特征的编码系统，能够容纳的评估潜在的语言和跨文化问题的步骤。本研究探讨了各种问题，跨文化调查设计者多年来遇到并提出了QAS-99，在QAS-04的增强版本，作为一个实际的和相对廉价的方式，以改善在跨文化方法惯例研究领域。

?2理论框架 要充分认识发展的调查手段在多个文化翻译和应用程序的影响，把这些活动在不同文化之间的沟通更广泛的范围内是很重要的。很多时候，调查研究制定措施不理解的行为是如何跨文化的理解不同。要了解一个调查答复的情况下，研究人员必须知道的概念，价值观和语言结构跨越语言和文化如何变化的。此外，研究人员必须了解文化的不同只是在他们的人口特征。本节提供了这些跨文化差异的简短摘要。

2.1了解文化与反应之间的联系 一个假设或研究的问题往往源于特定的文化背景。什么可能是一种文化的一个重要的问题或许并不重要，甚至相关的不同的文化的人。只有当研究人口明白，能够，并且愿意回

答应其他方法问题得到解决的问题（福勒，1995年，彼得森，2000）。在适应的仪器，研究人员必须旨在建立概念，规范和语义，没有一个可以达到的可比性不理解的受访者的文化。

概念可比性。布里斯林（1993）指出，在上下文中理解的行为能提供的见解上，否则可能是由于错误的原因的反应。要学习不同的文化时，建立一个通用的概念的理解，研究者呼吁文化，共同的文化特有的观点“主位”和“客位”。的双重视角涉及的研究现象的评价从文化和背景下，它的目的是了解它的意义以及其与文化元素。的客位视角，与此相反，涉及从培养外现象的评价，目的是确定和比较不同培养物（浆果，1969;布里斯林，1993）类似的现象。 未能成为熟悉人口emics正在有针对性的调查研究中可能会导致反应的错误认定。例如，旨在收集人口信息项目往往不能认识到，在人群主位差异。要求参与者的年龄可能看起来是一个简单明了的问题，任何人都可以回答，但是这并非总是如此。在一些文化中的出生日期不考虑信息的相关件，和一个孩子的大致年龄更经常被引用的年份或其他事件农业倍计算。受教育程度，收入，就业和婚姻状况是其在文化角度认识特殊需要（布劳恩和莫勒，2003年）的所有人口问题。前处理的最佳做法的详情在翻译的仪器，它是必要的，以确定概念等价是否存在。这是可能的概念是主位 - 即，唯一的源文化 - 呈现的研究在另一个培养无效的行。在使用SF-36，一种广泛使用的仪器，用于测量健康相关的生活质量，新西兰进行的一项研究发现，健康的毛利样本中主位意见没有，即使项目被写入区分生理和心理健康之间的区别这两个概念之间（Scott等，1999）。

规范可比性。关于-群体差别很大之间的信息披露规则。什么可以说对特定对象可以由什么被认为是适当的一个在组内被极大影响。宗教的喜好，政治观点和信息涉及到个人的问题通常是主题而愿意响应由不同的文化。当采访者和受访者共享同一个民族，受访者愿意公开，因此有效性和数据提供的增加（马林和马林，1991）的可靠性。

语义可比性。语义等价的相关程度在翻译方面意味着同样的意思翻译为源语言。实现在问卷翻译语义可比性一直被认为是由一些在调查问卷的翻译和改编中最困难的一步。并且，也许是最大的挑战，以功能等效问卷是缺乏等效标记或术语用于不在目标语言或文化存在单词或概念。

研究描述试验或调查问卷翻译麻烦的地方往往侧重于这种类型的可比性问题（阿里亚斯等，1999;兰格，2002年）。在美国，例如，寄养系统的列车，并支付家长关心的是临时性的儿童。关于寄养儿童收集信息是文化，语言和语义的原因相当具有挑战性，但是，由于术语“养子”没有可比性的翻译在许多其他国家。

努力保持语言简洁长期以来一直倡导以书面调查问卷（彼得森，2000），但由于缺乏相当的简单而言并不总是等同于简洁。需要经常翻译的术语具有任一的更具体的或在目标语言中更广泛的含义。其结果是，附加的信息需要被呈现。例如，在英文单词'青年'西班牙语通常翻译为“厄尔尼诺（孩子）”。然而，这个词“厄尔尼诺”是指一个人十二岁或更年轻，因

此不是最佳的选择。以最接近的含义到达的词语有必要使用的“年轻人”相当于与指定的年龄段包括在术语的范围内。这样做既需要增加更多的项目到仪器（史密斯，2003）或更多的话来的项目。 ?In跨文化研究，翻译一个词的确切含义由特定语言的地区差异进一步复杂化。马林和马林（1991）认为，以避免文化应该被使用的语言的标准或最中性的版本中得罪任何给定的亚组。如果需要的区域变化，以适应亚组，无论是格式条款和具体变化应提交。

人口结构的变化2.2跨文化的影响

设计的跨文化调查问卷时，受教育程度往往被忽视。美国识字数据显示，大人有大量的只能读小学时的水平（威奇，马尔多纳多等，1999），与来自危地马拉和萨尔瓦多的新移民报告不到中等教育。

布鲁姆等。 （2002）报告说，翻译是写'在一个不适当的高阅读水平为目标人群“，并建议研究文书讲西班牙语的家庭，”穷人和低文化人群“进行验证。此外，在一个文化满足不同代的时候，要住宿要作出以满足他们的特殊需求。在2000年的人口普查，中国翻译使用传统的中国人。潘（2003）报道，普查期间，年轻一代的移民都无法读取中国的繁体字，减少参与者的池本次活动。

虽然识字水平和遵循跨文化研究跳跃模式的能力之间的关系还没有研究，熟悉问卷很可能影响到后续的说明和项目的反应能力。形式素养是构建一个问卷调查时要考虑的一个重要因素。通过导航仪提出了挑战，许多外国出生的受访者。缺乏接触序尺度和选择题的答案，可能需要为参与者（兰格，2002年）的培训。

2.3翻译方法和手段的文化适应

过去二十年已经看到仪表适应的方法了很大的变化。有许多方法来翻译和研究手段的文化适应。流行的标准来评估的翻译技术包括可比性翻译的工具，并参与任务的成本时所能达到的水平。除了这些标准，研究集中在涉及完成一个特定的翻译任务或上应采取以确保翻译工作准确完成的步骤的个体的数目。最常用的技术是：

??简单的直接翻译，文档翻译从原来的版本，以另一种语言的一个人，是使用最简单，最便宜的方法。这种方法的最明显的缺点是，它不提供方法以验证该翻译是真实的原始和不同所使用的语言的方面是最合适的。

?背部翻译翻译是需要至少两个人的技术。在该方法中，一个个体的双语转换从原始或源语言到目标语言的工具。第二个人，未经原文档的内容的知识，翻译文档回源语言。原始和背面的翻译进行比较，并在文件之间的差异得到解决。翻译/回译方法使研究人员能够更好地评估该翻译忠实于原文。这种方法的成本由于所需最终确定的处理的多个步骤和时间大幅上升。

?通过委员会的翻译，需要一组个人到我要讲一个仪器经过一系列步骤的最好的翻译达成共识。哈克尼斯（2001）为了解仪器的翻译程序的原始框架。在这个概念框架，现有的

仪器或者采用或改编。采用直接涉及翻译现有仪器成目标语言，很少关注文化。适应需要检讨跨文化的目标语言恰当现有的问卷调查，根据需要调整源语言，然后翻译问卷成目标语言。

译者可以采用新的测量仪器的顺序，平行或同步发展。连续的发展是指在该仪器的设计和预测试只在源语言工具的发展过程。一旦仪器被完成或“锁定”，它被翻译。因此，连续的发展过程中并没有考虑到文化或语言的问题，直到最终确定的源语言工具翻译后。顺序的发展可媲美采用现有的仪器。这种方法是有效的，但减少关注跨文化问题。并行开发过程中仪器开发过程中整合了所有目标的文化输入。一个仪器的设计和预测试与多元文化团队的源语言。作为具有顺序发展中，器械被翻译之前锁定。开发的仪器，最文化适应性的方法是同时的方法。同时利用仪器开发调查设计者力求创建多个版本的使用仪器decentring，其中文化适宜给出了所有的语言同等重要的过程。该仪器的设计和多语言（哈克尼斯，2001年）同时预先测试。这一过程提供了有效的开发问题，这是合适的多元文化中的巨大的利益。然而，它往往是昂贵的和耗时的，并且可能产生不明确的问题。在需要时以较低的成本方法来同时开发新的问卷调查和适应，而不是采用现有的仪器。

3问题评估系统

由于使用的认知预测试和评价方法成为当然的20世纪80年代和90年代的问卷发展的问题，需要出现低成本的方法来评估可能会导致响应错误问题的认知特点。方法，如认知面试，行为编码，接受记者采访的观察，以及嵌入式问题的措辞实验是非常宝贵的，但均在发现是昂贵和费时次。问题评估方法进行设计，以满足一个更具成本效益的方式来系统地评估认知问题与仪器的需求。

通过Lessler和福赛斯（1996）开发的问卷编码系统是基于问题的反应过程Tourangeau模型设计。在Tourangeau模型四个认知进程会理解，记忆提取，判断，并重新sponse选择（1984年）。 Lessler和福赛斯发现，相对于其他预测试方法，它们的编码系统是执行更便宜，并确定了类似的问题。福赛斯和哈伯德（1992）此前也有类似的发现，当他们使用的认知有声思维的采访验证了问卷评价体系。 1999年，威利斯和Lessler开发的QAS-99，根据以往的调查问卷评估系统的工具。该QAS-99是为了“协助调查问卷设计者evaluat-荷兰国际集团的调查问题，并在发现和解决问题，之前的问题”进入现场“，”（1999年）。所述QAS-99从Lessler和福赛斯的系统不同之处在于它有显著较少代码以减小编码活动的难度，提高编码间的可靠性的装置。该QAS-99的设计不是要取代其他互动的认知方式，而是提供问卷评论家和开发者系tematically审查和改进调查工具的工具。

所述QAS-99是由七个步骤在问卷由其中用户计算每个项目。每个步骤都映射到Tourangeau的问题响应模型（1984年）的特定阶段。七个步骤及其相关质询 - 响应阶段显示在表1中。

?Table1步的问题评估系统（QAS-99）在 ??QAS编码步骤

??Stage在Tourangeau的问题，响应过程

?Reading：确定它是否是困难的面试，以均匀的阅读问题的所有受访者。 ??Occurs之前的问题响应流程

?Instructions：寻找问题的任何介绍，指令，还是从受访者的角度解释。 ??Comprehension

?Clarity：确定相关通信问题答辩的意图或意义的问题。 ??Comprehension

?Assumptions：确定是否有问题，做出的假设或基本逻辑。 ??Comprehension

?Knowledge/内存：检查是否受访者可能不知道或很难记住的信息。 ??Memory/检索

?Sensitivity/偏置：评估敏感性质或措辞问题，并为偏见。 ??Judgment

?Response类别：评估要被记录的响应的范围的充分性。 ???Response选择

???????Source：Tourangeau，1984年

另外一个第八步提供了一个“其他”类别，不能分配给前面的七个步骤（威利斯和4扩大QAS-99

多语言调查的数量有所增加，在过去几年中，调查设计者已经认识到与翻译在整个调Lessler，1999）中的一个问题。

查问卷开发过程中更密切合作的优势。使用这项研究的作者最好的做法涉及与翻译专家尽早在仪器开发过程中进行合作。认识到建立跨文化和多语种的有效性降低调查回答错误是至关重要的，自然的下一步是EX- PAND的QAS-99。该系统进行了修订，包括代码，以便调查表对可能出现的翻译和跨文化的应用问题进行系统的评价。

此前扩大QAS-99，常见的最佳实践合成了以前的研究（布里斯林，1993年，麦克斯韦，1996年）的建议，制定了一系列切实可行的指导方针，建立项目和概念等价跨语言。这些指南均在表2和表3提供了这些实际准则形成加入到QAS-99的新的步骤的基础。 发展跨文化调查?Table2实用指南 这是与文化相关的?????Use基准期

???Avoid使得关于知识的假设，可能只适用于源文化（例如宗教，体育，节假日，其他海关）

???Be知道这个名字的格式各不相同

???Avoid使用图像信息可能不嵌合到所研究的人口 ???Use季节性和节假日引用的是有针对性的文化的一部分

制定问卷翻译?Table3实用指南 使用?????Avoid双重否定 ???Using少于16字短句 ???Employ主动而非被动语态

???Repeat名词，而不是用代词替换它们 ???Avoid隐喻和口语

???Avoid副词和介词告诉在何时何地 ???Avoid所有格形式如果可能的话

使用相同的动词如动词用的意思是不同的动作???Avoid句子 ???Establish尺寸和重量等同使用公制文化 共同培养???Use名词

使用这个词时，???Be具体的“你”

???Remember性别具体提及可能造成需要较长的句子结构 ?Two新QAS措施纳入评价标准的多语言和跨文化管理的问题：

?跨文化：评估在应对过程中，可能会出现当仪器适用于不同的文化问题的问题。 ?翻译：确定可用于澄清一个更准确的翻译工具领域。

此外，被列入交叉质询问题的步骤（在附录中显示）。第8步，跨文化的考虑，包括七码。这些大多数这些7码处理概念等价显示在表4中。参考周期（8A），知识（8B），测量单元（8C），假设（8D）和响应类别（8E）亮点概念往往跨文化各不相同。例如，假设（8D），可用于确定可能影响了宗教?practices（如基督教为主或穆斯林国家）或体育（如欧洲足球与美国足球）题主位人群的差异。此外，名称格式（8F），并礼貌（8G）地址规范等价，如适当的方式来确定个人和礼貌的交谈文化中的观念。 表4跨文化代码 ????ID ?Proposed代码 ??Definition ??8a

?Reference周期

?The利用季节作为基准周期可能是不明确的或不常见的。考虑转换成个月。日期格式各不相同。考虑使用的话月供，以避免误解榜（例如，2004年4月15日VS2004年4月15日）。 ??8b

?Knowledge

?Knowledge可能不存在。投诉人是不可能知道答案的一个问题，事实性，因为他/她不熟悉的源文化。一个区域性特定的例子是健康保险在美国的受访者与国有化医疗保险的国家起源谁。

??8c

?Measuring单位

?Consider报告测量单位中，英两种体系和指标体系。 ??8d

?Assumptions

?Consider修正不适当的文化假设，涉及到includ- ING声明：运动，药物，食品，饮料，ACTIVITIES（活动），吃饭的时候，音乐，亲情，节假日，宗教，书籍，杂志，学校系统，卫生系统，和历史。 ??8e

?Response分类

?There在国外语言没有相应的概念或评定量表。避免评定量表超过5个类别。 ??8f ?Name格式

?Response分类缺乏对其他类型的名称的空间。例如，讲西班牙语的人用父亲的姓氏，以及产妇姓。考虑其他的命名约定。 ??8g

?Politeness

?Courtesy和礼貌可文化之间的差异。考虑增加一个'请'一样，命令之前“不包括......”，“马克每...”，“列出所有......”考虑使用“可能”，而不是“应当”如果可能的话。一些命令或指令可能被视为粗鲁，和受访者可能会改变他们的态度参与。

????????In相比之下，第9步，潜在的翻译问题，集中更多的语义等效性。在步骤表5显示的代码功能9。步骤9特征的代码，以帮助确保在转换中使用的字具有相同或相似的含义语言源中。因此，习语（9B）被确定为有问题的，因为它们往往缺乏等效含义中翻译。同样的，模糊量词，如时间副词（9E）应尽可能明确意义的时间段来指定。 ?Table5翻译代码 ????ID ?Proposed代码 ??Definition ??9a ?Double否定

?This建筑类型是很难翻译，很容易引起其他语言的误解。 ??9b ?Idioms

?Many成语没有跨语言的等价物。 ??9c

?Acronyms

?The缩略词在其他语言没有意义。考虑为缩写的解释。 ??9f

?Term'你'是没有定义

?Need定义词'你'（即，复数，单数，女性化，男性化的，正式的，非正式的）。 ??9h ?Time副词

?Need，以避免在使用时间副词：最近，近来，平时。时间基准可能被语言之间有所不同的理解。考虑指定的时间框架。 ??9j

?No等效术语或概念

?Consider包括一个附加说明。 ??9m

?Adjectives修改等形容词

?Using形容词来修饰等形容词，（例如，“房子变暖党'，必须从英文字面翻译成西班牙语作为”当事人庆祝置业的客人采取礼物新房主人的“）是一种罕见的语法用法英语以外的语言。考虑释义，明确每学期。 ??9n

?References只适用于英语

??Toll免费电话号码，网站，联系信息，书籍和其他参考文献都仅在源语言。考虑验证它们在目标语言提供服务或引用。还可以考虑使用上的电话号码的数字，而不是字母。 ?????????These两个新的QAS类别提供调查设计者与促进在翻译之前在源语言中多元文化仪器开发的工具。该QAS-04采用目标语言的概念，规范性和语义的理解，拓宽了仪器的适用性。此外，与应用相关的QAS相对较低的成本满足需要一个经济实惠的方式来进行翻译的一项调查并行开发。

5未来的研究方向

该QAS-04提供了整合并行的问题发展成为源语言问卷开发和预测试过程中的宝贵工具。至少，它提供了一种语言的问卷开发人员提供了工具，以使他们能够预见问题的问题，可能只有在跨文化管理和翻译出现。它提供了一种机制，用于使翻译人员进入问卷设计过程在较早的阶段。所述QAS-04应该在一个测试应用程序与现有的?questionnaire进行评估。它可能是有用的比较测试应用到实际的调查问卷的数据和采访者的经验的结果。这样的比较提供了QAS是否标识相同的问题采访者和受访者在现场经验的信息。所述QAS-04也应加以评估的内部一致性和编码方案的可靠性，以评估使用代码的可行性。

另外，QAS-04应与单语和双语编码之间的可靠性测试进行验证。这时，目前还不清楚单语编码器和编码器双语是否同样能够实现QAS-04。此外，QAS-04应当相对施加在目标语言以及英语问卷。比较的结果可能是一个机制，用于验证的翻译以及评估荷兰国际集团工具本身的有效性。

最终，该工具将其发展跨文化和多语种的问卷有效性进行验证。仅重复使用能够确定是否它使调查开发过程更容易或更高效。这是我们的希望，QAS-04将提供调查研究界与系

问题已经构成中提及的3个工作包。该假说的女学生的分析，适应于工程学位课程的组织文化，取自欧洲的艺术和非欧洲研究的状态。研究问题的操作性定义是在使用不同的定量和定性的方法措施，最先进的连接来完成。 2.1假设

出了艺术的状态，很明显，一个男性化的组织文化不能EX-由一个单一的方面，而是由工程教育的不同文化特色的一个复杂的设置plained。招聘措施和欢迎活动似乎是提供工程学位课程的改变形象的第一步。

第二个跨学科的课程与一些非工程学科与以人为本的教学方法（如班组工作）相结合的工程相结合，应该吸引更多的女学生。通过这一措施，女大学生应该更吸引，感觉更舒适，同时学习。

来自北美的单一性别的学习环境是一个选择的文化设置来证明。作为欧洲伙伴国的可能性单一性别的高等教育学习不此刻存在，这个假说只能在德国证明凡在应用科学的几所大学中存在一些单一性别的样板工程。

女学生在工程的少数情况是一个焦点来看待和要求，如果它是消极或积极的评估，如果女性也可能满足敌对的态度，从她们的男同事和/或教师。来自澳大利亚的研究一个假设拍摄，看着教员在工程教育的可能和必要变革推动者的创新部门。

另一种假设是，工程在社会中的持久阳刚形象体现在工程学位课程的部门，这可能是一个障碍铁 - 男学生。身份和女性身份为工程专业的学生，取出文学之间的冲突可能，应证明有关其影响。

这项研究的气氛是由环境和社会关系的构建。甚至更多的，阳刚的笑话和故事表征研究文化。这些特性可能会导致孤立的，因为少数民族身份的感情，女学生能体验边缘化。另外一个有争议的假设是，年轻的女学生们感到舒适工程学学位课程，并集成在组织文化。

?2.2工作包和选择方法的定义（Berting，1979年）

为方法开发的基础是整体的方法，准备提案和讨论，并在项目会议决定。在项目开始的工作包和不同的团队领导者首选的建议的基础上，制定有任务在特定的定量或定性的方法。开始先用定量问卷的工科学生走出WP2角度来看，这仪器被扩大到工作包3和4的问题，以避免一些类似的调查有问题不同的样品。但是，通过这种方式，问卷调查得到了更大，毕竟花了近一个小时，以填补。

在另一方面定性文书首选从WP3以及来自WP4，交任务的工作包的领导人已经制定，以获得更多的复杂的信息和相互依赖性有更深的了解它了。在讨论和改变的方法也被用来理解的根本原因选择或不选择的工程学位课程（WP2）和态度的辍学或持久性（WP3）这些仪器。

为了获得知名机构的可能性和障碍的创新妇女友好工程文化，建议WP4计划除了定

量问卷的学生三种类型的定性方法：专家访谈，参与观察和文件分析（网页分析）。 因此，例如为任务，以收集有关工程部门的文化信息大部分定性方法已建成和数据已经收集。为了让不同的观点工程专业的学生，各部门和大学的教师被要求。学院采访学位课程的代表，专家访谈与指导委员会成员和官员平等机会办公室已经完成。学生的角度/视图从持续性和非持久性的学生，特别是来自焦点小组与男女学生个别访谈进来。焦点小组讨论，已经经历了作为一个有用的方法，在所有伙伴国家，这使得焦点小组与学生（奥地利，法国，德国，英国）。

综上所述，描述，分析和工程部门的文化解释是基于类似网页分析和参与式观察非活性的方法以及对专家的采访更主观的方法和重点人群，反映学生和院系点意见和态度。作为一种非活性的方法35网页6伙伴国的研究机构和学位课程的分析 - 斯洛伐克并没有做到这一点的方法 - 已经完成。参与观察了4个伙伴国家（奥地利，法国，德国，英国）已经完成。该标准填补了目录是由一个学生从德国队，谁写他的毕业论文对这个问题进行分析。 对于任务确定为WP4像那些选择组织文化的描述中使用相同的工具的一部分创新工程课程的影响。

3定量方法学 - 调查

量化的方法已被大部分限制在该项目的第一部分。大部分的时间都集中在建筑书面问卷。为指导方针的有效性的设计，可靠性和采样方法必须考虑到。

100女性和男性工程专业的学生（问卷1 - Q1）在每个国家有一组100个非工程专业的学生（科学，社会科学和人文科学，经济学）（ - Q2问卷2）进行了比较。在每一个国家的高等教育机构的特征被选为调查。

3.1建设问卷调查（PORST，1998年）

在WomEng问卷数易其稿已经作出。起初WP2领导人准备调查问卷的草稿。这种方法旨在提供用于获取有关选择的学位课程和步骤决策数据。全程约文化遗产和祖先工程专业的连接问题，它侧重于理由决定或不进行工程学位课程。该草案进行了讨论部分的第一个项目会议非常有争议的。这次会议后，花了一些时间在什么商定，哪些问题应该列入问卷误解。由于协调问题谁没有参加这个讨论这么多一些合作伙伴，开始调查没有最终版本。在预试验的基础上，将包含的假设和想法问卷改了好几次。语言，其中讨论发生，主要是英语。只有奥地利和德国之间的沟通德国是可能的，被实践。除了会议讨论通过电子邮件进行。毕竟，所有工作包的内容和问题进行了整合，在问卷调查。

最终版本是由母语和来自苏格兰，英国的合作伙伴在英语制定。有Q1和Q2的这些最终草案将在民族语言翻译又必须考虑到学生的填充。翻译被组织和国家队做，但通常不是由语言专家控制。

After所有的问卷必须在一个形式制备，以允许容易的统计分析。对于这个任务，斯

洛伐克统计学家控制的问卷调查。时间和金钱几种可能性，根据讨论甚至有可能采取私人公司作为分包商对数据的统计准备，但这个想法被放弃了。

3.2采样方法和每个国家的做法

相较于非工程专业的学生，两个标准化问卷工程学生准备，并提供给50名女性和50名男性学生在所有7个欧洲伙伴国对照组。学位课程抽样为本，取决于国家统计女学生低，中，高比例的基础上，选择最从学位课程的最低数量。

对样品在不同的国家中的可靠性不同百分比3可比组应该从学位课程，参照妇女在他们的数目。例如，机械工程或计算机科学应采取妇女的比例很低，当然这取决于合作伙伴的国情。作为例子，妇女生物东西或土木工程（不含建筑）高的比例是可能的。第三到的最坏和最佳状况的样品根据女学生那里的比例也应采取的一例与妇女的平均百分比。由于国家的变化并非在所有国家相同的学位课程进行选择。这种采样使工程学位课程的内部控制，如果有选择中，满意度和学习氛围的差异。在另一方面它给了结果的推广奠定了基础。 在非工程对照组100名学生（50名女性和50名男性），应选择，40％的学生在自然科学，社会科学和人文科学20％，而在经济的40％。

在每一个国家的高等教育机构的特点，应选择进行调查。数量和选择的机构特性应包括他们的历史，传统，定位和高等工程教育文化。在德国，比如，被列入联邦体制在高等教育方面。

在德国的良好做法的工程学位课程的选择机会，探讨工业工程学位课程单一性别模式拍摄。这个例子提供了学习如何组织文化可以通过创新的学位课程来改变的可能性。因为在其他伙伴国家的任何创新的工程学位课程开始没有这样的变化已经说明，没有系统的国际比较可能的。

3.3有效性和可靠性的措施 在文献中有关国际跨文化和跨学科研究的几个等效问题进行了讨论适当的方法（Simmet-布隆贝格，1998：292-344），其必须解决。首先，所谓“工程师”不得不加以澄清。会议同意后，所有学生/与工程师学位的人应采取为了比较，尽管我们知道，在不同的国家如法国，英国和德国的中等和高等教育的不同系统导致不同的专业能力和地位。

为了得到有效的答案WP3（满意度）和WP4（组织文化）的学生应该已经足够先进的学业问题才能够体会到这些问题。已制定类似的抽样标准进行了非工程专业的学生。 几个等价的问题必须采取的帐户：

（1）内容等值，这意味着功能，概念和范畴等价：如妇女状况在欧盟的伙伴国家，至今已有背景的项目，被赞赏是在西欧国家相当，但相较于斯洛伐克的不同。作为45年的共产主义的政治，社会和文化制度的结果有预期完全不同的性别分工的专业领域。因此，在

斯洛伐克更多的女性在工程和科学预期相比，西欧国家，而在同一时间，在私人领域的传统分工仍然有望。

（2）不同的文化敏感性研究测量应该由欧盟伙伴之间的沟通可以应付。 （3）语言翻译问题必须解决。

（4）关于抽样方法存在随意和控制采样之间的冲突。虽然第一供应的可靠性第二允（5）定义的等价性：即使从选择的学位和学位课程在欧洲的合作伙伴国家是不一样从定量的问卷结果的可靠性的对照组是最重要的。在WomEng男工程专业的学生，

许跨文化的比较。在WomEng控制的抽样方法已被选定。 的，有不同的标准来控制（见上文）。

以及女性和男性非工程专业的学生应该根据关键时刻采取的占女学生决定要成为工程师或没有，继续进行研究或退学。无工程控制组的抽样不得不采取在考虑不同国家的结构和institu?tional可能性选择学位课程。因此，例如在英国和法国的学生必须决定在生活取决于他们的数学和物理考试，一个非常早期的阶段，这种预决定，什么是为他们打开。在法国预科班的成功决定谁可以成为一名工程师 - 只有最好的可以。在德国，相反学生可以自由使用成熟的整理后，研究什么。 订。

3.4实施调查

的定量和定性的采样已进行了基于该项目的第二总体方法。第一个计算和思考的样品进行每个目标群体200分布式问卷的基础上进行。与此更多样化是有可能，这之后不得不因为较少的总数量的被跳过。

对于选择或不选择一所大学的总体标准是所考虑的机构必须提供特别的活动，以招募，并告知女生。德国的特产，它提供单一性别的学位课程工程学士学位课程，是从高利息了。应用科学的斯特拉尔松大学与女性的学位课程工业工程被选为榜样好的做法。

从国家战略的实施，以不同国家，尽管有所有相同的准则。有些国家邮寄问卷的机构通过某些人传播，而其他前往选定的机构和项目团队的个人谁经常观看的问卷能够回答的问题，如果有任何的填充传播问卷。而在法国和德国的大部分Q1问卷都交给个人或者与问卷调查与找回的响应在必要数量的问题，部分邮寄给教师的教学紧密结合工程学位课程，在其他国家，如希腊和奥地利。非学术的希腊和完成团队有更多的问题需要取得联系，以引用人的大学。对于法国队，在工程学校工作自己是很难达到非工程专业的学生，对于德国，也同样容易传播Q1和Q2，并让他们回来。因为该准则已经实施方式不同，一个人不能决定是由于不同的处理有什么困难在得到填补问卷是由于国家的特色，什么。

Interesting的是，在德国，在那里开始了非常宽松的高等教育体系，因为之前曾预计尽管预测试（PORST，1979年）应在国家语文控制的问题大致的了解，并不是所有的国家队取得了这些预测试。其中与理解的问卷问题预测试工作的国家被送往协调问卷的修

很多问题，球队并没有满足任何严重的问题得到足够的问卷回，坚持的指导方针。最突出的原因很可能是非常彻底的编制管理，从每一个学位课程的参考者。对于学生，谁在参加调查，小礼物，像铅笔和巧克力进行了传播。调查的实施是集中在2-3个月。

问题被提到，问卷很长，一些项目被误解了，没有适应的问题。另一些人不适应国情，如女性专场招聘程序不会在法国存在。另一个问题是，法国的想法，迫使工程专业的学生返回Q1，而这种做法是一种方式，它永远不会在德国的系统成为可能。所以，作为法国队认为志愿作偏见的来源，在德国，你只能依靠志愿者的学生。

为了分析问卷结果输入手动在多数情况下与特定的软洁具的帮助。

一个问题是，虽然被要求延长时间的建设问卷学期的学生在几个伙伴国已经完成了，所以时间启动调查是晚于最初计划。 4，定性方法 - 完成调查数据

定量问卷结合许多不同的定性方法从中研究者希望得到在相互依赖一个更深入的了解。每个下面的方法不应被视为从其他的分离，并有自己的可能性。证明的有效性和结果的可靠性，它们可以在彼此之间进行比较，并也工作在一个补充的方式，例如定量访谈的结果可以通过焦点小组讨论进行检查。

对于调查的定性部分WP3和4的方法是基础。大多数定性方法被用于WP4和德国队与其他伙伴国家合作建造。结果已基本为散发报告，总结组织文化和学位课程的妇女（Sagebiel与达门，2005年）的比例很低创新的结构。

4.1指导方针和抽样定性方法

学生被定性访谈作为个人和焦点组查看他们的个人经历多少记者与对方。焦点小组应该允许，如果团体动力学可以进一步的看法被证明和谈论性别discriminating学习生活的各个方面，在工程形象的态度，以及如何最终克服教育气概工程。做女人的友好和女性在广告中的工程学位课程厌恶措施的网站分析来描述和乍一看比较文化。男，女教师接受了采访，在工程等有关他们的机构/部门在广告，教学，咨询，指导的做法半结构化专家访谈，工作氛围，最终被边缘化或友谊，工程形象，态度单一性别教育指导委员会和机会均等官员的成员被要求对政治决策的工程教育，例如辍学，情况和变化的措施。部门和教学情境的非参与者观察允许在工程文化不同的观点。

所有的定性方法应该在同一个机构，高等院校和部门要做的选择了Q1。

采访指南

对于所有采访了类似的方法作为指导，结合开放与封闭的部分问题，完成了与李克特量表估计。 学生面试

对于定量问卷互补大约有10制导采访的女学生对自己选择的学位课程，体验和满意

度的学习生活，内容，教学方法和氛围与知识有关的原因辍学（最重要的工作包的3个问题）的。对于工作包4的相关问题是经验和他们学习过程中遇到的态度。对于问卷调查结果比较类似的抽样选择，同时3名学生学位课程与女性的比例很低，并从2学位课程与女性的比例很高。五女学生，谁曾辍学，应从学位课程具有非常低的比例。 学院面试

学院作为学位课程的代表，但没有负责人 - 这样的选择是为了避免社会理想的答案 - 可以给信息从教师的角度来看，他们可能会问他们的态度和评价的女学生，该部门的文化和可能的障碍（偏见）。所以院系被问及自己的想法，使工程学位课程更有吸引力，以及他们仍然实行自我宣传。教学方法，系统和组织的建议和指导，并与性别差异实践经验的人的兴趣，他们尤其青睐什么样的教学方法，什么他们认为女学生宁愿。从竞争力的，支持性，层次，交际传统的工作氛围与李克特量表说明有人问，如果他们相信这将是更有利的男性或女性。同样被要求为学生的工作氛围。社交网络和学生对教师的会议整合是另一个问题。女学生在学位课程的女性较少数量的特殊问题进行了询问，如果他们听说了指导和建议时这些问题。学院的学位课程与女性的比例很高应该给提示一个可能的好的做法和如何更改更传统的结构。关于单一性别教育的态度被要求测试他们接受改变的可能性。女性，约辍学可能的滋扰和知识，女学生因特殊原因的治疗是采访的部分，特别是用于测量不满（工作包3）。他们是如何估算的工程形象在社会上，如果这一形象体现在部门的文化是一个问题，工作包

4，半结构化问卷专家访谈是相似的教师。

采访活动须录音，之后转录。他们应该进行分析和解释首先在国家一级，放在摘要和发送到工作包领导人包括跨文化的比较报告。 指南焦点小组讨论

看着最先进的国家，它似乎不是一件容易的工作得到社会性别敏感问题的信息，在工程领域，其中那里的主要文化特征是完美主义，看到的弱点和问题，不是社会需要。在一组的情况似乎更可能获得下的肤浅的水平。在讨论对国际会议的方法设计，并提出了担心的问题得到关于两性问题的有效信息工程学位课程，女科学家建议重点关注和讨论小组的方法来获得隐藏的观点和态度，这是更难以得到个人采访。

焦点小组讨论的目的通常是为了更接近的理解和看法在某些问题上的参与者。特别注意必须与调查支付给使用焦点组合：焦点组可以用于调查的测试结果或可提供一种将与问卷进行测试的问题。焦点讨论小组是一个重要的方法，因为在焦点小组，你跟几个人在同一时间和参与者互相交谈，并可以比较他们的经验和态度。也许它出来，两个人看到同样的事情在不同的?ways。这些差异是非常有趣的，因为它们可以提供所未曾想到过的信息。 经过几种可能性的讨论，对女性和男性群体已决定的时间和金钱基础上有一个指引与女性和男性不同的特殊问题，允许男女学生的态度比较不同的准则。这两个群体应该是接近期末考试更加意识到性别差异相较于第一学期的学生。取样应来自度过程中与女学生的数量少。男

性焦点小组应该从一个平等的学位课程，让比较。

已经有两个部分，一个传记片，尤其是对WP2约亲戚，除了其他一些人口统计数据及其影响（中专以上学历，性别，年龄，国籍）的数据和客观的研究信息。第二部分包含有关的研究背景，社会网络与学习生活，学习的氛围，感觉如何，工程形象，如果它符合文化厅连接质量方面的问题。最后但并非最不重要的是有女性和男性的特殊问题。女学生被问及如何比较，以男同学进行了治疗，他们可能的榜样，他们对女性的招聘计划的意见，如果他们希望有更多的妇女在其学位课程。男学生被问及有关女学生在他们的学位课程，以及他们如何欣赏女孩的招聘计划，如果他们认为女性感到孤独，有时意见，如果他们的男学生希望有更多的女性在使用过程中，如果他们觉得女人同等对待男人。

的基团的大小应为约5的参与者。的讨论应持续长达2小时，并进行录像。 指导观察

对于WP4开放的参与观察（华威，1973年），这种方法的选择，因为它是可以评估的学习环境以及人们采取行动，并在日常情况下的反应。同时，这种方法可以控制最终的社会访谈反应方法可取。

在研究和实验的情况下传统的工程组态院系和那些与创新的学位课程的合作结构和教学风格的参与者意见（正面的经验教训，团队合作，项目）的数据有助于确定后者的影响。不同学科的讲座应选择观察（有一个强大的形象有一个柔软的形象科目和学科）。观察讲座应由给予男人和妇女。除了部门和板等的性别/多样性的特殊信息的视觉特性可以通过访问工程部门进行观察。观察不能被看作是一种方法，它仅限于“看”，当然这也是“听证会”，“情”，“说话”和“阅读”。尽管参与观察（显性和隐性）是不是最可靠的研究方法，它提供了学习在行动过程的可能性，这是更容易注意到的人非言语行为被观察到。

准则网站分析

网站分析作为一种类型的文件的分析已经被用于不同尺寸的调查：文本分析写入的文字，图形，分析图像和颜色使用，可用性分析所有相关的文本是否是可用的，所有网站是否可以显示轻松（无损坏的链接），是否有沟通的机会得到进一步的信息等。要结合所有这些方面一个标准目录已经构建了有冲浪的网站上时填补。网站分析应提供有关综合实习，欢迎会议，mentoring-，平等机会 - 性别mainstreaming-，多样性计划，终身学习的可能性，并重新进入程序的信息。

尽管该方法的重要性似乎是不那么高，一些国家寻找学生谁看了它的信息作为应答的定量问卷的数量，未来的发展将增加使用网页的源的信息。

4.2实施准则采样

德国的样本包括5所高等院校，被选中的，包括不同类型的大学，以及来自东部和西

部德国部分地区的特色。针对问卷调查与工程专业的学生（Q1）构建的取样过的定性方法。问卷非工程专业的学生（Q2）被分布在4以下的大学。作为一个机构的良好实践的工程学位课程的组织文化模型单一性别的学位课程工业工程安装在应用科学斯特拉尔松大学已被选定。一个可比的机构是应用科学技术大学在柏林，在学生个人和焦点小组，教师和专家们问道。

?Because不同的学校制度和决策过程和入学标准，法国和英国工程学位课程的抽样问卷调查控制组一直在比较指南和其他伙伴国家的不同。双方有许多问题得到Q2的回报。在斯洛伐克一个机构已被选定为所有的定性访谈和团队指向方面，这让学生的分子内体制比较“，教师和专家的解答。选择的目的是要获得全面的概述的问题从选定的组（女成功的学生，非持续性的女学生，教师的工作人员和指导委员会委员）同一所大学。类似的抽样拍摄于奥地利。采样已经实施方式不同，采取一个机构（如奥地利和斯洛伐克）或不同的大学（如德国和法国）。 现场工作

找到5工程专业的学生有两个焦点小组（男，女分开的人）出来的学位课程与少数的女同学也没那么容易，尤其是女性焦点小组是不容易建立，当时只有一名女性在每个学期或深化课程。奥地利用雪球系统，以获得足够的学生焦点小组。这一战略并没有在德国，那里的一些大学进行了坐落在长途家大学和一些研究方法有在数天内完成有效的工作。

参与观察是明确和易于遵循指示。而在法国它不是那么容易找到一个教师志愿者谁允许观察他或她的演讲，在德国为例再也没有出现过任何问题，获得津贴。观察的时间是很重要的，尤其是在这个学期为时不晚。

网站分析并没有大的问题，但问的气氛，从照片的感觉，与像“暖”和“支持”似乎有些球队过于主观的替代工作。另一点是认识到性别歧视性语言。在德国很容易，当只有男性的形式作为规范。在英语中一次只能识别歧视性因素，如果在性别特异性情况下，反身代词在阳刚的形式仅用于：他，他，他等。

定性数据分析4.3

对于WP4来自伙伴国家的投入是根据拍摄得到的结果在两个步骤的方法收集。第一

步是收集原料来自所有合作伙伴的基础上总结沿着已经编写了工作包4协调和讨论，并改变了工作包领导人会议和每封邮件的指引（我们少得了希腊和芬兰）。

?ForWP4交付一个共同的结构已准备了德国队。这种结构是由一个工作包领导人会议讨论的合作伙伴和改变。帮助填补结构的表与所有经验方法一起使用的问题，并在项目的数量被集成在该结构已被制备和扩散。德国队要求两个国家级摘要以及必要的两份报告进行传播。在同一时间的共同结构被给出，并且对于操作定义一个表，其中包括来自不同方法的所有问题 - 定量和定性 - ，详细结构的最后报告。此表构造，以帮助完成任务仍然有些不安伙伴谁不习惯于在有职业生命表工作。它只是工作后，有已获得国家报告的实际例子连同详细结

构。

5问题的跨文化比较（哈克尼斯，1998; Simmet-布隆贝格，1998年）

综上所述我们与性别定量和定性方法的经验集中于欧洲工程研究项目表明三个层次的跨文化比较的问题：

不同文化的比较，第1问题

有合作经验了前欧洲委员会项目INDECS（www.INDECS.uni-wuppertal.de）的RTD-研究项目WomEng并非如此超负荷的文化误解。

有些问题是根据国家的具体情况，并没有任何意义的所有国家。例如，在法国工程学校女性的欢迎天或女孩的招聘程序是不知道的。所以，这些问题在法国是不适当的。

有一些问题，这是不正确的政治在一个国家，但这些问题从一个国家不同而异。因此，多元化的问题不是政治正确，法国和英国，而关于收入的问题不是政治正确的德国为例。 回首困难之一。国际合作突出的一点是根据与民族结合的学科不同的工作方式。在研究有必要克服分离由世界沟通，找到共同的定义和解决方案如何充分调查所有参与国的问题。含蓄太是积极参与政治的研究是如何合法化相比，所谓科学的距离。

二级和三级教育系统的问题比较特殊的社会基本都是不具有可比性，一起是从年轻女性决定自己的研究背景。这些决定都是用不同的角度进行研究和职业生活。不过，如果你说的欧洲，这应该是有意义的，你不得不做出妥协，并试图构建可比性克服特定的观点。 但第一个问题是，科学工作者的不同学科和文化背景导致了实证研究非常不同的准备。除了不同数量的学位课程与女学生的高，低比例的抽样概念实行的不同从一个国家到另一个国家。以德国为例有一个试验，让来自不同地区的数据，代表了一点教育的联邦制度。也有不同类型的工程教育的高等教育机构都考虑在内：技术大学，大学的应用科学和综合性大学。 有一些翻译问题，部分最终准则，这是使用的，是不完全一样的。例如有些翻译从英语到德国没有达到同样的内涵，取得了比较后的所有问题。

第二个方法问题

方法论的问题是，在部分由于文化差异的同时。另外重要的一点是，需要为这是结束

短的时间内对项目报告最后期限前调查问卷的统计分析时间的低估。

如果跨文化的比较，应及时做了一个需要所有国家的一个特殊的最新数据放在一起进行系统的分析和报告。起初，该项目的合作伙伴商定的定量问卷的指引。因此，人们可以期望获得跨文化比较的数据或多或少如果忽视翻译问题，从普通的英语问卷合作伙伴的民族语言。 但一个问题是没有考虑到，这似乎至关重要毕竟：时间表似乎是不同的义务取决于民族特色，合作伙伴组织等类型，是一个重要的经验，一个清晰而明确制定了一封信给所有合作车队获得所有可靠和有效的信息进行国际比较，每次没有导致成功。所以最后期限的定义是不是在伙伴国家一样，一部分随着研究的不同角色。延迟?of特定国家的原始数据和汇总，并最终统计分析的延迟，这样对于大型零件对组织培养例报告尚未比较分析，特别是不与学生

的问卷定量结果。而对于这部分的经验这么多的准备工作已经完成。

集成准则采访了一些表，从一个国家消失到另一个，而这些问题没有回答，因此，不定性访谈准则的执行是不同了。虽然一些球队采取的方针是肯定别人把它只能确保没能在事后进行比较。

有一个重要的话题进行了冷落。

所以，毕竟不是所有的数据都产生在每一个国家，部分原因是缺钱，但大多是出于其他原因。该项目的定量部的结果是，除了：在人细胞中特殊物品太小号码存在其中没有允许特别统计测量和试验。

与性别研究方面存在的问题3

定量问卷国际建筑充满了冒险，尤其是在对性别问题的欧洲项目，混合性伴侣队开出不同的学科，以及传统/非传统的女权主义思想的共同努力。从一个女性研究学者的角度来看它已经有点陌生的球队大多非女权主义研究人员来实现妇女研究项目 - 男女。这意味着，他们并不熟悉的有着三十年经久不衰的性别问题和理论讨论。或者隐含的问题是，如果男女是一类像其他人，如果它是一个社会建设在不同的欧洲国家，由劳动分工性别定义。 在方法论语言妇女在伙伴国家的不同情况，可以被看作是不同的性别分工在欧洲社会等价的问题（参见3.3）。

在问卷调查中讨论了几次问题是跳过，因为他们公开转让的性别偏见，并认为这不是在法国与德国和奥地利文化部门之一，在性别方面非常不同的方面是专场招聘措施的正确的政治，要求在像德国其他国家的问题。

女学生。而在德国和奥地利是部门和学位课程的质量问题，以及德国和奥地利队采取了这些措施的良好做法的机构的标准，在法国的学生和教师不知道这些事情，当受访者了解是什么意思，他们回答了这个分化的性别不应该，也不会是政治上正确的。

相对于单一性别教育的跨文化比较是不可能的，因为在伙伴国家的模式是不存在的。 一个固有的问题得到真正的答案在访谈和焦点小组，是因为有社会期望。特别是约判别特征有一种倾向，得到无偏的答案。对于笑话和故事作为团队的特征例如“口头账户的意愿” - 经常被告知有关文献 - 也许是不会公开谈论，因为它不是政治正确的，在大多数欧洲国家的时刻。 6结论

为了进一步国际可比性的方法途径，有必要进行沟通可能存在的文化差异和偏见，以克服这些困难。方法：应制定与合作项目中的所有科学家的沟通，并在此做正式承诺和非正式的沟通渠道，应使用，甚至电子邮件。从事所有的人应该足够灵活和理智的认识到实力和合作伙伴的弱点来补偿，当需要做成功的认真研究。这些元素聚集在一起相媲美的研究更多的方法特点，像文化多样性和术语的问题，词汇，翻译，不一致时，（在一个国际研讨会方法论科希策，斯洛伐克哈克尼斯，2005）测量的差异。

References Beraud, A., and J. Soubrier. 2003. ?Are Women the Future of Engineering? WOMENG – A European Research on Women and Engineering Education.” Pp. 312-318 in Sefi Conference – Global Engineer: Education and Training for Mobility.

Berting, J. 1979. “A Framework for the Discussion of Theoretical and Methodological Problems in the Field of International Comparative Research in the Social Sciences.” Pp. 137-156 in Problems in International Comparative Research in the Social Sci- ences, edited by Berting, J., and F. Greyer. Oxford, New York: Jurkovich, Ray.

Connell, R. W. 1999. Der gemachte Mann: Konstruktion und Krise von Mannlichkeiten. Opladen: Leske und Budrich.

Etzkowitz, H. et al. 2000. Athena Unbound. The Advancement of Women in Science and Technology. Cambridge: Cambridge University Press.

64 ZUMA-Nachrichten Spezial Band 11, Cross-National Research

?Faulkner, W. 2000. “The Power and the Pleasure: How does Gender ?stick? to Engineers?” Science, Technology, & Human Values 5(1):87-119.

Harkness, J. A. (Eds.). 1998. Cross-Cultural Survey Equivalence. Mannheim: ZUMA- Nachrichten Spezial, No.3.

Harkness, J., van de Vijver, F. J. R., and Johnson, T. P. 2003. “Questionnaire Design in Comparative Research.” In Cross-Cultural Survey Methods. Wiley Series in Survey Meth- odology, edited by Harkness, J. A., F. J. R. van de Vijver, and P. P. Mohler. New Jer- sey: John Wiley and Sons.

Hudec, O. et al. 2004. “Women as Engineering Students in Slovakia.” Slovak Sociological Review 6(36):561-576.

McLean, C. et al. 1996. “Masculinity and the Culture of Engineering.” Pp. 32-41 in Third

Australasian Women in Engineering Forum, edited by University of Technology Sydney. Porst, R. 1998. ?Im Vorfeld der Befragung: Planung, Fragebogenentwicklung, Pretesting.“ ZUMA-Arbeitsbericht 98/02.

Sagebiel, F. 2004. Masculinities? als Barrieren fur angehende Ingenieurinnen in Europa? Konferenzdokumentation 30. Kongress von Frauen in Naturwissenschaft und Technik 20.05.- 23.05.2004 in Winterthur. (printing).

Sagebiel, F., and J. Dahmen. 2005a. “Masculinities in Organisational Cultures in Engi- neering Education in Europe. Results of European project WomEng.” European Jour- nal of Engineering Education 2005 (printing).

Sagebiel, F., and J. Dahmen. 2005b. ?Mannlichkeiten? in der europaischen Ingenieurkul- tur im EU-Projekt WomEng.“ Soziale Technik 1(15):19-21.

Sagebiel, F., and G. Hoeborn. 2004a. ?Kultur in den Ingenieurwissenschaften – Standard

und Abweichung“ in Standardabweichung. Dokumentation 29, edited by Kathe und Clara e.V. - Verein zur Forderung von Frauen und Madchen in Naturwissenschaft und Technik. Kongress von Frauen in Naturwissenschaft und Technik 29.05.-01.06.2003 in Berlin. Kirchlinteln.

Sagebiel, F., and Hoeborn, G. 2004b. ?Mannlichkeiten in den Ingenieurwissenschaften Europas – Theorie, Empirie und Veranderungspotenziale.“ Journal 16:27-37.

Saris, W. E., and M. Kaase (Hrsg.). 1997. Eurobarometer: measurment Instruments for Opinions in Europe. Mannheim: ZUMA-Nachrichten Spezial, Bd.2.

Simmet-Blomberg, H. 1998. Interkulturelle Marktforschung im europaischen Transforma- tionsprozess. Stuttgart.

Stock, J. 1998. Potentiale und Dimensionen der Wissensgesellschaft – Auswirkungen auf

Bildungsprozesse und Bildungsstrukturen. Delphi-Befragung 1996/1998, Basel. Wachter, C. 2003. Technik, Bildung und Geschlecht. Munchen, Wien: Profil Verlag. Wajcman, J. 1991. Feminism Confronts Technology. Cambridge: Polity Press.

Warwick, D. P. 1973. ?Survey Resarch and Participant Observation: A Benefit-Cost Analysis.” Pp.

189-203 in Comparative Research Methods, edited by Warwick, D. P. New York: Osherson.

文化变异性问题设计效果功能答辩理解中

蒂莫西·P·约翰逊*，杨赵翼，ALLYSON HOLBROOK，DIANE O'ROURKE，RICHARD WARNECKE＆NOELCHáVEZ

识别可能与跨文化变异问题的理解，与代表在美国（非西班牙裔白人，非洲裔，墨西哥裔美国人和四个不同的亚文化的受访者健康状况的调查意见间相关的常见健康问题调查的特点波多黎各）是通过行为分析的编码。使用调查结果作为分析单位（N =13514），嵌套在受访者（N=345），并调查问题（N =42），分层线性模型（HLM）是用来检测四个问卷的效果设计上的特点文化差异的问题，理解困难。问题响应格式，长度的问题，问题的阅读水平和抽象级别分别发现有受访者的理解主要影响。受访者的文化发现，中度的响应格式，长

度的问题和阅读水平的影响。几个问题的设计策略，降低整体理解的难度也增加了跨文化的差异在这方面。 1引言

受访者的文化现在一般理解为影响许多健康调查问卷的理解和解释（D'安德拉德等人，1972年;詹金斯，1988;约翰逊等人，1997;梅瑞狄斯与兆，1995年，莫尔斯和莫尔斯，1988; 。Teresi等人，2001; Warnecke等人，1997）。在质询理解培养基变化可以有助于鉴别响应工件被错误地解释为文化差异或差距健康信念，行为和/或条件（Johnson等人，1996）。几种方法已采取在实践中解决这一问题。各种新的问卷翻译策略，例如，已经提出，近年来，以解决问题的理解跨组间差异（哈克尼斯，2003;斯波伯，Devellis＆Boehlecke，1994年）。几套问题措辞原理也已提出作为提高跨文化群体理解等价准则（布里斯林，1986;麦凯等人，1996;史密斯，2004）。一些研究，但是，目前能提供关于可能是在文化上的异构环境中，如美国开展健康调查时减少了理解变异有用的其他调查问题的设计特点指导科研人员。

讽刺的是，许多问题的设计特点是已知与答辩理解相关（格罗夫斯等人，2004年; Tourangeau，裂口及Rasinski，2000）。若干这些被认为是反映问题的难度和/或复杂性，包括质询长度，阅读水平，抽象级别，并响应格式（安德鲁斯，1984;布拉德＆数，1979;布拉德＆Sudman，1979;仅有＆匠，1992; Kn?uper等人，1997;洛朗，1972）。这些不同的问题元素的跨文化效用，但是，还没有进行探讨。

这项研究的目的是为了评估在可以与每个相关联的申请人理解任何文化的变异，调查每一个健康调查问题，这些常见的尺寸。要做到这一点，行为编码（福勒，1995）是用于测量跨越345健康调查采访的理解困难的美国受访者一个多元文化的样品和一系列42调查问题。这些调查数据和行为守则提供给提供这些问题的设计特点的影响，做的程度进行评估或不跨越种族/族裔类似的方式进行操作。

2方法

与受访者的同意，共有345人的实验室访谈录条状。使用种族/族裔的受访者文化的一个替代指标，进行了检查四组受访者：非裔美国人（N =86），墨西哥裔美国人（N =101），波多黎各人（N =74），和非西班牙裔白人（N =84），居住在芝加哥大都市区。受访者通过在当地媒体的广告招募和18-53年龄范围。访谈中平均大约一个小时的长度和所有以英语进行。

2.1调查问题

调查工具包括来自于美国进行的全国健康调查选定的42实质性的健康相关的问题。其中，从哪些项目被选中是调查的国民健康访问调查（NHIS），行为危险因素监测和调查

（BRFSS）和药物滥用的全国住户调查（NHSDA）。项目被选定为代表的各种主题，问题类型和格式。所有问题的具体措辞是可以从作者。后续荷兰国际集团每一个采访中，受访者完成了人口问题的一个简短的库存。

42调查问题进行了分类沿着四个维度：长度的问题，阅读的难度级别，响应格式，和抽象水平。每个问题的长度是由字的总数进行测定。利用每个问题的阅读水平进行分级弗莱什，金凯分数（弗莱什，1979年）。三种响应格式都包括在内：这些要求的数值（例如，次演习号码，年龄第一次喝酒）（N =13）;那些被申请人可以回答“是”或“否”（N =9）;而那些采用模糊量词为响应类别（如“优秀，良好，公平，穷人”，“非常同意，不同意agree-，坚决不同意”）（N =20）。

三个层次的抽象进行鉴定。两位作者独立划分每一个问题是“最抽象的”，“有点抽象，”或“至少抽象。”结果随后被比较和差异讨论和协调。摘要项目被定义先验那些为其对这个问题推出的主要概念，物理现实中没有接地（N=的问题11检查）。归类为“最抽象的”这些物品是那些需要在这个问题推出的主要概念是在物理现实（N =17题）接地。其余的14个项目被列为“有些抽象。”

2.2响应编码

音频磁带进行了审查，答辩反应到每个42实质性的调查问题是用以前报道（奥克森伯格，坎内尔＆Kalton，1991），修改后用于本研究中的行为编码方案编码。谁是培训和指导的作者之一的毕业生助理共13514受访者的回答编码。 24磁带随机样本由双方人员编码，揭示了98.1％的跨评价者协议。表1定义了被列为表示理解难度五个具体应诉的行为守则。探索性因素分析，以评估这五个行为守则的维度sionality。所有五个行为对单一因素强烈地加载。调查问题，这引起其中的一个行为守则或更多的人因此被定义为生产理解困难问题答辩。总体而言，理解困难都与所分析的13514调查结果的9.4％。 ?Table1被诉行为守则用来表示理解困难

1.澄清（未指定）：调查显示有关问题的不确定性，但目前还不清楚是该问题是否与该结构或上下文。

2.澄清（建设）：申请人要求的问题重复或澄清，或做出声明，表示有关问题的意义不确定性（即，“你怎么了DE-按下意思？”）。

3.澄清（上下文）：调查表明他/她理解结构的意义，但表示有关问题的范畴内的问题意义不确定性表示（即“你想知道自己被压抑做什么？”）。

4.澄清（时限）：申请人表示有关问题的时间框架的不确定性。 5.澄清（重新措辞）：答辩人回答之前rephrases的问题。 描述性信息对每个问题的水平和答辩水平的变量如表2。 ??Table2提问和答辩变量 ??Variables

问特性

理解难度抽象级别 意味着 SD最小

等级1（N =13514） 最大

?Abstract0.270.45在两者之间0.350.48混凝土0.380.49 问长度21.8010.52可读性级别6.842.81响应类型 数字0.280.45是/否0.220.41模糊量词0.500.50 0.090.29 01

0 1 0 10 1 546 1.5012.0 0 1 01 0 1 ?Respondent特点

教育3.58年龄32.08性别（男）0.51种族/民族

白0.24非洲裔美国0.25墨西哥裔美国人0.29波多黎各的美国0.21 2级（N =345） 11.168.2861853 0.5001

0.4301.430100.460.41101 ??

约翰逊等人：文化变异问题设计的效果特点... 69 2.3分析

为了估计两级分级线性模型，HLM6（劳登布希等人，2004年）中的使用。一个多层次的建模策略启用差异归因于个体差异（即嵌套对象内回复），并与个人以及调查问卷特性相关因素进行核算。在申请人一级方程式1在其响应水平，和方程2：如下面所描述的，一般的条件模型由两套方程。由于结果变量（理解困难）是二进制（问题= 1;没问题= 0），该模型在第一级使用分对数链路功能（Hedeker＆长臂猿，1994）预测的预期数优势比的结果。在第一个层面，预计数优势的理解难度[日志[P/（1-P）]是通过问卷调查的特点预测，包括抽象层次，长短的问题，阅读水平和响应格式。在2级，拦截在1级（B0）被模拟为2级预测（受访者的人口统计）控制了（μ0）横跨各个受访者随机变化的函数。 公式1：1级产品型号：

日志[P /（1-P）]=β0+β1（最抽象）+β2（有点抽象）+β3（问题 长度）+β4（阅读水平）+β5（是，否响应）+β6（模糊量词响应） 公式2：2级型号：

β0=γ00+γ01（教育）+γ02（年龄）+γ03（男）+γ04（非洲裔）+

γ05（墨西哥裔美国人）+γ06（波多黎各）+μ0

此外，1级因素的影响是由种族/族裔预测探索1级问题的特点和受访者的种族/族裔之间的相互影响。这些效果估计在其采用方程1和方程3如下一个第二模型： 公式3：2级模型研究的互动效应：

β0=γ00+γ01（教育）+γ02（年龄）+γ03（男）+γ04（非洲裔）+ γ05（墨西哥裔美国人）+γ06（波多黎各）+μ0 β1=γ10+γ11（非洲裔）+γ12（墨西哥裔美国人）+ γ13（波多黎各美国）

β2=γ20+γ21（非洲裔）+γ22（墨西哥裔美国人）+ γ23（波多黎各美国）

β3=γ30+γ31（非洲裔）+γ32（墨西哥裔美国人）+ γ33（波多黎各美国）

β4=γ40+γ41（非洲裔）+γ42（墨西哥裔美国人）+ γ43（波多黎各美国）

β5=γ50+γ51（非洲裔）+γ52（墨西哥裔美国人）+ γ53（波多黎各美国） ?3结果

表3列出HLM模型结果的人的水平和层次的问题特征对问题理解的主要影响，表4给出种族/族裔和每个问题的水平指标之间的互动效应。其中检查了答辩的特点，唯一的种族/族裔被认为是独立与问题的理解问题有关。少数群体（即非洲裔，墨西哥裔美国人和波多黎各的受访者）的成员每个更有可能在与非西班牙裔白人受访者相比，表达理解困难。受访者的年龄，性别和教育并没有涉及到的困难。

个人主要影响和问题级特征对理解难度表3 HLM估计 的个体特征?Effects 拦截-2.98*** 教育 年龄

性别（男）种族/民族（参考值=白） 非洲裔墨西哥裔美国波多黎各美国 问卷特性的影响

抽象层（参考值=最低摘要） 最抽象

有些抽象问题的长度阅读难度级别响应格式 -0.050.010.05

0.30*0.50***0.40**

0.73***0.120.01***0.07*** （参考值=数值）

是/否-1.28***模糊量词-1.20*** * P<0.05; ** P<0.01; *** P<0.001。 系数 （SE）

（0.26）（0.04）（0.01）（0.09） （0.12）（0.12）（0.14） （0.09）（0.08）（0.00）（0.01） （0.10）（0.08）

??Each的四个问题的特性被认为是独立地与受访者理解有关。发现3的影响跨种族/族裔不同而不同。有问题的抽象水平的重要作用。毫不奇怪，归类为这些项目“最抽象的”产生更多的理解困难，相比于定为“最小”抽象的物品。归类为“中等”和“至少是”抽象的项目之间没有显着差异。由人种/族裔如表4中所示问题的抽象的效果没有差异。 约翰逊等人：文化变异问题设计的效果特点... 71

对种族/民族的互动效应和对申请人理解难度问题特点?Table4 HLM估计 个体特征????Effects 截距 教育 年龄

性别（男）种族/民族（参考值=白） 非洲裔墨西哥裔美国波多黎各美国

问卷调查的特点和受访者的种族/族裔之间的相互影响 抽象层（参考值=有点抽象）最抽象

拦截（白色）非洲裔墨西哥裔美国波多黎各美国 适度摘要拦截（白色）非洲裔墨西哥裔美国波多黎各美国 问长度拦截（白色）

非洲裔墨西哥裔美国波多黎各美国 阅读难度级别拦截（白色） 非洲裔墨西哥裔美国波多黎各美国 响应格式（参考值=数字），是/否

拦截（白色）非洲裔墨西哥裔美国波多黎各美国 模糊量词拦截（白色）非洲裔墨西哥裔美国波多黎各美国 * P<0.05; ** P<0.01; *** P<0.001。 系数（SE）

-3.37***（0.30）0.05（0.04）0.01（0.01）0.05（0.09） 0.65**（0.24）1.05***（0.23）0.83**（0.25） 0.81***（0.20）-0.48（0.26）0.08（0.26）0.11（0.27） 0.17（0.16）-0.19（0.23）0.05（0.22）-0.05（0.22） 0.02***（0.01）-0.00（0.01）-0.01（0.01）-0.02*（0.01） 0.13***（0.02）-0.08**（0.03）-0.10***（0.03）-0.04（0.03） -1.67***（0.20）0.80**（0.27）0.33（0.27）0.30（0.29） -1.81***（0.20）0.97**（0.27）0.60*（0.25）0.72**（0.26） ?

Question长度被发现有理解上的困难，积极主要作用：作为单词的数量增加了，所以没有受访者表示会理解问题的可能性。与表4波多黎各状态（-.02）相关系数为负表明，随着问题的理解困难时比在波多黎各人一个更大的速度增加，非西班牙裔白人的问题长度。认识到波多黎各受访者普遍表示更多的理解困难比白人，它会出现白色的受访者比是波多黎各人在变化的长度的问题更加敏感。

还发现调查问题的阅读难度要积极与理解难度有关：提高阅读水平有更多的问题理解的难度有关。种族/族裔再次主持这个变量的影响。与非洲裔和Mexican-美国身份相关联的回归系数为负值表明，这两个文化群体的成员经历较少的额外的理解困难，因为调查问题的阅读水平提高，相比于白色的受访者。虽然没有显著，与波多黎各的种族身份相关联的回归系数提出了一个类似的关系模式。也就是说，阅读水平似乎更成问题的受访者白（见表4）。

也发现了问题响应格式两个主要和互动效应。具体来说，问题响应格式要求受访时响应格式中，受访者被要求使用一组预定义的应对方案来回答相比，提供产生了更多的整体理解困难数字响应（就诊的人数如）（包括“是 - 没有“和模糊量词格式）。此外，种族/族裔被发现缓和效果是模糊量词响应格式对问题的理解。特别是，相较于白人，Afri-可以裔，墨西哥裔美国人，和波多黎各的受访者每个更有可能表达理解困难时，模糊量词响应格式是雇佣的问题。此外，当“是 - 否”响应格式被雇用，非洲裔的受访者更容易表达理解困难，与白种人相比。重新估算表4中的模型，研究在理解困难的种族/民族差异，当问需要数字响应的问题（结果未显示）。各组被发现在表达理解困难与数字响应格式的可能性没有差异。 约翰逊等人：文化变异问题设计的效果特点 4讨论

这项研究的调查采访中使用的行为编码协议，确认申请人的理解一组与健康有关的调查项目的能力，跨文化的差异。非西班牙裔白人，特别表达了理解问题的调查问题，相对于这三个少数民族也互看一个较小的数字。这些差异仍然在控制了其他人口统计特征，特别是年龄和教育后，那一个也可能希望找到与问题相关的理解。由于包括调查问题都来自美国全

国健康调查选择，它是最有可能的，他们是由国家主导的非西班牙裔白人文化的代表发达的情况下。因此，这并不奇怪，从这个组中的一般受访者较少困难解释这些问题。

还确定了评估的四个问题的特点主要作用。被认为是最抽象的问题似乎更容易引起理解困难之中受访者相比，那些被列为最抽象的。同样，COM的捏问题，也增加了与调查项目的阅读水平和长度。响应格式被另外连接到理解的问题，与该请求产生更多的理解问题相关的行为相比，提供成套的反应选择项数值的估计的问题。这些发现与对加工误差在调查研究的问题为基础的来源大部分现有的文献一致（格罗夫斯等人，2004年; Tourangeau，裂口及Rasinski，2000）。相关比赛的结果，但是，以前没有报道/链接到具体问题的设计特点在理解困难种族差异。在反应检测到三个检查四个问题的设计特点不同群体的不同理解：响应格式，问题的长度，和阅读水平。

什么是最令人困惑的审查与询问的响应格式的调查结果是，那些产生最少的整体理解困难格式（即“是 - 否”，模糊量词格式），具有讽刺意味的也产生了最大的跨文化差异。各组的最大变异被发现在应对用人套模糊量词的问题。与此响应格式相关的模糊性是众所周知的（Tourangeau，裂口及Rasinski，2000）。因此，这是可能不太令人吃惊，在理解困难的文化差异，那些采用套模糊量词作为应对方案问题之一。我们相信，在各组理解困难主要影响差异有关同一文化为基础的过程也可能是造成这些差异。正如调查问题和手段，在美国主要是通过编制白人中产阶级的研究，所以也有?attached许多这些项目的响应类别。因此，它似乎是合理的假设，负责一般比赛的进程/种族的理解差异，这些数据也强调了这些用人套模糊量词应对方案，这是几乎可以肯定受到更大范围的不是简单的“解释的问题之一是 - 没有“格式。

有趣的是，为数不多的提供建议，关于构建跨文化等同调查项目之一是使用二分法应对方案（“是 - 否”，“同意，不同意”）尽可能（史密斯，2004年）的建议。我们的调查结果，但是，表明在理解困难一些文化差异也发现采用二进制“是 - 否”的应对方案健康问题之一。有趣的是，被发现在回答困难的数字响应格式的问题没有跨组间差异。尽管这种格式引出的理解问题的最大总体水平，这似乎产生很少跨组的变异性。也就是说，所有的受访者觉得数字响应格式同样也是最难回答的问题。当然，对于许多流行病学的应用，数字质询响应格式是不可避免的。请求从受访者的数字信息，当调查人员仍应谨慎。

我们还发现了问题，阅读水平的跨越种族/族裔受访者理解的不同影响。具体来说，提高阅读水平与更多的理解难度相关的白人受访者相比，非洲裔和墨西哥裔美国人。当对问题理解的种族/族裔的主要影响一起检查，这些研究结果表明，与更高水平的阅读难度的问题实际上可能有助于减少问题的理解之间白和少数受访者的差距。总体而言，白人不太可能表达理解的问题。当在更高的阅读水平面临的问题，但是，白人更有可能表现出理解的问题行为，更贴近少数民族受访者响应各级阅读题的难度经历水平把他们。它会再次出现，那些消除理解跨文化变异的问题（即那些措辞在一个较高的阅读水平）也是那些最困难的受访者

理解。类似的模式被发现在问候质询长度的跨组的效果。而较短的问题产生更少的理解困难，种族/民族差异最小化更长的时间的问题。

总的来说，这些研究结果表明，有根有据努力提高调查问题的一般理解可能会在某些情况下，有越来越多的跨文化变异的意想不到的效果。简化问题的长度，阅读水平和响应格式会出现，以提高整体的问题的理解是提高跨文化差异的成本。这些发现也许是过程的遗产由知识的调查问题的设计特点优势积累了近50年来在美国 约翰逊等人：文化变异问题设计的效果特点... 75

研究已基本结束，代表白人，非西班牙裔受访者（佩恩，1951年，舒曼和压，1981; Sudman与布拉德，1982年），它应该作，只不过这样不奇怪，结果不太普及，从受访者其他文化背景。显然，更多的工作是必不可少的，以确定问题的设计特点，有效地减少理解问题，一般也消除了差距，跨越文化群体的理解。

我们希望通过承认一些重要的限制出线我们的研究结果。其中包括一个事实，即与健康相关的调查问卷（N=45），只有相对较小的样本进行了检查。今后的工作将需要评估更大和更多样化的调查问题集。第二，行为编码先前尚未用于本文描述的目的。该方法最初是作为评价访问者性能的方法和先前已使用这两种评价调查问题的性能（Oskenberg等人，1991;范德奏闻＆斯密特，2004年）（Cannell等人，1975）和调查访问员（Dykema，Lepkowski＆Blixt，1997）。然而，我们相信，这种做法，以评估问题的理解文化差异具有良好的表面效度，是一个合适的使用这些方法。我们的受访者样本相对较小，非随机，提高对我们的发现的一般性问题。最后，我们也注意到，调查结果不应该一概而论超越美国CON-文本。然而，这项工作是根据四个不同的种族/族裔群体的成员超过13000调查答复。此外，该研究结果与研究文献越来越多，展示的理解和调查问题的解释跨文化差异的存在是一致的。方法和建立的跨文化调查措施的概念等同程序的开发应鼓励为美国继续演变成一个更具文化异质的社会。

References

Andrews, F. M. 1984. “Construct validity and error components of survey measures: A structural modeling approach.” Public Opinion Quarterly 48:409-442.

Bradburn, N. M., and C. Miles. 1979. “Vague quantifiers.” Public Opinion Quarterly 43:9-101. Bradburn, N. M., and S. Sudman. 1979. Improving Interview Method and Questionnaire

Design. San Francisco: Jossey-Bass. Brislin, R. W. 1986. “The wording and translation of research instruments.” Pp. 137-164

in Field Methods in Cross-Cultural Research, edited by Lonner, W. J., and J. W. Berry. Beverly Hills: Sage.

76 ZUMA-Nachrichten Spezial Band 11, Cross-National Research

Cannell, C. F., S. A. Lawson, and D. L. Hausser. 1975. A Technique for Evaluating Inter- viewer Performance. Ann Arbor: University of Michigan.

D’Andrade, R., N. Quinn, S. Nerlove, and A. K. Romney. 1972. “Categories of disease in American-English and Mexican-Spanish.” Pp. 9-54 in Multidimensional Scaling, volume II, edited by Romney, A. K., R. Shepard, and S. B. Nerlove. New York: Seminar Press.

本文来源：https://www.bwwdw.com/article/fvr8.html