ACTFL Proficiency Guidelines, ILR Proficiency Ratings, TORFL:

A ComparisonOlga KaganSTARTALK

University of Iowa, Iowa CityAugust 10, 2012

Abstract• The general preface to the ACTFL Proficiency Guidelines states that “The

ACTFL Proficiency Guidelines are a description of what individuals can do with language in terms of speaking, writing, listening, and reading in real-world situations in a spontaneous and non-rehearsed context.” It continues to explain that “The levels of the ACTFL Guidelines describe the continuum of proficiency from that of the highly articulate, well-educated language user to a level of little or no functional ability.” I will present and critique the Guidelines and will also compare ACTFL levels of proficiency to the Interagency Language Roundtable ratings that are adopted by the US federal agencies as well as the proficiency measures developed in the TORFL (The Russian Federation Tests of Russian as a Foreign Language).

OUTLINE

From assessment to curriculum• Formative and summative assessment• Proficiency levels (ACTFL, ILR, TORFL)• Demonstrating oral proficiency interviews• Assessment and curricular development

Backward Design

5

Assessment Questions

–How often do you test? –What do you test? –Why do you test?

Assessment (2)

• Formative assessment• Summative assessment• High stakes and low stakes testing• Why do we assess (to give a grade, to

monitor improvement, to assess the program)

Formative Assessment

• Quizzes (grammar, vocabulary)• Tests (skill-using)–Written (essays)–Oral (short interviews, narratives)

Summative Assessment

• End of the semester (skill using)• Standardized tests (e.g. TORFL practice

tests)• Oral Proficiency Interviews

ACTFL/ILR Proficiency RatingsAmerican Council for the Teaching of Foreign Languages(ACTFL)

Interagency Language Round Table (ILR)

Novice 0Intermediate 1Advanced 2Superior 3-5

Сертификационные уровни владения рус.яз.

• Элементарный+базовый – 120+200• ТРКИ-1 440 -460 часов (при владении базовым уровнем)• ТРКИ-2 мин. 720 часов (при владении на уровне 1)• ТРКИ-3 еще 280 часов (при владении на уровне 2)

• Диапозон, беглость, связность, межкультурное взаимодействие

Source: Е.Е.Юрков и Т.М.Балыхинаhttp://ruscenter.axelero.net/2/2/5/component/torfl2.pdf

Flagship Programs

• Domestic program outcome – Adv/2• In Saint Petersburg entrance test – TORFL 2

(general)• Midterm – TORFL 3 (Superior) + specialty• End-of-year – TORFL 4 (Distinguished) – focus on idiomatic language

TORFL/ACTFL/ILR

• TORFL 1 = ACTFL I = ILR 1• TORFL 2 = ACTFL A = ILR 2• TORFL 3 = ACTFL S = ILR 3• TORFL professional tests• Уровень 4 необходим для получения

диплома специалиста и магистра филолога, русиста, кандидата филологических наук и т.д.

ACTFL/TORFL Equivalency

• UCLA Russian Flagship program results• Holistic assessment• Comparing L2s and HLLs

TORFL-1• Categories of mistakes made by 75 % of non-HLLs:

1. Case system:Работа водителя автобуса требует ... .

– большое внимание – с большим вниманием – большого внимания – о большом внимании

2. Verbs of motion (uni/multi directional):Почему Вы решили ... завтра во Владимир?

– ездить– ехать

Verbs of motion with prefixes:На какой вокзал ... ваш коллега?

– заезжает– доезжает– приезжает

Categories of mistakes made by 45 % of HLLs: 1. Case system:• Работа водителя автобуса требует

– большое внимание – с большим вниманием – большого внимания – о большом внимании 2. Verbs of motion (uni/multi directional):Навстречу нам ... девушка с цветами.a. шлаb. ходила

TORFL-2Categories of mistakes made by 80% of non-HLLs:1. Case system:Вопреки ... ударили сильные морозы.

a. всех прогнозовb. всем прогнозамc. всеми прогнозамиd. все прогнозы

2. Lexical inaccuracy: Как хорошо, что я купил билеты на ... поезд!

a. быстрыйb. срочныйc. скоростнойd. скорый

Categories of mistakes made by 83% of HLLs:1. Case system: Было интересно прочитать о взглядах учёных ... страны. a. на экономическое развитие b. экономического развития c. экономическому развитию d. об экономическом развитии 2. Lexical inaccuracy: За улучшение экологии выступает ... города.

a. общность b. общительность c. общественность d. общество

ACTFL Proficiency Levels• Novice: operates with learned vocabulary and

phrases, may be able to recombine• Intermediate: can express oneself with limited

vocabulary and grammar, frequent mistakes to be expected

• Advanced: sufficient vocabulary to describe, narrate, explain using concrete vocabulary. Sufficient grammatical accuracy, mistakes occur but are not frequent

• Superior: can communicate fully using concrete and abstract vocabulary, sporadic mistakes do not impede comprehension

Oral Proficiency Interviews

Novice Level

• Novice-level speakers can communicate short messages on highly predictable, everyday topics that affect them directly. They do so primarily through the use of isolated words and phrases that have been encountered, memorized, and recalled. Novice-level speakers may be difficult to understand even by the most sympathetic interlocutors accustomed to non-native speech.

Intermediate Level of Proficiency• Able to handle a variety of uncomplicated communicative tasks

in straightforward social situations. • Personal information covering self, family, home, daily activities,

interests and personal preferences, as well as physical and social needs, such as food, shopping, travel and lodging.

• Capable of asking a variety of questions when necessary to obtain simple information to satisfy basic needs, such as directions, prices and services.

• Are able to express personal meaning by creating with the language, in part by combining and recombining known elements and conversational input to make utterances of sentence length and some strings of sentences.

Advanced Proficiency• Able to handle with ease and confidence a large number of communicative

tasks• Participate actively in most informal and some formal exchanges • Demonstrate the ability to narrate and describe in past, present, and future • Adapt flexibly to the demands of the conversation• Narration and description is interwoven to relate relevant and supporting

facts in connected, paragraph-length discourse• Can handle linguistic challenges presented by a complication or unexpected

turn of events • Communicative strategies such as circumlocution or rephrasing are

employed • The speech is marked by substantial flow• Vocabulary is fairly extensive although primarily generic

B.L.: Transcript

• У меня есть маленькая семья. Мама, папа, старший брат, и я. Моего отца зовут Эрик и мою маму зовут Лиса. Моя мама работает учительницeй и мой папа на пенсии. Раньше мой папа работал экономистом. Они женаты уже двадцать лет.

• Моего брата зовут Ждейк, ему двадцать лет. Он учится в университете в Лос Анджелесе. Его специальность история. Бабушка и дедушка умерли. Моя семья живет в Лос Анджелесе дома около пляжа. Мы живем в красивом районе. В районе есть много магазинов, ресторанов, театров, и тогда. Я очень люблю когда моя семья дома, но обычно я живу в Вашингтоне потому, что я учусь там. Субботу и в воскресенье мы любим отдыхать дома или на пляже. Мы тоже отдыхаем вместе дома и мы смотрем телевизор или говорим. Субботное время мы любим ходит в ресторани или в кино или путешествовать. Мы никогда не приехали из Лос Анджелесе. Это все.

B.L. Analysis

• Big volume BUT• Mostly memorized phrases• A string of sentences• No paragraphs• Few connectors (but, because)• No complex connectors• No opening, closing

D.G.: Transcript, part 1Q. Вы говорили о том, что у вас был сосед, который вернулся в штат Юта. Что случилось? A. Его папа ... ну, ему стало слишком дорого учиться в этом университете и его папа не хотел ещё платит за учебу потому, что я плачу, я думаю, что можит быть десять тысяч долларов в год, чтобы учиться в этом университете, но мой бывший сосед по комнате, он должен был платить пятьдесять тысяч долларов в год за учебу, очень дорого и это жаль потому, что я очень скучаю по нему потому, что я его считаю моим лучшим другом. Q. И что случилось, вы оказались без соседа или у вас новый сосед? A. У меня … у меня тот же сосед ну потому, что в начале года у меня был два соседа по комнате и я ещё живу с этим соседом по комнате и к счастью у нас нет нового соседа по комнате и только нас двое в квартире. Q. Но вы должны платить больше наверно, да? A. Нет, нет, я не знаю почeму. Q. Но вам очень повезло. A. Да, очень повезло. Q. Ну вот, ваш друг, который уехал, конечно с ним вам не повезло. Вы сказали, что он был очень хорошим другом. Как вы с ним познакомились? A. Мы жили на одном этаже в общежитии на первом курсе и мы были соседями по комнате в прошлом году в общежитии. Q. Я надеюсь, что вы с ним ещё в контакте? A. Да, конечно, я посылаю ему СМС каждый день и мы разговариваем.

D.G.: Transcript, part 2Q. Скажите пожалуйста, я понимаю, что вы заканчиваете третий курс, да? Какие у вас планы на будущие?

A. Но, этим летом, я поеду в Москву, чтобы учиться и в следующим году я надеюсь, что ... я ... но, я зан... Я хочу ... ну хорошо ... я…Через два года я хочу поступить в университет в Санкт- Петербурге, чтобы учиться там на год потому, что я учусь на флагманской программе и, чтобы закончить эту программу надо учиться в университете в Санкт-Петербурге. Я надеюсь, что я поступлю в этот университет и после этого я не знаю что ... я не уверен кем я стану потому, что я хочу стать переводчиком так как я очень люблю литературу, но все советуют меня не стать переводчиком потому, что в Америке переводчики не очень хорошо зарабатывают. Из-за этого я так (что?) хочу работать в американском государстве или правительстве где можно говорить и писать по-русски потому, что русский язык это моя специальность.

D.G.: Analysis

• Spontaneous speech• Fluency (quick and adequate reaction to Q’s)• Paragraph-length connected speech• Parenthetical words and expressions• Connectors: two kinds of ‘because’, in order

to, because of that• Natural starts and stops• Minus: pronunciation errors; intonation flaws

D.G.: Tester’s Comments• D.G. communicates consistently in paragraph-length

discourse in past, present, and future time with description and narration. He has rather good control of grammar and phonetics, especially evident in his ability to self-correct.

• When given superior level probes, he showed inability to maintain discourse on an abstract topic. He uses a rather narrow range of cohesive devices.

• In order for him to move forward to greater proficiency within and beyond the advanced level, he needs to broaden his active repertoire of devices of coherence and cohesion and expand his vocabulary.

Learning from the OPI

• What do you learn from listening to an OPI?

Learning form OPI (2)

• How can a teacher fade into the background?• How can we encourage students to talk?• What improvements do students need?• What is more important: vocabulary or

grammar?• Are cohesive devices of importance?• What changes can be made to the program?

ACTFL Guidelines: Discussion

• Group Work1) Which features of the OPI are real life?2) Which features are artificial?3) How can the Guidelines be used in day-to-day teaching?4) Can the OPI be used to test HLLs?

OPI Testing: Pros and cons

• Pros– Provides common test format and ratings– Allows student to demonstrate proficiency

without regard to method, textbook, duration• Cons– Artificial format – the tester doesn’t help

communication– Solution: making tasks/situations more life-like

OPI: From Assessment to Materials and Curriculum Development

Establishing what needs to be taught at each level• Novice: enable students to say a string of

simple sentences + simple connectors• Intermediate: start using more cohesive

devices, e.g. который• Advanced: parenthesis and complex

cohesion

Thematic Development: Four Skills

• Novice and Intermediate: self, family, studies, interests

• Advanced and Superior: Beyond ‘self’, abstract themes, politics, economics, news items, ecology, etc.

Bloom’s Taxonomy

Real Life and Materials Development

• Real life situations determine how we engage with the text (either written or aural/oral)

(H.Byrnes in The Routledge Handbook of SLA, 2012)

Simple Tasks Made Real

Interpretive Modes: Listening and Reading

• E-mails• Blogs• Statistics• Announcements• Short texts on a variety of topics• YouTube excerpts from movies, interviews– Incorporating authentic materials–Creating real life tasks using critical

thinking approach

Authentic Materials: Scaffolding• "Scaffolding refers to providing contextual supports for

meaning through the use of simplified language, teacher modeling, visuals and graphics, cooperative learning and hands-on learning" (Ovando, Collier, & Combs, 2003, p. 345).

• "as students become more proficient, the scaffold is gradually removed" (Diaz-Rico & Weed, 2002, p. 85).

Source: Scaffolding Academic Learning for Second Language LearnersKaren Sue Bradley & Jack Alden BradleyInternet TESL Journal, Vol. X, No. 5, May 2004http://iteslj.org/

Look at Slides 36-44

• Chose: : 36-37; 38; 39; 40; 41; 42• Decide what kinds of ‘real life’ assignments

you can give students at the1) Novice level2) Intermediate level

Рецепт манной каши

• Нам понадобятся молоко, вода, сливочное масло, соль, сахар и, конечно, манная крупа.

40

Манная каша готова!

Перекладываем в миску, добавляем сливочное масло и можно есть!Всем приятного аппетита!

41

Сотрудник «Большого города» ищет квартиру

• Мой молодой человек, наш попугай, кот и я ищем квартиру в Москве — однушку, рядом с метро, предпочтительно на Сокольнической или Калужско-Рижской ветке.

Вредных привычек нет ни у кого, включая животных. Животные воспитанные, люди тоже, я вообще работаю в «Большом городе». Очень бы хотелось не ждать до осени и переехать в августе.

Юля zabrodina@bg.ru

Квартира у Парка культуры

• Пока хозяйка работает в Нью Йорке, сдается 1-комнатная квартира у метро «Парк культуры». Можно арендовать на 3 или 6 месяцев. Можно с последуюшей продажей. Недорого.

• Владислав, 8 903 729 94 84

Об’явление

• Сниму комнату• Сниму маленькую изолированную комнату

в старом доме поближе к центру, в пределах 15 тыс. рублей. Я очень тихая, аккуратная девушка, которая много пишет. Не курю, люблю дома и книги.

• Камила, kamila.nicholls@gmail.com

44

Статистика• Территория России составляет 17.075.260 кв. км и в основном

лежит севернее 50° с.ш.Средние температуры января, по разным регионам, от 0 до -50 °C, июля от 1 до 25 °C; осадков от 150 до 2000 мм в год.Вечная мерзлота (районы Сибири и Дальнего Востока) занимает 65% территории России.Более 70% российской территории - это зона рискованного земледелия.Свыше 50% территории занимают леса.

Журнал «Большой город»

• Лена ищет Аркадия и плащ• Девушка Лена просит отозваться хоккеиста

Аркадия, который подвозил ее в субботу в клуб и в автомобиле которого она оставила свой плащ.

• Лена, dealena@mail.ru

46

Парень в рыжем пальто

• Где-то в начале марта в 10 часов вечера на станции «Новослободская» встретился парень в рыжем пальто. Сообщил, что видел меня в декабре, но не успел заговорить, потому что я быстро бежала. И еще сказал, что любит Чехова. Я тоже люблю Чехова. Молодой человек, как вас зовут?

• Камила, kamila.nicholls@gmail.com

Журнал «Большой город»

47

Даю уроки•

Научу желающих писать, читать и говорить на хинди. За плечами — МГИМО и победа на конкурсе UK Hindi Samiti 2011. Занятия эффективные, интересные и без занудства. В качестве бонуса могу научить писать, читать и говорить на урду. Занятия от 500 р.

• Полина, polinaryjova@gmail.com

48

YouTube: «Маша и медведь»

Школа: первый раз в первый класс• http

://www.youtube.com/watch?v=VKS2JRidfmk&feature=related

Опросы• Умеете ли Вы пользоваться Интернетом? • Умеете ли вы пользоваться компьютером? • Есть ли у Вас дома? • Есть ли на Вашем мобильном телефоне функция выхода в Интернет, и если да

, пользуетесь ли Вы этой функцией?

• Сколько, в среднем, часов в неделю вы проводите в Интернете (кроме переписки по электронной почте)? (в % от тех, кто пользуется)?

• Как или где Вы научились пользоваться Интернетом? (в % от пользующихся) • Сколько примерно книг Вы купили за последние шесть месяцев?(в % от покуп

ающих)

• Читаете ли Вы сейчас какую-нибудь книгу, если да, то где Вы ее взяли? • Какие журналы Вы в последнее время читаете или покупаете чаще всего? (отв

еты ранжированы)

• Играете ли Вы сами на каких-либо музыкальных инструментах, и если да, то на каких? (в % от тех, кто играет)

Part 1: Conclusions

• Use formative testing at short intervals• Use summative testing (ACTFL OPI) at big

junctions• Think of assessment for “real life purposes”• Think of “real life purposes” when creating

teaching materials• Use critical thinking approach• Allow students to act cognitively at their age

level

PART 2:

• Types of TESTS and TYPES of TASKS

Types of Tests

• Achievement• Proficiency• Pro-chievement

– These approaches to testing can be used for curriculum development

Achievement tests

• Limited to studied material • Defined by instructional unit• Tasks rehearsed• Can achieve 100%• May or may not be related to real world

experience

Proficiency tests

• Unconstrained by material• No pre-defined topics• Unrehearsed tasks• Holistic assessment of function• Most closely related to real world

Pro-chievement tests

• Blend of achievement and proficiency test• Constrained by material• Tasks rehearsed and lifelike• Students work with new texts/tasks (that are

similar to but not taught in class)• Resembles real world experience (or at least

students are put on the spot)

Listening Tests

• Dictation or Cloze dictation• Draw map or fill out chart• Answer questions or paraphrase • Write open-ended response• Match descriptions to listening text• Outline or draw inferences• Identify sociolinguistic factors or registers• Listen for gist / Listen for details

Reading Tests• Skim (Gist) / Read for details• Answer questions, paraphrase • Write open-ended response• Draw picture or map• Identify salient features• Unscramble the text• Complete the text• Identify purpose or function of text• Analyze rhetoric / identify logical flaws or stylistic

inconsistencies

Speaking Tests

Oral Proficiency Test adopted for curriculumTesting all modes interpersonal and presentational modes

Writing Tests

• Stimulus for open-ended response• Communicative focus • Context and purpose• Intended audience• Accuracy expectations• As a tool– Pre-writing, revision activities

Conclusions

• Communication can serve as a focus of instruction AND assessment

• Assessment can drive curriculum– if based on real-life tasks/authentic materials– includes all modes of communication– is an integral part of the learning process