В связи с увеличением количества смешанных курсов в высшем образовании за последние несколько лет в настоящее время становится все более важным обеспечение качества онлайн-образования путем оценки смешанных (или гибридных) курсов по различным аспектам, таким как согласованность целей обучения с оценкой, используемые учебные материалы и технологии, а также педагогическая и техническая поддержка. В этой статье описывается этап оценки смешанного курса английского языка для общих академических целей (EGAP), предназначенного для студентов второго курса японских студентов, в основном факультетов права, литературы, экономики и гуманитарных наук Университета Осаки. В этом исследовании исследователи приняли инклюзивный подход к оценке смешанного курса. Чтобы гарантировать качество курса с самого начала, Пятая редакция рубрики «Дизайн вопросов высшего образования» использовалась в качестве основного справочного материала. В рамках процесса оценки восприятие студентами полезности курса также измерялось количественно и качественно с помощью инструмента для изучения отношения и открытых вопросов для размышлений. В конце концов, чтобы добавить позиционирование со стороны, смешанный курс был рецензирован сертифицированным рецензентом из Quality Matters (QM) после того, как исследователи самостоятельно проверили его. Результаты оценочного опроса продемонстрировали общую удовлетворенность студентов курсом, а их ответы на открытые вопросы дали дополнительное понимание образовательных и технических трудностей, с которыми они столкнулись. Рецензирование QM также дало оценку 70 из 99, в результате чего не соответствуют основным стандартам. Тем не менее, комментарии рецензента помогли усовершенствовать и улучшить дизайн курса, и курс в настоящее время соответствует всем требованиям рубрики «Дизайн высшего образования» (пятое издание) после внесения поправок. В этом исследовании обсуждаются последствия для проектирования, разработки и оценки смешанных курсов английского языка как иностранного и даются практические советы для онлайн / смешанных дизайнеров курсов. Дальнейшие уточнения к существующему курсу могут быть внесены в будущем, если его несколько раз применять с различными группами студентов. В этом исследовании обсуждаются последствия для проектирования, разработки и оценки смешанных курсов английского языка как иностранного и даются практические советы для онлайн / смешанных дизайнеров курсов. Дальнейшие уточнения к существующему курсу могут быть внесены в будущем, если его несколько раз применять с различными группами студентов. В этом исследовании обсуждаются последствия для проектирования, разработки и оценки смешанных курсов английского языка как иностранного и даются практические советы для онлайн / смешанных дизайнеров курсов. Дальнейшие уточнения к существующему курсу могут быть внесены в будущем, если его несколько раз применять с различными группами студентов.

За последние два десятилетия смешанное обучение, также известное как гибридное обучение, стало модным словом в высшем образовании. Тем не менее, нет большого консенсуса по поводу его определения. Грэм ( 2006 ) отмечает, что существует широкий спектр ответов на вопрос «что смешивается?», И разделяет наиболее часто упоминаемые определения на следующие три группы.

• «Объединение учебных методик (или средств доставки)

• Сочетание методов обучения

• Совмещение онлайн и очного обучения "(с. 3).

Согласно Грэму ( 2006 ), третье определение, которое признает смешанное обучение как комбинацию очного и компьютерного обучения, более точно отражает суть концепции, чем два других. Он утверждает, что в прошлом традиционные очные учебные среды оставались отделенными от компьютерных сред обучения. Тем не менее, благодаря появлению технологических инноваций, среда лицом к лицу и компьютерная среда начали сливаться.

Osguthorpe и Graham ( 2003 ) заявляют о пяти преимуществах применения смешанного обучения, а именно:

1. 1)

   Педагогическое богатство:

   Смешанные подходы к обучению позволяют преподавателям более эффективно использовать учебное время для улучшения обучения студентов.

2. 2)

   Доступ к знаниям:

   Смешанные среды расширяют доступ учащихся к информации способами, которые невозможно реализовать с помощью учебников.

3. 3)

   Социальное взаимодействие:

   Смешанное обучение позволяет учащимся взаимодействовать со своими сверстниками и учителями как в классе, так и в Интернете, в то время как такие взаимодействия ограничены только в онлайн-курсах.

4. 4)

   Персональное агентство:

   Смешанные системы доставки улучшают контроль учащихся и дают им выбор относительно того, что изучать и как его изучать.

5. 5)

   Экономическая эффективность:

   Смешанная среда сокращает время, затрачиваемое на занятия, и увеличивает количество учащихся, оплачивающих обучение в учебном заведении. Они также снижают расходы, сокращая расходы на работу штатных преподавателей.

Растет интерес к смешанному обучению в высшем образовании (Garrison & Kanuta, 2004 ; Garrison & Vaughan, 2008 ). В литературе наиболее общепризнанной причиной популярности смешанного обучения является то, что он, как полагают, сочетает в себе лучшее из обоих миров, смешивая эффективные элементы личного обучения и онлайн-обучения, учитывая, что оно хорошо разработано. Область изучения языка и преподавания также была богата исследованиями по смешанному обучению, 24 из которых Grgurovic ( 2017) рассмотрены в пяти категориях: (1) сравнительные исследования, (2) восприятие учителей, (3) восприятие учащихся, (4) изучение технических средств и (5) внедрение курса. Она приходит к выводу, что смешанное обучение, скорее всего, останется предпочтительным подходом в ELT (преподавание английского языка) в ближайшие годы.

Количество смешанных курсов в высшем образовании по всей Японии также увеличивается, и ожидается, что оно будет быстро расти (Gruba & Hinkelman, 2012 ). По словам Маккарти, Сато и Обари ( 2017), смешанное обучение в японском контексте может обеспечить более комплексный подход к преподаванию и обучению, предотвратить отчуждение учащихся, улучшить показатели завершения, снизить показатели отсева и повысить качество и количество взаимодействия. Авторы приводят тематические исследования, проведенные в японских университетах по потенциальной эффективности смешанного обучения и переворота в классе. Их результаты показывают, что по сравнению с традиционными методами, эти подходы более эффективны в повышении уровня квалификации студентов. В последние годы распространенность смешанного обучения в геометрической прогрессии возросла, так же как и необходимость оценивать качество смешанных курсов; следовательно, оценка качества имеет первостепенное значение при проектировании, разработке и проведении смешанных курсов (Gruba, Cárdenas-Claros, Suvorov, & Rick, 2016).

Существует множество контрольных списков, руководств и рубрик для онлайн- и смешанного дизайна курсов, разработанных несколькими организациями (например, Quality Matters, Ассоциация дистанционного обучения США, рубрика Инициативы по качеству онлайн-курса Illinois, Североамериканский совет по онлайн-обучению, Совет по Аккредитация высшего образования, Комиссия по высшему образованию, Blackboard Inc.), многие из которых в основном сосредоточены на учебном дизайне и разработке курса, а не на проведении курса и обучении (Piña & Bohn, 2014). Из этих контрольных списков, руководств и рубрик исследователи выбрали рубрику «Дизайн вопросов высшего образования» в качестве основной системы отсчета. Кроме того, они приняли всеобъемлющий подход к оценке смешанного курса. Базовая модель последовательного приближения, предложенная Алленом ( 2012 ), послужила основой для разработки и разработки смешанного курса английского языка для общих академических целей (EGAP), предназначенного главным образом для студентов второго курса японских студентов факультетов права, литературы, экономики и гуманитарных наук. в университете Осаки. Чтобы гарантировать качество курса с самого начала, помимо перечня стандартов (Vai & Sosulski, 2011 ), пятое издание рубрики « Дизайн вопросов высшего образования» имеет значение (Quality Matters, 2014)) также использовался в качестве основной ссылки. В рамках процесса оценки восприятие студентами полезности курса измерялось количественно и качественно с помощью инструмента для изучения отношения и открытых вопросов для размышлений. В конце концов, чтобы добавить постороннюю позицию, смешанный курс был рецензирован сертифицированным рецензентом, связанным с Quality Matters, назначенным QM из-за соответствия между ее областью знаний и содержанием курса, а также ее знакомством с японскими учениками - после будучи самоанализом исследователей.

Как уже указывалось, этот документ представляет собой отчет о процессе оценки смешанного курса EGAP, озаглавленного «Глобальный английский язык в университете Осаки» (OUGEO). Тем не менее, чтобы дать читателям краткую информацию о предыдущих этапах проектирования и разработки курса, будет кратко объяснен учебный дизайн, контрольный список и рубрика, используемые на этих этапах, и будет сделана ссылка на другие работы в литературе, которые сделали использование подобных ресурсов для онлайн или смешанного дизайна курса.

Базовая модель последовательного приближения

Гибкая модель последовательного приближения (SAM), в которой используются итеративные процессы проектирования, была представлена ​​Алленом ( 2012 ) в качестве замены традиционной модели анализа, проектирования, разработки, внедрения и оценки (ADDIE). В отличие от пяти гигантских последовательных шагов ADDIE, SAM состоит из повторяющихся, переплетенных маленьких шагов, которые технически называются итерациями.

Чтобы создать смешанный курс в этом исследовании, в качестве модели руководящего учебного плана была выбрана базовая модель последовательного приближения, известная как SAM 1, которая подходит для небольших проектов, не требующих специальных технических навыков, таких как программирование (см. Рис.  1 )

рисунок 1

Базовая модель последовательного приближения (SAM 1); Эта модель отображает процессы, связанные с проектированием и разработкой онлайн или смешанного курса. Он подходит для небольших проектов, в которых участвует один человек или группа, работающая вместе, когда не требуются третьи лица с навыками программирования или видеопроизводства.

Изображение в полном размере

Итеративный характер SAM 1 позволял проводить непрерывную оценку и, следовательно, исправления, адаптации, смягчения, уточнения и корректировки на ранних этапах проектирования и разработки смешанного курса (см. Mehran, Alizadeh, Koguchi, & Takemura, 2017 для более подробной информации). подробные описания этапов проектирования и разработки).

Контрольный список стандартов

Как отмечают дизайнеры и разработчики онлайн-курсов (например, Stavredes & Herder, 2014 ), стандарты обеспечивают согласованность и общее качество на всем протяжении проектирования и разработки курса. Приняв тщательно продуманный, ориентированный на исследования, ориентированный на практику, пошаговый подход к проектированию и разработке онлайн-курсов, Ваи и Сосульски ( 2011 , с. 189-195) представили контрольный список, который служит индексом стандартов и наилучшим -практикуйте модель для разработчиков курсов и преподавателей, чтобы последовательно использовать и самостоятельно оценивать свои онлайн-курсы. Этот контрольный список направлял этапы проектирования и разработки текущего исследования и предоставлял возможности для многократной рефлексивной самооценки созданного смешанного курса.

Рубрика «Вопросы качества»

Что это такое и почему качество имеет значение?

Вопросы качества (далее сокращенно QM) начались с вопроса, который был задан небольшой группой коллег в консорциуме MarylandOnline из США: как измеряется и гарантируется качество онлайн-курса? В настоящее время QM является международной организацией, которая признана лидером в области обеспечения качества онлайн-образования как в K-12, так и в высшем образовании, и нацелена на продвижение и улучшение качества онлайн-образования и обучения студентов на национальном и международном уровнях с помощью различных способов, таких как как разработка основанных на исследованиях и основанных на практике рубрик и стандартов качества, обеспечение профессионального развития в использовании инструментов оценки для повышения качества онлайн-образования, а также предложение рецензирования и сертификации качества в онлайн-образовании. Как упомянуто Мудрым и Им ( 2015), QM был принят многими образовательными учреждениями для анализа и оценки качества их онлайн и смешанных курсов.

Применяя вопросы качества

Хотя рубрика QM не так хорошо известна в области обучения иностранным языкам, она широко используется и применяется к различным программам дисциплин, и некоторые из них кратко описаны ниже.

В своем тематическом исследовании Харкнесс ( 2015 ) документирует результаты пяти учебных лет стратегического применения управления качеством в программах онлайн-обучения в Университете округа Колумбия, что привело к созданию устойчивого онлайн-образования в этом учреждении; например, прохождение курсов по AD увеличилось на 19,7%, неудовлетворительные оценки по F снизились на 66,6%, а снятие с онлайн-курсов сократилось на 23,5%. Hollowell, Brooks и Anderson ( 2017 ) также описывают, как QM помогло их учебному заведению, Центральному университету Северной Каролины (NCCU), справиться с растущими показателями Ds, Fs и изъятия студентами, зачисленными на онлайн-курсы.

Martin, Ndoye и Wilkins ( 2016 ) исследуют, как стандарты QM определяют и анализируют данные аналитики обучения, что является «интерпретацией широкого спектра данных, которые собирают и собирают от имени учащихся для оценки успеваемости, прогнозирования». будущие результаты и выявление потенциальных проблем »(Johnson, Smith, Willis, Levine, & Haywood, 2011 , p. 28), для мониторинга и улучшения обучения в рамках полностью онлайновой магистерской программы по технологии систем обучения в университете в США. Исследование обеспечивает структуру, которая помогает преподавателям увидеть, соответствуют ли их онлайн-курсы требованиям стандартов QM и, следовательно, повысить эффективность онлайн-обучения и обучения.

Согласно Dietz-Uhler, Fisher и Han ( 2007 ), уровень удержания, как сообщается, ниже в онлайн-классах, чем в очных. Таким образом, они исследуют, способствует ли разработка онлайн-курсов удержанию студентов, используя QM для разработки и анализа своих онлайн-курсов по психологии и статистике. Они сообщили, что их коэффициент удержания в нескольких предложениях обоих курсов составляет примерно 95%.

Lowenthal и Hodges ( 2015 ) используют QM для оценки качества шести случайно выбранных MOOC (массовых открытых онлайн-курсов). Три обученных рецензента QM проанализировали каждый из MOOC, используя рубрику QM 2011–2013. Некоторые из MOOC получили очень хорошие оценки, и, с некоторыми незначительными изменениями, два из MOOC могли пройти проверку QM и, следовательно, считаться высококачественными онлайн-курсами. Это говорит о том, что MOOC могут быть высококачественными онлайн-курсами, по крайней мере, с точки зрения дизайна курса.

Kwon, DiSilvestro и Treff ( 2017 ) используют стандарты QM и определяют сильные и слабые стороны своей программы обучения взрослых для выпускников. Результаты показали, что онлайн-курсы для взрослых соответствуют основным компонентам стандартов управления качеством в целом. Кроме того, оценки студентов по курсам вполне соответствовали оценкам равных инструкторов, и в областях, определенных как нуждающиеся в улучшении, были информация о доступности, технической поддержке и ориентации курса, а также описания учебных материалов.

Авторы нашли одно исследование в литературе, в котором изучалось использование рубрики QM в условиях EFL. В своем исследовании Al Zumor ( 2015 ) тщательно изучает стандарты рубрики QM, издание 2011–2013 гг. Результаты показали, что рубрика имеет потенциал для улучшения онлайн-обучения иностранному языку в целом и может, в частности, сделать процесс обучения EFL более гуманизированным за счет повышения чувства присутствия преподавателей и учащихся в Интернете. Аналогично, в настоящем исследовании рубрика QM использовалась в качестве основного справочного материала для оценки смешанного курса EGAP.

Стоит отметить, что исследование вопросов качества (QMR) - это термин, который включает в себя исследования, которые поддерживают рубрику и процесс управления качеством, обсуждают его использование и фокусируются на его воздействии . Читатели отсылаются к курируемым ресурсам в QMR ( https://www.qualitymatters.org/research/curated-research-resources ), где они могут найти больше теоретических и практических исследований по QM.

Оценка OUGEO

Участники и описание случая

В общей сложности 86 студентов из университета Осаки были зачислены на смешанный курс EGAP, разработанный и разработанный исследователями. Большинство ( N  = 83) студентов были из факультетов права, литературы, экономики и гуманитарных наук, в то время как только три были из науки и техники. Пятьдесят шесть процентов ( N  = 48) из числа зачисленных были мужчины и 44% ( N  = 38) были женщины. Большинство из них ( N = 75) были на втором курсе, в то время как было семь младших и четыре старшеклассника. Имеется мало данных об уровне квалификации участников, но, чтобы дать читателям общее представление, результаты теста TOEFL ITP, проведенного в 2012 году всеми первокурсниками в Университете Осаки, показали, что в среднем студенты набрали 479,73 балла с 677 баллами. самый высокий и 330 как самые низкие баллы (Kimura & Mori, 2013 ). Участники текущего исследования, тем не менее, прошли онлайн-тестирование Британского Совета (доступно бесплатно по адресу https://learnenglish.britishcouncil.org/content).) в начале семестра со средним баллом 71,07, максимальным баллом 96 и минимальным баллом 54 из 100 баллов. Согласно Британскому совету, ученики со счетом около 70 попадают в A2 или B1 CEFR (Общеевропейская система координат).

Смешанный курс, получивший официальное название «Практический английский (электронное обучение)», впервые был предложен в 2012 году с целью помочь студентам университетов улучшить свои академические знания английского языка, подготовить их к обучению в англоязычных странах и дать им возможность получить оценка от 490 до 520 баллов по TOEFL ITP®. Студенты обычно проходят 12 недель онлайн-самообучения, используя коммерческий пакет под названием Linc English и онлайн-библиотеку видеоуроков, известную как English Central. Хотя одна из целей курса состояла в том, чтобы подготовить студентов к программам обучения за рубежом, она не включала в себя достаточную практику языковой подготовки в устной и письменной форме и в основном была сосредоточена на рецептивных навыках.

В попытке улучшить прежний курс, исследователи разработали и разработали новый смешанный курс, который заменит старый, уже называемый Университетским глобальным английским языком в Осаке (OUGEO). Программа OUGEO была направлена ​​на развитие у студентов практических навыков английского языка, в частности, разговорной речи, чтобы они могли перейти на более высокий уровень разговорного и общего академического английского языка (до уровней B2 и C1 в Общеевропейской системе ссылок на языки) , а также приобрести навыки и уверенность при разговоре. Курс был предложен на трех уровнях для разных групп. Он начался с ознакомительной сессии, во время которой студенты были ознакомлены с курсом и были проинформированы о расписании курса, требованиях, доступе к онлайн-материалам, подача заданий, политика выставления оценок и т. д. В общей сложности было проведено пять очных и десять онлайновых учебных занятий. Онлайновый компонент курса был размещен в системе управления обучением Университета Осаки, Blackboard Learn, в местном масштабе известной как CLE (Среда совместной работы и обучения). Подробная информация о дизайне, разработке, реализации и оценке курса была задокументирована наOUGEO: за веб-страницей Scenes ( https://sites.google.com/view/ougeo ), поскольку веб-страница основного курса доступна только тем, у кого есть личный идентификатор и пароль университета Осаки.

Инструменты оценки

В соответствии с рекомендацией SAM 1, оценка является обязательным компонентом в цикле проектирования и разработки курса. Для оценки качества смешанного курса были использованы следующие инструменты: (1) самооценка и экспертная оценка качества и (2) опросник для оценки курса.

Качество имеет значение для самостоятельной и экспертной оценки

Пятое издание рубрики «Дизайн курса высшего образования QM» (Quality Matters, 2014 ) было доступно и использовалось посредством платной институциональной подписки по двум основным причинам: QM поддерживается исследованиями (Legon, 2006 , 2015 ) и рекомендуется при разработке онлайн-курса. эксперты (например, Boettcher & Conrad, 2010 ; Ko & Rossen, 2010), и рубрика является гибкой для использования при оценке дизайна и разработки как онлайн, так и смешанных курсов. Он состоит из набора из восьми общих стандартов и 43 специальных стандартов обзора для оценки качества онлайн или смешанных курсов. Аннотации объясняют применение стандартов и их взаимосвязь. В рубрике используется взвешенная система оценок, используемая группой проверки для определения соответствия курса стандартам. Стандарты с трехзначными значениями считаются необходимыми, и все должны быть выполнены для курса, чтобы соответствовать стандартам QM в целом. Стоит отметить, что минимальный балл 84 из 99 (почти 85%) необходим для того, чтобы курс был QM-сертифицирован. Восемь общих стандартов рубрики перечислены ниже.

1. 1.

   Обзор курса и введение

2. 2.

   Цели обучения (компетенции)

3. 3.

   Оценка и Измерение

4. 4.

   Учебные материалы

5. 5.

   Учебная деятельность и взаимодействие учащихся

6. 6.

   Курс Технологии

7. 7.

   Поддержка учащихся

8. 8.

   Доступность и удобство использования

Неаннотированная версия рубрики доступна бесплатно в разделе Ресурсы по обеспечению качества (QA). Стоит отметить, что пятое издание рубрики было доступно до 1 июля 2018 года, пока не было выпущено шестое издание. Таким образом, текущая ссылка приводит пользователей к самой последней версии рубрики Higher Ed, то есть к шестому изданию, вместо пятого (доступно в дополнительном файле 1 : Приложение B), которое было самой последней версией, доступной в ходе обзора курса, и Таким образом, был использован в этом исследовании. В новой редакции используются те же общие стандарты, но есть некоторые модификации, внесенные в субстандарты, с общим счетом, измененным с 99 до 100.

Существует несколько типов обзора QM: от самостоятельной проверки до официальной проверки курса. В настоящем исследовании инструмент самооценки использовался для неофициальной оценки качества разработанного смешанного курса. Самооценки являются конфиденциальными, и отчеты не доступны никому, кроме лица, проводящего проверку. Подготовительный обзор был выбран для оценки курса. Этот платный обзор представляет собой неформальный процесс проверки, выполняемый главным рецензентом, который также является экспертом по контенту, чтобы определить, соответствует ли курс стандартам QM, и в результате получается отчет, который дает представление о том, на чем следует сосредоточить внимание на улучшениях курса - конкретных областях, не отвечающих требованиям QM. стандарты, например, и могут помочь выделить потребности профессионального развития. Рисунок  2 адаптирован из Adair ( 2014 г.) обобщает процесс обеспечения качества QM.

Рис. 2

Процесс обеспечения качества QM адаптирован из Adair ( 2014 , стр. 84); В нем представлен циклический процесс непрерывного совершенствования онлайн / смешанных курсов, включающий рецензирование, обратную связь и пересмотр.

Изображение в полном размере

Анкета для оценки курса

Несмотря на то, что рубрика QM является всеобъемлющей рубрикой для онлайнового или смешанного дизайна курса, она фактически не способна обнаруживать проблемы, которые могут возникнуть в ходе реализации курса, например, возможные технические сбои. Таким образом, в течение последней недели курса студентам вводили оценочный опросник, чтобы количественно и качественно измерить их удовлетворенность смешанным обучением и выявить области, нуждающиеся в улучшении. Анкета была адаптирована Harker and Koutsantoni ( 2005 ), которая оценила эффективность веб-программы для изучения английского языка в академических целях. Адаптированная версия вопросника включает 81 пункт типа Лайкерта, за которыми следуют несколько открытых вопросов, переведенных на японский язык (см. Дополнительный файл 2).: Приложение A для двуязычной версии). На вопросник оценки курса ответили 71 студент, 37 мужчин и 34 женщины, из общего числа 86 поступивших на добровольной основе. В этой статье будут проанализированы и представлены ответы на пункты 1–10 и 41–47, поскольку эти элементы отражают общую оценку респондентами курса. Харкер и Куцантони ( 2005) не предоставили никакой информации относительно надежности разработанной ими анкеты. Тем не менее, авторы настоящего исследования проанализировали надежность вопросника, запустив альфа-версию Кронбаха на данных пунктов 1–10 и 41–47. Эти две группы предметов были отдельно проверены на надежность, так как первые десять предметов имели четырехуровневую шкалу (категорически не согласен, не согласен, согласен, полностью согласен), тогда как остальные предметы были созданы по трехуровневой шкале (нет в определенной степени, да). Было установлено, что вопросник является внутренне непротиворечивым и надежным, и нет необходимости удалять элементы (альфа Кронбаха = 0,80 для обеих групп элементов). Поскольку все предметы дали альфа-значение Кронбаха выше 0,70, вопросник можно считать надежным (Pallant, 2001 ).

Процедура оценки

Исследователи тщательно изучили Ваи и Сосульских ( 2011 г.).) контрольный список и аннотированная рубрика QM, прежде чем приступить к проектированию и разработке курса, пытаясь учесть как можно больше стандартов. После того, как курс был реализован, была проведена самооценка с использованием рабочего листа, доступного в Системе управления проверкой курса QM. Самоанализ позволил мне внести дополнительные поправки в курс, прежде чем приступить к экспертной оценке. Для подготовительной рецензии сертифицированному рецензенту QM был предоставлен гостевой доступ к курсу, чтобы как оценить его, так и прокомментировать области, нуждающиеся в улучшении. Стоит отметить, что для того, чтобы стать QM-сертифицированным рецензентом, все кандидаты должны пройти асинхронный онлайн-курс под названием «Higher Ed Peer Reviewer Course (PRC)» в течение трех недель. Первый раунд обзора дал 70 баллов из 99, что недостаточно для соответствия стандартам. Курс был позже пересмотрен на основе комментариев рецензента, и была подана вторая заявка на рецензирование. Как уже упоминалось, копию неаннотированной версии рубрики, на основании которой был проведен этот обзор, можно найти в дополнительном файле.1 : Приложение Б.

Кроме того, оценочная анкета была создана онлайн и распространена среди студентов через CLE. Поскольку этот вопросник довольно длинный и анализ ответов на все вопросы выходит за рамки данной статьи, для анализа будут рассматриваться только данные из пунктов, которые просили участников оценить курс в целом. Эти элементы выделены жирным шрифтом в Дополнительном файле 2 : Приложение А.

Обзор QM: Раунд 1

Первый раунд экспертной оценки QM дал 70 баллов из 99, что означает, что курс не соответствовал стандартам QM. Затем исследователи пересмотрели курс в соответствии с комментариями и предложениями рецензента. Таблица 1 содержит список шести основных подстандартов, которые изначально не были соблюдены. Стоит отметить, что СТАНДАРТ 3.3 был оценен как «не выполнено», хотя курс включал рубрики для оценки устных и письменных заданий. Это происходит главным образом из-за того, что рубрики в CLE видны только после того, как пользователи пытаются отправить назначение, и поэтому рецензент не заметил их. Этот факт был упомянут в рабочем листе поправок и был рассмотрен во время второго раунда обзора.

Обзор QM: Раунд 2

После внесения изменений в курс в соответствии с рекомендациями рецензента QM, этот курс был еще раз рассмотрен тем же рецензентом, и в настоящее время он соответствует всем требованиям рубрики дизайна курса высшего образования (пятое издание) с оценкой 99/99. Более подробная информация о проблемах, обнаруженных в курсе, и о том, как были учтены комментарии рецензента, приведены ниже.

СТАНДАРТ 1.1 Инструкции ясно дают понять, с чего начать и где найти различные компоненты курса.

По словам рецензента, инструкции были доступны, но они не были легко видны студентам. Для решения этой проблемы была создана страница приветствия, которая была задана как страница входа в курс, на которой информация о навигации по меню курса и его содержанию предоставлялась посредством письменных инструкций и снимков экрана. На рисунке  3 показан скриншот домашней страницы курса, включая приветственное сообщение и инструкции по навигации по сайту.

Рис. 3

Скриншот домашней страницы OUGEO; Это изображение представляет собой скриншот страницы приветствия смешанного курса в системе управления обучением

Изображение в полном размере

СТАНДАРТ 2.4. Четко указана взаимосвязь между целями или компетенцией обучения и деятельностью курса

Ранее мероприятия курса не были четко связаны с целями курса и результатами обучения, упомянутыми в учебной программе. Связь была выяснена путем присвоения каждого вида деятельности соответствующему результату обучения в учебной программе. Таблица 2 представляет собой пример связи, установленной между результатами обучения и учебной деятельностью, связанной с каждым из четырех языковых навыков.

СТАНДАРТ 3.3 Для оценки работы учащихся предусмотрены конкретные и описательные критерии, которые связаны с политикой оценки курса.

Как уже говорилось, этот стандарт был достигнут путем обмена оценочными рубриками для устных и письменных заданий со студентами. Каждое письменное и устное задание содержало ссылку на соответствующую рубрику, чтобы обеспечить последовательность в оценке и оценке работы студентов. Эти рубрики не были сразу видны для приглашенных зрителей, и поэтому курс был оценен как отсутствие этого необходимого компонента. Тем не менее, оценка по этому стандарту была восстановлена ​​во время второго раунда рецензирования путем написания рецензенту примечания на рабочем листе поправок.

СТАНДАРТ 5.3 План преподавателя относительно времени отклика в классе и обратной связи по заданиям четко сформулирован

Этот недостаток был исправлен путем добавления нового раздела в учебную программу под названием «Время отклика и график обратной связи», в котором был предоставлен приблизительный график для ответов на электронные письма с запросами и оценочные задания.

СТАНДАРТ 7.2 Инструкции курса четко сформулированы или связаны с политикой и услугами организации

Чтобы решить эту проблему, в меню курса была добавлена ​​новая ссылка, через которую студенты могли получить доступ к странице, содержащей информацию об институциональной политике Университета Осаки для каждого факультета.

СТАНДАРТ 8.2 Предоставляется информация о доступности всех технологий, необходимых в курсе

Чтобы соответствовать этому стандарту, была создана новая страница, которая содержала информацию о технологиях, требуемых в курсе, например, о компьютере со стандартным браузером, и были предоставлены ссылки на страницы доступности веб-сайтов, представленных студентам, например. Blackboard Inc. ( http://www.blackboard.com/accessibility.html ).

Путем внесения изменений в соответствии с комментариями рецензента, курс был оценен как отвечающий всем стандартам после внесения поправок.

Оценочная анкета

Оценочная анкета попросила участников оценить содержание курса и веб-сайт, а также написать любые комментарии или предложения по улучшению курса. В таблице 3 приведены ответы учащихся на вопросы с 1 по 10.

Очевидно, что в целом студенты имели относительно высокое мнение о сайте курса; однако, они оценили пункт 4 как самый низкий, так как в течение семестра были технические проблемы, связанные с представлением видео на веб-сайте, и у многих студентов возникли трудности с загрузкой своих видео-выступлений в CLE. Некоторые из студентов также полагали, что веб-сайт не подходит для мобильных устройств и что аудиофайлы иногда имеют низкое качество звука. Относительно сложности задания (пункт 9) были разные мнения. Некоторые респонденты стремились к более сложным задачам чтения, оценивая текущие отрывки для чтения как слишком короткие и простые. Другие полагали, что речевые задания были чрезвычайно сложными и отнимали много времени.

Студенты также оценили курс, ответив на семь пунктов, представленных в таблице 4 . Ответы на эти вопросы в равной степени указывают на то, что студенты довольно положительно относились к курсу, несмотря на случайные технические трудности, вызванные неисправностью системы управления обучением.

Ответы студентов на открытые вопросы

Анализ содержания ответов студентов на открытые вопросы выявил их общую удовлетворенность курсом. Студенты были довольны интеграцией четырех языковых навыков: чтение, аудирование, разговорная речь и письмо. Они полагали, что комплексный подход был хорошо сбалансирован, и им было приятно иметь возможность говорить и писать по-английски, поскольку они сообщили, что продуктивные навыки были упущены из виду на их предыдущих курсах английского языка. Вот два комментария о курсе в целом:

Я очень доволен этим курсом, так как он дал мне возможность улучшить мой английский в интерактивной и продуктивной форме.

До прохождения этого курса я написал только параграфы из 70 слов на английском языке, и у меня было мало возможностей говорить по-английски, но в этом курсе у меня была возможность написать эссе из 400 слов и выступить с 4-минутными презентациями на английском языке.

Ряд студентов отметили, что предложение курса на трех уровнях предоставило им возможность изучать английский на своем собственном уровне. Студенты также прокомментировали постерные презентации, которые они дали на очных сессиях. Они были обучены тому, как использовать приложение дополненной реальности (AR), Blippar, для наложения видео на свои плакаты (подробнее см. Ализаде, Мехран, Когучи и Такемура, 2017 ). Они нашли это занятие веселым, интересным и увлекательным и заявили, что им нравится групповая работа. Один из студентов сказал:

Я думаю, что это увлекательный и инновационный способ обучения, и он обеспечивает доступ к большему количеству контента, помимо обычных материалов в классе.

Некоторые студенты отметили, что темы для чтения и аудирования были им интересны, особенно из-за их актуальности и актуальности для глобальных проблем. Беседы TED также заинтересовали большинство студентов. Кроме того, они были удовлетворены присутствием инструкторов и отзывчивостью, поскольку им было легко и быстро общаться с инструктором и помощниками преподавателя. Один из студентов заявил:

Я надеюсь, что больше японцев смогут использовать английский язык, чтобы показать миру прелести Японии, отстаивать свои мнения, прислушиваться к мнению других и взаимодействовать с ними. Вместо того чтобы оставлять это переводчикам, нужно уметь выражать свое мнение своими словами и напрямую понимать своих собеседников, говорящих по-английски. Я очень надеюсь, что с такими уроками, как этот, которые укрепят все наши четыре знания английского языка, будет больше интернациональных японцев.

Другим аспектом курса, который студенты чувствовали удовлетворением, была обратная связь, которую они получили по своим устным и письменным заданиям. Они сказали, что отзывы были вежливыми, понятными и доступными в любое время, особенно на их мобильных устройствах. Более комментарии следующие:

Я нашел отклик на мои задания четким и конструктивным.

Я мог видеть грамматические ошибки, которые я сделал, что помогло мне распознать пробелы в моих знаниях английского языка.

В отличие от обратной связи на бумаге, мы можем оглянуться на обратную связь, когда захотим, и нам не нужно беспокоиться о неправильном размещении бумаги обратной связи. Мы можем рассмотреть наши ошибки в любое время.

Я не настолько уверен в своих навыках устной и письменной речи, но указание на сильные стороны моих заданий и моменты, требующие улучшения, дало мне новое чувство уверенности в себе.

Стоит отметить, что несколько студентов предпочли получать личную обратную связь по своим речевым заданиям. Студент уточнил причину:

В целом, это [обратная связь] была хорошей, но я бы хотел получить личную обратную связь по поводу выступлений. Это потому, что легче сразу понять проблему, исправить себя и получить обратную связь снова.

Несмотря на это, некоторые студенты сочли онлайн-среду менее угрожающей, что позволило им более уверенно выражать свои мысли на английском языке. Ниже приведен комментарий, сделанный одним из студентов, который обобщает ее мнение об индивидуальной подаче устных заданий в режиме онлайн:

Я не достаточно уверен в себе, чтобы говорить в присутствии других, но, поскольку выступления были представлены онлайн, я смог свободно выражать свои мысли.

Один студент не чувствовал себя уверенно, снимая себя; однако он был удовлетворен отзывами, которые ему предоставили. Он написал:

Честно говоря, я не был уверен в том, чтобы показать свое лицо в видео, и мне было неловко это делать, но я чувствовал, что получать советы по моим поручениям было легко. Не было никакой двусмысленности, и, на мой взгляд, качество было высоким.

Кроме того, студенты заявили, что онлайн-курс позволяет им учиться в своем собственном темпе, где угодно и когда угодно, используя мобильные устройства. Студенты сочли полезными еженедельные инструкции «Сначала прочти меня» на японском и английском языках. Они также полагали, что структурный формат папок курса был легко ориентироваться. И последнее, но не менее важное: некоторые студенты написали, что чувствуют, что их английский улучшился.

Что касается трудностей, с которыми студенты столкнулись в ходе курса, многие студенты не упомянули о невозможности загрузить видео с заданиями на CLE. Один из студентов предположил, что говорящие задания могли быть представлены в аудиоформате. Эта техническая проблема вызвала задержку в отправке отзывов учащимся, и ряд учеников сказал, что отзывы должны были быть предоставлены быстрее. Студенты утверждали, что они были удовлетворены полученной помощью для решения этой проблемы, и, несмотря на трудности с загрузкой видео в Интернете, они могли представить свои видео лицом к лицу.

Некоторые из студентов сообщили о низком качестве звука у немногих слушателей. Следует отметить, что для некоторых студентов содержание курса было слишком простым, в то время как для некоторых оно было слишком сложным из-за еженедельных письменных и устных заданий. Один студент также упомянул, что он не был проинформирован об обратной связи, поскольку CLE не отправляет уведомления пользователям, когда они получают отзывы о задачах. Наконец, в CLE нет средства проверки орфографии и грамматики, что затрудняло написание заданий для нескольких студентов, и они предпочитали использовать Microsoft Word.

В этом документе рассказывается об исследовании, проведенном в Университете Осаки, которое включает в себя проектирование, разработку, доставку и оценку смешанного курса EGAP, называемого Университетским глобальным английским языком в Осаке (OUGEO). Курс был рецензирован с использованием рубрики «Дизайн вопросов высшего образования» (пятое издание), и в настоящее время он соответствует всем стандартам этой рубрики после внесения поправок. Результаты этапа оценки также указывают на то, что, несмотря на случайные технические проблемы, большинство студентов чувствовали себя довольными курсом и полагали, что он соответствует их языковым потребностям и помог им улучшить свои знания английского языка.

Это исследование подчеркивает важность постоянного совершенствования дизайна и разработки онлайн / смешанных курсов. Рецензирование QM помогло улучшить процесс проектирования и разработки курса в свете установления четких связей между целями обучения и учебной деятельностью, а также облегчения и удобства обучения студентов при навигации по курсу. Курс необходимо повторить, прежде чем можно будет сделать дополнительные выводы об эффективности внесенных изменений; тем не менее, литература по применению QM для программ онлайн / смешанного обучения - такие исследования, как Harkness ( 2015 ) и Hollowell et al. ( 2017 ) - обладает достаточными доказательствами эффективности рубрик управления качеством и рецензирования в обеспечении превосходства в программах онлайн / смешанного обучения.

Мало того, что обеспечение качества в онлайн / смешанном обучении зависит от скрупулезного внимания к дизайну и разработке, оно также связано с уровнем удовлетворенности студентов своим онлайн-опытом. Young и Norgard ( 2006 ) определили несколько факторов, способствующих удовлетворенности студентов онлайн-обучением. Факторы включают взаимодействие между студентами, а также между студентом и преподавателем, последовательность в разработке курса, предоставление технической поддержки и гибкость онлайн-курсов, каждый из которых будет обсуждаться здесь.

Что касается взаимодействия между студентами, учащиеся, зачисленные в OUGEO, были связаны со своими одноклассниками либо с помощью онлайн-форумов, либо с помощью других средств коммуникации, таких как LINE (бесплатное приложение для мгновенного обмена сообщениями, разработанное Line Corporation, Ltd.) для тематического проекта, предусматривающего постерные презентации. , Большая часть этого взаимодействия была связана с общением с членами команды, чтобы подготовиться к постерной презентации; однако студенты также иногда задавали вопросы друг другу, связанные с содержанием курса или техническими проблемами, и отвечали на них. Более подробную информацию об этом этапе исследования можно найти в Ализаде, Мехране, Когучи и Такемуре ( 2017 г.).Они также связывались с инструктором и ассистентами по электронной почте и на форумах. Была предпринята постоянная попытка ответить на вопросы студентов как можно скорее, большинство из которых были связаны с представлением речевых заданий. Как показали некоторые исследования (например, Rush, 2015 ), отсутствие связи, взаимодействия и отзывчивости на онлайн-курсах может заставить студентов чувствовать себя изолированными и оторванными.

Согласно исследованиям по смешанному обучению (например, Tuapawa, 2016 ), несоответствие в дизайне онлайн-курса может вызвать разочарование среди студентов. Дизайн курса в настоящем исследовании был последовательным в том, что все содержание классифицировалось на основе уровня владения неделями за неделей и сохранялось в отдельные папки для прослушивания, разговорной речи, чтения, письма, произношения и т. Д. Кроме того, были четкие инструкции по учебные материалы и задания на каждую неделю предоставляются на английском и японском языках. Кроме того, сеанс ориентации лицом к лицу внес большой вклад в последовательность курса.

Как отмечают Янг и Норгард ( 2006 ), техническая помощь жизненно важна для удовлетворения онлайн-курсов и исследований (например, Yang & Cornelius, 2004 ; Zeng & Perris, 2004).) сообщили, что ограниченная техническая поддержка может привести к недовольству студентов онлайн-курсами. В этом исследовании техническая поддержка была оказана путем создания общей папки на Google Диске (служба хранения и синхронизации файлов, разработанная компанией Google LLC), где студенты могли загружать свои выступающие видео в случае, если они не могут загрузить его в CLE. Если для студента было невозможно отправить свое видео онлайн, ни в CLE, ни на Google Диске, было назначено время, чтобы встретиться с ним лицом к лицу и получить видеофайл напрямую через AirDrop (специальная служба в Apple Inc. '). с операционными системами MacOS и iOS) или на USB-накопителе.

Наконец, что касается гибкости, студентам было предоставлено одну неделю для прохождения части онлайн-обучения и заданий на каждую неделю, и им приходилось посещать очные занятия только пять раз из пятнадцати недель. Учитывая все это, а также в отношении положительных ответов учащихся на пункт 44, очевидно, что курс был достаточно гибким по сравнению с традиционными языковыми уроками. Фактически гибкость является причиной большей удовлетворенности обучением в режиме онлайн, о чем сообщают Ромеро и Барбера ( 2011 ) и Пардо-Гонсалес ( 2013 ).

проблемы

Основной проблемой при внедрении этого курса было большое количество абитуриентов, что стало тяжелым бременем для учителя и ассистентов преподавателя ввиду решения технических проблем из-за нехватки рабочей силы. В исследовании, изучающем представления учащихся о полезности смешанной программы EFL, Kobayashi and Little ( 2011)) обнаружили, что интерфейс онлайн-компонента является определяющим фактором, связанным с удовлетворенностью учащихся такими программами. Было продемонстрировано, что удовлетворенность учащихся в Интернете тесно связана с работоспособностью развернутой технологии. В случае OUGEO предоставление заданий на выступление вызывало проблемы у некоторых студентов, которые были частично решены путем предоставления альтернативных способов подачи, как описано выше. Недовольство предоставлением видео также отразилось в ответах студентов на анкету, а также в их письменных комментариях. Эта техническая проблема должна быть решена до повторного запуска курса.

Извлеченные уроки и советы

Вот некоторые уроки, извлеченные во время проектирования, разработки и доставки текущего смешанного курса:

⎕ Будьте готовы к изменениям - разработка и разработка онлайн / смешанного курса - это непрерывный процесс. Это требует постоянной оценки и размышлений, чтобы улучшить будущие курсы. На самом деле, возможность вносить изменения является одним из достоинств онлайн-курсов.

⎕ Не забывайте об открытых образовательных ресурсах (OER) - вместо того, чтобы постоянно изобретать велосипед, ищите свободно доступные ресурсы. Это не только экономит вам огромное количество времени, но и добавляет больше разнообразия вашему курсу.

⎕ Учитывайте требования времени - Разработка эффективных онлайн-ресурсов зачастую занимает гораздо больше времени, чем создание учебных материалов в классе. Будьте готовы инвестировать время и энергию в этот длительный, но ценный процесс.

⎕ Всегда помните о целях курса - ваши цели являются основным компонентом, определяющим все ваши действия и решения. Убедитесь, что они хорошо согласуются с вашей учебной деятельностью и оценкой.

⎕ Проверьте организацию курса и навигацию - независимо от того, насколько профессионально вы разработали и скомпилировали свои онлайн-ресурсы, они не будут эффективными, если они не организованы должным образом. Убедитесь, что ваш курс четко организован и прост в навигации. Кроме того, примите меры, чтобы улучшить читаемость экрана и адаптивный дизайн.

⎕ Будьте чётки в отношении ваших требований. Будьте откровенны в сообщении ваших ожиданий вашим ученикам. Скажите им четко, каковы ваши требования в отношении взаимодействия с инструктором, сверстниками и содержанием курса.

⎕ Установить критерии оценки - предоставить четкие критерии того, как будет оцениваться работа студентов. Сообщите студентам о своей политике оценки и любых рубриках, которые вы используете для оценки их заданий.

⎕ Заботьтесь о доступности и удобстве использования курса - убедитесь, что курс доступен и доступен для всех студентов. Включите информацию о поддержке доступности, а также об услугах технической и академической поддержки, предоставляемых вашим учреждением.

Oster Стимулирование социального присутствия. Простой способ создать ощущение социального присутствия в вашем курсе - это позволить учащимся создать учебное сообщество со своими сверстниками с помощью простых действий, таких как знакомство с классом.

⎕ Будьте готовы справиться с техническими проблемами - независимо от того, как сильно вы пытались спроектировать и разработать свой курс, есть вещи, которые не будут работать время от времени или постоянно. Подумайте об альтернативных решениях для решения технических проблем и обратитесь за помощью к техническому персоналу.

Этот отчет об оценке основан на данных, собранных в ходе первого раунда внедрения смешанного курса. Проведение курса несколько раз с различными группами студентов может повысить достоверность результатов, а также помочь в дальнейшем исправлении недостатков существующего курса. В конце концов, обеспечение качества - это непрерывный процесс, а не разовая процедура (Adair, 2014 ). Другое ограничение связано с отсутствием устойчивости и прекращением практики. Поскольку курс был спроектирован и разработан для выполнения требований докторской программы, в которую были зачислены первые два автора, другие преподаватели могут не захотеть адаптировать его к своим условиям, так как это требует большого количества времени и усилий со стороны Инструктор.

Данное исследование имеет значение для онлайн-дизайнеров или разработчиков смешанных курсов, а также для преподавателей. В нем представлены методы и ресурсы для проектирования, разработки, предоставления и оценки таких курсов. Авторы также рекомендуют дизайнерам взглянуть на рубрику оценки, прежде чем приступить к задаче разработки курса, чтобы с самого начала обеспечить адекватность своего выбора и решений. Этот последний момент дополнительно подчеркивает важность развития факультета в использовании рубрик, таких как рубрика QM. Фактически, QM предлагает курсы повышения квалификации и семинары для преподавателей, которые хотят узнать об эффективном дизайне онлайн-курсов, а также для тех, кто стремится стать рецензентами QM. Рурс, Ван и Кендрик ( 2013) исследование по подготовке преподавателей к использованию модели QM является рекомендованным источником для университетов и высших учебных заведений, которые рассматривают возможность принятия этой модели.

Целью настоящего исследования было изучение качества смешанного курса английского языка для общих академических целей, ориентированного на японских студентов в университете Осаки. Чтобы оценить качество курса, были предприняты два курса действий: (1) прохождение курса рецензированным обученным специалистом по вопросам качества и (2) проведение исследования для оценки степени удовлетворенности учащихся, зачисленных в курс. Основные выводы исследования следующие:

1. 1)

   Первый раунд экспертной оценки, основанный на рубрике дизайна курса высшего образования QM (пятое издание), принес 70 баллов из 99. Процесс обзора строго продемонстрировал области, нуждающиеся в улучшении. Курс был дополнительно пересмотрен в соответствии с замечаниями и предложениями рецензента и был оценен как отвечающий всем стандартам после внесения поправок с новым баллом 99 из 99.

2. 2)

   Студенты в целом были удовлетворены курсом и считали, что он отвечает их языковым потребностям и помогает им улучшить свои практические навыки английского языка. Некоторые из них сообщили, что изо всех сил пытались передать свое задание на выступление, вызванное неисправной системой управления обучением и нестабильным подключением к Интернету.

Несмотря на технические проблемы, исследователи считают, что курс в значительной степени выполнил поставленные перед ним цели, то есть заставил студентов интегрировать все четыре языковых навыка и помог им улучшить свои практические навыки английского языка в рамках курса, который соответствовал их языковые потребности. Чтобы еще больше усовершенствовать дизайн, разработку и проведение курса, существует осознанная необходимость перезапустить курс с различными группами студентов, чтобы улучшить его в будущем.

В качестве последнего слова, как и во многих высших учебных заведениях по всему миру, Университет Осаки внедряет онлайн и смешанное обучение больше, чем когда-либо прежде. Как предложено Roehrs et al. ( 2013 ), с этого момента будет введено больше онлайн-курсов, и это подчеркивает растущую потребность в расширении возможностей преподавателей для обеспечения качества онлайн-образования и удовлетворенности студентов.

Авторы надеются, что это исследование может вдохновить преподавателей и исследователей из Университета Осаки и других университетов по всей Японии рассмотреть преимущества и возможности смешанного обучения и обогатить учебный опыт своих студентов, предлагая качественные смешанные курсы.

ADDIE:

Анализ, проектирование, разработка, внедрение и оценка

AR:

Дополненная реальность

НКА:

Среда сотрудничества и обучения

EGAP:

Английский для общеобразовательных целей

MOOCs:

Массивные открытые онлайн-курсы

ООР:

Открытые образовательные ресурсы

OUGEO:

Университет Осаки Глобальный английский онлайн

QA:

Гарантия качества

QM:

Вопросы качества

QMR:

Исследование качества имеет значение

СЭМ:

Модель последовательного приближения

Непригодный.

финансирование

Непригодный.

Доступность данных и материалов

Этот исследовательский проект был полностью задокументирован на следующем сайте Google: https://sites.google.com/view/ougeo/ . Подробная информация о дизайне курса, разработке, реализации и оценке может быть найдена в разделе «Журнал исследований». Дополнительные наборы данных доступны по запросу от соответствующего автора.

принадлежность

1. Высшая школа информационных наук и технологий, Центр кибермедии, Образовательный исследовательский центр Тоёнака, Университет Осаки, 1-32 Machikaneyama, Тоёнака, Осака, 560-0043, Япония

   • Мехраса Ализаде
   • Париса Мехран
   •  И Харуо Такемура

2. Кафедра языка и культуры, Высшая школа языка и культуры, Университет Осаки, 1-8 Machikaneyama-cho, Тоёнака, Осака, 560-0043, Япония

   • Ичиро Когучи