Russian Federation
the article analyzes the main provisions and ideas of the textbook "The experimental data on the computer" (authors O.S. Logunova, P.Yu. Romanov, E.A. Ilyina, Y.B. Kuchta, L.G. Egorova). The article shows the variety of developed by authors educational material in the field of data processing and their practical application: data model and classification processing tasks, ways of presentation and models the generation of experimental data, the basic methods and means of automation of computational processes used in data processing. The importance of complex individual tasks and features, consistent implementation of processing algorithms with a multi-purpose statistical package Statistica.
experiment, observation, experimental data, processing algorithms, software, statistical methods, Statistica package, errors, cluster analysis, correlation analysis, regression analysis, experiment planning.
Результаты исследования в любых областях науки и промышленности имеют ценность, если они базируются на выводах, вытекающих из конкретных фактов. Анализ различных процессов и явлений, как правило, связан с необходимостью сбора исходных данных и их обработки. Основы такой деятельности закладываются у бакалавров и магистров в ходе получения высшего образования. В области обработки экспериментальных данных предлагается множество учебников, учебных пособий и других изданий, излагающих материал с различных точек зрения. Проведя сравнительную характеристику классической теории, практики её применения, научных публикаций, публицистики и учитывая их достоинства и недостатки, авторы создали учебное пособие, в котором в той или иной мере представлены все существующие виды изданий.
Материал, изложенный в пособии «Обработка экспериментальных данных на ЭВМ» предполагает, что обучающиеся уже знакомы с математическими основами теории вероятности и статистики и, кроме того, владеют навыками работы с вычислительной техникой и прикладным программным обеспечением. Каждая глава имеет однотипную структуру – сначала представлена теория, затем практика её применения, задания для индивидуальной работы и контрольные вопросы к главе. Для индивидуальной работы, которую студенты выполняют в виде лабораторных или практических заданий, авторы предлагают экспериментальные данные, характеризующие функционирование предприятия металлургической промышленности ОАО «Магнитогорский металлургический комбинат». Комплексное индивидуальное задание является отличительной особенностью учебного пособия. Экспериментальные данные определяются единственный раз на весь период изучения курса, затем для них выполняется последовательная реализация алгоритмов обработки при помощи универсального статистического пакета Statistica. Применяя данное пособие в процессе обучения, можно использовать и другие экспериментальные данные, и другие средства реализации этапов обработки, в частности электронные таблицы или математические пакеты.
В первой главе учебного пособия «Обработка экспериментальных данных на ЭВМ» дается определение понятиям «эксперимент» и «наблюдение», приводится классификация видов наблюдения [20, с. 14]. Авторы делают вывод, что полное и точное описание какого-либо процесса возможно лишь в том случае, если известны все факторы, влияющие на этот процесс, т.е. такое описание вообще невозможно. Рассмотрев несколько примеров, авторы характеризуют основные виды ошибок в экспериментальных исследованиях: по происхождению (личные, инструментальные, внешние, методические, ошибки модели, ошибки классификации) и по своему характеру (систематические или случайные). Приводится схема образования суммарной ошибки эксперимента [20,с. 17]. Здесь же определяются цели и основные задачи обработки экспериментальных данных (предварительная обработка, кластерный анализ, корреляционный анализ, регрессионный анализ данных). Большое внимание уделено практике постановки задачи экспериментальных данных для исследования металлургического производства, приводятся конкретные примеры (исследование процесса выплавки стали) и результаты выполнения задания. Материал изложен наглядно, в формате электронной презентации. Именно в первой главе определяются исходные данные, которые используются в дальнейшем при реализации всех этапов обработки.
Вторая глава пособия посвящена программному обеспечению для обработки экспериментальных данных. Дается характеристика модулей приложений: многомерная статистическая группировка объектов, расчет статистических характеристик групп, анализ эффективности структурных изменений, программа прогнозирования структуры, программа гармонического анализа временного ряда, индексный анализ по мультипликативной схеме и др. Для каждого модуля описаны исходные данные и основные результаты, которые он позволяет рассчитать. Наглядно представлена схема классификации программных модулей для обработки экспериментальных данных [20, с. 30] и инструментальные средства реализации этих основных модулей в пакете Statistica [20, с. 31]. Целый параграф посвящен современному средству добычи и обработки данных –технологии Data Mining (интеллектуального анализа данных). Авторы считают, что «…применяемые для него методы многочисленны, а преимущества, открываемые в результате выявления новых знаний, огромны» [20, с. 37]. Современные программные средства, например, универсальный пакет Statistica также реализует большинство методов Data Mining. Также во второй главе делается обзор рынка программных средств для обработки результатов наблюдения, приводятся примеры программных статистических комплексов отечественного и зарубежного производства. Большое внимание уделено средствам графической визуализации экспериментальных данных. В частности, характеризуются разнообразные виды графиков: секторные диаграммы, полосовые диаграммы, диаграммы фигур-знаков, картограммы, картодиаграммы. Для облегчения задач исследователя в практическом применении графиков разработаны специальные пакеты прикладных программ, наиболее распространенными являются Harvard graphics, Statgraf, Supercalc, Excel. Технология построения диаграмм в каждой программе имеет свои особенности. Так, визуализации результатов в пакете Statistica представлена группой инструментов, которые позволяют построить одномерные, двумерные, трехмерные и многомерные диаграммы, а в электронных таблицах построенные диаграммы размещаются в рабочей книге и группируются по виду[20, с. 44]. Практика в данной главе представлена графическим анализом данных процесса выплавки стали (конкретный пример, его реализация, результаты в виде диаграмм).
В третьей главе учебного пособия раскрываются основы автоматизации обработки данных средствами Visual Basic for Statistica (SVB), которые позволяют решать проблемы различных областей с различными видами исходных данных, что значительно раздвигает возможности пакета Statistica. Характеризуются основные способы построения процедур в SVB: запись макросов– макросанализа, мастер-макрос (Журнал), клавиатурный макрос; разработка процедур в среде SVB; использование программ, созданных на Visual Basic из других приложений. В отдельном параграфе авторы раскрывают понятия объект, свойства объекта, методы, приводят описание основных программных объектов SVB и часто используемых свойств для объектов Statistica 6.1 [20, с. 57]. Представлены также организация ввода-вывода информации средствами Visual Basic for Statistica и логические структуры SVB. Практика в этой главе подразумевает построение средствами SVB следующих процедур: создание новой таблицы заданной размерности, изменение размеров таблицы, построение простых статистик, организация доступа к данным в таблице результатов, вставка массива в электронную таблицу.
Четвертая глава пособия посвящена статистическим основам обработки экспериментальных данных. Здесь дается понятие случайной величины и ее распределения, абсолютных и относительных величин, характеризуются обобщающие статистические показатели и вариации экспериментальных данных. В отдельном параграфе приводится теория гипотез и критериев. Здесь речь идет о различных видах гипотез (статистической, конкурирующей, простой, сложной), их проверке, возникающих ошибках, даются понятия статистического критерия, области принятия гипотезы, критической области, критических точек и мощности критерия. Статистические критерии наглядно представлены в табл. 4.3.[20, с. 91]. Характеризуя законы распределения случайной величины, авторы подробно останавливаются на их различных видах: нормальном распределении, экспоненциальном, биномиальном, распределении Пуассона, гипергеометрическом, полиномиальном. Представлены графические окна пакета Statistica 6.0 с функциями плотности и распределения величин. Набольшее внимание уделяется закону нормального распределения, поскольку именно для него разрабатывались почти все известные методы обработки экспериментальных данных. Завершает главу практика оценки вида распределения для данных, полученных при исследовании процесса выплавки стали.
Дальнейший материал учебного пособия раскрывает и позволяет реализовать основные задачи обработки экспериментальных данных (предварительная обработка, кластерный анализ, корреляционный анализ, регрессионный анализ данных). В пятой главе излагаются цели и задачи предварительной обработки данных; характеризуются алгоритмы отсева грубых погрешностей экспериментальных данных: отсев по максимальному относительному отклонению и отсев по критерию Стьюдента; с помощью критериев согласия проверяется гипотеза о виде распределения экспериментальных данных. Среди множества методик, позволяющих определить вид закона распределения случайной величины, выделяются те, которые опираются на среднее абсолютное отклонение, критерий Пирсона и критерий Колмогорова-Смирнова. Наличие критериев согласия и указаний по отсеву грубых погрешностей позволило авторам сформулировать ряд алгоритмов для предварительной обработки данных, которые могут детализироваться в зависимости от поставленной задачи. Все алгоритмы представлены в виде блок-схем [20, с.113–114]. Практика применения изложенной теории для предварительной обработки данных при исследовании процесса выплавки стали осуществляется средствами пакета Statistica 6.1. Решение поставленной задачи рассматривается на примере работы конкретных студентов.
В шестой главе пособия представлен один из важных этапов обработки экспериментальных данных – кластерный анализ, его цели, задачи, виды процедур, результаты реализации процедур кластеризации. Процедуры распределяются по двум направлениям: иерархические классификации и неиерархические (структурные). Характеризуются наиболее популярные методы кластерного анализа, среди которых агломеративная процедура кластеризации по расстояниям, метод дендритов (метод вроцлавской таксономии), метод корреляционных плеяд, рассматриваются достоинства и недостатки представленных методов. Для оценки сходства элементов при кластерном анализе используют три типа мер: коэффициенты подобия, коэффициенты связи и коэффициенты расстояния. Авторы подробно описывают меры сходства признаков в общем наборе данных, приводят фрагменты вычислений коэффициентов, полученные результаты. Отдельный параграф посвящен реализации кластерного анализа в пакете Statistica, где процедуры кластеризации осуществляются в диалоговом режиме. Наглядно приводится пример диалога для выполнения кластеризации при иерархической кластеризации и кластеризации методом k-средних. Практика кластеризации экспериментальных данных рассматривается при исследовании процесса выплавки стали: рассчитываются меры сходства исходных данных, определяются коэффициенты подобия, для расчетов используются стандартные встроенные средства. Демонстрируется пошаговое выполнение кластеризации с указанием методов, промежуточных и итоговых результатов.
Седьмая глава учебного пособия посвящена множественному анализу экспериментальных данных. Представив этапы обработки данных в множественном анализе и сформулировав его требования, авторы останавливаются на множественном корреляционном анализе, определяют параметры эмпирических уравнений, характеризуют статистические показатели для оценки применимости построенной эмпирической модели. Приводятся алгоритмы для проверки критерия по каждому виду показателя: статистика Фишера, статистика Стьюдента, средняя относительная ошибка аппроксимации. Методы построения множественных нелинейных регрессий представлены тремя разновидностями – метод всех регрессий, метод исключения переменных, метод включения переменных [20, с. 193]. Описывая модели со структурными изменениями, авторы рассматривают положительные и отрицательные стороны как кусочно-линейных, так и кусочно-нелинейных моделей регрессии, отмечают особенности применения статистического теста Чоу. Раскрывается значение остатков при изучении результатов множественного регрессионного анализа. В завершение главы представлена практика проведения множественного анализа экспериментальных данных средствами Statistica 6.1, приводится технология построения множественной линейной и мультипликативной моделей для всех признаков, определенных в исходной задаче.
Понятие о планировании эксперимента и критериях оптимальности дается в восьмой главе пособия. Здесь представлена логика понимания того, что есть «хороший» эксперимент, приводятся примеры. Критерии оптимальности в планировании эксперимента разбиваются на статические и динамические. Характеризуются статистические критерии оптимальности планов, которые связаны либо с точностью оценок параметров, либо с ошибкой в оценке модели, раскрывается связь между критериями, представлены общие методы построения оптимальных планов. На практике показывается, какие эффективные средства планирования эксперимента включает в себя пакет Statistica.
Отмечая важность организации метрологического обеспечения современного производства, авторы акцентируют внимание на том, что применение конкретных методов контроля требует необходимых знаний в соответствующих областях техники, умения пользоваться статистическими методами и вычислительными средствами. В девятой главе учебного пособия представлена модель качества, раскрыт ее смысл. Характеризуется эффективная система методов контроля и анализа качества продукции: расслоение (стратификация), средства для сбора данных, средства для представления данных, диаграммы рассеивания, контрольные карты, анализ Парето, причинно-следственная диаграмма (рыбья кость Исикавы) [20, с. 245]. Все виды диаграмм, карт и таблиц могут быть выполнены с помощью статистических программных комплексов. Наглядно показано построение контрольных карт средствами пакета Statistica.
В завершение авторы излагают методические рекомендации по изучению модуля «Обработка экспериментальных данных на ЭВМ» для направления подготовки 09.00.00 Информатика и вычислительная техника. В частности, приводится почасовое распределение тем для аудиторных занятий, варианты заданий к практическим занятиям, рекомендации по организации текущего контроля знаний студентов. Также в конце пособия представлены приложения с разнообразным материалом – результаты наблюдений, полученных при изучении выплавки стали в условиях электросталеплавильного цеха, задания для проверки теоретических знаний у обучающихся, темы реферативных работ по курсу «Обработка экспериментальных данных на ЭВМ» и др. [20, с. 259].
Изложенный в учебном пособии материал позволяет студентам получить знания о моделях данных и классификации задач обработки, об основных методах и средствах автоматизации вычислительных процессов, используемых при обработке данных, о способах представления и модели порождения экспериментальных данных. Обучающиеся приобретают практические навыки использования моделей, методов и инструментальных программных средств анализа и обработки экспериментальных данных на ЭВМ, распространенных приложений, реализующих элементы обработки экспериментальных данных.
1. Abdurazakov M.M., Aziev R.A., Romanov P.Yu., Sadykova A.R. Struktura i soderzhanie IT-kompetentnosti uchitelya v sfere oblachnyh tehnologiy: sb. nauch. tr. mezhdunar. nauch-no-prakt. konf-cii (EEIA-2017). – M., 2017. – S. 417–425.
2. Vaseva O.H., Mel'nik M.A. Osobennosti sozdaniya modeli upravlencheskogo sodeystviya pedagogu v realizacii innovacionnoy deyatel'nosti obrazovatel'nogo uchrezhdeniya // Tradicionnye nacional'no-kul'turnye i duhovnye cennosti kak fundament innovaci-onnogo razvitiya Rossii. – Magnitogorsk, 2017. – T. 1. – № 11. – S. 35–39.
3. Vaseva O.H. Sozdanie sovremennoy obrazovatel'noy sredy v processe obucheniya Web-tehnologiyam // Zhurnal issledovaniy po upravleniyu. – M., 2018. – T. 4. – № 3. – S. 31–37.
4. Gladysheva M.M., Romanov P.Yu. Modelirovanie sistemy formirovaniya issledovatel'-skih umeniy buduschih inzhenerov-programmistov // Vestnik Chelyabinskogo gosudarstven-nogo pedagogicheskogo universiteta. – Chelyabinsk, 2007. – № 6. – S. 150–161.
5. Zlydneva T.P. Organizaciya issledovatel'skoy deyatel'nosti studentov universiteta v processe professional'noy podgotovki: avtoref. dis… kand. ped. nauk – Magnito-gorsk:MaGU, 2006. – 24 s.
6. Zlydneva T.P. Metodika formirovaniya kompetenciy pri realizacii FGOS VPO tret'ego pokoleniya // Nauka i obrazovanie v sovremennom obschestve: vektor razvitiya: sb. nauch. trudov Mezhdunarodnoy nauchno-prakticheskoy konferencii, chast' 5. – M.: «AR-Konsalt», 2014. – S. 91–94.
7. Zlydneva T.P. Operacionnye sistemy. Problemno-informacionnyy kurs: metodicheskie rekomendacii po izucheniyu kursa «Sistemnoe i prikladnoe programmnoe obespechenie» – Magnitogorsk: MaGU, 2007. – 48 s.
8. Zlydneva T.P. Opytno-eksperimental'naya rabota po organizacii issledovatel'skoy deyatel'nosti studentov v processe izucheniya disciplin informatiki // Psihologiya i pedagogika: puti i metody razvitiya: sb. statey III Mezhdunar. nauch.-prakt.konf-ii – Penza, 2011. – S. 53–57.
9. Zlydneva T.P. Rol' uchebno-issledovatel'skoy deyatel'nosti studentov v realizacii FGOS novogo pokoleniya // Fiziko-matematicheskie nauki i obrazovanie: sb. tr.Vseros. nauch.-prakt.konf-ii. – Magnitogorsk, 2012. – S. 22–24.
10. Issledovatel'skiy podhod v teorii i praktike pedagogicheskogo obrazovaniya: monografiya / T.E. Klimova, V.A. Belikov, P.Yu. Romanov [i dr.]. – Magnitogorsk: MaGU, 2004. – 360 s.
11. Kuhta Yu.B., Il'ina E.A. Ispol'zovanie programmnogo modulya dlya ocenki znaniy studentov v processe obucheniya. //Talimtexnologiyalari. – Tashkent – 2014. – №1. – S.72–75.
12. Logunova O.S., Egorova L.G., Il'ina E.A., Gladysheva M.M., Arkulis M.B., Posohov I.A., Macko I.I. Vizualizaciya rezul'tatov nauchnoy deyatel'nosti. – Magnitogorsk, 2015. – 85 s.
13. Logunova O.S., Il'ina E.A. Testovye zadaniya po discipline «Obrabotka eksperimental'nyh dannyh na EVM. – Magnitogorsk: MGTU im. G.I. Nosova, 2007. – 12 s.
14. Logunova O.S., Il'ina E.A., Kirpicheva N.T. Programmirovanie na yazyke VisualBasicforApplication: ucheb.posobie – Magnitogorsk, MGTU im. G.I. Nosova,, 2000. – 75 s.
15. Logunova O.S., Il'ina E.A., Kuhta Yu.B., Egorova L.G., Chistyakov D.V. Teoriya i praktika obrabotki eksperimental'nyh dannyh na EVM. – Magnitogorsk, 2015. – 2-e izd-e. – 276 s.
16. Logunova O.S., Il'ina E.A., Pavlov V.V. Teoriya i praktiki obrabotki eksperimental'nyh dannyh na EVM: ucheb.posobie.– Magnitogorsk: MGTU im. G.I. Nosova,, 2011. – 300 s.
17. Logunova O.S., Lednov A.V., Koroleva V.V. Rezul'taty analiza publikacionnoy aktivno-sti professorsko-prepodavatel'skogo sostava FGBOU VPO «Magnitogorskiy gosudarstvennyy tehnicheskiy universitet im. G.I. Nosova». // Vestnik Magnitogorskogo gosudarstvennogo tehnicheskogo universiteta im. G.I. Nosova. – 2014. – № 3. – S. 78–87.
18. Logunova O.S., Macko I.I., Posohov I.A. Sistema intellektual'noy podderzhki processov upravleniya proizvodstvom nepreryvnolitoy zagotovki. – Magnitogorsk, 2013. – 175 s.
19. Logunova O.S., Filippov E.G., Pavlov I.V., Pavlov V.V. Strategiya postanovki zadachi mnogokriterial'noy optimizacii sostava shihtovyh materialov dlya elektrodugovoy staleplavil'noy pechi. // Izvestiya vuzov. Chernaya metallurgiya, 2013. – № 1. – S. 66–70.
20. Obrabotka eksperimental'nyh dannyh na EVM: uchebnik/ O.S.Logunova, P.Yu. Romanov, E.A.Il'ina, Yu.B.Kuhta, L.G. Egorova – M.: INFRA-M, 2018. – 326 s.
21. Organizaciya issledovatel'skoy deyatel'nosti v processe obucheniya estestvennonauchnym disciplinam v shkole i vuze: monografiya / P.Yu. Romanov, T.P. Zlydneva, T.E. Romanova [i dr.]. – M.: INFRA-M, 2017. – 260 s.
22. Pavlov V.V., Logunova O.S. Opyt stabilizacii ostatochnogo soderzhaniya elementov v stali pri ispol'zovanii al'ternativnyh materialov v metalloshihte dugovoy staleplavil'noy pechi. // Metallurg, 2014. – № 4. – S. 75–79.
23. Posohov I.A., Logunova O.S., Arkulis M.B., Belyavskiy A.B., Torchinskiy V.E. Algoritmy obrabotki izobrazheniy sernyh otpechatkov v sisteme ocenki kachestva nepreryvnolitoy zagotovki.– Magnitogorsk, 2017.– 131 s.
24. Programmnye statisticheskie kompleksy: ucheb.posobie. / O.S.Logunova, E.G.Filippov, V.V.Pavlov i dr. – M.: Akademiya, 2011. – 240 s.
25. Romanov E.P. Portal kak sredstvo realizacii obrazovatel'nyh uslug v sisteme otkrytogo obrazovaniya // Metodologiya i metodika formirovaniya nauchnyh ponyatiy u uchaschihsya shkol i studentov vuzov: tezisy dokl. H vserossiyskoy nauch.-prakt. konf-cii. – Chelyabinsk: ChGPU, 2003. – S. 64–65.
26. Romanov E.P., Romanova M.B. Tehnologiya proektnogo obucheniya v obrazovatel'nom uchrezhdenii// /Yuzhno-Ural'skiy pedagogicheskiy zhurnal. – Magnitogorsk, 2010. – № 1. – S. 172–180.
27. Romanov P.Yu. Principy organizacii issledovatel'skoy deyatel'nosti uchaschihsya v sisteme nepreryvnogo obrazovaniya // Ob'edinennyy nauchnyy zhurnal. – M., 2001. – № 7 (7). – S. 39–43.
28. Romanov P.Yu. Teoriya i praktika formirovaniya issledovatel'skih umeniy v processe matematicheskoy podgotovki studentov: ucheb.posobie. – Magnitogorsk: MaGU, 2003. – 86 s.
29. Romanov P.Yu. Tehnologiya vospitaniya pedagoga-issledovatelya v sisteme nepreryvnogo obrazovaniya // Nauchnye trudy MPGU. Seriya: Estestvennye nauki. – M., 2001. – S. 290–294.
30. Romanov P.Yu. Upravlenie formirovaniem issledovatel'skih umeniy obuchayuschihsya v sisteme nepreryvnogo pedagogicheskogo obrazovaniya // Gosudarstvennaya sluzhba. Nauchno-politicheskiy zhurnal. – M.:, 2002. – № 6 (20). – S. 99–105.
31. Romanov P.Yu. Formirovanie issledovatel'skih umeniy obuchayuschihsya v sisteme nepreryvnogo pedagogicheskogo obrazovaniya: avtoref. diss…. d-ra ped. nauk. – Magnitogorsk, 2003. – 47 s.
32. Romanov P.Yu., Bannikova D.D. Osobennosti formirovaniya issledovatel'skih kompetenciy shkol'nikov na urokah matematiki // Yuzhno-Ural'skiy pedagogicheskiy zhurnal. – Magnitogorsk, 2015. – № 2. – S. 63–67.
33. Romanov P.Yu., Romanova M.V., Romanov E.P. Model' processa razvitiya informacionnoy kompetentnosti studentov s ispol'zovaniem ARIZ-metoda // 3i: intellect, idea, innovation - intellekt, ideya, innovaciya. – Kostanay, 2016. – № 1. – S. 154–164.
34. Romanov P.Yu., Romanova T.E. Uravnenie kasatel'noy k grafiku funkcii// Matematika. Pervoe sentyabrya. – 2001. – №16. – S.17–20.
35. Romanov P.Yu., Romanova T.E. Rol' graficheskoy interpretacii rezul'tatov resheniya zadach s parametrami v organizacii issledovatel'skoy deyatel'nosti uchaschihsya // Sovremennye problemy obucheniya matematike v shkole / pod red. E.I. Zhilina. – Magnitogorsk, 2000. – S. 84–90.
36. Romanov P.Yu., Saygushev N.Ya., Romanova T.E., Milov Yu.E. Formirovanie issledovatel'skih umeniy obuchayuschihsya v usloviyah perehoda na Gosstandart novogo pokoleniya // Mir nauki, kul'tury, obrazovaniya. – Gorno-Altaysk, 2015. – №6(55) – S. 65–68.
37. Romanov P.Yu., Tokmazov G.V. Formirovanie issledovatel'skih umeniy v processe resheniya differencial'nyh uravneniy // Vestnik Magnitogorskogo gosudarstvennogo universiteta. – Magnitogorsk, 2000.– № 1.– S. 156–159.
38. Romanov P.Yu., Usanova O.A. Teoreticheskie aspekty razvitiya tvorcheskih sposobnostey studentov vysshih uchebnyh zavedeniy // Yuzhno-Ural'skiy pedagogicheskiy zhurnal. – Magnitogorsk, 2015.– № 1(2). – S. 77–82.
39. Safonov D.S., Logunova O.S. Sistema sinteza i analiza proektnyh resheniy konstrukcii sekciy vtorichnogo ohlazhdeniya mashiny nepreryvnogo lit'ya zagotovok. – Magnitogorsk, 2015. – 109 s.
40. Habibullin D.A., Romanov P.Yu. Cennostnoe otnoshenie: podhody k issledovaniyu // Vestnik Chelyabinskogo gosudarstvennogo pedagogicheskogo universiteta. – Chelyabinsk, 2011. – № 12-2. – S. 173–183.
41. Abdurazakov M.M., Aziyeva J.H., Romanov P.Yu., SadykovaA.R..Teachers IT competence structure and content in the field of cloud computing // The European Proceedings of Social &Behavioural Sciences EpSBS. – FutureAcademy, 2017. – Volume XXVIII. – Pp. 1-8.
42. Egorova L.G., KukhtaYu.B. Technology of roll production for cold rolling of strip using elec-troslagremelting method. //The International Journal of Advanced Manufacturing Technology. – 2016. – T. 86. – № 1-4. – S. 547-556.
