О ключевых показателях эффективности научной деятельности. Эффективность научных исследований Методы оценки эффективности научных исследований

Управление общественными системами, в том числе и наукой, осуществляется с помощью механизма принятия решений. Решения принимаются на основе оценки (измерения) различных параметров системы и, прежде всего, эффективности ее функционирования. Эффективность – обобщенная мера качества систем и процессов. В зависимости от частных целей оценивания используются различные алгоритмы вычисления эффективности: результатно-целевой (сравнение результата с целью, планом, нормативом), результатно-затратный (соизмерение результата с затратами на его получение), результатно-результатный (соизмерение результатов между собой при условии тождества или сходства затрат) и другие.

Обоснованный выбор критериев эффективности научно-исследовательской деятельности возможен лишь на основе представления о науке как о целеустремленной системе, находящейся в тесной связи с другими подсистемами реального мира и обладающей собственной иерархией целей, входом, выходом и процессом. Главная цель науки – производство нового научного знания и внедрение его в науку и в практику. Индикаторами достижения главной цели выступают результаты труда ученых. Непосредственный продукт научной деятельности имеет информационную сущность.

Многие философы рассматривают познание как отражение человеком материального мира. Отражение – всеобщее свойство материи, а информация – аспект отражения, отраженное разнообразие объектов материального мира, их связей и отношений.

Прогресс в природе идет путем накопления (генерирования) информации развивающимися системами и наоборот – регрессивные, энтропийные процессы характеризуются потерей информации. В масштабах Вселенной эти тенденции в движении материи носят автоколебательный характер.

В процессе развития в самоуправляемых системах образуются подсистемы, специализирующиеся на накоплении, хранении и использовании информации. Например, необходимая для самовоспроизведения живых организмов информация кодируется в молекулах ДНК. Самое совершенное информационное устройство естественного происхождения – мозг, а высшая форма отражения – сознание. На уровне сознания материя приобрела способность к двойному отражению, отражению самого процесса отражения. Этот качественный скачок в развитии обусловил возможность активного управления процессом познания, возможность осуществления целенаправленного познания и эффективного использования в исторической практике объективных законов материального мира.

Познавательная деятельность человеческого социума направлена на извлечение связанной информации из объектов материального мира и перевод (перекодирование) ее в свободную, идеальную. В идеальной форме информация, добытая одним индивидом, становится общедоступной, пригодной для распространения во времени и в пространстве, для всеобщего использования.

Для самоуправляемых систем важно накапливать не любую информацию, а лишь полезную, т.е. способствующую их более эффективному функционированию и развитию. Наибольшую ценность представляет та информация, которая способствует генерированию новой. С этих позиций науку можно рассматривать как специализированную подсистему в составе самой высокоразвитой системы на Земле – человеческого общества, генерирующую самую высокоценную информацию – научное знание.

Процесс производства научного знания состоит из двух основных операций: извлечения новой, дотоле неизвестной информации из объекта исследования и теоретической (логической) ее переработки. От результатов этих операций зависит ценность получаемого знания. Вклад добытого знания в общечеловеческий фонд науки тем значительнее, чем больше оно отличается от уже известного (новизна) и чем выше его теоретический уровень (информационная емкость).

Нами построена порядковая шкала из пяти классов научной информации, превосходящих друг друга по теоретическому уровню – от описания отдельных фактов (вещей, свойств и отношений) до разработки теории. Вторая шкала охватывает пять степеней новизны научных результатов – от необходимого подтверждения известных фактов и представлений до получения принципиально нового знания. С помощью этих двух шкал авторы и эксперты могут оперативно оценивать научно-информационную ценность научного продукта. Научно-информационный критерий – единственный универсальный критерий эффективности науки, ибо он отражает то существенное, что присуще каждому действительно научному результату, независимо от того, получен ли он в сфере фундаментальных или прикладных исследований, найдет ли он практическое применение или только пополнит сокровищницу человеческих знаний.

Каждый первичный результат научного исследования – научное знание- будучи освоенным другими подсистемами человеческого общества, как правило, вызывает цепную реакцию вторичных эффектов, описываемых на специфических языках этих подсистем. Посистемное распределение эффектов служит естественным основанием для построения классификации критериев эффективности науки. К примеру, в реестр критериев вторичной эффективности (критериев полезности) научно-медицинских достижений должны быть включены следующие:

• инженерно-технический (показатели существенных отличий способа, устройства, вещества, показатели достигнутого технического или технологического эффекта, сложности решенной задачи и другие);
• медико-биологический (характеристики воздействия новшества на организм человека, на экспериментальных животных, на возбудителей заболеваний);
• социально-медицинский (показатели заболеваемости, смертности, нетрудоспособности и другие);
• оборонный (например, показатель возвращения в строй раненых);
• социально-экономический (показатели экономии ресурсов, предотвращения ущерба производству за счет, по выражению К. Маркса, «ремонта рабочей силы»);
• экологический и другие критерии.

Если результаты научных исследований оказывают воздействие на материальное производство через средства и предметы труда, то образующийся экономический эффект исчисляют в стоимостных категориях как прибыль отдельного предприятия, прирост чистой продукции в отрасли или национального дохода – в масштабах страны. В зависимости от вида социальных последствий применения научных достижений возможны различные подходы к их оценке. В одних случаях они поддаются прямому измерению (в натуральных или статистических единицах), в других – косвенному (например, по величине получаемого экономического эффекта). Чем значительнее социальное достижение и чем больший спектр явлений общественной жизни оно захватывает, тем сложнее дать ему интегральную оценку в количественной форме. Ведь для этого пришлось бы суммировать множество эффектов, одни из которых имеют лишь качественные характеристики, другие измеряются в несопоставимых системах единиц. Реальный путь преодоления указанных трудностей – разработка шкал предпочтений, охватывающих всю совокупность важнейших индикаторов общественного благосостояния.

В ценностной иерархии критериев вторичной эффективности науки высшую ступень должна занимать социальная эффективность, поскольку главная цель общественного производства – удовлетворение материальных и духовных потребностей людей.

История науки свидетельствует, что прикладная полезность научного продукта тесно сопряжена с его научно-информационной ценностью: принципиально новые изобретения и теоретические достижения ведут к революционным преобразованиям в общественно-исторической практике, а инновации частного характера – лишь к реформам. Искажение шкалы предпочтений в практике управления наукой может приводить к нежелательным диспропорциям и перекосам в распределении ресурсов на научные исследования, к замедлению темпов научно-технического прогресса и роста благосостояния народа.

V.S.LIBENSON. THE CRITERIA OF EFFECIENCY IN SCIENCE.

8 INTERNATIONAL CONGRESS OF LOGIC, METHODOLOGY AND PHILOSOPHY OF SCIENCE.

MOSCOW,1987, ABSTRACTS, VOL.4, PART 1, SECTION 6, P.360-363.

Тема 16. Научная и практическая эффективность исследования

16.1. Понятие эффективности исследования. Исследовательский потенциал управления.

16.2. Научная и практическая эффективность исследования.

16.3. Параметры эффективности исследования.

16.4. Роль оценивания в исследовании систем управления.

16.5. Принципы оценивания исследования систем управления.

16.6. Виды оценки параметров управления.

16.1. Понятие эффективности исследования. Исследовательский потенциал управления.

Эффективность исследования - это определение или нахождение такого варианта проведения исследования, который кратчайшим путем ведет к успеху. Но это определение можно дополнить более точным.

Эффективность исследования - это одна из его характеристик, которая показывает как соотносятся затраты усилий (или ресурсов) на его проведение и результат (или степень достижения цели).

Все факторы, определяющие эффективность исследования, можно рассмотреть в двух группах: факторы исследовательского потенциала управления и принципы его использования.

Исследовательский потенциал управления.

Понятие исследовательского потенциала управления отражает возможности использования ресурсов и достижения поставленных целей. Ведь наличие необходимых ресурсов еще не ведет автоматически к эффективности. Использование ресурсов зависит и от их структуры, доступности, цели, по которой используются ресурсы, мотивации их рационального использования и пр. Все это в совокупности характеризует понятие исследовательского потенциала. Его величина и качество, его реализация также определяют достижение эффективности.
Все факторы, характеризующие исследовательский потенциал управления, можно представить по трем группам: факторы методологической готовности, факторы наличия и структуры ресурсов и факторы организационных возможностей.

Методологическая готовность проявляется в наличии цели и миссии исследования. Здесь большое значение имеют обоснованность цели, научный подход к ее формулированию и постановке, понимание и приятие цели исследовательской группой или вообще всем коллективом фирмы, интеграционными свойствами цели.

Миссия исследования рассматривается как доминанта его проведения, обеспечивающая последовательное движение к цели. Она помогает выбрать ограничения в движении к цели и приоритеты на каждом из этапов этого движения. Миссия должна отвечать на вопрос: зачем проводиться исследования, позволяет ли реальность достичь цель?

Методологическая готовность определяется также концепцией развития фирмы, разработанной по цели и миссии. Это комплекс положений, отражающих тенденции развития. Концепция теснейшим образом связана с целью и миссией, ибо включает в себя и то и другое, кроме того характеризует их конкретизацию, определяет ключевые положения программы исследования .

Большое значение имеет также опыт исследования. Систематическое проведение исследовательской работы способствует накоплению такого опыта и повышает потенциал эффективности исследовательской деятельности . Опыт экономит время, оберегает от ошибок и облегчает многие операции.

Многие виды исследования зависят от информационной базы его проведения. Чтобы увидеть динамику процессов развития, проводить сравнительный анализ, определять тенденции, выбирать наиболее удачные решения, надо иметь необходимое количество накопленной информации. Эта потребность стимулирует систематическое проведение исследования.
Невозможно провести исследование, не пользуясь той или иной методикой моделирования и оценок процессов или явлений. Но методики бывают различными. Какими из них обладают и пользуются исследователи или менеджер, как разрабатываются собственные методики это тоже характеризует методологический потенциал исследования.

Наконец, следует указать и на возможности использования необходимых методов исследования. Эти возможности определяются их доступностью, наличием соответствующих технических средств, квалификацией исследователей.

Факторы методологической готовности действуют не только в определенном наборе и совокупности, но и в их соотношении и системности.
Следующая группа факторов исследовательского потенциала - наличие и использование ресурсов.

Любое исследование нуждается в ресурсах. Необходимы ресурсы персонала, экономические, материально-технические, информационные, ресурсы времени. Можно также говорить и о ресурсах фактологических. Они отражают наличие необходимых фактов, возможностей их систематизации.
Далее более подробно будет рассмотрено фактологическое обеспечение исследования и его отличие от информационного. Здесь лишь достаточно сказать, что информационные и фактологические ресурсы являются взаимодополняющими.

В исследовании необходимы различные ресурсы и в определенном их соотношении. Ресурсы могут и должны быть взаимозаменяемыми, но до определенных пределов.

Исследовательский потенциал управления включает в себя и организационные возможности его проведения. Они проявляются в наличии необходимой организационной культуры и типа организации. Важную роль также играет позитивный и негативный организационный опыт, позволяющий успешно выбрать тип организации и организовать исследование.

Всякая организация имеет определенную инфраструктуру, которая также влияет на проведение исследования.

Следует здесь назвать и такой фактор, как интеллектуальный потенциал менеджера или исследователя. Его можно отнести и к ресурсам и к методологической готовности, но он также играет важную роль в реализации организационных возможностей. Организация исследования - это организация интеллектуальной деятельности, и она определяется в значительной мере интеллектуальным потенциалом исследователя.
В дальнейшем более подробно будут рассмотрены факторы оценивания, фактологического обеспечения исследования, мышления менеджера-исследователя, креативного образования менеджера, которое и определяет его интеллектуальный потенциал.

16.2. Научная и практическая эффективность исследования.

Научная эффективность ис­следования определяется приростом знаний в определенной облас­ти, имевшем место в результате исследования. Она может находить выражение в числе полученных в результате исследования патентов, авторских свидетельств , публикаций, рейтингах цитирования и др.

Для характеристики прикладных исследований чаще применимо понятие практической эффективности исследования .

Научная эффек­тивность исследования превращается в практическую в процессе вне­дрения научных знаний, полученных при исследованиях. Внедрение результатов исследования - важный элемент развития общества, орга­низационно-производственной системы.

В рыночной экономике основным двигателем прикладных иссле­дований (а именно к таким относится большинство проблем исследо­вания систем управления) является практическая проблема и необхо­димость ее решения на уровне, обеспечивающем конкурентоспособ­ность.

Эффективное исследование - это исследование, достигаю­щее поставленные цели за определенное время при том, что расход ресурсов, риски не превышают плановые объемы.

В более широком смысле эффективность исследования - это одна из его характеристик, которая показывает как соотносятся затраты уси­лий (или ресурсов) на его проведение и результат (или степень дости­жения цели).
Эффективность исследования зависит от факторов исследователь­ского потенциала управления. Исследовательский потенциал отражает возможности использования ресурсов и степень достижения постав­ленной цели.

Факторы исследовательского потенциала представлены тремя группами:

1) методология;

2) ресурсы;

3) организационные возможности.

Методологическая готовность исследовательского потенциала про­является в наличии цели и миссии исследования, наличия концепций развития фирмы, опыта исследований и возможностей использования необходимых методов исследования, соответствующих технических средств.

Фактор ресурсов заключается в наличии необходимых ресурсов персонала, экономических, материально-технических, информационных, ресурсов времени.

Исследовательский потенциал управления включает в себя орга­низационные возможности его проведения. Они проявляются в нали­чии организационной культуры и типа организации, интеллектуальном потенциале исследователей систем управления.

Эффективность исследования зависит от принципов его построе­ния и осуществления .

Среди принципов следует назвать, прежде все­го, принцип объективности . Согласно этому принципу, в любом иссле­довании необходимо искать объективные факторы, связи, зависимос­ти. Это определяет успех исследования. Но использование данного принципа вовсе не означает, что надо исключить все субъективное. Многое в исследовании определяется интуицией, ее необъяснимым влиянием на поведение человека, на поиск истины. Принцип объектив­ности это принцип соизмерения, сопоставления факторов с объектив­ной реальностью, это возвращение к объективному, в конечном резуль­тате размышлений, анализа идей, мыслей, позиций.

Принцип системности - это принцип поиска и определения свя­зей, целостности, сопоставления свойств, нахождения границ внутрен­ней и внешней среды. Этот принцип позволяет концентрировать ис­следования на главном, оценивать связи, разграничивать их на вне­шние и внутренние, понимать свойство, как проявление целого в од­ном случае и как проявление отдельного - в другом.

Принцип последовательности требует проведения исследования по определенной, заранее разработанной технологии. В использова­нии этого принципа большое значение имеет ответ на вопрос: с чего начать и как двигаться к результату?

Принцип целеустремленности означает, что любое исследование должно иметь вполне определенную цель. Исследование - это не толь­ко разрешение возникшей проблемы, но и определение, к какой цели может вести это разрешение, в какой мере оно способствует достиже­нию цели. Цель определяет выбор решений и последовательность их разработки, цель интегрирует деятельность в самых сложных ее вари­антах: многоаспектность, совместное исследование, разветвленность исследования, сложность проблемы и т. д.

Принцип свободы мышления определяет необходимость снятия ограничений в полете мысли, фантазии, воображения, идей.
Принцип управления мышлением предполагает, что мышление, как и всякий процесс, должно быть не спорадическим. Он ведет к эффективности исследования. Это может быть управление процессом индивидуального мышления или процессом групповой мыслительной деятельности.
Как и всякая деятельность, исследование строится на использование определенных ресурсов, величина и структура которых в значительной мере определяют его эффективность. Ресурсы нельзя использовать бездумно, но и стремясь получить необходимый результат, нельзя бездумно лграничивать исследования в необходимых ресурсах, отсюда возникает важный принцип гибкой экономии ресурсов. В некоторых исследованиях заранее очень трудно предусмотреть и рассчитать достаточно точно, сколько рессурсов понадобится для достижения необходимого результата. Поэтому расчет ресурсов надо делать с за­пасом, понимая, что и результат исследования не всегда достаточно предсказуем, иногда он может быть значительнее ожидаемого. Тогда и при перерасходовании ресурсов эффективность исследования будет все равно высокой.

Принцип качественной и количественной определенности исследования заключается в том, что, по возможности, исследования надо проводить, опираясь на количественные измерители параметров, по­казатели, но при этом не терять качество изучаемых явлений, т. е. сово­купность тех свойств, которые определяют их суть и особенности.

Принцип фактологического обеспечения исследования заключа­ется в том, что исследование необходимо строить на фактах и отбирать факты соответствующим образом. В этом основа и объективности ис­следования, и его успешности, а в конечном итоге и эффективности.

Принцип реализации креативного образования менеджера пред­полагает его оформление с помощью образовательных процессов, ко­торое закрепляется и проявляется в практической деятельности и раз­вивается в процессах исследования.

Принцип опоры на исследовательское мышление менеджера пред­полагает его развитие в практике управления и в проведении исследо­вания. Исследование преследует цель не только найти удачное реше­ние проблемы, но и научить менеджера мыслить эффективно, иссле­довательски, инновационно.

И еще один принцип следует добавить к этому перечню - прин­цип трудоемкости. Суть его заключается в том, что всякое исследова­ние должно быть рассчитано по трудоемкости его проведения. От это­го зависит и его организация, и рациональное использование всех ре­сурсов, а, следовательно, и эффективность.

При оценке эффективности исследования критерий эффектив­ности определяют как количественное отражение степени достиже­ния системой поставленных перед ней целей.

В управлении исследованиями удобней рассматривать критерий как правило выбора предпочтительного варианта решения из ряда аль­тернативных.

В соответствии с прогнозной эффективностью можно вы­делить следующие варианты решений по исследованию систем управ­ления:

1) неэффективные, не позволяющие решить проблему;

2) рациональные, т. е. позволяющие решить проблему;

3) оптимальный вариант решения - вариант, позволяющий решить проблему исследования наилучшим в определенном критерием смысле образом построить наилучшую систему исследований в определенномкритерием смысле. Если неэффективных и рациональных ре­шений может быть много, то оптимальное решение одно.

При исследовании сложной системы управления в силу ее много­гранности критерий, как правило, является вектором. При этом задача оптимизации сложной системы является многокритериальной.

Критерий включает в себя в качестве компонентов параметры эффективности (эффекта).

16.3. Параметры эффективности исследования.

Параметр эффективности исследования - относительные значения наиболее важных параметров системы и(или) исследований, а также отношения таких параметров, которые позволяют оценить каче­ство решения проблемы и достижение, поставленных перед системой целей. Например, параметром эффективности будет оценка соотно­шения одного и того же параметра (пусть это будет расход топлива) до и после внедрения результатов исследования. Они отражают степень прогресса в результате исследования и (или) эффективность расхода ресурсов, в частности денежных средств , в процессе исследований. Они позволяют выбирать предпочтительные варианты изменений в объекте или самого процесса исследования.

В качестве параметров эффекта исследования будем называть абсолютные значения изменений важнейших параметров, например, объем сэкономленного топлива в литрах, тоннах, рублях и т п.

При формировании параметров эффективности (или эффекта) при исследовании систем управления организационно-производственной системы наиболее часто используют; стоимость и (или) время созда­ния; доход, прибыль (убытки) за фиксированный период и т. д.

При выборе состава параметров эффекта учитывают как то, ради чего создается система, так и цели исследования. Часто из двух ис­следовательских процессов, относящихся к одним и тем же объектам, и решающих одну и ту же задачу при равных ресурсах, более эффектив­ным считают тот, который при прочих равных условиях приводит к дос­тижению цели за более короткий интервал времени.

16.4. Роль оценивания в исследовании систем управления.

Одной из сложных и важных проблем исследования управления является оценка ситуаций, состояния, изменений, тенденций и пр.

Оценка - это установление наличия и степени проявления той или иной характеристики системы управления. Средством оценки является показатель. На оценках построены анализ, нормативное регулирование функционирования и развития, поиск и определение тенденций, изучение особенностей и существенных черт того или иного явления. Без оценок невозможны разработка и принятие управленческих решений, в том числе и решений по совершенствованию управления. Чем более точную оценку может провести менеджер или исследователь, тем больше вероятность успешного, рационального решения.

Оценки могут быть различными. Можно выделить оценки программно-тестовые и экспертные. Первые очень широко используются в настоящее время, когда существует компьютерная техника , открывающая в этом отношении очень большие возможности. Но многие характеристики можно оценить только на основе работы группы экспертов. Очень эффективно сочетание первого и второго.

Оценки также разделяются на коллективные и индивидуальные. В практике исследований используются как точные, так и приблизительные оценки. По процессным признакам существуют оценки эпизодические и периодические; по масштабам оцениваемых явлений выделяются оценки общие и локальные; по организации и методикам проведения существуют простые и сложные оценки. Последние всегда построены на специальных расчетах, агрегировании информации, построении синтетических показателей.

Выбор вида оценки имеет большое значение в достижении успеха исследования.

Для оценки необходимо:

· выделение объекта и предмета оценки;

· установление критериев оценки и шкалы измерения;

· построение процедуры и системы оценки;

· выбор средств и методов оценки;

· использование результатов оценки.

16.5. Принципы оценивания исследования систем управления.

Существуют определенные принципы оценивания, благодаря которым возможны адекватная оценка реальной действительности, глубокое понимание ситуаций, проблем, результатов или тенденций.

1. Принцип научности. В основе оценки всегда находятся методики ее проведения или осуществления. А они могут быть разными: можно оценивать на основе здравого смысла, богатого опыта, но можно строить оценку и на использования научных методов, математического моделирования, там, где это возможно. В этом случае и оценивать должен тот, кто знает предмет оценки, владеет ее методикой, способен подойти к ней с объективных позиций.

2. Важным дополнением этого принципа является также принцип целевого назначения. Оценка может проводиться вообще или быть ориентирована на некоторые предположительные результаты, но может иметь и ясную, конкретную цель. Можно оценивать, скажем, в целях стимулирования деятельности, группирования работников, нормирования работы, распределения финансовых средств и т. д. Целью оценки может быть и поиск путей развития, установление закономерностей, контроль тенденций.

3. Принцип разнообразия, полноты и системности. Очень часто подлежат оценке только те характеристики, которые известны, доступны, понятны, измеряемы. В результате такого подхода получается деформированная оценка, которая не дает полной картины события или ситуации, явления или проблемы. При проведении оценки очень важно учитывать связь характеристик, стремиться к их полноте, видеть разнообразие и достаточность.

4. Принцип критериальной определенности. Можно оценивать грубо, приблизительно, предварительно, но не бывает оценки без критерия. Критерий оценки - это точка отсчета, шкала измерений, это констатация специфики характеристики, подлежащей оцениванию. Чем точнее установлен критерий, тем объективнее и значительнее оценка. При проведении оценки недопустимо произвольное изменение критерия.

5. Принцип количественной определенности оценки. Оценивать можно в параметрах констатации качества, описания особенностей, но оценка может проводиться в количественных показателях, которые дают точную информацию и позволяют эффективнее оперировать оценками: сравнивать, синтезировать, улавливать изменения. В исследованиях систем управления необходимо, по возможности, стремиться к количественным оценкам. Но при этом нельзя отрицать, что в определенных обстоятельствах эвристические оценки могут быть богаче и полезнее. Количественные измерения нередко обедняют ситуацию.

6. Принцип сочетания оценки состояния и изменений. Чаще всего оценка является фиксацией состояния той или иной характеристики, фотографией остановившегося мгновения, констатацией степени проявления характеристики. Но в исследовании наиболее богатой информацией обладают оценки динамики, способные показать тенденции изменений, позволяющие предвидеть последствия. В конечном итоге необходимо сочетание того и другого.

7. Но оценка - это не просто установление и измерение тех или иных характеристик, это, помимо прочего, и деятельность исследователя или группы исследователей, работа экспертов, математиков, программистов. И это обстоятельство не может не быть отражено в принципах оценки.

8. Принцип независимости заключается в том, что оценка должна быть отделена, насколько это возможно, от личностных отношений, служебной зависимости, амбиций и самолюбия. Она должна быть защищена от влияния заинтересованных лиц, доброжелателей или недоброжелателей.
Это достигается как посредством методики оценки, так и соответствующей организацией ее проведения.

16.6. Виды оценки параметров управления.

Оценки могут быть различными. В каждом конкретном случае исследователю приходится выбирать тот вид, который может быть наиболее приемлемым и эффективном. Этот выбор определяется как характером исследуемых проблем, так и возможностями оценивания. Специфика оценивания проблем управления заключается в том, что все они в конечном итоге связаны с деятельностью человека и его человеческими качествами. Многие параметры управления невозможно измерить достаточно точно, а некоторые даже вообще выделить и каким-либо образом отграничить. Поэтому многие оценки необходимо строить на статистическом анализе, либо использовать социометрические методы тесты и экспертные оценки.

1. По области и масштабам оценивания тех или иных ситуаций можно выделить оценки общие и локальные. Так проявляются и проблемы управления. Одни из них имеют общий характер, другие ограничены какой-либо областью деятельности. Методология исследования должна предусматривать различие этих видов.

2. Оценки могут быть простыми и сложными, в зависимости от того, предполагают ли они множество расчетов или построены на измерении первичной информации. В сложных оценках нередко случается нарушение валидности показателей, смещение акцентов актуальности и важности, потеря информации. Необходимо избегать таких случаев при конструировании показателей.

3. В оценках большую роль играет момент и продолжительность их проведения. По этому критерию можно выделить оценки эпизодические и периодические. Первые вызываются необходимостью конкретной ситуации, возникновением и обострением новых проблем, вторые систематическим исследованием управления, мониторингом качества.

4. Всякая оценка отражает потребность поиска и решения проблем и требует затрат определенных ресурсов. Поэтому можно дифференцировать оценки по критерию точности измерения параметров. Существуют оценки точные и приблизительные (грубые, предварительные, ориентировочные, порядковые). Вторая группа способствует экономии ресурсов при. поиске ведущих проблем. Но глубокий анализ и ответственные исследования необходимо строить на предельно строгих и точных оценках.

5. По организации оценивания можно выделить оценки коллективные и индивидуальные. Часто используется их сравнительный анализ. При этом необходимо учитывать параметры и коллектива, и личности - опыт, образование, квалификация, мотивы, социальность и пр.

6. Методика проведения оценки имеет ключевое значение в ее корректности. В исследовании управления часто используются два вида оценки - тестовая и экспертная. Не исключаются и их различные комбинации. Тестовая оценка может быть очень эффективной, но зависит от качества тестов, а успех экспертной оценки в значительной мере определяется принципами формирования экспертных групп и организации их работы.

7. По получению информации и методике ее обработки можно выделить также статистическую и нестатистическую оценку. Искусство исследования, помимо всего прочего проявляется и в выборе вида оценок в конкретных обстоятельствах.

Реформа Российской академии наук () набирает силу. Очередным ее этапом станет оценка эффективности работы научных учреждений, входящих в систему РАН.

В начале ноября было принято постановление правительства «О внесении изменений в Правила оценки результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения». В пояснительной записке к нему утверждается: «Оценка результативности деятельности научных организаций проводится на основании всестороннего, в том числе экспертного, анализа сведений о результатах деятельности научной организации, представленных научной организацией в установленном порядке в федеральный орган исполнительной власти, в ведении которого находится научная организация, и отражающих деятельность научной организации за последние пять календарных лет» (п. 13).

«Газета.Ru» попыталась разобраться в том, что имеется в виду под формулировкой «всесторонний анализ сведений».

Как рассказал «Газете.Ru» доктор физико-математических наук, академик РАН Алексей , в августе 2013 года в Академию наук поступил проект приказа (МОН), включающий «Типовую методику оценки результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения». Данный документ предусматривает оценку результативности деятельности научных организаций на основе 70 численных показателей (единицы измерения: штуки, рубли и люди), и значительное место здесь занимают библиометрические показатели (число публикаций, индекс цитирования, импакт-фактор журналов, в которых публикуются исследователи). Как стало известно после заседания Совета по науке при МОН, состоявшегося 10 сентября, ведомство планирует использовать такие подходы для оценки научной деятельности институтов РАН. «Не исключено, что эти данные будут использованы для резкого (в несколько раз) сокращения численности научных сотрудников», — отмечает Паршин.

Сейчас в большинстве институтов, входящих в систему Академии наук (РАН), существует иерархия сотрудников — от младших научных сотрудников (их осталось крайне немного, это или будущие кандидаты, или только что защитившиеся кандидаты наук) до главных научных сотрудников (общепризнанных авторитетов, докторов наук, авторов монографий). У всех них есть свой план научной работы, который определяется на срок от 3 до 5 лет. В гуманитарных науках формой отчетности по нему является монография (иногда - цикл статей).

Исторически такое устройство научного труда объяснимо: государство выступало своего рода заказчиком и покупателем результатов работы ученых.

Однако при этой системе сложно оценивать качество выполненной работы, да и далеко не все работники советских научно-исследовательских институтов (НИИ) стремились к блестящему выполнению своих заданий.

В начале - середине 1990-х годов, на фоне резкого сокращения финансирования науки, многие российские ученые (в основном представители естественных наук, но не только) стали обращаться к грантам. А для того, чтобы получать деньги под конкретные проекты, стали нужны новые критерии для оценки эффективности научной работы.

Одним из них могло бы стать количество опубликованных статей и монографий. Однако в России в связи с существующими нормами Высшей аттестационной комиссии (ВАК) по защите диссертаций (докторских и особенно кандидатских) многие журналы стали промышлять сдачей своих страниц «в аренду», за деньги размещая формальные статьи, необходимые для выхода на защиту. Кроме того, в условиях падения финансирования в советском прошлом осталась система внешнего рецензирования статей, что открыло простор для кумовства и прочих не имеющих отношения к науке сделок.

Не стоит забывать и о качестве продукта, неминуемо падающем при работе «на вал». «В Америке для ученого-гуманитария нормой является одна — максимум две статьи в год, правда, учитываются только вышедшие в рецензируемых журналах», — рассказала корреспонденту «Газеты.Ru» аспирантка исторического факультета Ратгерского университета (США).

Тем не менее многие ученые активно стремятся публиковаться.

Так, у некоторых научных сотрудников в год выходит более десятка статей, правда, преимущественно в вестниках региональных университетов, в которых упрощена процедура рецензирования.

Конечно, ситуация в естественных науках с сточки зрения объема публикаций проще: зачастую одну статью готовит десяток ученых, так что количество материалов за авторством физика или математика традиционно больше.

Однако «валовая» система показала свое несовершенство. Поэтому обратились к другой системе оценки — через индекс цитируемости. Предполагается, что ученый эффективен в том случае, если на его работы много ссылаются — причем на протяжении длительного времени и в реферируемых периодических изданиях.

Этот метод изначально использовался в США, где и возникли самые авторитетные базы данных — Web of Science, Scopus и другие. Но для россиян, особенно гуманитариев, эти системы неточны: они ориентированы на англоязычные публикации и англоязычные журналы, поэтому труды отечественных историков, к примеру, отражены там фрагментарно. В результате в России возникла собственная база — Российский индекс научного цитирования (РИНЦ) , индексирующий русскоязычные журналы.

Таким образом, современная наукометрия считает, что ученый эффективен, если его фамилия часто появляется в сносках. Смысл этой системы понятен: с одной стороны, высказывание спорных мнений порождает дальнейшую дискуссию, и это позволяет науке развиваться, с другой — создание авторитетного текста показывает эффективность проделанной автором или авторами работы.

Порождением этого показателя становится импакт-фактор (применяется к журналу) — то есть показатель цитируемости журнала. Он рассчитывается так: число цитирований статей за 2012 год делится на общее количество статей, опубликованных в 2010-2011 годах.

Еще одной важной производной количественных оценок становится индекс Хирша .

Казалось бы, система, основанная на точных цифрах, с одной стороны, удобна распределяющим средства администраторам, с другой - сужает пространство для манипуляций, непотизма и других неприятностей.

Однако лучезарная картина светлого цифрового будущего сильно затуманилась при встрече с реальностью. Если говорить о частностях, то оказалось, что эта система уязвима для махинаций. В эссе американских математиков Дугласа Арнольда и Кристин Фаулер «Гнусные цифры» (опубликовано в сборнике «Игра в цыфирь, или Как теперь оценивают труд ученого» ) приводится пример китайца Хэ Цзихуаня, который постоянно ссылался на журнал International Journal of Nonlinear Sciences and Numerical Stimulations (IJNSNS) (243 раза за 2 года - подсчеты 2008 г.). Делал он это не из любви к науке - он был в нем редактором, как и еще в 20 других журналах. «В общей сложности совокупность таких родственных редакторам ссылок, для выявления которых требуется много времени, включает более 70% ссылок, использованных для вычисления импакт-фактора IJNSNS», — отмечают Арнольд и Фаулер.

Кроме того, эта система ставит представителей разных ветвей познания в неравные условия. Так, индекс цитируемости «заточен» под учет статей в журналах - основной форме научной литературы для физиков. Однако математики возражают: огромную долю в математической научной литературе составляет «серая литература» — отчеты, препринты и т.п. «А с начала 1990-х более или менее каждый математик может положить свой текст в архив текстов, где он появится через один-два дня и будет «вечно» доступен всем желающим; условия - текст на английском языке (формально на «любом») и написанный в ТеХ"е, специальной программе, на которой математики пишут свои статьи», — рассказал д.ф.м.н., академик РАН Алексей Паршин.

Этот архив базируется в Корнелльском университете в США, и, как подчеркивает Паршин, именно там находятся знаменитые работы Григория Перельмана.

Естественно, что базы не индексируют тексты в этом архиве.

«Система не учитывает большинства ссылок на труды историков, поскольку ориентирована на журнальные статьи, а не на монографии, являющиеся наиболее значимым и популярным «жанром» среди специалистов-гуманитариев», — добавляет в своей статье «Российская историческая наука и индексы научного цитирования» кандидат исторических наук, старший научный сотрудник ИРИ РАН Виталий . По его словам, в РИНЦ часто также не попадают популярные в отечественной гуманитарной науке «сборники тезисов». «Понять сотрудников РИНЦ можно: если они будут включать в индекс монографии и сборники статей, которые сейчас издать чрезвычайно легко, а отследить трудно, они просто утонут в потоке литературы», — замечает Тихонов.

В результате в России наблюдается заметный перекос в показателях: по данным, которые приводит Тихонов, самый высокий индекс научного цитирования в России у нобелевского лауреата А.К. Гейма, который составляет 40 216 цитирований, и индекс Хирша − 52. Для сравнения: самый высокий рейтинг среди гуманитариев — у археолога А.П. Деревянко: всего 2 750, а индекс Хирша - 14.

Цифры вместо науки

Но есть к этой системе и содержательные претензии. «Как только вы начинаете оценивать какой-то содержательный процесс по формальному показателю, так довольно быстро целью процесса становится не та содержательная деятельность, которую он оцениваете, а стремление любой ценой увеличить этот показатель», — утверждает Паршин. По его словам, «значительное число ученых считает, что импакт-фактор является инструментом коммерции в руках издательств, а не инструментом научной оценки».

Достаточно жестко высказывается по поводу подобного подхода к наукометрии и американский биолог Питер Лоуренс. По его мнению, имеет место сдвиг мотива на цель: «опубликование стало главной целью, потому что это - путь выживания ученого». Стремление публиковаться, причем именно в журналах с высоким импакт-фактором, становится самостоятельной и необходимой мотивацией для ученого. В результате искажаются результаты (ведь рецензенты могут в них усомниться), а также становится обычной практикой «цитатный обмен» и «вылавливание цитат».

Для России (особенно в части гуманитарных наук) эта проблема актуальна в квадрате: как отметил в одном из своих публичных выступлений заместитель главного редактора одного из крупнейших российских исторических журналов, «можно говорить о глубоком кризисе историографической культуры», то есть чаще всего никакой системности в сносках не наблюдается.

Присутствует в научном мире и некоторая, скажем так, вольность в работе с литературой. «Одна из информанток сообщила прямым текстом, что руководитель заставила ее убирать сноски, говоря о том, что эти же выводы она могла сделать и сама», — замечают в статье «Провинциальная и туземная наука» М. Соколов и К. Титаев. Там же приводятся сведения по самоцитированию: «Для крупного текста характерно 70-90% самоссылок. В среднем по массиву их доля около 30%», — приводят исследователи данные анализа четырех сборников статей или тезисов, взятых случайно в книжной летописи двух российских регионов.

Конечно, ученые предлагают альтернативы количественным показателям. Паршин считает, что главным способом оценки должна стать экспертиза. Так, он обращает внимание: работа редколлегий, отбор докладчиков на конференции, отбор экспертов существовали в науке много лет, а они часто основаны на субъективных оценках. «Мой личный опыт участия во всех упомянутых видах оценочной деятельности говорит, что, как правило, она приводит к разумным результатам», — утверждает Паршин.

Паршин отмечает: в ряде развитых в научном отношении стран использование индекса цитируемости ученого или импакт-фактора журнала для оценки эффективности ограничено. Так, в Великобритании происходит оценка деятельности всех научных организаций а период c 1 января 2008-го по 31 июля 2013 года. Согласно правилу №53, «комиссии не будут использовать импакт-факторы журналов, рейтинги или подразумеваемую репутацию издателя при вынесении суждения об уровне представленных результатов, причем это относится ко всем без исключения научным дисциплинам.

Также в правиле 52 финансирующие структуры «не предлагают и не рекомендуют вузам основываться на данных цитирования при отборе персоналий или результатов для включения в представления».

Ряд учреждений, например Институт перспективных исследований в Принстоне (США), по данным Паршина, отказываются от использования библиометрики. У экспертизы, однако, есть недостаток: она провоцирует ученых создавать неформальные сети, которые будут «проталкивать» свои звенья наверх. Конечно, такие группы есть в науке, и без таких сетей ни один ученый ни в одной дисциплине существовать не может (люди должны обмениваться идеями, научной литературой, спорить и т.д.). Но в тот момент, когда решение группы определенных экспертов становится решающим, участие в таких сетях становится жизненно необходимым и возникает огромный простор для злоупотреблений. Могут появиться очередные люди, получающие плоды «за заслуги перед наукой», непонятно как и непонятно кем измеренные.

Но это не значит, что индекс цитируемости — панацея. Абсолютизировать цифры нельзя: дискуссионны сами подсчеты. «Как мы ни пытались, мои коллеги и я не можем согласовать наши собственные подсчеты цитируемых публикаций в самом Nature, в некоторых других журналах Nature и даже в Science с подсчетами, используемыми в ISI (поисковая платформа, объединяющая реферативные базы данных публикаций в научных журналах )», — пишет редактор Nature Филипп Кемпбелл. То есть цифры могут быть инструментом, который в определенных ситуациях позволяет понять, насколько тот или иной ученый эффективен. Нельзя забывать и том, что в научном мире понятие «репутация» сохранило свое значение, а она создается уж точно не с помощью высокого индекса Хирша.

1

Представлен краткий анализ целей оценки ресурсоэффективности литейных технологий. Определены основные принципы оценки ресурсоэффективности. Для оптимизации и количественной оценки эффективности возможных вариантов проектируемых или же уже существующих литейных технологий предложены критерии их эффективности. В качестве основных критериев выбраны функциональные, энергетические и ресурсные критерии. Однако критериями наиболее распространенными для сравнения и произведения оценки технологий производства, как показывается в статье, являются энергетические критерии. В статье отражено, что затраты энергии как электрической, механической и любых других видов в общественно полезном производстве можно выделить как один из важных показателей степени технологизации в развитии современного социума. По итогам проделанной работы делается вывод, что наиболее общим показателем технологичности любого вида (социальной, информационной, производственной и т. д.) следует признать экономию социального времени.

функциональные критерии

литейное производство

ресурсоэффективность

эффективность использования ресурсов

1. Видяев И. Г. Оценка социально-экономического развития региона: дис… канд. экон. наук. – Иркутск, 2006. – 198 с.

2. Демьянова О. В. Добавленная стоимость как элемент эффективности региональной экономической системы // Проблемы современной экономики. – 2010. − №1 (33).

3. Информационные технологии. Конспект лекций // kstudent.narod.ru/miemp/it.doc

4. Монастырный Е. А., Видяев И. Г. Методические подходы к моделированию социально-экономической системы региона // Экономика и управление. – 2008. – № 1. – С. 64-68.

5. Lettenmeier M. Recourse productivity in 7 steps. How to develop eco-innovative products and services and improve their material footprint / Lettenmeier M., Rohn H., Liedtke C., Schmidt-Bleek F. – Hitzegrad, 2009. – 60 p.

Введение

Для эффективного управления проектом по внедрению ресурсоэффективных технологий в производственной сфере необходимо формирование объективных предпосылок для осуществления такого процесса. Вышесказанное может быть реализовано в разработке технических нормативов и норм, аккумуляции требующихся финансовых ресурсов, оптимизации работ во времени и т. п. Особую роль играет формирование определенной последовательности наблюдения и корректировки результатов реализации проекта и протекающих процессов, повлиявших на эти результаты. Эта последовательность называется оценкой ресурсоэффективности в сфере литейного производства, которая необходима для своевременного принятия управленческих решений.

За определение оценки возьмем процесс выявления значимости объекта в соответствии с заранее установленными целями. Основным результатом такого выявления будет технико-экономически обоснованное мнение о состоянии или изменении состояния оцениваемого объекта за определенный период времени в количественном или качественном выражении.

Соответственно, оценка ресурсоэффективности литейных технологий - это процесс определения значимости произошедших изменений в литейной технологии и ее основных составляющих за определенный промежуток времени на основе изучения результатов изменения технических, экономических и социальных показателей, характеризующих эффективность использования ресурсов объектом оценки .

Основное назначение оценки ресурсоэффективности литейных технологий является создание методической основы для разработки новых и совершенствования действующих литейных технологий для повышения эффективности используемых ресурсов ими.

Цели оценки ресурсоэффективности литейных технологий:

• оптимизация - выбор наилучшего решения из нескольких для повышения эффективности использования ресурсов при производстве продукта;
• идентификация - определение литейной технологии, качество которой наиболее соответствует реальному объекту в заданных условиях.

В российской и зарубежной практике при проведении оценки ресурсоэффективности продуктов и услуг применительно к любым отраслям экономики главным является соблюдение устоявших правил или, как их по-другому называют, принципы оценки ресурсоэффективности .

Принципы оценки ресурсоэффективности - это основные начала, которыми руководствуются при проведении оценки.

Выделяют следующие принципы оценки ресурсоэффективности:

Основой оценки ресурсоэффективности согласно сведениям, опубликованным департаментом оценки операционной деятельности Мирового Банка (Operations Evaluation Department, World Bank, http://www.worldbank.org) может быть только точная и достоверная информация :

Исполнение работы по оценки ресурсоэффективности должно быть компетентным:

1. Специалисты, проводящие оценку ресурсоэффективности, гарантируют честность и открытость всего процесса оценки.
2. Специалисты по оценке уважают безопасность и достоинство людей, с которыми они взаимодействуют в процессе своей профессиональной деятельности
3. Специалисты имеют профессиональные обязательства, определяющиеся общественными интересами и общественным благом.

Данные принципы являются результатом многолетнего опыта работы специалистов Департамента Руководства оценки операционной деятельности Мирового Банка. Использование этих принципов позволит избежать множество проблем, с которыми сталкиваются на практике специалисты, и повысить эффективность оценки ресурсоэффективности разрабатываемых или внедряемых информационных продуктов и услуг.

Для оптимизации и количест-венной оценки эффективности возможных вариантов проектируемых или же уже суще-ствующих литейных тех-нологий необходимо правильно выбирать критерии их эффектив-ности .

Функциональные критерии. Их зна-чения характеризуют сте-пень соответствия желаемых характери-стик литейного процесса, необходимых разработчику возможностям современной тех-нологии. Такими характеристиками могут быть, например:

• объемно-временные харак-теристики реализуемого литейного процесса (скорость выполнения процесса литья, необходимый объем металла для плавки и т. п.);
• надежностные характери-стики реализации литейного процесса (вероятность получения качественной отливки, количество образующихся поверхностных дефектов и др.);
• параметры, характеризую-щие степень достижения основно-го конечного результата литья, реализуемого при помощи данной технологии (соответствие геометрических параметров отливки заданным на чертеже технологического процесса, соответствие получаемых свойств отливки ожидаемым и др.).

Ресурсные критерии. Их значения характеризуют количество и качество разнообразных ресур-сов. Эти ресурсы являются необходимыми для реализации данной литейной техно-логии. Такими ресурсами могут быть:

• материальные ресурсы (ин-струментально-технологическое оборудование, необходимое для успешной реализации данной технологии);
• энергетические ресурсы (за-траты энергии на реализацию процессов при данной технологии);
• людские ресурсы (количе-ство и уровень подготовки персо-нала, необходимого для реализа-ции данной технологии);
• временнее ресурсы (коли-чество времени, необходимого для получения качественной отливки при данной техноло-гии его организации);
• информационные ресурсы (состав данных и знаний - набор конструкторско-технологической документации, необхо-димых для успешной реализации литейной технологии).

Литейное производство является неотделимой частью машиностроительной промышленности. Именно продукция литейных цехов в дальнейшем превращается в готовые машины. В наше время существует много гибких технологий для получения точных и очень сложных отливок. В общем, литейные формы можно разделить на многократные и разовые (песочные).

Для изготовления разовых литейных форм используется песок. Но не любой, например, намывной речной песок совершенно не подойдет для этих целей из-за своих специфических свойств. Здесь необходим очиненный строительный песок, который высушивается в специальных печах. Многократные формы делают из металла (изложницы и кокили), графита или огнеупорной керамики. Огнеупорные формы изготавливают из фарфоровой глины (каолина) и других металлов с повышенной огнеупорностью.

Используют также модели из пластмассы или легкообрабатываемых металлов. Графитовые многократные формы изготавливаются посредством механического обрабатывания графита, а керамика легко формуется. Их можно использовать для повторного литья, но при этом они значительно дешевле металлических форм.

На основе вышесказанного формулируется следующий вывод, что основными и наиболее важными видами ресурсов в производственнойсфере (литейном производстве) являют-ся энергетиче-ские и материальные ресурсы. Отсюда поэтому максимальное внимание при технологизации производ-ственных процессов получения промышленной продукции выделяется энергосберегающим и материалосберегающим технологиям производства готовых изделий .

Ресурсные критерии эффектив-ности дают возможность принципиально сравнить между собой технологии различного вида. Помимо это-го, их использование дает возможность оценить получаемый в результате применения этих тех-нологий эффект коли-чественно, с точки зрения социальной полезности их применения и в пла-не экономии ресурсов общества различного вида.

Следовательно, критериями наиболее распространенными для сравнения и произведения оценки технологий производства и в том числе литейных технологий явля-ются энергетические критерии. З атраты энергии как электрической, механической и любых других видов в общест-венно полезном производстве можно выделить как один из важных по-казателей степени технологизации в развитии современного социума.

Тем не менее наиболее общим по-казателем технологичности любого ви-да (социальной, информационной, производственной и т. д.) следует признать экономию социального времени. Такая экономия достига-ется как результат использования вышеназванной технологии. Данный крите-рий, обозначенный академиками П. Г. Куз-нецовым и В. Г. Афанасьевым одним из наиболее общих степеней развития социума, представляется авторам данной статьи пригодным для количественной оценки эффективности различных видов литейных технологий. Благодаря этому критерию можно производить сравнительный анализ литейных технологий. Общеизвестно, что любая экономия (производственная, энергетическая и т.д.) в итоге может быть сведена к экономии вре-мени. Здесь стоит отметить, что, по мнению П. Г. Кузнецова, именно бюджет социального вре-мени и является главным ресурсом для жизнеобеспечения и развития современного общества .

Действительно, ведь для внедрения и прак-тической реализации любого процесса модернизации общества (интеллектуального, духовного или эко-номического) необходимо, что-бы оно обладало возможностью затратить на эти цели определенную часть имеющегося у него в наличии общего ресурса соци-ального времени. Говоря по иному, обществу нужен некоторый «сво-бодный ресурс» вре-мени, социального времени. Данный ресурс должен иметься в общем бюджете социального времени общества, кроме трат по иным «статьям» этого бюджета. Под иными «статьями» здесь имеется в виду статьи, свя-занные с решением задач обыкновенного жизне-обеспечения и воспроизводства общества .

Отсюда, наиболее значимыми и по-лезными с общественной точки зре-ния для социума являются те технологии, кото-рые дают возможность сэкономить наи-больший объем социального времени, освобождая его для иных целей. Ярким примером таких иных целей может являться развитие общества. Вышеизложенный подход самым ко-ренным образом позволяет изменить устоявшуюся точку зрения на эффек-тивность различных видов литейных технологий. К сожалению, сегодня функциональным критерием оценки данных литейных технологий являются функциональ-ные критерии.

Конечно же, использование эко-номии социального времени в ка-честве общего критерия эффектив-ности литейных техно-логий сегодня еще не обеспечено необходимыми методическими разработками. Однако хотелось бы подчеркнуть, что данный под-ход представляется нам исключи-тельно перспективным. Ведь он не только позволяет создать не-обходимую научную и технологи-ческую основу для практического воплощения в жизнь широко пропагандируемого сегодня гу-манистического лозунга: «Все во благо человека!», но также изме-няет и мировоззрение общества, его отношение к социальной ро-ли и значимости развития ин-формационных технологий.

Результаты работы, представленные в настоящей статье, выполнены при поддержке гранта Президента РФ MK-6661.2013.8.

Рецензенты:

Смирнов Серафим Всеволодович, д-р техн. наук, профессор, профессор кафедры ФЭ ТУСУРа, г. Томск.

Троян Павел Ефимович, д-р техн. наук, профессор, зав. кафедрой ФЭ ТУСУРа, г. Томск.

Библиографическая ссылка

Видяев И.Г., Ивашутенко А.С., Мартюшев Н.В. ОСНОВНЫЕ ПОКАЗАТЕЛИ ОЦЕНКИ ЭФФЕКТИВНОСТИ ИСПОЛЬЗОВАНИЯ РЕСУРСОВ ЛИТЕЙНОГО ПРОИЗВОДСТВА. // Современные проблемы науки и образования. – 2013. – № 5.;
URL: http://science-education.ru/ru/article/view?id=10195 (дата обращения: 26.11.2019). Предлагаем вашему вниманию журналы, издающиеся в издательстве «Академия Естествознания»