Г 67 Горбич, Л. Г. Использование статистических индексов для различения научных и научно-популярных текстов на примере трудов А.Е. Ферсмана [] / Л. Г. Горбич, А. А. Живодеров. - DOI:10.15827/0236-235X.132.720-725 // Программные продукты и системы. - 2020. - № 4. - С. 720-725. - Библиогр.: с. 725 (15 назв.) Рубрики: ЯЗЫКОЗНАНИЕ Кл.слова (ненормированные): СТИЛЬ ТЕКСТА -- АВТОМАТИЧЕСКАЯ КЛАССИФИКАЦИЯ ТЕКСТОВ -- СТАТИСТИЧЕСКИЙ ИНДЕКС -- ЛОГИСТИЧЕСКАЯ РЕГРЕССИЯ -- ДИСКРИМИНАТНЫЙ АНАЛИЗ -- ГОС-КРИВАЯ Аннотация: С развитием информационной техники и информационных систем актуализировалась проблема разработки методик машинной атрибуции текстов. Эти методики могут быть использованы для автоматического поиска текстов необходимого жанра и стиля и установления авторства с помощью компьютерных технологий. В основу разработки рассматриваемой в статье методики была положена гипотеза о том, что существуют структурные особенности текста, которые позволяют без учета смыслового содержания отнести его к определенному жанру или автору на основе вычисления чисто количественных значений некоторых параметров и индексов. Авторы наряду с другими исследователями в течение ряда лет занимались разработкой таких индексов и формированием из них оптимального набора и добились в этом определенных успехов. В частности, был сформирован набор индексов, позволяющий правильно классифицировать тексты по жанру с вероятностью до 86 %. Для решения задачи автоматической классификации научных и научно-популярных текстов авторы применили и усовершенствовали набор статистических индексов, разработанный ими ранее для атрибуции других стилей. В качестве материала исследования были взяты труды академика А.Е. Ферсмана. Одной из особенностей этого автора является стилевая двойственность – наличие большого числа принадлежащих ему как научных, так и научно-популярных текстов, что создало уникальную возможность для попытки решения задачи автоматической классификации стилей текстов, принадлежащих одному автору. В ходе работы было показано, что выборочные средние статистических индексов для текстов двух стилей достоверно различаются. Применяя методы дискриминантного анализа, логистической регрессии и ROC-кривых, авторы продемонстрировали возможность автоматической классификации текстов двух стилей и с помощью оптимизации используемого набора индексов добились существенного повышения качества классификации. Предложен также новый статистический индекс, позволяющий минимизировать вычислительные затраты и успешно (до 100 % точности) решать задачу классификации научных и научно-популярных текстов даже при использовании его в качестве единственного фактора. Результаты исследования были проверены на текстах других авторов. |
У 49 Улучшение качества стилевой классификации русскоязычных текстов на основе статистических индексов / В. В. Филимонов, А. А. Живодеров, Л. Г. Горбич, А. В. Дерябина. – DOI 10.32460/ergo-6-2022-0006 // Ergo... Проблемы методологии междисциплинарных исследований и комплексного обеспечения научно-исследовательской деятельности : сборник научных трудов. - Екатеринбург, 2022. - С. 74-84
Кл.слова (ненормированные): АВТОМАТИЧЕСКАЯ КЛАССИФИКАЦИЯ ТЕКСТОВ -- ДИСКРИМИНАНТНЫЙ АНАЛИЗ -- N-ГРАММА БУКВ Аннотация: Для решения задачи автоматической стилевой классификации текстов были применены методы дискриминантного анализа. В качестве возможных факторов классификации рассматривались индекс триграмм (ИТ), индекс биграмм (ИБ), их отношение (ИТ/ИБ), индекс сжимаемости текстов (Deflate), а также информационные индексы: соотношение порядка и хаоса в системе – так называемая R-функция (Rf), и функция развития (Df). Найдены оптимальные сочетания индексов для решения этой задачи. Удалось добиться значительного улучшения качества классификации текстов при одновременном уменьшении количества используемых индексов по сравнению с предыдущими работами |
Г 67 Горбич, Л. Г. Поиск оптимального набора букв для стилевой классификации художественных текстов методом статистических индексов / Л. Г. Горбич. - DOI: 10.15827/0236-235X.142.654-660 // Программные продукты и системы. - 2023. - Т. 36, № 4. - С. 654-660 Рубрики: ЯЗЫКОЗНАНИЕ Кл.слова (ненормированные): СТИЛЕВАЯ КЛАССИФИКАЦИЯ -- НАБОР БУКВ -- АВТОМАТИЧЕСКАЯ КЛАССИФИКАЦИЯ ТЕКСТОВ -- СТАТИСТИЧЕСКИЙ ИНДЕКС -- МАШИННОЕ ОБУЧЕНИЕ -- МЕТОД ОПТИМИЗАЦИИ -- ROC-КРИВАЯ Аннотация: В статье рассматривается проблема улучшения методов стилевой классификации русскоязычных текстов. В качестве возможного направления исследований предложен метод оптимизации набора (множества) букв, применяемого для вычисления статистических индексов текстов. Для оптимизации и контроля результатов использованы поэтические и прозаические художественные тексты на русском языке. Объем текстов составлял порядка 300 тысяч знаков при оптимизации и 100 тысяч знаков при контрольной оценке. Для вычисления статистических индексов рассчитывались частотности биграмм и триграмм букв. При оптимизации опробован также и вариант совместного использования индексов биграмм и триграмм. В статье дано краткое описание метода статистических индексов, приведены применявшиеся в исследовании алгоритм пошаговой оптимизации, вид возможной оптимизационной функции и формула для нахождения границы классификации. Показано, что оптимизация набора букв улучшает классификацию по сравнению с вариантом использования как полного набора букв, так и набора из гласных букв в применении к задаче автоматического различения поэтических и прозаических художественных текстов на русском языке. Проведено сравнение результатов классификации по предложенной формуле границы классификации с результатами расчетов по классификации методом ROC-кривых. В итоге для разных сочетаний статистических индексов и способов определения границы классификации интервал верной классификации составил 72–74 % для набора, включающего все буквы, 82–86 % для набора, включающего только гласные буквы, и 80.5–92.5 % для разных наборов букв, полученных при оптимизации |