Выделяют два типа случайных ошибок:
1. удвоение символа (клаввиатура);
2. перестановка двух соседних символов (аглоритм).
Определение: Полное отображение одиночной ошибки данной словоформы – множество словоформ, порождаемых этой словоформой в результате всех возможных ошибок четырех категорий.
Таким образом, если через Г1 (словоформа) обозначить множество словоформ, порождаемых данной словоформой в результате ошибки категории 1 (отображение ошибки категории 1), через Г2 – отображение ошибки категории 2, через Г3 – отображение ошибки категории 3 и через Г4 – отображение ошибки категории 4, то полное отображение одиночной ошибки Г (словоформа) есть объединение всех четырех множеств.
Определение: Полное обратное отображение одиночной ошибки данной словоформы – множество словоформ, порождающих данную словоформу в результате одиночной ошибки из двух категорий.
Описание метода полных обратных преобразований:
1. Вносим в буквенную цепочку полное обратное преобразование.
2. Каждый из получившихся токенов проверяем на наличие в словаре.
3. Если токен имеется в словаре, то он добавляется в список корректных кандидатов.
Таким образом обеспечивается 100% вероятность коррекции ошибок, если корректное слово имеется в словаре. Однако данный алгоритм обладает неустранимой особенностью – все обрабатываемые токены никак не оцениваются, а потому невозможно выбрать наиболее подходящий вариант для исправления ошибки, т.е. требуется вмешательство оператора.
Для успешного процесса коррекции важны эффективные алгоритмы диагностики грамматических ошибок. В общем случае все сводится к определению принадлежности последовательности символов (токена) к данному естественному языку.
Таким образом, исправление опечаток определенных классов, в том числе однобуквенных, является практически важной задачей. Алгоритмы исправления ошибок в русских словах должны учитывать особенности русского языка как высоко флективного.
Для работы алгоритмов АМА необходимы следующие массивы:
1) Массив base (содержит основы слов),
2) Массив flex (содержит постфиксы),
3) Массив mrf (содержит морфологические признаки).
Данные массивы заполняются на основе словарей morphologi.dic
и rgramtab.dic
Для поиска по массивам и анализа ошибок используются следующие методы:
3) s_basean
4) s_flexan
5) s_mrf
6) first_err
7) sec_err
Массив base – двумерный динамический массив содержащий основы слов и указатель на строку из массива flex.
Примеры строк из массива base:
ВЗ 519
В данном примере набор символов ВЗ является основой слова. Число 519 – указатель номера строки в массиве flex, содержащей набор окончаний ассоциированных с данной основой.
Массив flex – двумерный динамический массив, содержащий наборы окончаний. Данный массив является зависимым от массива base, также этот массив содержит указатель на строки массива mrf, идентифицирующие морфемные свойства слова.
Пример части строки из массива flex
%БИТЬСЯ*ка % БИЛСЯ*кз%
Набор символов «БИТЬСЯ» является формой постфикса, для определённой в массиве base основы. Набор символов «ка» является идентификатором строки с дескрипторами массива mrf.
Массив mrf – двумерный динамический массив, содержащий наборы дескрипторов, которые описывают морфемные свойства анализируемого слова.
Пример строки из массива mrf:
ка a ИНФИНИТИВ дст
В данной строке указано, что словоформа является Инфинитивом (начальной формой глагола), и является действительным.
Набор частей речи массива mrf указан в таблице 3.2.
Таблица 3.2. Описание частей речи массива mrf
| Часть речи в системе Диалинг | Пример | Расшифровка |
| C | мама | существительное |
| П | красный | прилагательное |
| МС | он | местоимение-существительное |
| Г | идет | глагол в личной форме |
| ПРИЧАСТИЕ | идущий | причастие |
| ДЕЕПРИЧАСТИЕ | идя | деепричастие |
| ИНФИНИТИВ | идти | инфинитив |
| МС-ПРЕДК | нечего | местоимение-предикатив |
| МС-П | всякий | местоименное прилагательное |
| ЧИСЛ | восемь | числительное (количественное) |
| ЧИСЛ-П | восьмой | порядковое числительное |
| Н | круто | наречие |
| ПРЕДК | интересно | предикатив |
| ПРЕДЛ | под | предлог |
| СОЮЗ | и | союз |
| МЕЖД | ой | междометие |
| ЧАСТ | же, бы | частица |
| ВВОДН | конечно | вводное слово |
| КР_ПРИЛ | красива | краткое прилагательное |
| КР_ПРИЧАСТИЕ | построена | краткое причастие |
Ниже перечислены все используемые граммемы:
мр, жр, ср – мужской, женский, средний род;
од, но – одушевленность, неодушевленность;
ед, мн – единственное, множественное число;
им, рд, дт, вн, тв, пр, зв – падежи: именительный, родительный, дательный, винительный, творительный, предложный, звательный;
2 – обозначает второй родительный или второй предложный падежи;
св, нс – совершенный, несовершенный вид;
пе, нп – переходный, непереходный глагол;
дст, стр. – действительный, страдательный залог;
нст, прш, буд – настоящее, прошедшее, будущее время;
пвл – повелительная форма глагола;
1 л, 2 л, 3 л – первое, второе, третье лицо;
0 – неизменяемое.
кр – краткость (для прилагательных и причастий).
сравн – сравнительная форма (для прилагательных).
имя, фам, отч – имя, фамилия, отчество.
кач – качественное прилагательное.
вопр, относ – вопросительность и относительность (для наречий).
дфст – слово обычно не имеет множественного числа.
жарг, арх, проф – жаргонизм, архаизм, профессионализм.
безл – безличный глагол.
Данный метод проводит поиск основы слова в массиве base. Если словоформа найдена, то вызывается метод s_flexan для анализа окончания. Если основа не найдена, выполняются методы поиска ошибки (first_err, second_err, third_err, fifth_err).
Описание заголовка метода s_basean
int s_basean (char **base, const int b_nstr, const int b_nstb, char **flex, const int f_nstr, const int f_nstb, char **morf, const int m_nstr, const int m_nstb, int &l, char *s_word);
В данный метод передаются указатели на массивы основ, окончаний и морфем, а также указатели на полученное для анализа слово и длинна этого слова.
Возвращает метод 1 в случае удачного выполнения (была найдена хотя бы одна словоформа), и 0 в случае неудачного выполнения (ни одной словоформы не было найдено).
Данный метод вызывается из метода s_basean и проводит поиск окончания слова в массиве flex. Если окончание найдено, то вызывается метод s_mrf, для определения морфологических свойств слова.
Описание заголовка метода s_flexan:
void s_flexan (char **mas, const int str, const int stb, char *ok, const int a, char *w, char *s, int &id);
В данный метод переадются указатели на массив с окончаниями, его размерность, искомое окончание, номер строки с окончаниями, определённый в методе s_basean, и анализируемое слово.
Данный метод не возвращает никаких значений.
Данный метод проводит поиск набора дескрипторов (морфологическая характеристика слова), в соответствии с проведённым анализом в методах s_basean и s_flexan. Метод s_mrf вызывается из метода s_flexan в случае, если было найдено окончание, и связка основа + окончание даёт анализируемое слово.
Описание заголовка метода s_mrf:
void s_mrf (char **mas, const int str, const int stb, char *mr, char *en);
В данный метод передаются указатели на массив дескрипторов mrf, размерности этого массива, и строка содержащая морфологическое описание данного слова. Так как у одного слова может быть несколько морфологических характеристик, то данная строка может содержать несколько наборов дескрипторов.
Данный метод строит полное обратное отображение словоформы третьей категории ошибок. Метод последовательно удаляет букву из переданной словоформы.
Описание заголовка метода third_err
void first_err (char *s_word, char **ot, int &f, int q);
В данный метод передаётся полученное для анализа слово, и указатель на массив, в который будут передано множество полного обратного отображения словоформы. После построения данного множества, для каждого из обратного отображения вызывается метод s_basean и проводится попытка найти сгенерированную словоформу в словаре. Если словоформа найдена, дальнейшее выполнение останавливается и подсистема предлагает замену слова. Если словоформа не найдена то вызывается метод sec_err для поиска ошибки второй категории.
Данный метод строит полное обратное отображение словоформы по первой категории ошибок. Метод последовательно подставляет на каждое место в слове символ алфавита русского языка.
Описание заголовка метода fifth _err
void sec_err (char *s_word, char **ot, int &f, int q);
В данный метод передаётся полученное для анализа слово и указатель на массив, в который будут передано множество полного обратного отображения словоформы. После построения данного множества, для каждого из обратного отображения вызывается метод s_basean и проводится попытка найти сгенерированную словоформу в словаре. Если словоформа найдена, дальнейшее выполнение останавливается и подсистема предлагает замену слова. Если словоформа не найдена то считается, что для данной словоформы не удалось создать полное обратное отображение и данная словоформа помечается как не найденная в словаре.