Skip to content

About

Извлечение событий, сущностей и рисков из азербайджанского текста.

Resources

Stars

0 stars

Watchers

0 watching

Forks

Latest commit

 

History

9 Commits

Folders and files

Repository files navigation

Извлечение событий, сущностей и рисков из азербайджанского текста

  • events_extract.ipynb - извлечение событий и сущностей
  • risks_extraction.ipynb - извлечение рисков

Схема работы

Описание

Этап 1 - Извлечение событий

  • APPOINTMENT (Назначение)
  • RESIGNATION (Отставка)
  • COURT (Суд)
  • DEAL (Сделка)
  • SANCTION (Санкция)

Особенности решения

  • Используются списки ключевых слов в виде корней и простых форм для каждого типа события
  • Для каждого типа события компилируются паттерны, учитывающие:
    • Границы слов (\b)
    • Специфические азербайджанские символы (ə, ö, ü, ğ, ı, ç, ş)
    • Разные грамматические формы (суффиксы [a-zəöüğiıçş]*)
    • Регистронезависимость (re.IGNORECASE)
  • Алгоритм извлечения:
    • разделение текста на предложения с защитой специальных конструкций (числа с точкой, даты, время, аббревиатуры, инициалы)
    • поиск целевых токенов в каждом предложении
    • подсчет совпадений для каждого типа события
    • выбор доминирующего типа (с учетом контекстных правил)

Пример выхода (фрагмент)

{'total_sentences': 10,
 'event_sentences': 10,
 'appointment_count': 2,
 'resignation_count': 1,
 'court_count': 2,
 'deal_count': 3,
 'sanction_count': 2,
 'events': [{'sentence': 'M.Ə. Cəfərov 15.02.2024 tarixində yeni vəzifəyə təyin olundu və saat 10:30-dan etibarən işə başladı.',
   'type': 'APPOINTMENT',
   'appointment_tokens': ['vəzifə', 'təyin', 'işə', 'başla'],
   'resignation_tokens': [],
   'court_tokens': ['iş'],
   'deal_tokens': [],
   'sanction_tokens': ['təyin'],
   'all_matches': {'APPOINTMENT': 4,
    'RESIGNATION': 0,
    'COURT': 1,
    'DEAL': 0,
    'SANCTION': 1}},
  {'sentence': 'Şirkətin direktoru 25.000.00 manat maaşla 01.03.2024-cü ildə rəsmi vəzifəsinə başladı.',
   'type': 'APPOINTMENT',
   'appointment_tokens': ['vəzifə', 'başla'],
   'resignation_tokens': [],
   'court_tokens': [],
   'deal_tokens': [],
   'sanction_tokens': [],
   'all_matches': {'APPOINTMENT': 2,
    'RESIGNATION': 0,
    'COURT': 0,
    'DEAL': 0,
    'SANCTION': 0}}, 

    ....

{'sentence': 'Ölkə 01.07.2024 tarixindən etibarən 15.75% idxal rüsumu və saat 18:00-dan etibarən ticarət məhdudiyyətləri elan etdi.',
   'type': 'SANCTION',
   'appointment_tokens': [],
   'resignation_tokens': [],
   'court_tokens': ['ticarət'],
   'deal_tokens': ['idxal'],
   'sanction_tokens': ['idxal', 'məhdudiyyət'],
   'all_matches': {'APPOINTMENT': 0,
    'RESIGNATION': 0,
    'COURT': 1,
    'DEAL': 1,
    'SANCTION': 2}}]}

Этап 2 - Извлечение сущностей

Модель: IsmatS/mbert-az-ner
Эта модель представляет собой дообученную версию mBERT (Multilingual BERT) для задачи распознавания именованных сущностей (NER) на азербайджанском языке.

Метрики производительности (представлены авторами)

Результаты оценки (Эпоха 3):

  • Loss (потери): 0.253372
  • Precision (точность): 0.704872
  • Recall (полнота): 0.650684
  • F1-score (F1-мера): 0.676695
  • Accuracy (точность): 0.920898

Ссылка на Hugging Face (модель). Лицензия MIT.
Ссылка на Hugging Face (датасет)
Размер: 709 MB

Типы сущностей

Модель распознает следующие сущности:

  • 0: O: Вне любой именованной сущности
  • 1: PERSON: Имена людей
  • 2: LOCATION: Географические местоположения, как созданные человеком, так и природные
  • 3: ORGANISATION: Названия компаний, учреждений
  • 4: DATE: Даты
  • 5: TIME: Время
  • 6: MONEY: Денежные суммы
  • 7: PERCENTAGE: Процентные значения
  • 8: FACILITY: Здания, аэропорты и т.д.
  • 9: PRODUCT: Продукты и товары
  • 10: EVENT: События и происшествия
  • 11: ART: Произведения искусства, названия книг, песен
  • 12: LAW: Юридические документы
  • 13: LANGUAGE: Языки
  • 14: GPE: Страны, города, штаты
  • 15: NORP: Национальности или религиозные/политические группы
  • 16: ORDINAL: Порядковые числительные
  • 17: CARDINAL: Количественные числительные
  • 18: DISEASE: Болезни и медицинские состояния
  • 19: CONTACT: Контактная информация, например, номера телефонов, электронные письма
  • 20: ADAGE: Пословицы, поговорки
  • 21: QUANTITY: Измерения и количества
  • 22: MISCELLANEOUS: Различные сущности
  • 23: POSITION: Профессиональные или социальные должности
  • 24: PROJECT: Названия проектов или программ

Особенности реализации

  • Разделение текста на предложения с защитой специальных конструкций (числа с точкой, даты, время, аббревиатуры, инициалы)
  • Переименование сущностей на выходе модели вида "LABEL_X" в их строковые значения
  • Фильтрация по уверенности: возможность задавать минимальный порог уверенности модели
  • Постепенная обработка: обработка текста предложение за предложением для стабильности

Пример выхода (фрагмент, после переименования сущностей)

[{'entity_group': 'PERSON',
  'score': np.float32(0.9271348),
  'word': 'M',
  'start': 0,
  'end': 1,
  'sentence_index': 0,
  'sentence_text': 'M.Ə. Cəfərov 15.02.2024 tarixində yeni vəzifəyə təyin olundu və saat 10:30-dan etibarən işə başladı.',
  'entity_type': 'PERSON'},
 {'entity_group': 'O',
  'score': np.float32(0.99571806),
  'word': '.',
  'start': 1,
  'end': 2,
  'sentence_index': 0,
  'sentence_text': 'M.Ə. Cəfərov 15.02.2024 tarixində yeni vəzifəyə təyin olundu və saat 10:30-dan etibarən işə başladı.',
  'entity_type': 'O'},
 {'entity_group': 'PERSON',
  'score': np.float32(0.8920228),
  'word': 'Ə',
  'start': 2,
  'end': 3,
  'sentence_index': 0,
  'sentence_text': 'M.Ə. Cəfərov 15.02.2024 tarixində yeni vəzifəyə təyin olundu və saat 10:30-dan etibarən işə başladı.',
  'entity_type': 'PERSON'},
 {'entity_group': 'O',
  'score': np.float32(0.9972549),
  'word': '.',
  'start': 3,
  'end': 4,
  'sentence_index': 0,
  'sentence_text': 'M.Ə. Cəfərov 15.02.2024 tarixində yeni vəzifəyə təyin olundu və saat 10:30-dan etibarən işə başladı.',
  'entity_type': 'O'},
 {'entity_group': 'PERSON',
  'score': np.float32(0.99003774),
  'word': 'Cəfərov',
  'start': 5,
  'end': 12,
  'sentence_index': 0,
  'sentence_text': 'M.Ə. Cəfərov 15.02.2024 tarixində yeni vəzifəyə təyin olundu və saat 10:30-dan etibarən işə başladı.',
  'entity_type': 'PERSON'},
 {'entity_group': 'DATE',
  'score': np.float32(0.98192143),
  'word': '15',
  'start': 13,
  'end': 15,
  'sentence_index': 0,
  'sentence_text': 'M.Ə. Cəfərov 15.02.2024 tarixində yeni vəzifəyə təyin olundu və saat 10:30-dan etibarən işə başladı.',
  'entity_type': 'DATE'},

    ....
    
{'entity_group': 'O',
  'score': np.float32(0.9794472),
  'word': '- dan etibarən ticarət məhdudiyyətləri elan etdi.',
  'start': 69,
  'end': 117,
  'sentence_index': 9,
  'sentence_text': 'Ölkə 01.07.2024 tarixindən etibarən 15.75% idxal rüsumu və saat 18:00-dan etibarən ticarət məhdudiyyətləri elan etdi.',
  'entity_type': 'O'}]

Этап 3 - Извлечение рисков

Выполняется анализ новостных текстов на азербайджанском языке с целью выявления упоминаний о различных типах рисков, включая коррупцию, отмывание денег, мошенничество, санкции и другие финансовые и правовые риски.

Типы рисков

Система распознает 8 основных типов рисков:

  1. CORRUPTION - Коррупция

    • Взятки, кумовство, злоупотребление служебным положением
  2. MONEY_LAUNDERING - Отмывание денег

    • Легализация преступных доходов, офшорные схемы
  3. FRAUD - Мошенничество

    • Обман, подделка документов, онлайн-мошенничество
  4. SANCTIONS - Санкции

    • Экономические ограничения, штрафы, запреты
  5. LITIGATION - Судебные разбирательства

    • Судебные процессы, иски, правовые споры
  6. BANKRUPTCY - Банкротство

    • Финансовая несостоятельность, ликвидация
  7. CRIMINAL_ASSOCIATION - Криминальные связи

    • Организованная преступность, незаконные группировки
  8. CONFLICT_OF_INTEREST - Конфликт интересов

    • Столкновение личных и служебных интересов

Особенности реализации

  • разделение текста на предложения с защитой специальных конструкций (числа с точкой, даты, время, аббревиатуры, инициалы)
  • поиск целевых токенов в каждом предложении
  • подсчет целевых токенов в каждой группе риска - чем больше найдено токенов, тем выше риск

Пример выхода (фрагмент)

{'total_sentences': 20,
 'risk_counts': {'CORRUPTION': 5,
  'MONEY_LAUNDERING': 7,
  'FRAUD': 10,
  'SANCTIONS': 11,
  'LITIGATION': 17,
  'BANKRUPTCY': 8,
  'CRIMINAL_ASSOCIATION': 17,
  'CONFLICT_OF_INTEREST': 6},
 'total_risk_tokens': 81,
 'risk_sentences': {'CORRUPTION': ['Bakı şəhərində böyük korrupsiya skandalı üzə çıxdı.',
   'Keçmiş nazir İ.K. Məmmədov rüşvət alma və pul yuma ittihamları ilə həbs edildi.',
   'Polis əməliyyatı zamanı müxtəlif offşor hesablarda gizlədilmiş 50 milyon manat aşkar edildi.',
   'Qanunsuz silah daşıma və qaçaqmalçılıq ittihamları da əlavə edildi.',
   'Maraqlar konflikti səbəbindən bir neçə hakim özünü işdən kənarlaşdırdı.'],
  'MONEY_LAUNDERING': ['Keçmiş nazir İ.K. Məmmədov rüşvət alma və pul yuma ittihamları ilə həbs edildi.',
   'Prokurorluq onun 15 milyon manat məbləğində cinayət gəliri əldə etdiyini iddia edir.',
   'Nazirin oğlu da fırıldaq və saxtakarlıq ittihamları ilə axtarışa verildi.',
   'Polis əməliyyatı zamanı müxtəlif offşor hesablarda gizlədilmiş 50 milyon manat aşkar edildi.',
   'Beynəlxalq sanksiyalar çərçivəsində ailəsinin aktivləri donduruldu.',
   'Məhkəmə qərarı ilə onlara xaricdə səyahət qadağası qoyuldu.',
   'Son olaraq, BMT Təhlükəsizlik Şurası bu işlə bağlı beynəlxalq istintaq aparılmasını tövsiyə etdi.'],
  
...

  'CONFLICT_OF_INTEREST': ['O, onlayn investisiya sxemi vasitəsilə vətəndaşları aldadıb və 5 milyon dollar toplayıb.',
   'Bank kartı aldadıcılığı işində də iştirak etdikləri məlum oldu.',
   'Alacaklılar 30 milyon manat borc tələb edirlər.',
   'Narkotik alveri şəbəkəsində iştirak etdikləri şübhəsi var.',
   'Maraqlar konflikti səbəbindən bir neçə hakim özünü işdən kənarlaşdırdı.',
   'Son olaraq, BMT Təhlükəsizlik Şurası bu işlə bağlı beynəlxalq istintaq aparılmasını tövsiyə etdi.']},
 'sentences_with_risks': {'CORRUPTION': 5,
  'MONEY_LAUNDERING': 7,
  'FRAUD': 7,
  'SANCTIONS': 5,
  'LITIGATION': 9,
  'BANKRUPTCY': 4,
  'CRIMINAL_ASSOCIATION': 10,
  'CONFLICT_OF_INTEREST': 6}}

About

Извлечение событий, сущностей и рисков из азербайджанского текста.

Resources

Stars

0 stars

Watchers

0 watching

Forks

Releases

Packages

Contributors

Languages