events_extract.ipynb- извлечение событий и сущностейrisks_extraction.ipynb- извлечение рисков
- APPOINTMENT (Назначение)
- RESIGNATION (Отставка)
- COURT (Суд)
- DEAL (Сделка)
- SANCTION (Санкция)
- Используются списки ключевых слов в виде корней и простых форм для каждого типа события
- Для каждого типа события компилируются паттерны, учитывающие:
- Границы слов (\b)
- Специфические азербайджанские символы (ə, ö, ü, ğ, ı, ç, ş)
- Разные грамматические формы (суффиксы [a-zəöüğiıçş]*)
- Регистронезависимость (re.IGNORECASE)
- Алгоритм извлечения:
- разделение текста на предложения с защитой специальных конструкций (числа с точкой, даты, время, аббревиатуры, инициалы)
- поиск целевых токенов в каждом предложении
- подсчет совпадений для каждого типа события
- выбор доминирующего типа (с учетом контекстных правил)
{'total_sentences': 10,
'event_sentences': 10,
'appointment_count': 2,
'resignation_count': 1,
'court_count': 2,
'deal_count': 3,
'sanction_count': 2,
'events': [{'sentence': 'M.Ə. Cəfərov 15.02.2024 tarixində yeni vəzifəyə təyin olundu və saat 10:30-dan etibarən işə başladı.',
'type': 'APPOINTMENT',
'appointment_tokens': ['vəzifə', 'təyin', 'işə', 'başla'],
'resignation_tokens': [],
'court_tokens': ['iş'],
'deal_tokens': [],
'sanction_tokens': ['təyin'],
'all_matches': {'APPOINTMENT': 4,
'RESIGNATION': 0,
'COURT': 1,
'DEAL': 0,
'SANCTION': 1}},
{'sentence': 'Şirkətin direktoru 25.000.00 manat maaşla 01.03.2024-cü ildə rəsmi vəzifəsinə başladı.',
'type': 'APPOINTMENT',
'appointment_tokens': ['vəzifə', 'başla'],
'resignation_tokens': [],
'court_tokens': [],
'deal_tokens': [],
'sanction_tokens': [],
'all_matches': {'APPOINTMENT': 2,
'RESIGNATION': 0,
'COURT': 0,
'DEAL': 0,
'SANCTION': 0}},
....
{'sentence': 'Ölkə 01.07.2024 tarixindən etibarən 15.75% idxal rüsumu və saat 18:00-dan etibarən ticarət məhdudiyyətləri elan etdi.',
'type': 'SANCTION',
'appointment_tokens': [],
'resignation_tokens': [],
'court_tokens': ['ticarət'],
'deal_tokens': ['idxal'],
'sanction_tokens': ['idxal', 'məhdudiyyət'],
'all_matches': {'APPOINTMENT': 0,
'RESIGNATION': 0,
'COURT': 1,
'DEAL': 1,
'SANCTION': 2}}]}
Модель: IsmatS/mbert-az-ner
Эта модель представляет собой дообученную версию mBERT (Multilingual BERT) для задачи распознавания именованных сущностей (NER) на азербайджанском языке.
Результаты оценки (Эпоха 3):
- Loss (потери): 0.253372
- Precision (точность): 0.704872
- Recall (полнота): 0.650684
- F1-score (F1-мера): 0.676695
- Accuracy (точность): 0.920898
Ссылка на Hugging Face (модель). Лицензия MIT.
Ссылка на Hugging Face (датасет)
Размер: 709 MB
Модель распознает следующие сущности:
- 0: O: Вне любой именованной сущности
- 1: PERSON: Имена людей
- 2: LOCATION: Географические местоположения, как созданные человеком, так и природные
- 3: ORGANISATION: Названия компаний, учреждений
- 4: DATE: Даты
- 5: TIME: Время
- 6: MONEY: Денежные суммы
- 7: PERCENTAGE: Процентные значения
- 8: FACILITY: Здания, аэропорты и т.д.
- 9: PRODUCT: Продукты и товары
- 10: EVENT: События и происшествия
- 11: ART: Произведения искусства, названия книг, песен
- 12: LAW: Юридические документы
- 13: LANGUAGE: Языки
- 14: GPE: Страны, города, штаты
- 15: NORP: Национальности или религиозные/политические группы
- 16: ORDINAL: Порядковые числительные
- 17: CARDINAL: Количественные числительные
- 18: DISEASE: Болезни и медицинские состояния
- 19: CONTACT: Контактная информация, например, номера телефонов, электронные письма
- 20: ADAGE: Пословицы, поговорки
- 21: QUANTITY: Измерения и количества
- 22: MISCELLANEOUS: Различные сущности
- 23: POSITION: Профессиональные или социальные должности
- 24: PROJECT: Названия проектов или программ
- Разделение текста на предложения с защитой специальных конструкций (числа с точкой, даты, время, аббревиатуры, инициалы)
- Переименование сущностей на выходе модели вида "LABEL_X" в их строковые значения
- Фильтрация по уверенности: возможность задавать минимальный порог уверенности модели
- Постепенная обработка: обработка текста предложение за предложением для стабильности
[{'entity_group': 'PERSON',
'score': np.float32(0.9271348),
'word': 'M',
'start': 0,
'end': 1,
'sentence_index': 0,
'sentence_text': 'M.Ə. Cəfərov 15.02.2024 tarixində yeni vəzifəyə təyin olundu və saat 10:30-dan etibarən işə başladı.',
'entity_type': 'PERSON'},
{'entity_group': 'O',
'score': np.float32(0.99571806),
'word': '.',
'start': 1,
'end': 2,
'sentence_index': 0,
'sentence_text': 'M.Ə. Cəfərov 15.02.2024 tarixində yeni vəzifəyə təyin olundu və saat 10:30-dan etibarən işə başladı.',
'entity_type': 'O'},
{'entity_group': 'PERSON',
'score': np.float32(0.8920228),
'word': 'Ə',
'start': 2,
'end': 3,
'sentence_index': 0,
'sentence_text': 'M.Ə. Cəfərov 15.02.2024 tarixində yeni vəzifəyə təyin olundu və saat 10:30-dan etibarən işə başladı.',
'entity_type': 'PERSON'},
{'entity_group': 'O',
'score': np.float32(0.9972549),
'word': '.',
'start': 3,
'end': 4,
'sentence_index': 0,
'sentence_text': 'M.Ə. Cəfərov 15.02.2024 tarixində yeni vəzifəyə təyin olundu və saat 10:30-dan etibarən işə başladı.',
'entity_type': 'O'},
{'entity_group': 'PERSON',
'score': np.float32(0.99003774),
'word': 'Cəfərov',
'start': 5,
'end': 12,
'sentence_index': 0,
'sentence_text': 'M.Ə. Cəfərov 15.02.2024 tarixində yeni vəzifəyə təyin olundu və saat 10:30-dan etibarən işə başladı.',
'entity_type': 'PERSON'},
{'entity_group': 'DATE',
'score': np.float32(0.98192143),
'word': '15',
'start': 13,
'end': 15,
'sentence_index': 0,
'sentence_text': 'M.Ə. Cəfərov 15.02.2024 tarixində yeni vəzifəyə təyin olundu və saat 10:30-dan etibarən işə başladı.',
'entity_type': 'DATE'},
....
{'entity_group': 'O',
'score': np.float32(0.9794472),
'word': '- dan etibarən ticarət məhdudiyyətləri elan etdi.',
'start': 69,
'end': 117,
'sentence_index': 9,
'sentence_text': 'Ölkə 01.07.2024 tarixindən etibarən 15.75% idxal rüsumu və saat 18:00-dan etibarən ticarət məhdudiyyətləri elan etdi.',
'entity_type': 'O'}]
Выполняется анализ новостных текстов на азербайджанском языке с целью выявления упоминаний о различных типах рисков, включая коррупцию, отмывание денег, мошенничество, санкции и другие финансовые и правовые риски.
Система распознает 8 основных типов рисков:
-
CORRUPTION - Коррупция
- Взятки, кумовство, злоупотребление служебным положением
-
MONEY_LAUNDERING - Отмывание денег
- Легализация преступных доходов, офшорные схемы
-
FRAUD - Мошенничество
- Обман, подделка документов, онлайн-мошенничество
-
SANCTIONS - Санкции
- Экономические ограничения, штрафы, запреты
-
LITIGATION - Судебные разбирательства
- Судебные процессы, иски, правовые споры
-
BANKRUPTCY - Банкротство
- Финансовая несостоятельность, ликвидация
-
CRIMINAL_ASSOCIATION - Криминальные связи
- Организованная преступность, незаконные группировки
-
CONFLICT_OF_INTEREST - Конфликт интересов
- Столкновение личных и служебных интересов
- разделение текста на предложения с защитой специальных конструкций (числа с точкой, даты, время, аббревиатуры, инициалы)
- поиск целевых токенов в каждом предложении
- подсчет целевых токенов в каждой группе риска - чем больше найдено токенов, тем выше риск
{'total_sentences': 20,
'risk_counts': {'CORRUPTION': 5,
'MONEY_LAUNDERING': 7,
'FRAUD': 10,
'SANCTIONS': 11,
'LITIGATION': 17,
'BANKRUPTCY': 8,
'CRIMINAL_ASSOCIATION': 17,
'CONFLICT_OF_INTEREST': 6},
'total_risk_tokens': 81,
'risk_sentences': {'CORRUPTION': ['Bakı şəhərində böyük korrupsiya skandalı üzə çıxdı.',
'Keçmiş nazir İ.K. Məmmədov rüşvət alma və pul yuma ittihamları ilə həbs edildi.',
'Polis əməliyyatı zamanı müxtəlif offşor hesablarda gizlədilmiş 50 milyon manat aşkar edildi.',
'Qanunsuz silah daşıma və qaçaqmalçılıq ittihamları da əlavə edildi.',
'Maraqlar konflikti səbəbindən bir neçə hakim özünü işdən kənarlaşdırdı.'],
'MONEY_LAUNDERING': ['Keçmiş nazir İ.K. Məmmədov rüşvət alma və pul yuma ittihamları ilə həbs edildi.',
'Prokurorluq onun 15 milyon manat məbləğində cinayət gəliri əldə etdiyini iddia edir.',
'Nazirin oğlu da fırıldaq və saxtakarlıq ittihamları ilə axtarışa verildi.',
'Polis əməliyyatı zamanı müxtəlif offşor hesablarda gizlədilmiş 50 milyon manat aşkar edildi.',
'Beynəlxalq sanksiyalar çərçivəsində ailəsinin aktivləri donduruldu.',
'Məhkəmə qərarı ilə onlara xaricdə səyahət qadağası qoyuldu.',
'Son olaraq, BMT Təhlükəsizlik Şurası bu işlə bağlı beynəlxalq istintaq aparılmasını tövsiyə etdi.'],
...
'CONFLICT_OF_INTEREST': ['O, onlayn investisiya sxemi vasitəsilə vətəndaşları aldadıb və 5 milyon dollar toplayıb.',
'Bank kartı aldadıcılığı işində də iştirak etdikləri məlum oldu.',
'Alacaklılar 30 milyon manat borc tələb edirlər.',
'Narkotik alveri şəbəkəsində iştirak etdikləri şübhəsi var.',
'Maraqlar konflikti səbəbindən bir neçə hakim özünü işdən kənarlaşdırdı.',
'Son olaraq, BMT Təhlükəsizlik Şurası bu işlə bağlı beynəlxalq istintaq aparılmasını tövsiyə etdi.']},
'sentences_with_risks': {'CORRUPTION': 5,
'MONEY_LAUNDERING': 7,
'FRAUD': 7,
'SANCTIONS': 5,
'LITIGATION': 9,
'BANKRUPTCY': 4,
'CRIMINAL_ASSOCIATION': 10,
'CONFLICT_OF_INTEREST': 6}}
