poyee-data-warehouse/dw_base/spark/udf/enterprise/unique/ent_offline_udf_russia.py

#!/usr/bin/env /usr/bin/python3
# -*- coding:utf-8 -*-
import hashlib
# 企业库唯一性调整，离线数据udf
from dw_base.spark.udf.customs.common_clean import clean_company_name

escape_mapping = {
    """: '"',
    "&lt;": "<",
    "&gt;": ">",
    "&amp;": "&",
    "&apos;": "'"
}

rus_head = [
    'ООО',
    'АО',
    'ПАО',
    'ЗАО',
    'ИП',
    'Общество с ограниченной ответственностью',
    'Акционерное общество',
    'Публичное акционерное общество',
    'Закрытое акционерное общество',
    'Индивидуальный предприниматель'
]


def replace_escape_char(input_str):
    if not input_str:
        return None
    for key, value in escape_mapping.items():
        input_str = input_str.replace(key, value)
    return input_str


def generate_md5_hash(input_str: str):
    input_data = input_str.encode('utf-8')
    md5_hash = hashlib.md5()
    md5_hash.update(input_data)
    return md5_hash.hexdigest()


def generate_tid_rus(company_name: str,
                     business_number: str,
                     region: str) -> str or None:
    if not company_name:
        return None
    if business_number:
        input_str = business_number + 'AAA'
    else:
        if region:
            input_str = f"{company_name}-{region}BBB"
        else:
            input_str = company_name + 'CCC'
    return 'RUS' + generate_md5_hash(input_str)


def clean_company_name_extra(s: str) -> str or None:
    if s:
        # 去除前缀
        for prefix in rus_head:
            if s.startswith(prefix.upper()):
                s = s[len(prefix):]
                break
        # 去除字符串前后的空格
        s = s.strip()
        return s
    return None


def clean_company_name_rus(company_name: str) -> str or None:
    if company_name:
        replace_name = replace_escape_char(company_name)
        name = clean_company_name(replace_name)
        if name:
            name = clean_company_name_extra(name)
            return name
    return None


region_mapping = {
    'Нижегородская область': 'Нижегородская область',
    'Тамбовская область': 'Тамбовская область',
    'Саратовская область': 'Саратовская область',
    'Пермский край': 'Пермский край',
    'Кировская область': 'Кировская область',
    'Еврейская автономная область': 'Еврейская автономная область',
    'Херсонская область': None,
    'Красноярский край': 'Красноярский край',
    'Тюменская область': 'Тюменская область',
    'Липецкая область': 'Липецкая область',
    'Коми (Республика)': 'Республика Коми',
    'Владимирская область': 'Владимирская область',
    'Башкортостан (Республика)': 'Республика Башкортостан',
    'Санкт-Петербург': 'Город Санкт-Петербург',
    'Калининградская область': 'Калининградская область',
    'Бурятия (Республика)': 'Республика Бурятия',
    'Амурская область': 'Амурская область',
    'Камчатский край': 'Камчатский край',
    'Оренбургская область': 'Оренбургская область',
    'Севастополь': 'Севастополь',
    'Марий Эл (Республика)': 'Республика Марий Эл',
    'Астраханская область': 'Астраханская область',
    'Алтай (Республика)': 'Республика Алтай',
    'Ивановская область': 'Ивановская область',
    'Тульская область': 'Тульская область',
    'Мурманская область': 'Мурманская область',
    'Саха (Республика) (Якутия)': 'Республика Саха (Якутия)',
    'Чеченская Республика': 'Чеченская Республика',
    'Ленинградская область': 'Ленинградская область',
    'Луганская Народная Республика': None,
    'Челябинская область': 'Челябинская область',
    'Томская область': 'Томская область',
    'Мордовия (Республика)': 'Республика Мордовия',
    'Кабардино-Балкарская Республика': 'Кабардино-Балкарская Республика',
    'Республика Татарстан': 'Республика Татарстан',
    'Северная Осетия-Алания (Республика)': 'Республика Северная Осетия-Алания',
    'Тверская область': 'Тверская область',
    'Ярославская область': 'Ярославская область',
    'Иркутская область': 'Иркутская область',
    'Орловская область': 'Орловская область',
    'Рязанская область': 'Рязанская область',
    'Сахалинская область': 'Сахалинская область',
    'Волгоградская область': 'Волгоградская область',
    'Ставропольский край': 'Ставропольский край',
    'Псковская область': 'Псковская область',
    'Московская область': 'Московская область',
    'Магаданская область': 'Магаданская область',
    'Приморский край': 'Приморский край',
    'Хакасия (Республика)': 'Республика Хакасия',
    'Самарская область': 'Самарская область',
    'Карачаево-Черкесская Республика': 'Карачаево-Черкесская Республика',
    'Чувашская Республика-Чувашия': 'Чувашская Республика',
    'Смоленская область': 'Смоленская область',
    'Свердловская область': 'Свердловская область',
    'Ингушетия (Республика)': 'Республика Ингушетия',
    'Новгородская область': 'Новгородская область',
    'Ростовская область': 'Ростовская область',
    'Пензенская область': 'Пензенская область',
    'Вологодская область': 'Вологодская область',
    'Кемеровская область': 'Кемеровская область - Кузбасс',
    'Москва': 'Город Москва',
    'Курганская область': 'Курганская область',
    'Белгородская область': 'Белгородская область',
    'Курская область': 'Курская область',
    'Архангельская область': 'Архангельская область',
    'Ульяновская область': 'Ульяновская область',
    'Воронежская область': 'Воронежская область',
    'Брянская область': 'Брянская область',
    'Донецкая Народная Республика': None,
    'Республика Крым': 'Республика Крым',
    'Костромская область': 'Костромская область',
    'Дагестан (Республика)': 'Республика Дагестан',
    'Калужская область': 'Калужская область',
    'Запорожская область': None,
    'Забайкальский край': 'Забайкальский край',
    'Адыгея (Республика) (Адыгея)': 'Республика Адыгея',
    'Хабаровский край': 'Хабаровский край',
    'Чукотский автономный округ': 'Чукотский автономный округ',
    'Краснодарский край': 'Краснодарский край',
    'Алтайский край': 'Алтайский край',
    'Калмыкия (Республика)': 'Республика Калмыкия',
    'Омская область': 'Омская область',
    'Новосибирская область': 'Новосибирская область',
    'Байконур': 'Байконур',
    'Удмуртская Республика': 'Удмуртская Республика',
    'Тыва (Республика)': 'Республика Тыва',
    'Карелия (Республика)': 'Республика Карелия'
}


def get_standard_region(region: str) -> str or None:
    if not region:
        return None
    return region_mapping.get(region)


if __name__ == '__main__':
    name = 'Хакасия (Республика)'
    print(get_standard_region(name))
    pass