xFeedBeta
xChar
·2 years ago

摘要：知其然更要知其所以然。

平片假名转换

结论

片假名转平假名

def convert_kata_to_hira(input_text):
    process_texts = []
    for gana in input_text:
        if 12448 <= ord(gana) <= 12534:  # Match katakana characters
            hira = chr(ord(gana) - 96)  # Convert to hiragana
            process_texts.append(hira)
    output_text = "".join(process_texts)
    return output_text

平假名转片假名

def convert_hira_to_kata(input_text):
    process_texts = []
    for gana in input_text:
        if 12353 <= ord(gana) <= 12438:  # Match hiragana characters
            hira = chr(ord(gana) + 96)  # Convert to katakana
            process_texts.append(hira)
    output_text = "".join(process_texts)
    return output_text

平假名 Unicode

按 Unicode 组织提供的 Unicode 标准文件 U3040.pdf ，平假名的十进制范围是 12353-12447，十六进制范围是[\u3041-\u309f]（正则表达式的字符转义使用的是十六进制）。

CharacterDecimalHexadecimal
ぁ123533041
あ123543042
ぃ123553043
い123563044
ぅ123573045
う123583046
ぇ123593047
え123603048
ぉ123613049
お12362304A
か12363304B
が12364304C
き12365304D
ぎ12366304E
く12367304F
ぐ123683050
け123693051
げ123703052
こ123713053
ご123723054
さ123733055
ざ123743056
し123753057
じ123763058
す123773059
ず12378305A
せ12379305B
ぜ12380305C
そ12381305D
ぞ12382305E
た12383305F
だ123843060
ち123853061
ぢ123863062
っ123873063
つ123883064
づ123893065
て123903066
で123913067
と123923068
ど123933069
な12394306A
に12395306B
ぬ12396306C
ね12397306D
の12398306E
は12399306F
ば124003070
ぱ124013071
ひ124023072
び124033073
ぴ124043074
ふ124053075
ぶ124063076
ぷ124073077
へ124083078
べ124093079
ぺ12410307A
ほ12411307B
ぼ12412307C
ぽ12413307D
ま12414307E
み12415307F
む124163080
め124173081
も124183082
ゃ124193083
や124203084
ゅ124213085
ゆ124223086
ょ124233087
よ124243088
ら124253089
り12426308A
る12427308B
れ12428308C
ろ12429308D
ゎ12430308E
わ12431308F
ゐ124323090
ゑ124333091
を124343092
ん124353093
ゔ124363094
ゕ124373095
ゖ124383096
空124393097
空124403098
゙124413099
゚12442309A
゛12443309B
゜12444309C
ゝ12445309D
ゞ12446309E
ゟ12447309F

片假名 Unicode

按 U30A0.pdf，十六进制的范围是[\u30a0-\u30ff]，十进制范围是 12448-12543。

CharacterDecimalHexadecimal
゠1244830A0
ァ1244930A1
ア1245030A2
ィ1245130A3
イ1245230A4
ゥ1245330A5
ウ1245430A6
ェ1245530A7
エ1245630A8
ォ1245730A9
オ1245830AA
カ1245930AB
ガ1246030AC
キ1246130AD
ギ1246230AE
ク1246330AF
グ1246430B0
ケ1246530B1
ゲ1246630B2
コ1246730B3
ゴ1246830B4
サ1246930B5
ザ1247030B6
シ1247130B7
ジ1247230B8
ス1247330B9
ズ1247430BA
セ1247530BB
ゼ1247630BC
ソ1247730BD
ゾ1247830BE
タ1247930BF
ダ1248030C0
チ1248130C1
ヂ1248230C2
ッ1248330C3
ツ1248430C4
ヅ1248530C5
テ1248630C6
デ1248730C7
ト1248830C8
ド1248930C9
ナ1249030CA
ニ1249130CB
ヌ1249230CC
ネ1249330CD
ノ1249430CE
ハ1249530CF
バ1249630D0
パ1249730D1
ヒ1249830D2
ビ1249930D3
ピ1250030D4
フ1250130D5
ブ1250230D6
プ1250330D7
ヘ1250430D8
ベ1250530D9
ペ1250630DA
ホ1250730DB
ボ1250830DC
ポ1250930DD
マ1251030DE
ミ1251130DF
ム1251230E0
メ1251330E1
モ1251430E2
ャ1251530E3
ヤ1251630E4
ュ1251730E5
ユ1251830E6
ョ1251930E7
ヨ1252030E8
ラ1252130E9
リ1252230EA
ル1252330EB
レ1252430EC
ロ1252530ED
ヮ1252630EE
ワ1252730EF
ヰ1252830F0
ヱ1252930F1
ヲ1253030F2
ン1253130F3
ヴ1253230F4
ヵ1253330F5
ヶ1253430F6
ヷ1253530F7
ヸ1253630F8
ヹ1253730F9
ヺ1253830FA
・1253930FB
ー1254030FC
ヽ1254130FD
ヾ1254230FE
ヿ1254330FF

片假名语音扩展 Unicode

按 U31F0.pdf ，十进制范围：12784-12799，十六进制范围是[\u31f0-\u31ff]

P.S. 按 Unicode 官方的说明，这部分的假名用于「阿伊努语」，但我看不出这部分和上面的区别 233

CharacterDecimalHexadecimal
ㇰ1278431F0
ㇱ1278531F1
ㇲ1278631F2
ㇳ1278731F3
ㇴ1278831F4
ㇵ1278931F5
ㇶ1279031F6
ㇷ1279131F7
ㇸ1279231F8
ㇹ1279331F9
ㇺ1279431FA
ㇻ1279531FB
ㇼ1279631FC
ㇽ1279731FD
ㇾ1279831FE
ㇿ1279931FF

全半角假名转换

半角字符 Unicode

按 UFF00.pdf，日语半角字符的范围是 65381-65439，十六进制范围：[\uff65-\uff9f]。

CharacterDecimalHexadecimal
･65381FF65
ｦ65382FF66
ｧ65383FF67
ｨ65384FF68
ｩ65385FF69
ｪ65386FF6A
ｫ65387FF6B
ｬ65388FF6C
ｭ65389FF6D
ｮ65390FF6E
ｯ65391FF6F
ｰ65392FF70
ｱ65393FF71
ｲ65394FF72
ｳ65395FF73
ｴ65396FF74
ｵ65397FF75
ｶ65398FF76
ｷ65399FF77
ｸ65400FF78
ｹ65401FF79
ｺ65402FF7A
ｻ65403FF7B
ｼ65404FF7C
ｽ65405FF7D
ｾ65406FF7E
ｿ65407FF7F
ﾀ65408FF80
ﾁ65409FF81
ﾂ65410FF82
ﾃ65411FF83
ﾄ65412FF84
ﾅ65413FF85
ﾆ65414FF86
ﾇ65415FF87
ﾈ65416FF88
ﾉ65417FF89
ﾊ65418FF8A
ﾋ65419FF8B
ﾌ65420FF8C
ﾍ65421FF8D
ﾎ65422FF8E
ﾏ65423FF8F
ﾐ65424FF90
ﾑ65425FF91
ﾒ65426FF92
ﾓ65427FF93
ﾔ65428FF94
ﾕ65429FF95
ﾖ65430FF96
ﾗ65431FF97
ﾘ65432FF98
ﾙ65433FF99
ﾚ65434FF9A
ﾛ65435FF9B
ﾜ65436FF9C
ﾝ65437FF9D
ﾞ65438FF9E
ﾟ65439FF9F

注：第一个字符是半角的・。

观察上面的表格，可以注意到下面 2 点：

  1. 平假名没有半角假名（这一点可以和维基百科的半形假名相印证）
  2. 有部分平假名的半角假名是由 2 个字符构成，所以不可能像平片假名转换那样用hira = chr(int(ord(gana) - 96))轻松转换，而是要用字符串替换的方式。

所以，全半角假名的转换比平片假名的转换麻烦得多，个人建议使用第三方库。

mojimoji

如果想从全角转为半角，那么 mojimoji 可能是唯一的选择了。

import mojimoji
print mojimoji.zen_to_han(u'アイウａｂｃ０１２')
# ｱｲｳabc012
print mojimoji.zen_to_han(u'アイウａｂｃ０１２', kana=False)
# アイウabc012
print mojimoji.zen_to_han(u'アイウａｂｃ０１２', digit=False)
# ｱｲｳabc０１２
print mojimoji.zen_to_han(u'アイウａｂｃ０１２', ascii=False)
# ｱｲｳａｂｃ012

print mojimoji.han_to_zen(u'ｱｲｳabc012')
# アイウａｂｃ０１２
print mojimoji.han_to_zen(u'ｱｲｳabc012', kana=False)
# ｱｲｳａｂｃ０１２
print mojimoji.han_to_zen(u'ｱｲｳabc012', digit=False)
# アイウａｂｃ012
print mojimoji.han_to_zen(u'ｱｲｳabc012', ascii=False)
# アイウabc０１２

另外，按Pythonで半角・全角の変換を高速に行う提供的测评来看，mojimoji 也是速度最快的。

%%time
import mojimoji
import zenhan
import jctconv

s = u'アイオエオ０１２３４５' * 10

%time for n in range(1000000): mojimoji.zen_to_han(s)
>>> CPU times: user 3.90 s, sys: 0.03 s, total: 3.93 s Wall time: 3.97 s

%time for n in range(1000000): zenhan.z2h(s)
>>> CPU times: user 71.05 s, sys: 0.16 s, total: 71.22 s Wall time: 71.45 s

%time for n in range(1000000): jctconv.z2h(s)
>>> CPU times: user 19.75 s, sys: 0.06 s, total: 19.81 s Wall time: 19.86 s

unicodedata

考虑到更普通的需求其实就是半角转全角，所以 Python 内置的标准库unicodedata就已经够用了。

%%time
import unicodedata

input = "アイオエオ０１２３４５" * 10
for n in range(1000000):
    unicodedata.normalize("NFKC", input)

>>> CPU times: total: 11.5 s Wall time: 11.6 s

虽然是标准库，但转换速度不如上面提到的 mojimoji。

另外，按照 Python 官方文档的说法，还有NFC、NFD 、NFKD三种模式，这里不做过多解释其实是因为我也没搞懂啦 233

下面再提供一个测试用例：

import unicodedata

HAN_MOJI = "ｧｱｨｲｩｳｪｴｫｵｶｶﾞｷｷﾞｸｸﾞｹｹﾞｺｺﾞｻｻﾞｼｼﾞｽｽﾞｾｾﾞｿｿﾞﾀﾀﾞﾁﾁﾞｯﾂﾂﾞﾃﾃﾞﾄﾄﾞﾅﾆﾇﾈﾉﾊﾊﾞﾊﾟﾋﾋﾞﾋﾟﾌﾌﾞﾌﾟﾍﾍﾞﾍﾟﾎﾎﾞﾎﾟﾏﾐﾑﾒﾓｬﾔｭﾕｮﾖﾗﾘﾙﾚﾛﾜｦﾝｳﾞﾞﾟ"
ZEN_MOJI = "ァアィイゥウェエォオカガキギクグケゲコゴサザシジスズセゼソゾタダチヂッツヅテデトドナニヌネノハバパヒビピフブプヘベペホボポマミムメモャヤュユョヨラリルレロワヲンヴ゙゚"
if ZEN_MOJI == unicodedata.normalize("NFKC", HAN_MOJI):
    print("OK")

手写函数 half_to_fullwidth

前面提到「由于有部分平假名的半角假名是由 2 个字符构成，所以要想全半角的转换的话，得用用字符串替换的方式」，但本人实现后发现这种方式的性能还不如 unicodedata

def half_to_fullwidth(text):
    zenkaku_mapping = {
        "ｶ": "カ",
        "ｷ": "キ",
        "ｸ": "ク",
        "ｹ": "ケ",
        "ｺ": "コ",
        "ｻ": "サ",
        "ｼ": "シ",
        "ｽ": "ス",
        "ｾ": "セ",
        "ｿ": "ソ",
        "ﾀ": "タ",
        "ﾁ": "チ",
        "ﾂ": "ツ",
        "ﾃ": "テ",
        "ﾄ": "ト",
        "ﾅ": "ナ",
        "ﾆ": "ニ",
        "ﾇ": "ヌ",
        "ﾈ": "ネ",
        "ﾉ": "ノ",
        "ﾊ": "ハ",
        "ﾋ": "ヒ",
        "ﾌ": "フ",
        "ﾍ": "ヘ",
        "ﾎ": "ホ",
        "ﾏ": "マ",
        "ﾐ": "ミ",
        "ﾑ": "ム",
        "ﾒ": "メ",
        "ﾓ": "モ",
        "ﾔ": "ヤ",
        "ﾕ": "ユ",
        "ﾖ": "ヨ",
        "ﾗ": "ラ",
        "ﾘ": "リ",
        "ﾙ": "ル",
        "ﾚ": "レ",
        "ﾛ": "ロ",
        "ﾜ": "ワ",
        "ｦ": "ヲ",
        "ﾝ": "ン",
        "ｧ": "ァ",
        "ｨ": "ィ",
        "ｩ": "ゥ",
        "ｪ": "ェ",
        "ｫ": "ォ",
        "ｯ": "ッ",
        "ｬ": "ャ",
        "ｭ": "ュ",
        "ｮ": "ョ",
        "ｰ": "ー",
        "ﾞ": "゛",
        "ﾟ": "゜",
    }

    full_width_text = ""
    for char in text:
        if char in zenkaku_mapping:
            full_width_text += zenkaku_mapping[char]
        else:
            full_width_text += char

    return full_width_text

# 测试函数
text = "ｧｱｨｲｩｳｪｴｫｵｶｶﾞｷｷﾞｸｸﾞｹｹﾞｺｺﾞｻｻﾞｼｼﾞｽｽﾞｾｾﾞｿｿﾞﾀﾀﾞﾁﾁﾞｯﾂﾂﾞﾃﾃﾞﾄﾄﾞﾅﾆﾇﾈﾉﾊﾊﾞﾊﾟﾋﾋﾞﾋﾟﾌﾌﾞﾌﾟﾍﾍﾞﾍﾟﾎﾎﾞﾎﾟﾏﾐﾑﾒﾓｬﾔｭﾕｮﾖﾗﾘﾙﾚﾛﾜｦﾝｳﾞﾞﾟ"
converted_text = half_to_fullwidth(text)
print("转换后的全角假名文本：", converted_text)

测试下性能：

%%time
input = "アイオエオ０１２３４５" * 10
for n in range(1000000):
    half_to_fullwidth(input)

>>> CPU times: total: 25.2 s Wall time: 25.3 s

单就速度和功能来看，mojimoji 都是第一，但大多数时候只需要半角转全角这一个功能，所以我更推荐内置库 unicodedata 。另外提醒一下： mojimoji 需要 C++环境，打包时会比较麻烦。

其他

打印一定范围内的 Unicode 字符

def print_characters(start_unicode):
    for i in range(start_unicode, start_unicode + 100):
        print(i+" : "chr(i))

# 调用函数并传入起始 Unicode 码作为参数
start_unicode = int(input("请输入起始的 Unicode 码: "))
print_characters(start_unicode)

参考

Pythonで全角・半角を変換（mojimojiなど）：非常详细地解释了本文谈到的所有类型转换

Pythonで半角・全角の変換を高速に行う：mojimoji 作者亲自撰写的文档，比较了 3 个常见的半角转全角的第三方库的性能。

Unicode 15.0 Character Code Charts：从官网查看完整的码表。

Loading comments...
Crossbell Logo
Crossbell Chain
Ipfs Logo
IPFS
Source
Post on xlog