Macの濁点・半濁点問題とは？NFCとNFDの違いと対処法
WEBアプリケーションの開発時に、あるモデルのタイトルで検索する機能を作成していた際に起こった問題についてです。
起きたこと
検索フォームから入力された文字列に対して、タイトルが一致するモデルを返すような実装をし、動作確認。
アルファベットなどは問題なかったのですが、どうも濁点があるものについて検索がうまく動作しませんでした。
Macの濁点、半濁点問題
調べてみると、Macの濁点と半濁点問題というものを見つけました。
- Macの文字コードは「UTF-8-Mac」というNFDの変種が使われている。
- UTF-8-Macでは、濁点・半濁点文字、例えば「プ」を「フ」と「゜」、「ブ」を「フ」と「゛」の二文字を合成して表現する。
文字コードとは
Unicodeは「符号化文字集合」と言われ、世界中の文字を集め、それぞれの文字に対して番号をつけて管理したものです。
この符号化文字集合をコンピュータで扱うには、符号化形式に従って数値変換します。このときの符号化の方法として、UTF-8、UTF-16などがあります。
NFC/NFDとは
このUnicodeでは、1つの文字を表すのに複数の文字を組み合わせることができます。例えば「うぉ」とか「が」とかですね。
この際に、検索や置換のしやすさから合成した文字を一意な記号で表現したいため、正規化が行われます。
この正規化の方式がNFC、NFDになります。
- NFC: Normalization Form Canonical Composition(合成済の文字)
- NFD: Normalization From Canonical Decomposition(複数文字を結合した文字列)
Macのファイルシステム HFS Plus
MacではHFS+（Mac OS 拡張フォーマット）というファイルシステムが使用されています。
このHFS+では、NFDに正規化されて文字が処理されるのです。
これが原因で濁点の場合に引っかかったり引っかからなかったりする場合があるようです。
日本語の名前で検索する場合には、検索フォームから送られる文字列とファイル名を正規化してから照合する必要がありそうでした。
参考
シナ「プ」スで困った話～Macの濁点、半濁点問題 - シナプス技術者ブログ
田畑2回目です。よろしくお願いします。 先日業務中に困ってしまったMacの濁点、半濁点問題についてお話ししたいと思います。 仕事環境概要 起きたこと 試してみたこと Macの濁点、半濁点問題 シナフスだったら… 仕事環境概要 現在WindowsとMacを二台使っています。 Windows(Windows10)はサイボウズなどの社内との情報のやり取りや、ExcelやWordなどを使う作業などに使っています。 Mac（macOS Mojave)ではVScodeやAdobeXDやIllustratorなどを使ってサイトの運用を行っています。そしてターミナルでgitを使ってファイルのバージョン管理を行…
Macでファイル名をコピペすると濁点と半濁点がおかしくなる - Qiita
2018-01-04 追記 PDFからコピペした時など、エディタで普通に変換したくなって試していたところ、もっとシンプルにできました。 「選択されたテキストを出力で置き換える」が便利です。 概要 Macでファイル名をコピペすると濁点と半濁点がおかしくなる。（"パ" -...
NFCとNFDに気をつける - Qiita
自分のサイト(AAHub)で起きた問題の備忘録的内容です。NFCとNFDについてです。 NFCとNFDについては以下の文字列をどこかのtextareaに貼り付けてみてみてください。 NFDと書かれた方は「ギ」がキと濁点の組み合わせになっており、例えばバックスペースで削除する...
文字コードとは？~UTF-8はパソコンの世界共通語~｜データ分析用語を解説 - GiXo Ltd.
本記事は、株式会社ギックスの運営していた分析情報サイト graffe/グラーフ より移設されました（2019/7/1） Unicode、ASCIIコード、Shift-JI...
Mac OS X の NFD 問題での対策諸々 - Qiita
おさらい。 ∥ Unicode正規化 - Wikipedia 正規化形式 NFC: Normalization Form Canonical Compression | 文字に何がくっついていようと、組み合わせて作られた文字であろうと、「一文字」は「一文字」じゃ。圧縮形...
ja.wikipedia.org/wiki/HFS_Plus
Python で Unicode 正規化 NFC/NFD の文字列を扱う - forest book
先日、ビジネスパーソン向けの Python 本を執筆したことを書きました。 t2y.hatenablog.jp 本稿では本書のことを「できるPy」と呼びます。 Amazon でいくつかカスタマーレビューもいただいて次のコメントをみつけました。 python3.7 対応ということで、pathlib を使ってる点が（古いpython は切り捨てる！的なところは）潔いと言えば潔いし、日本語のファイル名にも気を配っている記述はオライリーに期待するのは酷なところもある。でもこの本でもNFD問題は全くの記述無し。だめだろ、それじゃ。 Amazon CAPTCHA まさに仰る通りです。執筆時にそのことに気づ…
記事の更新をメールで受け取る
質問・リクエストを送る
記事についての質問や、取り上げてほしいテーマがあればお気軽にどうぞ。いただいた質問はブログ記事として回答し、Q&Aページで公開することがあります。