付録I.2　文字列データの扱い

(1)　文字の長さ

入力データの文字コード（エンコード）の種別によって，マルチバイト文字の1文字の長さは異なります。キー・項目の属性ごとの1文字の長さは，次の表のとおりです。

• 属性コード「w（ワイド文字）」，「u（マルチバイト文字）」および「v（マルチバイト文字）」は，テキストファイルおよびCSVファイルだけで指定できます。

• 属性コード「w」は，UCS-2およびUTF-16を1文字2バイト，UCS-4，およびUTF-32を1文字4バイトで扱う属性です。UCS-2，UCS-4，UTF-16，およびUTF-32以外のエンコードはワイド文字ではないので，文字の最小構成バイトの1文字1バイトとして扱います。

• 属性コード「w」は，サロゲートペア文字を2文字（2文字×2バイト）で扱います。

• 属性コード「u」および「v」は，入力ファイルのエンコード方式に従って，1文字nバイトの可変長で扱います。ただし，ASCII，UCS-2，UCS-4，およびUTF-32は固定長で扱います。

• 属性コード「u」および「v」は，UTF-16のサロゲートペア文字を1文字（4バイト）で扱います。

• 属性コード「u」および「v」は，UnicodeのVS（Variation Selector，異体字セレクタ）を文字数に数えません。

• 属性コード「u」は，UnicodeのIVS（Ideographic Variation Sequence）の異体字を同じ文字として扱います。属性コード「v」は，UnicodeのIVSの異体字を異なる文字として扱います。

(2)　文字属性コードの特徴

文字データには，1バイトで比較する「c，j，q」，ワイド文字で比較する「w」，マルチバイトの文字単位の比較をする「u」および「v」の3種類の属性コードを用意しています。

「c」が最も処理効率が高く，「j，q」→「w」→「u，v」の順に処理効率が低下します。キー・項目データを構成する文字コードを確認し，最適な属性コードを指定してください。

• 属性コード「c」は，文字構成やエンディアンを考慮しないので，ASCII，JIS8単位コード，UCS-2，UCS-4などの固定長の文字コードの入力データに最適です。big endianのUCS-2，little endianのUCS-2とUCS-4の場合は，キー・項目範囲の入力データがASCII対応コード（英数字）だけで構成されていることが条件です。

• 属性コード「j」は，EBCDIKコードの体系に従った並び順にしたい場合に，EBCDIKコード比較オプション機能（-cmdopt EBCJ，EBCE）と一緒に使用します。EBCDIKコード比較オプション機能を指定していない場合は，属性「c」と同じです。

• 属性コード「q」は，JIS8単位コード体系以外の並び順にしたい場合に，文字順序変更機能（-altseqパラメタ）と一緒に使用します。

• 属性コード「w」は，ワイド文字のエンディアン正規化を実施するので，little endianのUCS-2，UCS-4，UTF-32の入力データに最適です。特に，キー・項目範囲の入力データが日本語などのASCII対応コード以外で構成されている場合，正しく比較するためには「w」を使用しなければなりません。

• 属性コード「u」と「v」は，文字構成を考慮した文字単位の比較を行うため，SJIS，EUC-JP，EUC-HJ，UTF-8，UTF-16などの，可変長の文字コードの入力データに最適です。特にUTF-16のサロゲートペア文字を1文字として扱いたい場合は「u」または「v」を使用しなければなりません。

• 属性コード「u」は，UnicodeのIVS（Ideographic Variation Sequence）の異体字を同じ文字として扱います。逆に，属性コード「v」は，UnicodeのIVSの異体字を異なる文字として扱います。Unicode以外のエンコードの場合，またはUnicodeのIVSがない場合，属性コード「u」と「v」の違いはありません。IVSについては，「付録I.2(6)　IVS対応」を参照してください。

(3)　キー・項目の開始位置と長さの指定

(4)　マルチバイト文字の端数処理

(5)　ソート結果例

入力データのエンコードと属性コードによって，ソート結果が異なる例を次に示します。

（ソート結果）

【例1】属性コード「c」のソート結果

入力レコード番号	入力キーデータ				ソート結果
	+0	+1	+2	+3
1	74	00	6F	00	2
2	84	FF	8B	FF	3
3	DB	98	5A	9B	4
4	67	D8	49	DE	1

• キー「c+0-4（キー位置0バイト目，キー長4バイト）」を指定した場合のソート例です。

• 属性コード「c」はバイト単位で比較します。

• 入力データのエンコードに「UCS-2LE」または「UTF-16LE」のどちらを指定しても，ソート結果は変わりません。

【例2】属性コード「j」のソート結果

入力レコード番号	入力キーデータ				EBCDIK変換※				ソート結果
	+0	+1	+2	+3	+0	+1	+2	+3
1	74	00	6F	00	8B	00	75	00	2
2	84	FF	8B	FF	FF	FF	FF	FF	4
3	DB	98	5A	9B	BB	FF	E9	FF	3
4	67	D8	49	DE	67	AE	C9	BE	1

注※

EBCDIKコード比較機能「-cmdopt EBCJ」オプションの指定あり。

• キー「j+0-4（キー位置0バイト目，キー長4バイト）」を指定した場合のソート例です。

• 属性コード「j」はバイト単位で比較します。

• 正しくEBCDIK変換できるのは，ASCII対応文字の1番レコードだけです。

• 入力データのエンコードに「UCS-2LE」または「UTF-16LE」のどちらを指定しても，ソート結果は変わりません。

【例3】属性コード「w」のソート結果

入力レコード番号	入力キーデータ		Unicode比較		ソート結果
	+0〜1	+2〜3	1文字	2文字
1	7400	6F00	U+0074	U+006F	1
2	84FF	8BFF	U+FF84	U+FF8B	4
3	DB98	5A9B	U+98DB	U+9B5A	2
4	67D8	49DE	U+D867	U+DE49	3

• キー「w+0-4（キー位置0バイト目，キー長4バイト）」を指定した場合のソート例です。

• 属性コード「w」は文字単位で比較します。

• UCS-2の最小構成バイトは2バイトなので，比較文字数は「4÷2＝2文字」です。

• UCS-2では，4番レコードのサロゲートペア文字「」を2文字として扱います。

• 入力データのエンコードに「UCS-2LE」または「UTF-16LE」のどちらを指定しても，ソート結果は変わりません。

【例4】属性コード「u」のソート結果（codetype=UCS-2LE指定）

入力レコード番号	入力キーデータ				Unicode比較				ソート結果
	1文字	2文字	3文字	4文字	1文字	2文字	3文字	4文字
1	7400	6F00	6200	6900	U+0074	U+006F	U+0062	U+0069	1
2	84FF	8BFF	9EFF	73FF	U+FF84	U+FF8B	U+FF9E	U+FF73	4
3	DB98	5A9B	−	−	U+98DB	U+9B5A	(U+0020)	(U+0020)	2
4	67D8	49DE	−	−	U+D867	U+DE49	(U+0020)	(U+0020)	3

（凡例）

−：該当しません。

• キー「u+0-4（キー位置0バイト目，キー長4文字）」を指定した場合のソート例です。

• 属性コード「u」は文字単位で比較します。

• UCS-2では，4番レコードのサロゲートペア文字「」を2文字として扱います。

• 3番と4番レコードのキーデータは2文字分のデータが入力されたと見なし，不足分に空白（U+0020）を仮定します。

• 属性コード「w」と同じソート結果となります。

【例5】属性コード「u」のソート結果（codetype=UTF-16LE指定）

入力レコード番号	入力キーデータ				Unicode比較				ソート結果
	1文字	2文字	3文字	4文字	1文字	2文字	3文字	4文字
1	7400	6F00	6200	6900	U+0074	U+006F	U+0062	U+0069	1
2	84FF	8BFF	9EFF	73FF	U+FF84	U+FF8B	U+FF9E	U+FF73	3
3	DB98	5A9B	−	−	U+98DB	U+9B5A	(U+0020)	(U+0020)	2
4	67D8 49DE	−	−	−	U+29E49	(U+0020)	(U+0020)	(U+0020)	4

（凡例）

−：該当しません。

• キー「u+0-4（キー位置0バイト目，キー長4文字）」を指定した場合のソート例です。

• 属性コード「u」は文字単位で比較します。

• UTF-16では，4番レコードのサロゲートペア文字「」を1文字として扱います。

• 3番レコードのキーデータは2文字，4番レコードのキーデータは1文字分のデータが入力されたと見なし，不足分に空白（0x20）を仮定します。

図I‒8　UTF-8文字（codetype=UTF-8）の例

（ソート結果）

【例1】属性コード「c」のソート結果

入力レコード番号	入力キーデータ				ソート結果
	+0	+1	+2	+3
1	74	6F	62	69	1
2	EF	BE	84	EF	3
3	E9	A3	9B	E9	2
4	F0	A9	B9	89	4

• キー「c+0-4（キー位置0バイト目，キー長4バイト）」を指定した場合のソート例です。

• 属性コード「c」はバイト単位で比較します。

【例2】属性コード「j」のソート結果

入力レコード番号	入力キーデータ				EBCDIK変換※				ソート結果
	+0	+1	+2	+3	+0	+1	+2	+3
1	74	6F	62	69	8B	75	62	69	1
2	EF	BE	84	EF	FF	8F	FF	FF	4
3	E9	A3	9B	E9	FF	43	FF	FF	2
4	F0	A9	B9	89	FF	49	89	FF	3

注※

EBCDIKコード比較機能「-cmdopt EBCJ」オプションの指定あり。

• キー「j+0-4（キー位置0バイト目，キー長4バイト）」を指定した場合のソート例です。

• 属性コード「j」はバイト単位で比較します。

• 正しくEBCDIK変換できるのは，ASCII対応文字の1番レコードだけです。

【例3】属性コード「w」のソート結果

入力レコード番号	入力キーデータ				ソート結果
	+0	+1	+2	+3
1	74	6F	62	69	1
2	EF	BE	84	(20)	3
3	E9	A3	9B	(20)	2
4	F0	A9	B9	89	4

• キー「w+0-4（キー位置0バイト目，キー長4バイト）」を指定した場合のソート例です。

• UTF-8に指定した属性コード「w」はバイト単位で比較します。また，途中文字を空白（0x20）に置き換える端数処理を実行します。

• 2番レコードおよび3番レコードのキーデータは2文字目の途中までなので，2文字目を空白に置き換えます。

【例4】属性コード「u」のソート結果

入力 レコード 番号	入力キーデータ				Unicode比較				ソート結果
	1文字	2文字	3文字	4文字	1文字	2文字	3文字	4文字
1	74	6F	62	69	U+0074	U+006F	U+0062	U+0069	1
2	EFBE84	EFBE8B	EFBE9E	EFBDB3	U+FF84	U+FF8B	U+FF9E	U+FF73	3
3	E9A39B	E9AD9A	−	−	U+98DB	U+9B5A	(U+0020)	(U+0020)	2
4	F0A9B989	−	−	−	U+29E49	(U+0020)	(U+0020)	(U+0020)	4

（凡例）−：該当しません。

• キー「u+0-4（キー位置0バイト目，キー長4文字）」を指定した場合のソート例です。

• 3番レコードのキーデータは2文字，4番レコードのキーデータは1文字分のデータが入力されたと見なし，不足分に空白（U+0020）を仮定します。

図I‒9　日本語EUC文字（codetype=EUC-JP）の例

（ソート結果）

【例1】属性コード「c」のソート結果

入力レコード番号	入力キーデータ					ソート結果
	+0	+1	+2	+3	+4
1	74	6F	62	69	75	1
2	8E	C4	8E	CB	8E	2
3	C8	F4	B5	FB	(00)※	4
4	8F	FD	DD	(00)※	(00)※	3

注※

キー位置チェック緩和機能「-cmdopt POSNOCHK」オプションの指定あり。

• キー「c+0-5（キー位置0バイト目，キー長5バイト）」を指定した場合のソート例です。

• 属性コード「c」はバイト単位で比較します。

• キー位置チェック緩和機能の指定があると，キーデータが不足していてもエラーにしません。3番レコードおよび4番レコードの不足バイトにNULL値（0x00）を仮定します。

【例2】属性コード「j」のソート結果

入力レコード番号	入力キーデータ					EBCDIK変換※2					ソート結果
	+0	+1	+2	+3	+4	+0	+1	+2	+3	+4
1	74	6F	62	69	75	8B	75	62	69	9B	1
2	8E	C4	8E	CB	8E	FF	95	FF	9E	FF	3
3	C8	F4	B5	FB	(00)※1	99	FF	85	FF	00	2
4	8F	FD	DD	(00)※1	(00)※1	FF	FF	BD	00	00	4

注※1

キー位置チェック緩和機能「-cmdopt POSNOCHK」オプションの指定あり。

注※2

EBCDIKコード比較機能「-cmdopt EBCJ」オプションの指定あり。

• キー「j+0-5（キー位置0バイト目，キー長5バイト）」を指定した場合のソート例です。

• 属性コード「j」はバイト単位で比較します。

• キー位置チェック緩和機能の指定があると，キーデータが不足していてもエラーにしません。3番レコードおよび4番レコードの不足分にNULL値（0x00）を仮定します。

• 正しくEBCDIK変換できるのは，ASCII対応文字の1番レコードだけです。

【例3】属性コード「w」のソート結果

入力レコード番号	入力キーデータ					ソート結果
	+0	+1	+2	+3	+4
1	74	6F	62	69	75	1
2	8E	C4	8E	CB	(20)	2
3	C8	F4	B5	FB	(00)※	4
4	8F	FD	DD	(00)※	(00)※	3

注※

キー位置チェック緩和機能「-cmdopt POSNOCHK」オプションの指定あり。

• キー「w+0-5（キー位置0バイト目，キー長5バイト）」を指定した場合のソート例です。

• EUC-JPに指定した属性コード「w」はバイト単位で比較します。また，途中文字を空白（0x20）に置き換える端数処理を実行します。

• 2番レコードのキーデータは3文字目の途中までなので，3文字目を空白に置き換えます。

• キー位置チェック緩和機能の指定があると，キーデータが不足していてもエラーにしません。3番レコードおよび4番レコードの不足分にNULL値（0x00）を仮定します。

【例4】属性コード「u」のソート結果

入力 レコード 番号	入力キーデータ					EUC-JP比較					ソート 結果
	1文字	2文字	3文字	4文字	5文字	1文字	2文字	3文字	4文字	5文字
1	74	6F	62	69	75	74	6F	62	69	75	1
2	8EC4	8ECB	8EDE	8EB3	8EB5	8EC4	8ECB	8EDE	8EB3	8EB5	2
3	C8F4	B5FB	−	−	−	C8F4	B5FB	(20)	(20)	(20)	3
4	8FFDDD	−	−	−	−	8FFDDD	(20)	(20)	(20)	(20)	4

（凡例）−：該当しません。

• キー「u+0-5（キー位置0バイト目，キー長5文字）」を指定した場合のソート例です。

• 属性コード「u」は文字単位で比較します。

• 3番レコードのキーデータは2文字，4番レコードのキーデータは1文字分のデータを入力されたと見なし，不足分に空白（0x20）を仮定します。

(6)　IVS対応