ソートマージ

手引書

3020-3-N73-70


目  次

前書き
変更内容
はじめに

第1編 概要

1. SORT EEとSORT
1.1 SORT EEとSORTの概要
1.2 ソート機能とは
1.3 マージ機能とは
1.4 コピー機能とは(SORT EEの機能)
1.5 選択機能とは
1.6 集約機能とは
1.7 編集機能とは(SORT EEの機能)
1.8 ファイル分割機能とは(SORT EEの機能)
1.9 ファイル連結機能とは(SORT EEの機能)
1.10 ファイル編成変更機能とは(SORT EEの機能)
1.11 処理の流れの概要
1.11.1 ソート機能の処理の流れ
1.11.2 マージ機能の処理の流れ
1.11.3 コピー機能の処理の流れ

2. 便利な機能
2.1 重複レコードの入力順序保存機能
2.2 EBCDIKコードキー比較機能
2.3 強制マージ機能
2.4 無条件レコード抽出機能
2.5 10進数オーバーフロー判定機能
2.6 エンディアンオプション機能
2.7 ファイル排他機能(UNIXの場合)
2.7.1  SORTのファイル排他機能
2.7.2  SORT EEのファイル排他機能
2.8 キャッシュファイルの同期出力機能
2.9 内部10進数符号保障機能
2.10 10進キーのキーチェック緩和機能(SORT EEの機能)
2.11 10進集約項目のチェック緩和機能(SORT EEの機能)
2.12 キー位置のチェック緩和機能(SORT EEの機能)
2.13 日付データのチェック緩和機能(SORT EEの機能)
2.14 複数ファイル出力機能(SORT EEの機能)
2.15 入力レコードの読み飛ばし・打ち切り機能(SORT EEの機能)
2.16 文字順序変更機能(SORT EEの機能)
2.17 既存ファイルの書き換え防止機能(SORTの機能)
2.18 I/Oサイズ変更機能(SORT EEの機能)
2.19 ワークバッファサイズ自動見積もり機能(SORT EEの機能)
2.20 2GB超ワークバッファサイズの指定(64ビット版SORT EEの機能)
2.21 SORTの機能拡張オプション(SORTの機能)
2.22 強制ファイル分割機能(SORT EEの機能)
2.23 ファイル逐次OPEN/CLOSE機能(SORT EEの機能)
2.24 メッセージ抑止機能(SORT EEの機能)
2.25 0件ファイル出力抑止機能(SORT EEの機能)
2.26 キー・項目の上限値拡張機能(SORT EEの機能)
2.27 メッセージ出力オプション(SORT EEの機能)
2.28 CSVファイル関連の便利な機能(SORT EEの機能)
2.28.1 入力開始レコード番号の指定
2.28.2 連続区切り文字オプション
2.28.3 ナル文字列の集約オプション(SUMNULKEY,SUMNONULLオプション)
2.28.4 出力ファイルのデリミタ変更
2.28.5 出力ファイルの引用符変更
2.28.6 出力ファイルのセル数調整
2.29 集約結果オーバーフロー検知オプション(SORT EEの機能)
2.30 改行文字の自動判定機能(SORT EEの機能)
2.31 シフトJISコード比較オプション(SORT EEの機能)
2.32 ゼロデータ比較オプション(SORT EEの機能)
2.33 空行削除オプション(SORT EEの機能)
2.34 ファイルの上書きオプション(SORT EEの機能)
2.34.1 既存ファイルの上書きオプション
2.34.2 入力ファイルの上書きオプション
2.35 Unicodeシグニチャ(BOM)関連オプション(SORT EEの機能)
2.35.1 Unicodeシグニチャ読み飛ばし・付加機能
2.35.2 Unicodeシグニチャ自動判別機能
2.36 マルチバイト文字データの比較(SORT EEの機能)
2.37 内部10進数符号オプション(SORT EEの機能)
2.38 外部10進数データ形式オプション(SORT EEの機能)
2.39 符号なし2進数のマスクビット指定(SORT EEの機能)
2.40 簡易コピー機能(SORT EEの機能)
2.41 -outfileパラメタ数の制限解除オプション(SORT EEの機能)【08-50以降】
2.42 exsortパラメタファイルサイズの制限解除オプション(SORT EEの機能)【08-50以降】
2.43 CSV数値データ(固定小数点数)の形式チェックオプション(SORT EE の機能)【08-50以降】
2.44 選択条件式のブレイクオプション(SORT EEの機能)【08-50以降】
2.45 CSV日付データの部分指定(SORT EEの機能)【08-50以降】

3. 利用できるファイルの種類とデータ形式
3.1 利用できるファイルの種類
3.2 キー属性と形式
3.3 指定できる値の範囲
3.3.1 パラメタ
3.3.2 メモリ量
3.3.3 入力レコード件数とファイルサイズ

第2編 SORT EE

4. SORT EEの使い方
4.1 機能の実行順序と実行形態
4.1.1 機能の実行順序
4.1.2 機能の実行形態
4.2 exsortコマンドの形式
4.2.1 ソート機能
4.2.2 マージ機能
4.2.3 コピー機能
4.2.4 ファイル分割機能
4.2.5 ファイル連結機能
4.2.6 簡易コピー機能(コマンド形式だけ)
4.3 コマンドの表記規則
4.3.1 パラメタ形式
4.3.2 オペランド形式
4.3.3 パラメタおよびオペランドの指定順序
4.3.4 コマンド予約語の表記
4.3.5 ファイル名およびディレクトリ名の指定形式
4.3.6 選択条件式の書き方
4.3.7 レコード編集の挿入データの書き方
4.3.8 コマンド実行時のロケール(UNIXの場合)
4.3.9 コマンド実行時のコードページ(Windowsの場合)
4.4 exsortパラメタファイルの表記規則
4.4.1 ファイル形式
4.4.2 コーディング規則
4.4.3 選択条件式の書き方
4.4.4 レコード編集の挿入データの書き方
4.4.5 環境変数
4.4.6 ファイル名およびディレクトリ名
4.4.7 パラメタファイルを記述する文字コード
4.4.8 Unicodeシグニチャ(BOM)付きパラメタファイルの扱い

5. exsortコマンドのパラメタおよびオペランドの詳細
5.1 パラメタおよびオペランドの組み合わせ
5.2 -pパラメタ
5.3 -functionパラメタ
5.4 -locatajstパラメタ
5.5 -cmdoptパラメタ
5.5.1 重複レコードの入力順序保存機能(DUP|NODUPオプション)
5.5.2 ファイルの上書きオプション(OVWRT|INPOVWRTオプション)
5.5.3 EBCDIKコード比較オプション(EBCJ,EBCEオプション)
5.5.4 入力ファイルのエンディアンオプション(BIG|INPBIG|INPLTLオプション)
5.5.5 出力ファイルのエンディアン変更オプション(OUTBIG|OUTLTLオプション)
5.5.6 強制マージオプション(FMRGオプション)
5.5.7 10進数オーバーフロー判定オプション(OVFLWオプション)
5.5.8 内部10進数符号保障オプション(ABSオプション)
5.5.9 10進キーのチェックオプション(KEYNOCHKオプション)
5.5.10 10進集約項目のチェックオプション(SUMNOCHKオプション)
5.5.11 キー位置のチェックオプション(POSNOCHKオプション)
5.5.12 日付データのチェックオプション(DATENOCHKオプション)
5.5.13 日付時刻データのチェックオプション(DATETIMENOCHKオプション)
5.5.14 入出力ファイル共用・排他オプション(NOLOCK|EXCオプション)
5.5.15 キャッシュファイルの同期出力オプション(SYNCオプション)
5.5.16 強制ファイル分割機能(FSPLITオプション)
5.5.17 ファイル逐次OPEN/CLOSE機能(SEQOPNCLSオプション)
5.5.18 連続区切り文字オプション(INPCONSEPA,OUTCONSEPAオプション)
5.5.19 ナル文字列の集約オプション(SUMNULKEY,SUMNONULLオプション)
5.5.20 集約結果オーバーフロー検知オプション(OVFERRオプション)
5.5.21 シフトJISコード比較オプション(SJISオプション)
5.5.22 ゼロデータ比較オプション(DIFFZEROオプション)
5.5.23 空行削除オプション(DELBLANKLINEオプション)
5.5.24 CSV数値データ(固定小数点数)の形式チェックオプション(CSVFRMCHKオプション)
5.5.25 選択条件式のブレイクオプション(SELBRKオプション)
5.6 -keyパラメタ
5.7 -sumパラメタ
5.8 -inpfileパラメタ
5.8.1 fileorgオペランド
5.8.2 fileオペランド
5.8.3 reclenオペランド
5.8.4 skiprecオペランド
5.8.5 stopaftオペランド
5.8.6 startrecオペランド
5.8.7 recsepaオペランド
5.8.8 cellsepaオペランド
5.8.9 quottypeオペランド
5.8.10 currencyオペランド
5.8.11 roundオペランド
5.8.12 nullseqオペランド
5.8.13 codetypeオペランド
5.8.14 reorgオペランド
5.8.15 csvreorgオペランド
5.8.16 {include|omit}オペランド
5.8.17 {csvinclude|csvomit}オペランド
5.9 -reorgパラメタ
5.10 -outfileパラメタ
5.10.1 fileorgオペランド
5.10.2 fileオペランド
5.10.3 reclenオペランド
5.10.4 minlenオペランド
5.10.5 recsepaオペランド
5.10.6 cellsepaオペランド
5.10.7 cellnumオペランド
5.10.8 quottypeオペランド
5.10.9 paddingオペランド
5.10.10 reorgオペランド
5.10.11 csvreorgオペランド
5.10.12 {include|omit}オペランド
5.10.13 {csvinclude|csvomit}オペランド
5.11 -sorttmpdirパラメタ
5.12 -mergetmpdirパラメタ
5.13 -worksizeパラメタ
5.14 -dateoptパラメタ
5.15 -altseqパラメタ
5.16 -csvkeyパラメタ
5.17 -csvsumパラメタ
5.18 -csvreorgパラメタ
5.19 -iosizeパラメタ
5.20 -splitfileパラメタ
5.20.1 filenoオペランド
5.20.2 methodオペランド
5.21 -splitdataパラメタ
5.21.1 recnoオペランド
5.21.2 spnoオペランド
5.21.3 nosplitdataオペランド
5.21.4 nosplitcsvdataオペランド
5.22 -splitkeyパラメタ
5.22.1 keyオペランド
5.22.2 csvkeyオペランド
5.22.3 recnoオペランド
5.22.4 spnoオペランド
5.23 -splitinpパラメタ
5.23.1 fileorgオペランド
5.23.2 fileオペランド
5.23.3 reclenオペランド
5.23.4 skiprecオペランド
5.23.5 stopaftオペランド
5.23.6 startrecオペランド
5.23.7 recsepaオペランド
5.23.8 cellsepaオペランド
5.23.9 quottypeオペランド
5.23.10 currencyオペランド
5.23.11 roundオペランド
5.23.12 nullseqオペランド
5.23.13 codetypeオペランド
5.23.14 reorgオペランド
5.23.15 csvreorgオペランド
5.23.16 {include|omit}オペランド
5.23.17 {csvinclude|csvomit}オペランド
5.24 -splitoutパラメタ
5.24.1 fileorgオペランド
5.24.2 {suffix|prefix}オペランド
5.24.3 reclenオペランド
5.24.4 minlenオペランド
5.24.5 recsepaオペランド
5.24.6 cellsepaオペランド
5.24.7 cellnumオペランド
5.24.8 quottypeオペランド
5.24.9 paddingオペランド
5.24.10 reorgオペランド
5.24.11 csvreorgオペランド
5.24.12 {include|omit}オペランド
5.24.13 {csvinclude|csvomit}オペランド
5.25 -splittmpdirパラメタ
5.26 -catinpパラメタ
5.26.1 fileorgオペランド
5.26.2 fileオペランド
5.26.3 {suffix|prefix}オペランド
5.26.4 nameseqオペランド(Windowsの場合)
5.26.5 reclenオペランド
5.26.6 skiprecオペランド
5.26.7 stopaftオペランド
5.26.8 startrecオペランド
5.26.9 recsepaオペランド
5.26.10 cellsepaオペランド
5.26.11 quottypeオペランド
5.26.12 currencyオペランド
5.26.13 roundオペランド
5.26.14 nullseqオペランド
5.26.15 codetypeオペランド
5.26.16 reorgオペランド
5.26.17 csvreorgオペランド
5.26.18 {include|omit}オペランド
5.26.19 {csvinclude|csvomit}オペランド
5.27 -catoutパラメタ
5.27.1 fileorgオペランド
5.27.2 fileオペランド
5.27.3 reclenオペランド
5.27.4 minlenオペランド
5.27.5 recsepaオペランド
5.27.6 cellsepaオペランド
5.27.7 cellnumオペランド
5.27.8 quottypeオペランド
5.27.9 paddingオペランド
5.27.10 reorgオペランド
5.27.11 csvreorgオペランド
5.27.12 {include|omit}オペランド
5.27.13 {csvinclude|csvomit}オペランド
5.28 -cpyinpパラメタ
5.28.1 fileorgオペランド
5.28.2 入力ファイル名
5.29 -cpyoutパラメタ
5.29.1 出力ファイル名

6. SORT EEの使用例
6.1 サンプルファイルの格納ディレクトリ
6.2 ソート機能の使用例
6.2.1 ソート
6.2.2 選択+ソート
6.2.3 選択+ソート+集約
6.2.4 ソート+altseq
6.2.5 ソート+csvファイル
6.2.6 ソート+均等分割
6.2.7 ソート+定数分割
6.2.8 ソート+キー分割
6.2.9 ソート+ファイル連結
6.2.10 ソート+集約+CSVファイル
6.2.11 ソート+出力レコード選択+出力レコード編集+ファイル分割(キー分割)+CSVファイル
6.2.12 ソート+CSVファイル+UCS-2LE
6.2.13 ソート+符号なし2進数のマスクビット指定キー
6.2.14 ソート+CSVファイル+UTF-16LE
6.3 マージ機能の使用例
6.3.1 マージ
6.3.2 マージ+集約
6.3.3 マージ+出力選択+出力レコード編集
6.4 コピー機能の使用例
6.4.1 選択
6.4.2 集約
6.4.3 ファイルコピー
6.4.4 レコード編集
6.4.5 レコードの読み飛ばしと打ち切り
6.4.6 コピー+選択+CSVファイル
6.4.7 コピー+ファイル編成変更
6.4.8 コピー+レコード長変更
6.4.9 簡易コピー
6.5 altseq変換ファイルの作成例

第3編 SORT

7. ソートコマンドの使い方
7.1 ソートコマンドの使い方(Windowsの場合)
7.1.1 コマンドの使い方
7.1.2 オペランドの意味
7.1.3 コマンド指定時の注意事項
7.1.4 使用例
7.2 ソートコマンドの使い方(UNIXの場合)
7.2.1 コマンドの使い方
7.2.2 オペランドの意味
7.2.3 コマンド指定時の注意事項
7.2.4 使用例

8. マージコマンドの使い方
8.1 マージコマンドの使い方(Windowsの場合)
8.1.1 コマンドの使い方
8.1.2 オペランドの意味
8.1.3 コマンド指定時の注意事項
8.1.4 使用例
8.2 マージコマンドの使い方(UNIXの場合)
8.2.1 コマンドの使い方
8.2.2 オペランドの意味
8.2.3 コマンド指定時の注意事項
8.2.4 使用例

9. 選択コマンドの使い方
9.1 選択コマンドの使い方(Windowsの場合)
9.1.1 コマンドの使い方
9.1.2 オペランドの意味
9.1.3 コマンド指定時の注意事項
9.1.4 使用例
9.2 選択コマンドの使い方(UNIXの場合)
9.2.1 コマンドの使い方
9.2.2 オペランドの意味
9.2.3 コマンド指定時の注意事項
9.2.4 使用例

10. 集約コマンドの使い方
10.1 集約コマンドの使い方(Windowsの場合)
10.1.1 コマンドの使い方
10.1.2 オペランドの意味
10.1.3 コマンド指定時の注意事項
10.1.4 使用例
10.2 集約コマンドの使い方(UNIXの場合)
10.2.1 コマンドの使い方
10.2.2 オペランドの意味
10.2.3 コマンド指定時の注意事項
10.2.4 使用例

11. 拡張SORTコマンドの使い方(Windowsの場合)
11.1 コマンドの使い方
11.1.1 拡張SORTコマンドの形式
11.2 オペランドの意味
11.2.1 パラメタファイルの形式
11.2.2 拡張SORTコマンドのパラメタの意味
11.3 コマンド指定時の注意事項
11.3.1 パラメタファイル作成時の注意事項
11.4 使用例
11.4.1 レコードを選択したあとにソートする例
11.4.2 レコードをソートしたあとに集約する例

12. シェル・スクリプトコマンドの使い方(UNIXの場合)
12.1 コマンドの使い方
12.1.1 コマンドの形式
12.2 オペランドの意味
12.2.1 機能オプション
12.2.2 入力ファイルのファイル編成
12.2.3 出力ファイルのファイル編成
12.2.4 -Lレコード長
12.2.5 -o出力ファイル名
12.2.6 -yワークバッファサイズ
12.2.7 -Tソート用一時ファイルのディレクトリ名
12.2.8 -T2マージ用一時ファイルのディレクトリ名2
12.2.9 -w中間ファイルのディレクトリ
12.2.10 キー属性
12.2.11 +キー位置-キー長
12.2.12 -a集約項目情報
12.2.13 入力ファイル名
12.3 コマンド指定時の注意事項
12.3.1 スクリプト・ファイル
12.3.2 中間ファイルの削除
12.3.3 中間ファイルの容量
12.3.4 中間ファイルのエラー
12.4 使用例
12.4.1 文字項目をキーとしてソートし集約する例

13. C言語プログラムでの使い方(Windowsの場合)
13.1 関数の機能と形式
13.1.1 関数の一覧
13.1.2 関数の詳細
13.2 コーディング例
13.3 コンパイル方法
13.4 詳細エラーコード

第4編 運用

14. 環境変数の設定
14.1 SORT EEの環境変数の設定
14.1.1 32ビット版SORT EEの環境変数
14.1.2 64ビット版SORT EEの環境変数
14.1.3 ワークサイズ設定の優先順位
14.1.4 入出力ファイル名の指定
14.2 SORTの環境変数の設定(UNIXの場合)
14.2.1 SORTの環境変数

15. 環境ファイルの設定
15.1 SORT EEの環境ファイルの設定
15.1.1 環境ファイルに指定できる項目
15.2 SORTの環境ファイルの設定(Windowsの場合)
15.2.1 SORTの環境ファイルのパラメタの意味
15.2.2 SORTの環境ファイルの有効範囲
15.2.3 SORTの環境ファイル指定時の注意事項

16. 一時ファイルの作成条件とファイル容量の算出方法
16.1 一時ファイルの種類
16.2 SORT EEの一時ファイルの作成条件
16.2.1 ソート用一時ファイルおよびマージ用一時ファイルを作成する場合のワークバッファサイズ
16.2.2 ソート用一時ファイルだけを作成する場合のワークバッファサイズ
16.2.3 一時ファイルを作成しない場合のワークバッファサイズ
16.3 SORT EEの一時ファイル容量の算出方法
16.4 SORT EEのファイル分割用一時ファイルの作成条件
16.5 SORT EEのファイル分割用一時ファイル容量の算出方法
16.6 SORTの一時ファイルの作成条件
16.6.1 ソート用一時ファイルおよびマージ用一時ファイルを作成する場合のワークバッファサイズ
16.6.2 ソート用一時ファイルだけを作成する場合のワークバッファサイズ
16.6.3 一時ファイルを作成しない場合のワークバッファサイズ
16.7 SORTの一時ファイル容量の算出方法

17. 性能チューニング方法
17.1 ソート機能の処理時間を短くするためには
17.1.1 ワークバッファサイズと処理時間
17.1.2  SORT EEのワークバッファサイズ自動見積もり機能
17.1.3 ファイルの配置
17.1.4 I/Oサイズ
17.1.5 レコード長の指定
17.1.6 キー属性の指定
17.1.7 コマンドオプションの指定
17.1.8 マルチバイト文字データ
17.1.9 最適化したソートライブラリの使用【Linux(x64) SORT EE(64) 08-41以降】
17.2 ソート機能以外の機能の処理時間を短くするためには
17.2.1 ファイルの配置
17.2.2 I/Oサイズ
17.2.3 マルチバイト文字データ
17.2.4 最適化したソートライブラリの使用【Linux(x64) SORT EE(64) 08-41以降】

18. SORTの機能拡張オプションの使い方
18.1 SORTの機能拡張オプションの環境設定
18.1.1 機能拡張オプションを有効にする
18.1.2 使用するSORT EE機能を有効にする
18.2 SORTの機能拡張オプションの注意事項と見直しポイント
18.2.1 メモリ所要量
18.2.2 メッセージ
18.2.3 ディスク使用量
18.2.4 選択条件式の文字条件値の円記号(\)の扱い

19. 障害時の対処方法
19.1 SORT EEの障害情報
19.1.1 SORT EEの入出力障害時のファイルの扱い
19.1.2 デバッグ情報ファイル
19.1.3 ログファイル
19.1.4 完了メッセージオプション
19.1.5 キーまたは項目の不正による障害の対処方法
19.2 SORTの障害情報
19.2.1 SORTの入出力障害時のファイルの扱い
19.2.2 デバッグ情報ファイル
19.2.3 キーまたは項目の不正による障害の場合
19.2.4 C言語で作成したプログラムの不正による障害の場合(Windowsの場合)

20. SORTからSORT EEへの移行ガイド
20.1 SORTとSORT EEの処理比較
20.2 UNIX版SORTコマンドの移行
20.2.1 rsortコマンド
20.2.2 rmergeコマンド
20.2.3 rselectコマンド
20.2.4 rsumコマンド
20.2.5 rsortsumコマンド
20.2.6 コマンド共通項目
20.2.7 SORT環境変数の移行
20.3 Windows版SORTコマンドの移行
20.3.1 wnsortコマンド
20.3.2 wnmergeコマンド
20.3.3 wnselectコマンド
20.3.4 wnsumコマンド
20.3.5 拡張SORTコマンド(wnsortexコマンド)
20.3.6 コマンド共通項目
20.3.7 SORT環境ファイルの移行
20.4 ワークバッファサイズ

付録
付録A JIS8単位コード体系とEBCDIKコード体系の変換表
付録B CSVファイルのデータの扱い(SORT EEの機能)
付録B.1 数値(固定小数点数)データの端数処理
付録B.2 文字列データの端数処理
付録B.3 日付データの端数処理
付録B.4 引用符のエスケープ
付録B.5 CSV数値データ(固定小数点数)の除外文字の位置規則
付録C CSVファイル形式とCSVデータ形式(SORT EEの機能)
付録C.1 CSVファイル形式
付録C.2 CSVデータ形式
付録D CSVファイル内のナル文字列の扱い(SORT EEの機能)
付録D.1 ソートキー・マージキー
付録D.2 集約キー
付録D.3 比較項目
付録D.4 集約項目
付録E 左分離符号付き数字のデータ形式(SORT EEの機能)
付録F レコード編集処理で基になるレコード(SORT EEの機能)
付録G altseq変換ファイル(SORT EEの機能)
付録G.1 altseq変換ファイルの詳細
付録G.2 altseq変換ファイルの指定方法
付録H Unicode操作文字コード一覧(SORT EE)
付録I マルチバイト文字データの扱い
付録I.1 文字コード体系とエンコード
付録I.2 文字列データの扱い
付録I.3 数値データの扱い
付録I.4 日付データの扱い
付録J 日付時刻データの形式(SORT EEの機能)
付録K メッセージ
付録K.1 SORT EEメッセージ
付録K.2 SORT EEのメッセージ一覧
付録K.3 SORTメッセージ
付録K.4 SORTのメッセージ一覧
付録L 各バージョンの変更内容
付録M このマニュアルの参考情報
付録M.1 関連マニュアル
付録M.2 このマニュアルでの表記
付録M.3 英略語
付録M.4 KB(キロバイト)などの単位表記について
付録N 用語解説

索引