CSVファイルの「でこぼこ」を正すperlスクリプト (日曜大工プログラミング)

下のような、CSV形式のファイルがあります。
(「国内株式2005/2/15 値上がり率上位20銘柄」から作成したデータです。)


Excelで見るならともかく、テキストエディタで見る場合、
各データの幅が違っているため、縦の列がとてもわかりづらいですよね。

(>_<)　でこぼこ〜

このCSVファイルの各データに、半角スペースを必要な数だけ追加して、
各データの幅を統一、整形してしまうperlスクリプトを作成してみました。

その作ったスクリプトのコードが↓

#!/usr/bin/perl -w
use strict;

my @list = ();
while (<>) {
  s/\x0d\x0a|\x0d|\x0a/\n/g;
  chomp;
  my @fs = parse_csv_file($_);
  my @dbld = dbl_quoted_array(@fs);
  push(@list, \@dbld);
}
my @sizelist = count_max_field_size(@list);

# print
foreach (@list) {
  my @line = @$_;
  for (my $i = 0; $i < @line; $i ++ ) {
    if ($i + 1 < @line) {
      print formatted_string($line[$i], $sizelist[$i]) . ',';
    } else {
      print $line[$i];
    }
  }
  print "\n";
}


# parse csv file, and return field values array
sub parse_csv_file {
  my $text = shift;
  my @new = ();
  push(@new, $+) while $text =〜 m{
    "([^\"\\]*(?:\\.[^\"\\]*)*)",?
    | ([^,]+),?
    | ,
  }gx;
  push(@new, undef) if substr($text, -1,1) eq ',';
  return @new;
}

# return double quoted string array
sub dbl_quoted_array {
  my @new = ();
  foreach my $i (@_) {
    if (defined $i && $i ne '') {
      $i =〜 s/\"/\"\"/g;
      $i = '"' . $i . '"';
      push(@new, $i);
    } else {
      push(@new, '""');
    }
  }
  return @new;
}

# count max size
sub count_max_field_size {
  my @new = ();
  foreach my $l (@_) {
    my @one = @$l;
    for (my $i = 0; $i < @one; $i ++ ) {
      my $str = $one[$i];
      my $len = length $str;
      if ($i < @new) {
        if ($len > $new[$i]) {
          $new[$i] = $len;
        }
      } else {
        push (@new, $len);
      }
    }
  }
  return @new;
}

# put en quad if string length is short
sub formatted_string {
  my $str = $_[0];
  my $len = $_[1];
  my $strlen = length $str;
  if ($strlen < $len) {
    my $sub = $len - $strlen;
    $str = $str . (' ' x $sub);
  }
  return $str;
}

↑公開時より、少し修正が入っています。

標準入力からCSV形式のファイルを読み込ませると、
整形して吐き出すようになっています。

このスクリプトの実行例
./formatCSV.pl < csvfile.csv

もし、他のファイルに保存するなら
./formatCSV.pl < csvfile.csv > formatted.csv

実行結果は、下のようになりました。




このスクリプトのお持ち帰りはこちらから。

---

本日は以上です。