MP3ストリーミングでUTF-16なTAGの文字化けをなおす その1

私は、icecast-2.3.2+ices-0.4の環境で自宅用のMP3ストリーミングをしています。

最近、mp3ファイルのTAG管理にMp3tagを導入し、TAG形式を UTF-16で統一するようにしました

すると、配信されたMP3ストリーミングをwinampで受信すると、 アーティスト名やタイトルが文字化けするようになってしまいました。。。 orz..
(ま、当たり前と言えば当たり前ですが。。)

icecast-2.3.2はUTF-8なTAGは任意のキャラクタセットに変更できるようですが、UTF-16は当然ながらサポートされていません。

ならば、と思い無理やり対処してみたところ、見事に文字化けが直りました！！

本手法は環境によっては対応できないかもしれません。
試される方はあくまでも自己責任でお願いします。

まずは、情報集めから。。

UTF-16についてはこちら
ID2v2.3についてはこちら

続いて、Mp3tagのUTF-16がどういう形式なのか調べてみました。
というのも一口にUTF-16といっても実際には3種類あるからです

Mp3tagでTAGを入れたmp3ファイルをいくつかバイナリエディタで確認したところ、
TPE1: 54 50 45 31 00 00 00 0F 00 00 01 FF FE 4A 00 41 00 4D 00 4F 00 53 00 41 00 TIT2: 54 49 54 32 00 00 00 33 00 00 01 FF FE 55 4F 4B 30 72 30 68 30 64 30 20 00 66 00 65 00 61 00 74 00 2E 00 20 00 4A 00 41 00 59 00 27 00 45 00 44 00 20 00 26 00 20 00 E5 82 E6 65 A3 90
のようになっていました。

先頭の10Byteがフレームヘッダです
さらにTPE1やTIT2は、TEXT情報フレームなので続く1byteがテキストエンコード情報です

テキストエンコード情報は

   Frames that allow different types of text encoding contains a text
   encoding description byte. Possible encodings:

     $00   ISO-8859-1 [ISO-8859-1]. Terminated with $00.
     $01   UTF-16 [UTF-16] encoded Unicode [UNICODE] with BOM. All
           strings in the same frame SHALL have the same byteorder.
           Terminated with $00 00.
     $02   UTF-16BE [UTF-16] encoded Unicode [UNICODE] without BOM.
           Terminated with $00 00.
     $03   UTF-8 [UTF-8] encoded Unicode [UNICODE]. Terminated with $00.

   Strings dependent on encoding are represented in frame descriptions
   as , or  if newlines are allowed. Any empty strings of
   type $01 which are NULL-terminated may have the Unicode BOM followed
   by a Unicode NULL ($FF FE 00 00 or $FE FF 00 00).

のように定義されており、この例では 01 なので BOMつきUTF-16であることがわかります。
続く2byteがBOMでFF FEになっていることからリトルエンディアンです

つまりMp3tagのUTF-16はBOM付きリトルエンディアンのUTF-16ということがわかりました
ちなみにiTunesのTAGも同じ形式のようです

続いて、ices0からicecast2に渡されるmetadataのフォーマットを調査してみました。
ices0のソースを眺めてみると、ID3v2タグがある場合は必ず、"song"として、[Artist]-[Title]が渡されます。
ここに先の例のUTF-16のArtistとTitleを当てはめると、

FF FE 4A 20 2D 20 FF FE 55 4F 4B 30 72 30 68 30 64 30 20

となり、これがicecast2に渡されることになります。

以上から、ices0での問題点を整理すると、
(1)TAGをchar型で扱うために、UTF-16のTAG中に現れる0x00がNULL文字として判断されるので実際のTAGと異なった情報になる
(2)"song"にはUTF16とUTF-16の間に普通の "スペース、マイナス、スペース(202D20)があるために、"song"全体をUTF-16からデコードできない
ということになります
そこで、上記の問題を以下のように修正することにしました。

(1)TAG中に現れる0x00を別の文字で置き換えることでchar型でもUTF-16を扱えるようにする
(2)icecast2に"song"として渡すのではなく、"artist","title"の別々のmetadataとして渡す

まずは上記方針に従って変更したices-0.4用のパッチを以下に掲載しておきます。

diff -rNu -x '*~' -x '*.o' -x '*.Po' -x Makefile src.org/cue.c src/cue.c --- src.org/cue.c 2004-03-22 12:13:11.000000000 +0900 +++ src/cue.c 2011-04-12 22:15:42.000000000 +0900 @@ -44,8 +44,8 @@ ices_cue_update (input_stream_t* source) { char buf[1024]; - char artist[1024]; - char title[1024]; + //char artist[1024]; + //char title[1024]; FILE *fp = ices_util_fopen_for_writing (ices_cue_get_filename()); if (!fp) { @@ -53,15 +53,15 @@ return; } - artist[0] = '\0'; - title[0] = '\0'; - ices_metadata_get (artist, sizeof (artist), title, sizeof (title)); + // artist[0] = '\0'; + // title[0] = '\0'; + // ices_metadata_get (artist, sizeof (artist), title, sizeof (title)); - fprintf (fp, "%s\n%d\n%d\n%s\n%f\n%d\n%s\n%s\n", source->path, + fprintf (fp, "%s\n%d\n%d\n%s\n%f\n%d\n", source->path, (int)source->filesize, source->bitrate, ices_util_file_time (source->bitrate, source->filesize, buf), ices_util_percent (source->bytes_read, source->filesize), - ices_cue_lineno, artist, title); + ices_cue_lineno); ices_util_fclose (fp); } diff -rNu -x '*~' -x '*.o' -x '*.Po' -x Makefile src.org/id3.c src/id3.c --- src.org/id3.c 2004-03-22 12:13:11.000000000 +0900 +++ src/id3.c 2011-04-12 23:17:51.000000000 +0900 @@ -192,7 +192,7 @@ } tag->pos += 6; - len = id3v2_decode_synchsafe (hdr); + len = id3v2_decode_synchsafe ((unsigned char*)hdr); ices_log_debug ("ID3v2: %d byte extended header found, skipping.", len); if (len > 6) @@ -207,7 +207,11 @@ char hdr[10]; size_t len, len2; ssize_t rlen; - char* buf; + char buf[1024]; + + int i; + unsigned char buf2[1024]; + unsigned char *p_buf,*p_buf2; if (source->read (source, hdr, ID3V2_FRAME_LEN(tag)) != ID3V2_FRAME_LEN(tag)) { ices_log ("Error reading ID3v2 frame"); @@ -220,13 +224,13 @@ return 0; if (tag->major_version < 3) { - len = id3v2_decode_synchsafe3 (hdr + 3); + len = id3v2_decode_synchsafe3 ((unsigned char*)(hdr + 3)); hdr[3] = '\0'; } else if (tag->major_version == 3) { - len = id3v2_decode_unsafe (hdr + 4); + len = id3v2_decode_unsafe ((unsigned char*)(hdr + 4)); hdr[4] = '\0'; } else { - len = id3v2_decode_synchsafe (hdr + 4); + len = id3v2_decode_synchsafe ((unsigned char*)(hdr + 4)); hdr[4] = '\0'; } if (len > tag->len - tag->pos) { @@ -235,37 +239,79 @@ return -1; } - /* ices_log_debug("ID3v2: Frame type [%s] found, %d bytes", hdr, len); */ - if (!strcmp (hdr, ID3V2_ARTIST_TAG(tag)) || !strcmp (hdr, ID3V2_TITLE_TAG(tag))) { - if (! (buf = malloc(len+1))) { - ices_log ("Error allocating memory while reading ID3v2 frame"); - - return -1; - } + // ices_log_debug("ID3v2: Frame type [%s] found, %d bytes", hdr, len); + if (!strcmp (hdr, ID3V2_ARTIST_TAG(tag))) { + len2 = len; while (len2) { - if ((rlen = source->read (source, buf, len)) < 0) { - ices_log ("Error reading ID3v2 frame data"); - free (buf); - + if ((rlen = source->read (source, &buf[0], len)) < 0) { + ices_log ("Error reading ID3v2 artist frame data"); return -1; } tag->pos += rlen; len2 -= rlen; } - /* skip encoding */ - if (!strcmp (hdr, ID3V2_TITLE_TAG(tag))) { - buf[len] = '\0'; - ices_log_debug ("ID3v2: Title found: %s", buf + 1); - tag->title = ices_util_strdup (buf + 1); - } else { + if ((buf[0] == 0x01)||(buf[0] == 0x02)) { //UTF-16 + ices_log_debug ("ID3v2: Artist found! len=%d", len); + + p_buf = (unsigned char *)&buf[0]; p_buf2 = &buf2[0]; + for (i=0;i<len;i++){ + if (*p_buf == 0x00) { + *p_buf2 = (buf[0] == 0x01) ? (unsigned char)buf[1] : 0xfe; p_buf2++; + *p_buf2 = (buf[0] == 0x01) ? (unsigned char)buf[2] : 0xff; p_buf2++; + }else{ + *p_buf2 = *p_buf; p_buf2++; + } + p_buf ++; + } + *p_buf2 = '\0'; + if (buf[0] == 0x01) { //UTF-16+BOM + tag->artist = ices_util_strdup ((char *)&buf2[3]); //Removed Flag+BOM + }else{ + tag->artist = ices_util_strdup ((char *)&buf2[1]); //Removed Flag + } + }else{ buf[len] = '\0'; - ices_log_debug ("ID3v2: Artist found: %s", buf + 1); - tag->artist = ices_util_strdup (buf + 1); + ices_log_debug ("ID3v2: Artist found: %s", &buf[1]); + tag->artist = ices_util_strdup (&buf[1]); //Removed Flag + } + } else if (!strcmp (hdr, ID3V2_TITLE_TAG(tag))) { + + len2 = len; + while (len2) { + if ((rlen = source->read (source, &buf[0], len)) < 0) { + ices_log ("Error reading ID3v2 title frame data"); + return -1; + } + tag->pos += rlen; + len2 -= rlen; } - free (buf); + if ((buf[0] == 0x01)||(buf[0] == 0x02)) { //UTF-16 + ices_log_debug ("ID3v2: Title found! len=%d", len); + + p_buf = (unsigned char *)&buf[0]; p_buf2 = &buf2[0]; + for (i=0;i<len;i++){ + if (*p_buf == 0x00) { + *p_buf2 = (buf[0] == 0x01) ? (unsigned char)buf[1] : 0xfe; p_buf2++; + *p_buf2 = (buf[0] == 0x01) ? (unsigned char)buf[2] : 0xff; p_buf2++; + }else{ + *p_buf2 = *p_buf; p_buf2++; + } + p_buf++; + } + *p_buf2 = '\0'; + if (buf[0] == 0x01) { //UTF-16+BOM + tag->title = ices_util_strdup ((char *)&buf2[3]); //Removed Flag+BOM + }else{ + tag->title = ices_util_strdup ((char *)&buf2[1]); //Removed Flag + } + }else{ + buf[len] = '\0'; + ices_log_debug ("ID3v2: Title found: %s", &buf[1]); + tag->title = ices_util_strdup (&buf[1]); //Removed Flag + } } else if (id3v2_skip_data (source, tag, len)) return -1; diff -rNu -x '*~' -x '*.o' -x '*.Po' -x Makefile src.org/metadata.c src/metadata.c --- src.org/metadata.c 2004-03-22 12:13:12.000000000 +0900 +++ src/metadata.c 2011-04-12 22:50:38.000000000 +0900 @@ -99,22 +99,30 @@ shout_metadata_t* metadata; char song[1024]; char* playlist_metadata; - char* value; + char *value=NULL; int rc; + char title[512],artist[512]; + char *value_t=NULL,*value_a=NULL; + if (delay) usleep (delay); if (! (playlist_metadata = ices_playlist_get_metadata ())) { - if (Title) { - if (Artist) - snprintf (song, sizeof (song), "%s - %s", Artist, Title); - else - snprintf (song, sizeof (song), "%s", Title); - } else + if ((Title==NULL)&&(Artist==NULL)) { snprintf (song, sizeof (song), "%s", Filename); - - value = song; + value = song; + }else { + if (Title) { + snprintf (title, sizeof (title), "%s", Title); + value_t = title; + } + + if (Artist) { + snprintf (artist, sizeof (artist), "%s", Artist); + value_a = artist; + } + } } else value = playlist_metadata; @@ -124,11 +132,31 @@ return; } - if (shout_metadata_add (metadata, "song", value) != SHOUTERR_SUCCESS) { - ices_log_error ("Error adding info to metadata structure"); - ices_util_free (playlist_metadata); - shout_metadata_free (metadata); - return; + if (value) { + if (shout_metadata_add (metadata, "song", value) != SHOUTERR_SUCCESS) { + ices_log_error ("Error adding info to metadata structure"); + ices_util_free (playlist_metadata); + shout_metadata_free (metadata); + return; + } + } + + if (value_t) { + if (shout_metadata_add (metadata, "title", value_t) != SHOUTERR_SUCCESS) { + ices_log_error ("Error adding info to metadata structure"); + ices_util_free (playlist_metadata); + shout_metadata_free (metadata); + return; + } + } + + if (value_a) { + if (shout_metadata_add (metadata, "artist", value_a) != SHOUTERR_SUCCESS) { + ices_log_error ("Error adding info to metadata structure"); + ices_util_free (playlist_metadata); + shout_metadata_free (metadata); + return; + } } for (stream = ices_config.streams; stream; stream = stream->next) {

---

今回はUTF-16なmp3 TAGを解析してices0での問題点とその対策を考察してみました
次回はices0の変更に対応できるようにicecast2を修正します

いかがだったでしょうか

タグ：MP3 UTF-16 icecast ices