Программирование: Разработка и отладка программ

Функции преобразования - Информация для программистов

Если вашему продукту требуется поддержка национальных языков (NLS), скорее всего, вы столкнетесь с необходимостью применения различных кодовых страниц для представления информации. В AIX входят несколько программ, предназначенных для перекодирования данных. Эти программы обычно называют перекодировщиками. В этом разделе вы найдете сведения по следующим темам:

• Вводная информация о перекодировщиках
• Стандартные перекодировщики
• Библиотека libiconv
• Работа с перекодировщиками
• Список перекодировщиков

Вводная информация о перекодировщиках

При передаче данных из одного компьютера в другой может потребоваться преобразование из кодировки исходной машины в кодировку машины-получателя. Например, при передаче данных в систему VM рабочие станции преобразуют их из формата ISO8859-1 в формат EBCDIC.

Кодовым набором называется соответствие между кодовыми знаками и графическим представлением символов, а также между кодовыми знаками и управляющими символами. Преобразование данных требуется во всех случаях, когда они должны быть показаны пользователю не в той кодировке, в которых они получены или хранятся в системе.

В AIX предусмотрены два интерфейса перекодировки:

В AIX предусмотрены библиотеки преобразования данных. Процедуры из этих библиотек можно напрямую вызывать из пользовательских программ. Эти библиотеки находятся в каталогах /usr/lib/nls/loc/iconv/* и /usr/lib/nls/loc/iconvTable/*.

В эти библиотеки входят не только стандартные, но и сетевые процедуры преобразования кодовых наборов. В сетевой среде способ преобразования данных зависит от кодовых наборов удаленных систем и применяемых протоколов связи.

Сетевые перекодировщики применяются для преобразования информации, передаваемой между компьютерами по сети. Для преобразования данных из одного внутреннего кодового набора в другой требуются специальные функции перекодировки. Для удобства пользователей в AIX был предусмотрен единый унифицированный интерфейс перекодировки, не зависящий от конкретных кодовых страниц. Такой интерфейс предоставляют функции iconv.

Стандартные перекодировщики

В AIX предусмотрено несколько стандартных перекодировщиков, которые применяются с функциями и командой iconv. В следующем списке перечислены типы перекодировщиков:

Библиотека libiconv

Интерфейс прикладных программ (API) iconv включает три функции, необходимые для перекодирования:

В сетевой среде способ преобразования данных зависит от следующих факторов:

• Исходного и требуемого кодовых наборов
• Количеством значащих разрядов при передаче данных (7 или 8, зависит от протокола связи)

В следующей таблице приведены рекомендации по применению различных методов перекодировки. Дополнительная информация приведена в разделах Список перекодировщиков для сетевого обмена--7-разрядные и Список перекодировщиков для сетевого обмена--8-разрядные.

Если кодировки отправителя и получателя совпадают, возможны следующие варианты:

• Если протокол связи поддерживает передачу 8-разрядных данных, то преобразование не требуется.
• Если протокол связи поддерживает передачу только 7-разрядных данных, то 8-разрядные кодовые знаки должны быть преобразованы в 7-разрядные. Рекомендуем воспользоваться одним из следующих методов интерфейса iconv:
  

  Список перекодировщиков для сетевого обмена--uucode	Функционально эквивалентен командам uuencode и uudecode. На наш взгляд, это оптимальный метод.
  Список перекодировщиков для сетевого обмена--7-разрядные	Преобразует данные между внутренними 7-разрядными кодовыми наборами. Этот метод удобен для передачи символов ASCII.

Если кодировки отправителя и получателя не совпадают, то возможны следующие варианты:

• Если протокол допускает передачу только 7-разрядных данных, рекомендуется применять метод fold7.
• Если протокол поддерживает передачу 8-разрядных данных и вам известен кодовый набор получателя, рекомендуется перекодировать данные с помощью интерфейса iconv. Если кодировка получателя неизвестна, воспользуйтесь следующим методом:
  

  Список перекодировщиков для сетевого обмена--8-разрядные

  Преобразует внутренние кодовые наборы в стандартные форматы сетевого обмена. Данные передаются в 8-разрядном формате, из которого получатель сможет восстановить их в своей собственной кодировке.

Применение функции iconv_open

Ниже приведены примеры применения функции iconv_open в различных ситуациях:

• Кодовые наборы отправителя и получателя совпадают:

  Если протокол допускает передачу 8-разрядных данных, то преобразование не требуется.

  Если протокол допускает передачу только 7-разрядных данных, рекомендуется выполнить следующие операции:

  Отправитель:
   cd = iconv_open("uucode", nl_langinfo(CODESET));
   
   
  Получатель:
   cd = iconv_open(nl_langinfo(CODESET), "uucode"); 
  

• Кодировки отправителя и получателя не совпадают:

  Если кодовый набор получателя неизвестен и протокол допускает передачу 8-разрядных данных, рекомендуется выполнить следующие операции:

  Отправитель:
   cd = iconv_open("fold8", nl_langinfo(CODESET));
   
   
  Получатель:
   cd = iconv_open(nl_langinfo(CODESET),"fold8" );
  

  Если протокол допускает передачу только 7-разрядных данных, рекомендуется выполнить следующие операции:

  Отправитель:
   cd = iconv_open("fold7", nl_langinfo(CODESET));
   
   
  Получатель:
   cd = iconv_open(nl_langinfo(CODESET), "fold7" );
  

Поиск перекодировщиков функцией iconv_open

Функция iconv_open использует для поиска перекодировщика переменную среды LOCPATH; при этом имя перекодировщика должно быть указано в формате

iconv/старый-кодовый-набор_новый-кодовый-набор

старый-кодовый-набор обозначает кодовый набор отправителя, а новый-кодовый-набор - кодовый набор получателя. Строки разделяются символом подчеркивания.

Примечание: все программы setuid и setgid игнорируют значение переменной среды LOCPATH.

Поскольку перекодировщик iconv представляет собой загружаемый объектный модуль, в 32- и 64-разрядных средах должны применяться различные модули. В 64-разрядной среде применяется процедура iconv_open, которая пользуется перекодировщиками следующего вида:

iconv/FromCodeSet_ToCodeSet__64.

Библиотека iconv автоматически определяет тип загружаемого объекта (для 32- или 64-разрядной среды).

Если функция iconv_open не может найти перекодировщик, она использует значения исходного/целевого кодового набора для поиска файла табличного преобразования. Файлы, в котором хранятся таблицы преобразования создаются командой genxlt.

Перекодировщик iconvTable использует для поиска файла переменную среды LOCPATH; при этом имя файла должно быть задано в формате

iconvTable/старый-кодовый-набор_новый-кодовый-набор

Если перекодировщик найден, он загружает и иинициализирует его. Дескриптор перекодировщика iconv_t сбрасывается в свое исходное состояние.

Сравнение таблиц перекодировки и перекодировщиков

Перекодировщики - это исполняемые функции, которые преобразуют данные согласно некоторому набору правил. Таблицы перекодировки - это массивы данных, задающие однозначное побайтовое преобразование информации. Перекодировщики и таблицы хранятся в разных каталогах:

После того как программа перекодировки откомпилирована и скомпонована с библиотекой libiconv.a, ее помещают в каталог /usr/lib/nls/loc/iconv.

Для того чтобы создать табличный перекодировщик, сначала создайте файл таблицы преобразования. Затем с помощью команды genxlt преобразуйте эти таблицы в формат, применяемый табличными перекодировщиками. Поместите полученный файл в каталог /usr/lib/nls/loc/iconvTable .

Универсальные кодировщики и перекодировщики Unicode

Таблицы преобразования для кодировки Unicode (или UCS-2) хранятся в следующем каталоге:

$LOCPATH/uconvTable/*CodeSet*

Перекодировщик $LOCPATH/uconv/UCSTBL предназначен для преобразования данных в кодировку UCS-2 и обратно с помощью утилит iconv. Для того чтобы функции iconv могли работать с таблицами преобразования uconvTable, в каталоге $LOCPATH/iconv нужно настроить необходимые связи. Например, для кодового набора "X":

ln -s /usr/lib/nls/loc/uconv/UCSTBL /usr/lib/nls/loc/iconv/X_UCS-2
ln -s /usr/lib/nls/loc/uconv/UCSTBL /usr/lib/nls/loc/iconv/UCS-2_X

Программа "Универсальный перекодировщик" может выполнять преобразования между любыми двумя кодовыми наборами, для каждого из которых возможно преобразование в UCS-2 и обратно. Предположим, что существуют следующие таблицы перекодировки:

X     -> UCS-2
UCS-2 -> Y

Тогда можно однозначно определить следующее преобразование:

X -> UCS-2 -> Y

Это преобразование можно будет выполнить с помощью $LOCPATH/iconv/Universal_UCS_Conv. Преобразование X->Y задается путем установки связей с универсальным перекодировщиком, например:

ln-s /usr/lib/nls/loc/iconv/Universal_UCS_Conv /usr/lib/nls/loc/iconv/X_Y

Работа с перекодировщиками

Интерфейс iconv представляет собой набор функций инициализации, выполнения и сброса процессов перекодировки:

• iconv_open
• iconv (Функция iconv)
• iconv_close

Пример фильтра преобразования кодовых наборов

Ниже показано, каким образом с помощью указанных функций вы можете создать фильтр-перекодировщик, принимающий в качестве исходных аргументов параметры ИсходныйКодовыйНабор и ЦелевойКодовыйНабор.

#include <stdio.h>
#include <nl_types.h>
#include <iconv.h>
#include <string.h>
#include <errno.h>
#include <locale.h>
 
#define ICONV_DONE() (r>=0)
#define ICONV_INVAL() (r<0) && (errno==EILSEQ))
#define ICONV_OVER() (r<0) && (errno==E2BIG))
#define ICONV_TRUNC() (r<0) && (errno==EINVAL))
 
#define USAGE 1
#define ERROR 2
#define INCOMP 3
 
char ibuf[BUFSIZ], obuf[BUFSIZ];
 
extern int errno;
 
main (argc,argv)
int argc;
char **argv;
{

 size_t  ileft,oleft;
 nl_catd      catd;
 iconv_t cd;
 int r;
 char *ip,*op;
 
 setlocale(LC_ALL,"");
 catd = catopen (argv[0],0);
 
 if(argc!=3){
  fprintf(stderr,
   catgets (catd,NL_SETD,USAGE,"usage;conv fromcode tocode\n"));
  exit(1);
 }
 
 cd=iconv_open(argv[2],argv[1]);
 
ileft=0;
 
while(!feof(stdin)) {

 /*
 * After the next operation,ibuf will
 * contain new data plus any truncated
 * data left from the previous read.
 */
 ileft+=fread(ibuf+ileft,1,BUFSIZ-ileft,stdin);
 do {
  ip=ibuf;
  op=obuf;
  oleft=BUFSIZ;
 
  r=iconv(cd,&ip,&ileft,&op,&oleft);
 
  if(ICONV_INVAL()){
   fprintf(stderr,
      catgets(catd,NL_SETD,ERROR,"invalid input\n"));
   exit(2);
 }
 
 fwrite(obuf,1,BUFSIZ-oleft,stdout);
 
 if(ICONV_TRUNC() || ICONV_OVER())
  /*
  *Data remaining in buffer-copy
  *it to the beginning
  */
 
  memcpy(ibuf,ip,ileft);
 
  /*
  *loop until all characters in the input
  *buffer have been converted.
  */
 } while(ICONV_OVER());
}
 
 if(ileft!=0){
  /*
  *This can only happen if the last call
  *to iconv() returned ICONV_TRUNC, meaning
  *the last data in the input stream was
  *incomplete.
  */
 fprintf(stderr,catgets(catd,NL_SETD,INCOMP,"input incomplete\n"));
 exit(3);
 }
 
 iconv_close(cd);
 exit(0);
}

Имена перекодировщиков

Кодовым наборам присвоены имена в формате CodesetRegistry-CodesetEncoding, где:

Переменная from,to, используемая командой iconv и функцией iconv_open, определяет файл с именем в формате /usr/lib/nls/loc/iconv/%f_%t или /usr/lib/nls/loc/iconvTable/%f_%t, где:

Список перекодировщиков

Перекодировщики преобразуют данные из одного кодового набора в другой. Перекодировщики, поддерживаемые библиотекой ICONV, описаны в разделах, следующих ниже. Все перекодировщики, поставляемые совместно с BOS, находятся в каталоге /usr/lib/nls/loc/iconv/* или /usr/lib/nls/loc/iconvTable/*.

В этих каталогах также содержатся частные перекодировщики; то есть те, к которым обращаются только другие перекодировщики. Однако, пользователи и программы никогда не используют их, а лишь те перекодировщики, которые приведенных в следующих списках.

Если перекодировщик, поставляемый с BOS Runtime Environment отсутствует в этом списке, то они считаются частными и подлежат изменению или удалению. Перекодировщики, поставляемые с другими продуктами можно также помещать в каталоги /usr/lib/nls/loc/iconv/* и /usr/lib/nls/loc/iconvTable/*.

Программистам рекомендуется использовать либо зарегистрированные имена кодовых наборов, или имена связанные с конкретным приложением. "X Consortium" поддерживает справочный реестр имен кодовых наборов. Дополнительная информация о кодовых наборах приведена в разделе Кодовые наборы - Обзор.

• Список перекодировщиков для кодовых наборов PC, ISO и EBCDIC
• Список перекодировщиков многобайтовых кодовых наборов
• Список перекодировщиков для сетевого обмена--7-разрядные
• Список перекодировщиков для сетевого обмена--8-разрядные
• Список перекодировщиков для сетевого обмена--Сложный текст
• Список перекодировщиков для сетевого обмена--uucode
• Список перекодировщиков UCS-2
• Список перекодировщиков для UTF-8
• Список прочих перекодировщиков

Список перекодировщиков для кодовых наборов PC, ISO и EBCDIC

Эти перекодировщики выполняют преобразования между однобайтовыми кодовыми наборами PC, ISO и EBCDIC. Они позволяют выполнять двухсторонние перекодировки между PC и ISO, PC и EBCDIC, ISO и EBCDIC.

Возможны преобразования между совместимыми кодовыми наборами, например из латиницы-1 в латиницу-1, из греческого в греческий. Однако, эти перекодировщики не поддерживают преобразования между различными кодовыми наборами EBCDIC для национальных языков. Более подробные сведения о перекодировках между несовместимыми кодовыми наборами приведены в разделах Список перекодировщиков для сетевого обмена--7-разрядные и Список перекодировщиков для сетевого обмена--8-разрядные.

Для создания перекодировочных таблиц в каталоге iconvTable предназначена команда genxlt.

Названия совместимых кодовых наборов

Эта таблица содержит список названий совместимых кодовых наборов. В каждой строке таблицы указаны названия исходного и конечного кодового набора, которые потребуются для запуска перекодировки.

Примечание: Кодовые наборы PC и ISO основаны на кодировке ASCII.

Примечание: Если определенный символ отсутствует в целевом кодовом наборе, то он будет преобразован в некоторый символ замещения, определяемый данным кодовым набором.

Файлы

Следующая таблица содержит описание перекодировщиков inconvTable, расположенных в каталоге /usr/lib/nls/loc/iconvTable:

Список перекодировщиков многобайтовых кодовых наборов

Перекодировщики кодовых наборов многобайтовых символов преобразуют данные между следующими кодировками:

• Кодовые наборы многобайтовых символов PC
• Кодовые наборы многобайтовых символов EUC (на основе ISO)
• Кодовые наборы многобайтовых символов EBCDIC

Эта таблица содержит список названий совместимых кодовых наборов. В каждой строке таблицы указаны названия исходного и конечного кодового набора, которые потребуются для запуска перекодировки.

1. Предусмотрена возможность преобразования между символами упрощенного и традиционного китайского языка (IBM-eucTW <--> IBM-eucCN и big5 <--> IBM-eucCN).
2. UTF-8 - это дополнительный кодовый набор. Дополнительная информация по этому вопросу приведена в разделе Список перекодировщиков для UTF-8.

Файлы

Этот список содержит описания перекодировщиков кодовых наборов многобайтовых символов из каталога /usr/lib/nls/loc/iconv.

Список перекодировщиков для сетевого обмена--7-разрядные

Этот перекодировщик позволяет преобразовывать данные между внутренним кодом и стандартными форматами для сетевого обмена 7-разрядными данными (fold7). Называние fold7 обозначает, что эта кодировка позволяет передавать данные по 7-разрядным почтовым протоколам. Это кодировки на основе ISO2022. Дополнительные сведения о кодировках fold7 вы найдете в разделе Библиотека libiconv.

Перекодировщики fold7 преобразуют символы из кодового набора в каноническую 7-разрядную кодировку, в которой идентифицируется каждый отдельный символ. Преобразование такого типа оказывается целесообразным в сетях, где кодовые наборы клиентов различны, но наборы символов - одинаковые. Например:

Следующие управляющие последовательности обозначают стандартные кодовые наборы:

При преобразовании данных из кодового набора в fold7 управляющую последовательность, обозначающую данных кодовый набор, выбирают по порядку, в соответствии со списком. Например, символы JISX0208.1983-0 обозначает управляющая последовательность 01/11 01/04 04/02.

Файлы

В следующем списке приведены описания перекодировщиков fold7, расположенных в каталоге /usr/lib/nls/loc/iconv:

Список перекодировщиков для сетевого обмена--8-разрядные

Этот перекодировщик позволяет преобразовывать данные между внутренним кодом и стандартными форматами для сетевого обмена 8-разрядными данными (fold8). Называние fold8 обозначает, что эта кодировка позволяет передавать данные по 8-разрядным почтовым протоколам. Это кодировки на основе ISO2022. Дополнительные сведения о кодировках fold8 вы найдете в разделе Библиотека libiconv.

Перекодировщики fold8 преобразуют символы из определенного кодового набора в каноническую 8-разрядную кодировку, в которой идентифицируется каждый отдельный символ. Преобразование такого типа оказывается целесообразным в сетях, где кодовые наборы клиентов различны, но наборы символов - одинаковые. Например:

Следующие управляющие последовательности обозначают стандартные кодовые наборы.

При преобразовании данных из кодового набора в fold8 управляющую последовательность, обозначающую данных кодовый набор, выбирают по порядку, в соответствии со списком. Например, символы JISX0208.1983-0 обозначает управляющая последовательность 01/11 02/04 02/08 04/02 .

Файлы

Этот список содержит описания перекодировщиков fold8 из каталога /usr/lib/nls/loc/iconv:

Список перекодировщиков для сетевого обмена--Сложный текст

Такие перекодировщики выполняют преобразование между сложным текстом и внутренними кодовыми наборами.

Сложный текст представляет собой кодировку для сетевого обмена, которая была определена X Consortium. Применяется для передачи текста между клиентами X. Сложный текст основан на стандарте ISO2022 и может кодировать большинство символов с помощью стандартных управляющих последовательностей. Кроме того, в нем предусмотрены расширения для кодирования частных кодовых наборов. Все поддерживаемые кодовые наборы предоставляют возможность преобразования данных в/из сложного текста. Обозначение сложного текста - ct.

Ниже по порядку приведен список управляющих последовательностей, обозначающих стандартные кодовые наборы.

Файлы

Этот список содержит описания перекодировщиков сложного текста из каталога /usr/lib/nls/loc/iconv:

Список перекодировщиков для сетевого обмена--uucode

Этот перекодировщик выполняет точно такие же преобразования, как и команды uuencode и uudecode.

Перекодировка из uucode происходит порциями по 62 байт (включая замыкающий запись символ начала строки), которые преобразуются в 45 байт в буфере outbuf.

Файлы

Этот список содержит описания перекодировщиков uucode из каталога /usr/lib/nls/loc/iconv:

Список перекодировщиков UCS-2

UCS-2 - это универсальная 16-разрядная кодировка. Ее описание приведено в разделе Кодовые наборы - Обзор. Эти перекодировщики выполняют преобразования в обе стороны между любым кодовым набором и UCS-2.

Перекодировщики UCS-2 находятся в каталогах /usr/lib/nls/loc/uconvTable и /usr/lib/nls/loc/uconv. Для создания новых перекодировщиков UCS-2 или настройки уже существующих предусмотрена команда uconvdef.

Перекодировщик /usr/lib/nls/loc/iconv/Universal_UCS_Conv преобразует любой кодовый набор X в любой кодовый набор Y путем установки необходимых связей:

cd /usr/lib/nls/loc/iconv
В -s /usr/lib/nls/loc/uconv/Universal_UCS_Conv X_Y
В -s /usr/lib/nls/loc/uconv/UCSTBL X_UCS-2
В -s /usr/lib/nls/loc/uconv/UCSTBL UCS-2_Y
В -s /usr/lib/nls/loc/uconv/UCSTBL X
В -s /usr/lib/nls/loc/uconv/UCSTBL Y

Список перекодировщиков для UTF-8

UTF-8 - это универсальная многобайтовая кодировка. Ее описание приведено в разделе UCS-2 и UTF-8. Перечисленные перекодировщики выполняют преобразования в обе стороны между любым кодовым набором и UTF-8.

Как правило, перекодировка UTF-8 выполняется с помощью Universal_UCS_Conv (см. Список перекодировщиков UCS-2) и /usr/lib/nls/loc/uconv/UTF-8.

Список прочих перекодировщиков

Прочие перекодировщики работают на более низком уровне и используются обычными перекодировщиками и перекодировщиками сетевого обмена. К ним иногда обращаются некоторые перекодировщики для сетевого обмена. Использовать эти перекодировщики не рекомендуется, так как они предназначены для поддержки других перекодировщиков.

Файлы

Приведенный ниже список содержит описания прочих перекодировщиков из каталогов /usr/lib/nls/loc/iconv и /usr/lib/nls/loc/iconvTable:

Связанная информация

Глава 16, Поддержка национальных языков, Список функций поддержки национальных языков.

Раздел Кодовые наборы - Обзор в руководстве AIX 5L Version 5.1 Kernel Extensions and Device Support Programming Concepts.

Команды iconv, uuencode и uudecode.

Функции iconv_open, iconv, iconv_close.