UTF8 aan/uit breed char conversie in STL

Ik heb deze vraag gesteld op 5 jaar geleden. Deze draad was erg nuttig voor mij toen, kwam ik tot een conclusie, daarna verhuisde ik met mijn project. Het is grappig dat ik iets nodig had soortgelijke onlangs, geheel los van dat project uit het verleden. Als ik onderzoek deed naar mogelijke oplossingen, struikelde ik over mijn eigen vraag 🙂

De oplossing die ik koos is nu gebaseerd op C++11. De boost libraries dat Constantin vermeldt in zijn antwoord zijn nu onderdeel van de standaard. Als wij in de plaats van std::wstring met de nieuwe string type std::u16string, dan is de conversie zal er als volgt uitzien:

UTF-8 en UTF-16

std::string source;
...
std::wstring_convert<std::codecvt_utf8_utf16<char16_t>,char16_t> convert;
std::u16string dest = convert.from_bytes(source);    

UTF-16 en UTF-8

std::u16string source;
...
std::wstring_convert<std::codecvt_utf8_utf16<char16_t>,char16_t> convert;
std::string dest = convert.to_bytes(source);    

Gezien vanaf de andere antwoorden, er zijn meerdere benaderingen van het probleem. Dat is de reden waarom ik afzien van het kiezen van een geaccepteerd antwoord.

U kunt het uittreksel utf8_codecvt_facet van Boost-serialization-bibliotheek.

Hun voorbeeld van gebruik:

  typedef wchar_t ucs4_t;

  std::locale old_locale;
  std::locale utf8_locale(old_locale,new utf8_codecvt_facet<ucs4_t>);

  //Set a New global locale
  std::locale::global(utf8_locale);

  //Send the UCS-4 data out, converting to UTF-8
  {
    std::wofstream ofs("data.ucd");
    ofs.imbue(utf8_locale);
    std::copy(ucs4_data.begin(),ucs4_data.end(),
          std::ostream_iterator<ucs4_t,ucs4_t>(ofs));
  }

  //Read the UTF-8 data back in, converting to UCS-4 on the way in
  std::vector<ucs4_t> from_file;
  {
    std::wifstream ifs("data.ucd");
    ifs.imbue(utf8_locale);
    ucs4_t item = 0;
    while (ifs >> item) from_file.push_back(item);
  }

Kijk voor utf8_codecvt_facet.hpp en utf8_codecvt_facet.cpp bestanden in de boost-bronnen.

Er zijn verschillende manieren om dit te doen, maar de resultaten zijn afhankelijk van wat de karakters worden in de string en wstring variabelen.

Als u weet dat de string ASCII is, je kan gewoon gebruik maken van wstring’s iterator constructor:

string s = "This is surely ASCII.";
wstring w(s.begin(), s.end());

Als uw string heeft een aantal andere codering, maar krijg je erg slechte resultaten. Indien de codering op Unicode, je kon een kijkje nemen op de ICU project, die voorziet in een cross-platform verzameling bibliotheken voor het omzetten naar en van allerlei Unicode-coderingen.

Als uw string bevat tekens in een code pagina, dan kan $GODHEID genadig zijn op uw ziel.

Kunt u gebruik maken van de codecvt landinstelling facet. Er is een specifieke specialisatie gedefinieerd, codecvt<wchar_t, char, mbstate_t> die van nut kan zijn voor u, hoewel, het gedrag van dat systeem-specifieke, en garandeert niet dat de conversie naar UTF-8 op geen enkele manier.

Gemaakt van mijn eigen bibliotheek voor utf-8 en utf-16/utf-32 conversie – maar besloten om een afsplitsing van een bestaand project voor dat doel.

https://github.com/tapika/cutf

(Afkomstig uit https://github.com/noct/cutf )

API werkt met gewone C als C++.

Functie prototypes ziet er als volgt uit: (Voor de volledige lijst zie https://github.com/tapika/cutf/blob/master/cutf.h )

//
// Converts utf-8 string to wide version.
//
// returns target string length.
//
size_t utf8towchar(const char* s, size_t inSize, wchar_t* out, size_t bufSize);

//
// Converts wide string to utf-8 string.
//
// returns filled buffer length (not string length)
//
size_t wchartoutf8(const wchar_t* s, size_t inSize, char* out, size_t outsize);

#ifdef __cplusplus

std::wstring utf8towide(const char* s);
std::wstring utf8towide(const std::string& s);
std::string  widetoutf8(const wchar_t* ws);
std::string  widetoutf8(const std::wstring& ws);

#endif

Voorbeeld van gebruik en /of eenvoudige test applicatie voor utf-conversie testen:

#include "cutf.h"

#define ok(statement)                                       \
    if( !(statement) )                                      \
    {                                                       \
        printf("Failed statement: %s\n", #statement);       \
        r = 1;                                              \
    }

int simpleStringTest()
{
    const wchar_t* chineseText = L"主体";
    auto s = widetoutf8(chineseText);
    size_t r = 0;

    printf("simple string test:  ");

    ok( s.length() == 6 );
    uint8_t utf8_array[] = { 0xE4, 0xB8, 0xBB, 0xE4, 0xBD, 0x93 };

    for(int i = 0; i < 6; i++)
        ok(((uint8_t)s[i]) == utf8_array[i]);

    auto ws = utf8towide(s);
    ok(ws.length() == 2);
    ok(ws == chineseText);

    if( r == 0 )
        printf("ok.\n");

    return (int)r;
}

En als deze bibliotheek niet voldoen aan uw wensen – voel je vrij om te openen de volgende link:

http://utf8everywhere.org/

en scroll naar beneden op het einde van een pagina en pick-up een zwaardere bibliotheek die u wilt.