是否可以将文本文件设置为UTF-16？

问题描述

我的文本编写代码适用于ANSI字符，但是当我尝试编写日语字符时，它们不会出现。我需要使用UTF-16编码吗？如果是这样，我将如何在代码上做到这一点？

std::wstring filename;
std::wstring text;
filename = "path";
wofstream myfile;
myfile.open(filename,ios::app);
getline(wcin,text);
myfile << text << endl;
wcin.get();
myfile.close();

解决方法

从注释中看，您的控制台似乎可以正确理解Unicode，而问题仅在于文件输出。

这是在UTF-16LE中编写文本文件的方法。刚刚在MSVC 2019中进行了测试，并且可以正常工作。

#include <string>
#include <fstream>
#include <iostream>
#include <codecvt>
#include <locale>

int main() {
    std::wstring text = L"test тест 試験.";
    std::wofstream myfile("test.txt",std::ios::binary);
    std::locale loc(std::locale::classic(),new std::codecvt_utf16<wchar_t,0x10ffff,std::little_endian>);
    myfile.imbue(loc);
    myfile << wchar_t(0xFEFF) /* UCS2-LE BOM */;
    myfile << text << "\n";
    myfile.close();
}

您必须在Windows下使用std::ios::binary模式进行输出，否则\n将通过扩展为\r\n来破坏它，最终发出3个字节而不是2个字节

您不必一开始就编写BOM，但是拥有一个BOM可以大大简化在文本编辑器中使用正确编码打开文件的过程。

不幸的是，std::codecvt_utf16自C ++ 17起已被弃用，没有替代品（是的，C ++中的Unicode支持那很糟糕）。

,

扩展我对last question的回答，这是用于编写文件的C库解决方案。我将源代码保存为UTF-8，并使用Microsoft“ cl / EHsc / W4 / utf-8 test.cpp”进行编译。

#include <fcntl.h>
#include <io.h>
#include <string>
#include <iostream>

using namespace std;

int main()
{
    // Declare console I/O that works with Unicode.
    _setmode(_fileno(stdout),_O_U16TEXT);
    _setmode(_fileno(stdin),_O_WTEXT);

    // Send a string to the console to verify stdout works with wide strings.
    wstring s = L"こんにちは,世界!\nHello,World!";
    wcout << s << endl;

    // Read an input string.  I used an IME to enter Chinese.
    // Verify the stdin works...
    wstring test;
    getline(wcin,test);

    // Write it back out to stdout...
    wcout << test << endl;

    // Write it to a file as UTF-16.
    FILE *dest = fopen("out.txt","w,ccs=UTF-16LE");
    fwprintf(dest,L"%s",test.c_str());
    return 0;
}

输出（控制台）：

C:\>test
こんにちは,世界!
Hello,World!
你好，马克！
你好，马克！

C:\>type out.txt
你好，马克！

文件内容的十六进制转储，显示带有BOM编码的UTF-16LE：

ff fe 60 4f 7d 59 0c ff 6c 9a 4b 51 01 ff

,

用标准C ++不好地处理编码不是很方便。 在Posix系统上，单字节流效果更好，在Windows wchar_t流上更方便。

要处理文件编码，您需要使用std::locale在流上设置imbue。

请注意，boost扩展了语言环境功能，因此可能会发现您必须使用它才能使其工作。

通常建议使用系统区域设置：

// set global locale so wcin is able to read data properly
std::locale::global(std::locale{""});

std::wstring filename;
std::wstring text;
filename = "path";
wofstream myfile;

// if you need some specific text encoding check which one your system supports
// it may be something like "C.UTF-16"
myfile.imbue(std::locale{""});
myfile.open(filename,ios::app);
getline(wcin,text);
myfile << text << endl;
wcin.get();