← Сtrl

py.user.next · Апрель 12, 2013 01:10:25

f = open('Connect (2).txt', encoding='utf-16')
print(f.read())

f = open('Connect (2).txt', encoding='utf-16le')
print(f.read()[1:])

Отредактировано py.user.next (Апрель 12, 2013 01:25:15)

alexbadaloff · Апрель 12, 2013 09:54:01

py.user.next
Подскажите, пожалуйста, есть ли возможность программно определить кодировку исходного файла?

————————–
Истина где-то рядом

pyuser · Апрель 12, 2013 10:05:08

alexbadaloff
Подскажите, пожалуйста, есть ли возможность программно определить кодировку исходного файла?

Попробуйте что-нибудь из chardet, cchardet, charade. (все можно взять на pypi.python.org)

Ilyxa · Апрель 12, 2013 13:54:25

Спасибо

py.user.next · Апрель 12, 2013 17:03:38

alexbadaloff
есть ли возможность программно определить кодировку исходного файла?

если такая потребность возникла, то это странно
это типа вопроса “есть ли возможность залезть на шкаф?”, ответ “есть, можно применить лестницу”
кодировка должна быть известна (сообщена)

Отредактировано py.user.next (Апрель 12, 2013 17:04:30)

alexbadaloff · Апрель 15, 2013 12:29:29

py.user.next
если такая потребность возникла, то это странно
это типа вопроса “есть ли возможность залезть на шкаф?”, ответ “есть, можно применить лестницу”
кодировка должна быть известна (сообщена)

Думаю проблема может возникнуть при обработке файлов, приходящих со стороны. Может получиться так, что пришлют файл с плохой кодировкой, например сменится человек или ОС поменяют, где умолчания другие были. И если обработка таких файлов осуществлялась автоматически, то будут проблемы. Поэтому я и задал этот вопрос, вдруг есть простой способ узнать кодировку файлов в питоне (я то новичок, пока азы изучаю). Хотелось бы видеть что-то вида:

f = open('Connect (2).txt')
x = f.getCoding();
print(x)

И ответом получить:
>>> utf-16

Но раз таких простых путей нет (а жаль), то придётся уже анализировать прочитанные данные.

————————–
Истина где-то рядом

Отредактировано alexbadaloff (Апрель 15, 2013 12:30:18)

py.user.next · Апрель 19, 2013 08:58:31

alexbadaloff
Может получиться так, что пришлют файл с плохой кодировкой, например сменится человек или ОС поменяют, где умолчания другие были.

Как создаётся файл ?

alexbadaloff · Апрель 19, 2013 09:10:43

py.user.next
Как создаётся файл ?

Неизвестно. Просто указан расширение txt.

Я после того как задал такой вопрос, про автоузнавание кодировки, где-то на просторах инета, видел способ. То есть это вполне реально. Можно тут поспорить, о регламентах присылаемых файлов, об автоматизации подготавливаемых данных на стороне клиента или неких проверках. Но гибкости меньше.

Кстати, подумал, вот еще где может это пригодиться:

Например при поиске нужной инфы на файло-помойках (серверы, старые компы и т.п.)

————————–
Истина где-то рядом

Отредактировано alexbadaloff (Апрель 19, 2013 11:59:57)

py.user.next · Апрель 28, 2013 07:51:30

alexbadaloff
Неизвестно. Просто указан расширение txt.

у бинарного тоже можно расширение такое сделать

alexbadaloff
То есть это вполне реально.

не, это реально; если нужно распознать кодировку, то нужно определить признаки каждой кодировки и сопоставить их

я думал, у тебя есть свой клиент и свой сервер, сервер принимает файл от клиента, и клиент может задать кодировку и сообщить серверу

Python-сообщество

Уведомления

#1 Апрель 12, 2013 01:10:25

open()

#2 Апрель 12, 2013 09:54:01

open()

#3 Апрель 12, 2013 10:05:08

open()

#4 Апрель 12, 2013 13:54:25

open()

#5 Апрель 12, 2013 17:03:38

open()

#6 Апрель 15, 2013 12:29:29

open()

#7 Апрель 19, 2013 08:58:31

open()

#8 Апрель 19, 2013 09:10:43

open()

#9 Апрель 28, 2013 07:51:30

open()

Board footer