Как открыть действительно большие текстовые и CSV-файлы

MS Excel может отображать 1 048 576 строк. Хотя при нормальном использовании это может показаться действительно большим числом, существует множество сценариев, в которых этого недостаточно.

При просмотре файлов журналов или больших наборов данных легко найти CSV-файлы с миллионами строк или огромными текстовыми файлами. Поскольку Excel не поддерживает файлы такого размера, как именно их открыть? Давайте разберемся.

Почему обычные текстовые редакторы не могут открывать действительно большие файлы?

На компьютере есть гигабайты памяти, так почему же текстовые редакторы не могут открывать большие файлы?

Здесь играют роль два фактора. Некоторые приложения имеют жестко запрограммированное ограничение на количество отображаемых данных. Неважно, сколько памяти у вашего ПК, они просто не будут ее использовать.

Вторая проблема – оперативная память. Многие текстовые редакторы не имеют жесткого ограничения на количество строк, но не могут отображать большие файлы из-за ограничений памяти. Они загружают весь файл в систему RAM, поэтому, если этой памяти недостаточно, процесс завершается ошибкой.

Метод №1: Использование бесплатных редакторов

Лучший способ просматривать очень большие текстовые файлы – использовать текстовый редактор. Не просто текстовый редактор, а инструменты, предназначенные для написания кода. Такие приложения обычно могут без проблем обрабатывать большие файлы и бесплатны.

Средство просмотра больших текстовых файлов вероятно, самое простое из этих приложений. Он действительно прост в использовании, работает быстро и требует очень мало ресурсов. Единственный недостаток? Он не может редактировать файлы. Но если вы хотите просматривать только большие CSV-файлы, это лучший инструмент для работы.

Для редактирования больших текстовых файлов вам следует попробовать Emacs. Первоначально созданный для систем Unix, он также отлично работает в Windows и может обрабатывать большие файлы. Сходным образом, Неовим а также Возвышенный текст – это две легкие IDE, которые можно использовать для открытия текстовых файлов CSV размером с гигабайт.

Если все, что вам нужно, это поиск данных в больших файлах журнала, тогда клогг это просто инструмент для вас. Обновленная вилка популярного Glogg, это приложение позволяет с легкостью выполнять сложные операции поиска в огромных текстовых файлах. Поскольку файлы журналов, сгенерированные компьютером, часто могут содержать миллионы строк, журнал предназначен для беспроблемной работы с файлами такого размера.

Метод # 2: разделить на несколько частей

Вся проблема при попытке открыть большие CSV-файлы в том, что они слишком большие. Но что, если бы вы разбили их на несколько файлов меньшего размера?

Это популярное решение, поскольку обычно не требует изучения интерфейса нового текстового редактора. Вместо этого вы можете использовать один из многих разделителей CSV, доступных в Интернете чтобы разбить большой файл на несколько легко открываемых файлов. После этого можно будет получить доступ к каждому из этих файлов в обычном режиме.

Однако это не лучший способ сделать это. Разделение большого файла часто может приводить к странным опечаткам или неправильно настроенным файлам. Более того, открытие каждого фрагмента по отдельности предотвращает фильтрацию всех данных сразу.

Метод № 3: Импорт в базу данных

Текстовые и CSV-файлы размером до нескольких гигабайт обычно представляют собой большие наборы данных. Так почему бы просто не импортировать их в базу данных?

SQL – наиболее распространенный язык разметки баз данных в наши дни. Есть много версий SQL в использовании, но, вероятно, самым простым из них является MySQL. И как назло, можно преобразовать файл CSV в таблицу MySQL.

Это ни в коем случае не самый простой метод работы с большими CSV-файлами, поэтому мы рекомендуем его только в том случае, если вы хотите иметь дело с большими наборами данных на регулярной основе. Если MySQL кажется слишком сложным, вы всегда можете импортировать файлы .csv в MS доступ вместо.

Метод # 4: анализ с помощью библиотек Python

Когда вы работаете с файлом .csv с миллионами строк данных, вы, очевидно, не сможете понять его вручную. Вероятно, вы захотите отфильтровать данные и выполнить определенные запросы, чтобы понять тенденции.

Так почему не написать код Python сделать именно это?

Опять же, это не самый удобный метод. В то время как Python – не самый сложный язык программирования для изучения, это кодирование, поэтому он может быть не лучшим подходом для вас. Тем не менее, если вам приходится ежедневно анализировать действительно большие файлы CSV, вы можете захотеть автоматизировать задачу с помощью некоторого кода Python.

Метод # 5: с помощью премиальных инструментов

Текстовые редакторы, которые мы видели в первом методе, не были специальными инструментами, предназначенными для обработки CSV. Это были инструменты общего назначения, которые можно было использовать также для работы с большими CSV-файлами.

А как насчет специализированных приложений? Нет ли приложений, созданных для решения этой проблемы?

На самом деле есть. CSV Explorer, например, основывается на самом процессе, который мы описали в двух последних методах (база данных SQL и код Python), для создания приложения, способного просматривать и редактировать файлы CSV любого размера. Вы можете делать все, что ожидаете от инструмента для работы с электронными таблицами, например создавать графики или фильтровать данные в CSV Explorer.

Другой вариант – UltraEdit. В отличие от предыдущего инструмента, это предназначено не только для файлов .csv, но и для любого типа текстового файла. Он может легко обрабатывать текстовые и CSV-файлы размером до нескольких гигабайт с интерфейсом, аналогичным многим бесплатным редакторам, которые мы обсуждали ранее.

Единственным недостатком этих инструментов является то, что они являются приложениями премиум-класса, и для их использования требуется платная лицензия. Вы всегда можете опробовать их бесплатные пробные версии, чтобы проверить их функции, или если вы используете их только один раз.

Как лучше всего открывать большие текстовые и CSV-файлы?

В наш век больших данных нередко встречаются текстовые файлы размером в гигабайты, которые может быть трудно даже просмотреть с помощью встроенных инструментов, таких как Блокнот или MS Excel. Чтобы иметь возможность открывать такие большие файлы CSV, вам необходимо загрузить и использовать стороннее приложение.

Если все, что вам нужно, – это просматривать такие файлы, то программа просмотра больших текстовых файлов – лучший выбор для вас. Для их фактического редактирования вы можете попробовать многофункциональный текстовый редактор, такой как Emacs, или воспользоваться дополнительным инструментом, например CSV Explorer.

Такие методы, как разделение файла CSV или его импорт в базу данных, включают слишком много шагов. Вам лучше получить платную лицензию на специальный инструмент премиум-класса, если вы обнаружите, что много работаете с огромными текстовыми файлами.