Удаление повторов

[goga]

Я тут новенький, ногами сильно не бейте.
Нужно удалить все повторы с 1,5 гигового текстовика, ниодна известная мне прога не берет такой объем. Но очень надобно) Кто что подскажет?

[C001_UsEr]

Разбей чем-нибудь на несколько небольших файлов, обработай их, и потом, соответственно, склей.

[Klim0n]

C001_UsEr, дело говорит

[asshole]

C001_UsEr, повторы могут быть в разных частях текстовика. идея не эффективна.

[Limanskiy]

а что там у тебя, в этом текстовике?
Есть одна идея, но пока не ответишь - не озвучу

[SHYLLER]

goga, а у тебя оперативки скока?

[tux]

sort -u file.txt

[goga]

SHYLLER(New), немного)

Limanskill, там все собрания дарь донцовой

Добавлено через 10 минут
sort -u file.txt

не катит такая херня

Добавлено через 11 минут
C:\>sort -u file.txt
Файл ввода определялся дважды.

[flabber]

Сообщение от goga

C:\>sort -u file.txt
Файл ввода определялся дважды.

C:\>sort /?
SORT [/R] [/+n] [/M килобайтов] [/L язык] [/REC символов]
[[диск1:][путь1]имя_файла1] [/T [диск2:][путь2]]
[/O [диск3:][путь3]имя_файла3]
/+n Задает число символов, n, до начала каждого
сравнения. /+3 показывает, что каждое
сравнение будет начинаться с третьего символа
каждой строки. Строки меньше чем n символов
собираются перед всеми остальными строками.
По умолчанию, сравнение начинается с первого
символа каждой строки.
/L[OCALE] язык Перекрывает установленные в системе по умолчани
язык и раскладку заданными. Пока существует
возможность только одного выбора: ""C"" -
наиболее быстрый способ упорядочивания
последовательности.
Сортировка всегда идет без учета регистра.
/M[EMORY] килобайтов Задает количество основной памяти, используемой
для сортировки, в килобайтах. Размер памяти
должен быть не менее 160КБ. При явном задании
размера памяти именно это количество будет,
использовано невзирая на то, какое количество
основной памяти доступно в системе.

Наилучшей производительности можно добиться, не
задавая размер памяти. По умолчанию, сортировка
выполняется за один проход (без временного
файла), используя максимально доступный размер
памяти. В остальных случаях, сортировка
выполняется за два прохода (с сохранением
частично отсортированных данных во временном
файле), так что количество памяти, используемой
для обоих проходов, - одинаково. По умолчанию,
максимальный объем памяти равен 90% доступной
основной памяти, если входными и выходными
потоками являются файлы на диске, и 45% доступн
основной памяти - иначе.
/REC[ORD_MAXIMUM] символов Определяет максимальное число символов в записи
(по умолчанию 4096, максимальное 65535).
/R[EVERSE] Обратный порядок сортировки; т.е. сортировка
идет от Я до А, и затем от 9 до 0.
[диск1:][путь1]имя_файла1 Определяет имя сортируемого файла. Если оно
опущено, то будет использоваться стандартный
поток ввода. Явное задание сортируемого файла
работает быстрее, чем перенаправление того же
файла в качестве стандартного потока ввода.
/T[EMPORARY]
[диск2:][путь2] Определяет путь к папке, содержащей рабочие
файлы сортировки, в том случае, когда данные
не помещаются в основной памяти. По умолчанию
используется системная временная папка.
/O[UTPUT]
[диск3:][путь3]имя_файла3 Определяет имя файла, в котором сохраняются
отсортированные результаты. Если оно опущено
данные записываются в стандартный поток вывода.
Явное задание файла вывода работает быстрее чем
перенаправление стандартного потока вывода
в этот же файл.

... мож поможет....

[Hate Eternal]

Сообщение от Limanskill

а что там у тебя, в этом текстовике?

Что же еще у Гоги там может быть?
uin;pass

[goga]

ага на 1,5 гига у меня там асек

[goga]

C:\>sort /?
и ничего про удаление повтотрных строк там не сказано

[.creo]

отсортировать в екселе - разбить содержимое на несколько файлов - далее обработать каким-нибудь dupkill'ом и собрать заново в один файл.

[goga]

CreogeN, эксель в жизнь даже 500мб не заглотит
+ разбивка на несколько файлов не катит,

[Hate Eternal]

Сообщение от goga

ага на 1,5 гига у меня там асек

Ну я про это и говорил, видимо недоговорил( Пардон за флуд.

[C001_UsEr]

goga,

me# cat /home/me/txt
111
333
444
333
555
me# sort -u /home/me/txt > /home/me/txt_sorted
me# cat /home/me/txt_sorted
111
333
444
555
me#

Это для UNIX-подобных систем:)

[goga]

Это мой good.txt
надо отредактить его...
а по теме, брррр пипец как бы облегчило мне жизнь, если удалил повторные строки из этого файла

Добавлено через 4 минуты
C001_UsEr, не круто мне под никсами

[C001_UsEr]

goga, инфа приватная? Если нет, то могу помочь с сортировкой на моей UNIX-машине;)

[goga]

инфа приватная)
походу без девида блейна не справиться=((

[.fry]

Попробуй этим, но ничего не гарантирую..

[C001_UsEr]

Гоги, вот порт sort.exe для Windows. Юзать так —
Пуск -> Выполнить -> cmd
c:/sort.exe -u c:/sort.txt > c:/sorted.txt
Нужно sort.exe положить в корень диска c:/ , к примеру.

[Jam316]

Duplicate Cleaner - запусти и оставь на пару часов.
И все таки надо ручками, РУЧКАМИ все делать

[filippusik]

А у меня есть софтина, грызущая любые объёмы )))
Местного, кстати говоря, асечного производства.

[deFFuser]

filippusik, ну дык поделился бы тогда раз тем более она местная :)

[error]

TextPad попробуй, там пункт меню Tools, галочка "удалять повторы".

Но не знаю.. объём файла, конечно, забавный ;)