programma - sostovitel slovarey
 

Mne nugna programma, kotoraya iz textovogo faila so slovami delaet [UNIKALNIE SLOVA], t.e. ubiraet vse povtoryaushiesya slova, faili bolshie, 100-200Mb.

Sushestvuyut takie? :confused:

Можна на Visual Prolog'e написать. Алгоритм несложный и что-то подобное я уже кажется когда-то писал.

написать то можно, только объём файла сильно большой, не зависнет? у меня есть программа "составитель словарей", которая делает именно то, что мне нужно, но с такими большими файлами она не справляеться - зависает.

а разделить файл на меньшие куски не пробовал?

а какой смысл, мне же нужно составить уникальный словарь из разных слов.

конечно, придётся повозиться подольше ( в каждом куске удаляя одинаковые слова)
Но зато программы не зависнут при работе с ним.
Можно использовать связку GetKeywords (анализирует текст и говорит какие слова сколько раз повторяются) и какой нибудь текст редактор (напр. WritePad) и в редакторе потом заменять эти слова на " "
Вопрос: сколько примерно уникальных слов в этом файле?