programma - sostovitel slovarey

nuran · 21.08.2005, 11:12

Mne nugna programma, kotoraya iz textovogo faila so slovami delaet [UNIKALNIE SLOVA], t.e. ubiraet vse povtoryaushiesya slova, faili bolshie, 100-200Mb.

Sushestvuyut takie?

Sh@man · 21.08.2005, 18:51

Можна на Visual Prolog'e написать. Алгоритм несложный и что-то подобное я уже кажется когда-то писал.

nuran · 22.08.2005, 00:15

написать то можно, только объём файла сильно большой, не зависнет? у меня есть программа "составитель словарей", которая делает именно то, что мне нужно, но с такими большими файлами она не справляеться - зависает.

Bright · 22.08.2005, 07:34

а разделить файл на меньшие куски не пробовал?

nuran · 22.08.2005, 16:42

а какой смысл, мне же нужно составить уникальный словарь из разных слов.

Bright · 23.08.2005, 07:22

конечно, придётся повозиться подольше ( в каждом куске удаляя одинаковые слова)
Но зато программы не зависнут при работе с ним.
Можно использовать связку GetKeywords (анализирует текст и говорит какие слова сколько раз повторяются) и какой нибудь текст редактор (напр. WritePad) и в редакторе потом заменять эти слова на " "
Вопрос: сколько примерно уникальных слов в этом файле?