Робимо локальну копію сайту з утилітою wget

За допомогою wget можна завантажувати сайти, включаючи зображення, всього лише вказавши адресу сайту і певні параметри.

wget буде автоматично переходити за посиланнями на сайті та завантажувати сторінку за сторінкою. Розглянемо кілька прикладів від простих до більш складних використання wget для скачування сайтів.

Щоб завантажити сайт за допомогою wget виконайте команду:

wget -r -k -l 7 -p -E -nc http://site.com/

Після виконання даної команди в директорію /home/user/site.com буде завантажена локальна копія сайту http://site.com. Щоб відкрити головну сторінку сайту потрібно відкрити файл index.html.

Розглянемо окремі параметри wget:

• -r – вказує на те, що потрібно рекурсивно переходити за посиланнями на сайті, щоб завантажувати сторінки.
• -k – використовується для того, щоб wget перетворив всі посилання в скачаних файлах таким чином, щоб по них можна було переходити на локальному комп’ютері (в автономному режимі).
• -p – вказує на те, що потрібно завантажити всі файли, які потрібні для відображення сторінок (зображення, css і т.ін.).
• -l – визначає максимальну глибину вкладеності сторінок, які wget повинен завантажити (за замовчуванням значення дорівнює 5, в прикладі ми встановили 7). У більшості випадків сайти мають сторінки з великим ступенем вкладеності і wget може просто «закопатися», завантажуючи нові сторінки. Щоб цього не сталося можна використовувати параметр -l.
• -E – додавати до завантажених файлів розширення .html.
• -nc – при використанні даного параметру існуючі файли не будуть перезаписані. Це зручно, коли потрібно продовжити завантаження сайту, перервану в попередній раз.
• -i – використовується, щоб вказати URL (який ми хочемо скачати) в файлі з ім’ям file (тобто ми не в Терміналі вводимо URL, а URL’и записані в файлі file: wget -i file). Замість імені файлу можна поставити дефіс “-” і тоді після введення команди ви повинні будете ввести URL (по одному на рядок) прямо в Терміналі. Щоб закінчити введення, натисніть Ctrl + d.
• -P – використовується для завантаження сайту у певну директорію (wget http://site.com -P /home/user/teka). Або можна просто перед завантаженням перейти до необхідної теки і в ній виконати команду.

Ми розглянули лише одне з можливих застосувань утиліти wget. Насправді область застосування wget значно ширша і wget має багато додаткових параметрів. За більш детальною інформацією звертайтесь до мануалу, виконавши в Терміналі:

man wget