• Linux 2.6.23-gentoo-r3k1
• Mapnik 0.6.0 (sci-geosciences/mapnik)
• osm2pgsql 20090707 (sci-geosciences/osm2pgsql)
• PostgreSQL 8.3.7 (dev-db/postgresql-base, dev-db/postgresql-server)
• Python 2.6.2-r1

Установка PostGIS и PostgreSQL

1. Устанавливаем Postgis и PostgreSQL:

ACCEPT_KEYWORDS="~x86" USE="proj geos" emerge postgis
emerge postgresql-server --config

2. Запускаем PostgreSQL:

/etc/init.d/postgresql-8.3 start

3. Создаем базу данных PostGIS:

su
su - postgres
createuser mike
createdb -E UTF8 -O mike gis
createlang plpgsql gis
psql -d gis -f /usr/share/postgresql/contrib/lwpostgis.sql
echo "ALTER TABLE geometry_columns OWNER TO mike; ALTER TABLE spatial_ref_sys OWNER TO mike;"  | psql -d gis
ACCEPT_KEYWORDS="~x86" USE="postgres proj doc gdal python bidi" emerge mapnik
ACCEPT_KEYWORDS="~x86" emerge osm2pgsql
psql -d gis -f /usr/share/postgresql/contrib/90000.sql

Установка Mapnik

4. Устанавливаем Mapnik:

USE="postgres proj debug doc gdal python bidi" emerge mapnik

5. Устанавливаем данных Mapnik:

Более подробные инструкции можно найти на http://wiki.openstreetmap.org/index.php/Mapnik. Ниже только самое главное:

World boundaries (Границы, 51MB) and coastlines (Береговые линии) (~200MB):

wget http://tile.openstreetmap.org/world_boundaries-spherical.tgz
wget http://hypercube.telascience.org/~kleptog/processed_p.zip
tar -zxvf world_boundaries-spherical.tgz
unzip processed_p.zip
mv coastlines/* world_boundaries/
rmdir coastlines
chmod -R 755 world_boundaries

mkdir /usr/local/share/mapnik
mv world_boundaries /usr/local/share/mapnik

Установка osm2pgsql

6. Устанавливаем osm2pgsql:

ACCEPT_KEYWORDS="~x86" emerge osm2pgsql

7. Получаем данные OSM по заданным координатам:

wget -O map.osm "http://www.informationfreeway.org/api/0.6/*[bbox=29.637569,56.918102,36.227985,59.435345]"

7. Добавляем скачанные данных в базу данных:

./osm2pgsql -d gis ../map.osm

Генерация карты

8. Скачиваем с http://svn.openstreetmap.org/applications/rendering/mapnik/ Pyhton скрипты для генерации квадратов — http://svn.openstreetmap.org/applications/rendering/mapnik/generate_image.py и http://svn.openstreetmap.org/applications/rendering/mapnik/generate_tiles.py. Также скачиваем XML файлы описывающие стили карт — osm.xml;

9. В самом конце файла generate_tiles.py правим координаты квадрата и уровни масштабирования. Запускаем generate_tiles.py;

10. Используем квадраты по своему усмотрению, например с Google Maps API.

И вот это чувство вернулось. Встретил в чужом примере нечто похожее вот на это:

SELECT SQL_CALC_FOUND_ROWS * FROM table LIMIT 10,20;

полез разбираться, что же за зверь «SQL_CALC_FOUND_ROWS» и выяснилось что это опция позволяющая получать реальное количество строк в FOUND_ROWS(), а не то что осталось от них после LIMIT. А я, как баран, использовал два запроса, вместо такой простой конструкции. Эххх, пора уже отвыкать от MySql 3.23 :)

Ну нет, так нет, в конце концов Perl не просто так изобрели. Обожаю Perl:

#!/usr/bin/perl

my @url = (
        "http://mikhail.krivyy.com/",
        "http://www.novgorod.ru/",
        );

system("mv data.md5 data.old");

open(FILE,">data.md5");
foreach (@url) {print FILE $_."\t".(`fetch -q -o - $_ | md5 -q`);}
close(FILE);

print `diff data.md5 data.old`;

Все это в crontab и все :)

Исправление:

Заменить, в файле wp-includes/pluggable.php, строка 1171:

function wp_generate_password($length = 12) {
        $chars = "abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789!@#$%^&*()";
        $password = '';
        for ( $i = 0; $i < $length; $i++ )
                $password .= substr($chars, mt_rand(0, strlen($chars) - 1), 1);
        return $password;
}

на

function wp_generate_password($length = 12) {
        $chars = "abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789";
        $password = '';
        for ( $i = 0; $i < $length; $i++ )
                $password .= substr($chars, mt_rand(0, strlen($chars) - 1), 1);
        return $password;
}

или переписать регулярное выражение для проверки правильности ключа в файле wp-login.php, строка 116.

<?php
print memory_get_usage()."\n"; // 55048
$a="z";
print memory_get_usage()."\n"; // 55184
unset($a);
print memory_get_usage()."\n"; // 55200
?>

Тестировалось в 5.2.2 под Windows и в 5.2.5 под FreeBSD

Paul Jones написал в своем блоге на похожу тему.

Большая часть этих сообщений не являются критичными. Например, «Невозможно соединится с сервером», «Обработано файлов столько-то», «Затрачено времени столько-то» и т.п.  Я рассмотрел два основных варианта этой проблемы:

Первый вариант, в лоб — использовать перенаправление вывода или собственные лог-файлы. Этот вариант не удобен для мониторинга, так как придётся просматривать больше количество файлов отчётов.

Второй вариант — не изобретать велосипед и использовать syslog.

syslog — стандарт отправки сообщений о происходящих в системе событиях (логов), использующийся в компьютерных сетях, работающих по протоколу IP.

Протокол syslog прост: отправитель посылает короткое текстовое сообщение, размером меньше 1024 байт получателю сообщения. Получатель при этом носит имя «syslogd», «syslog daemon», либо же, «syslog server». Сообщения могут отправляться как по UDP, так и по TCP. Как правило, такое сообщение отсылается в открытом виде.

Syslog используется для удобства администрирования и обеспечения информационной безопасности. Он реализован под множество платформ и используется в множестве устройств. Поэтому, использование syslog позволяет обеспечить сбор информации с разных мест и хранение её в едином репозитории.

Как правило syslog и syslogd работают внутри одного сервера (то есть все соединения локальны) и никакой внешней сетевой деятельности не производится.

Теперь, как все это выглядит на практике.

Perl:

use Sys::Syslog;
openlog("имя вашей программы", "ndelay,pid", "local0");
syslog(LOG_WARNING, "Программа запущена");
...
# тут программа
...
syslog(LOG_WARNING, "Программа завершила выполнение");
closelog();

PHP:

openlog("имя вашей программы", LOG_PID | LOG_PERROR, LOG_LOCAL0);
syslog(LOG_WARNING,"Программа запущена");
...
// тут программа
...
syslog(LOG_WARNING, "Программа завершила выполнение");
closelog();

C/C++:

#include <syslog.h>
openlog("имя вашей программы", 0, LOG_USER);
syslog(LOG_NOTICE, "Can not open file \"%s\" for writing.",filename);
closelog();

Далее можете поискать ваши сообщения в журналах syslog. Тут все зависит от настроек syslogd. Обычно это /var/log/messages.

В документации PHP написано, что в windows тоже работает, но я не пробовал.

Подробнее о флагах и значениях можно прочитать в руководствах:

• C — http://linux.die.net/man/3/syslog

• PHP — http://www.php.net/syslog

• Perl — http://perldoc.perl.org/Sys/Syslog.html

Страница на которой есть изображения с неуказанными размерами может «прыгать» в процессе загрузки.

Но сейчас стали появляться первые аргументы против, да  и вообще верстка в целом уже не та. Не нужно использовать «растяжек», размеры блоков и ячеек таблиц заранее известны, браузеры перестают показывать рамки загружаемых изображений и т.п.

Все это я к чему…недавно не указал размеры у несуществующей картинки, и вот что выдал мне FireFox:

• В первой картинке указан размер - 10×10.
• Во второй картинке ну указан размер.
• В третей картинке указан размер — 100×100

FireFox 2.0.0.7 — HTML.

FireFox 2.0.0.7 — XHTML

Microsoft Internet Explorer 7.0.5730.11 — HTML и XHTML (одинаково)

Opera 9.23 — XHTML и HTML (одинаково)

Safari 3.0.3 — XHTML и HTML (одинаково)

Как видно из картинок — FireFox, в случае если размеры картинки не указаны, отображает вместо картинки текст . Этот текст можно выделить, скопировать. Ничего не напоминает о наличии тега <img> (если не считать черную рамку, которая здесь только для наглядности)

При работе c XHTML FireFox так введет себя всегда, не зависимо от того, указаны размеры изображений или нет.

Остальным браузерам все по барабану. Если размер изображения не указан, то MSIE и Opera подгоняют рамку под «Альт», Safari действует подобный образом, но «Альт» вообще не отображает.

Вывод: если картинка маленькая и ее размеры указаны, то в FireFox »Альт» не отобразится, если размеры не указаны, то вместо картинки вы увидите простой текст.

Код используемый в примерах:

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN"
"http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"><html>
<head>
<title>Hello</title>
<style type="text/css">
img {border: solid 1px black;}
</style>
</head>
<body>
<img src="notfound.gif" mce_src="notfound.gif" width="10" height="10" alt="Hello" />
<hr />
<img src="notfound.gif" mce_src="notfound.gif" alt="Hello" title="Hello" />
<hr />
<img src="notfound.gif" mce_src="notfound.gif" width="100" height="100" alt="Hello" />
</body>
</html>

SFTP — протокол прикладного уровня, предназначенный для копирования и выполнения других операций с файлами поверх надёжного и безопасного соединения. Расшифровывается как SSH File Transfer Protocol — SSH-протокол для передачи файлов. Как правило, в качестве базового протокола, обеспечивающего соединение, и используется протокол SSH2, но это не обязательно.

Существует заблуждение, что SFTP это просто обычный FTP, работающих поверх SSH. В действительности SFTP — это новый протокол, разработанный с нуля. Ещё его иногда путают с Simple File Transfer Protocol. SFTP расшифровывается как SSH File Transfer Protocol и ничего общего с Simple File Transfer Protocol не имеет.

У SFTP есть два явных преимущества:

1. Безопасность протокола
2. Отсутствие необходимости поднимать FTP демона на сервере

Клиент SFTP

Клиент который мне понравился — WinSCP. Если быть точнее, не клиент, а его плагин к Far Manager. Устанавливается все без каких либо трудностей, поддерживается SSH2 и все популярные методы аутентификации.

Так выглядит WinSCP в двухпанельном режиме (есть еще Проводник-Style режим)

Просмотр корневой директории Linux сервера

Установка прав на файлы

Диалог создания новой сессии

Можно выполнять команды на стороне сервера — пример для «ls -la»

Сервер SFTP

SFTP-сервер встроен в OpenSSH. Он реализуется с помощью программы sftp-server. Для того чтобы включить sftp-server в sshd, необходимо указать его в конфигурационном файле sshd_config в качестве подсистемы:

Subsystem sftp /usr/lib/openssh/sftp-server

Как правило, это строка уже указана в конфигурационном файле sshd по умолчанию, так что SFTP работает сразу и не требует никаких дополнительных действий для включения.

Это тема меня тронула во время настройки поисковой системы CNSearch, которую я использую для поиска по новгородскому региону. Оказывается, большую часть сайтов нельзя проиндексировать полностью — они содержат бесконечное количество страниц.

Как так получилось ?

Проблема тут в основном в некомпетентности программистов, разрабатывающих «движки» сайтов.

Для примера рассмотрим сайт: www.oldport.ru. Заходим в гостевую книгу и в блоке навигации по страницам гостевой книги нажимаем на ссылку «>>». Делать это можно бесконечно и каждый раз, загружается страница с уникальным адресом.

Точно так же ведут себя форумы на базе phpBB и vBulletin, сайты на базе Joomla и phpnuke. Кроме того, есть масса «движков» которые содержат большое количество страниц с дублирующейся информацией или просто страниц без информации. Про идентификаторы сессий (PHPSESSID, sid, ssid и пр.) я вообще молчу.

Решить эту проблему проще всего на стадии разработки «движка» сайта. Если сайт уже готов, или используется «движок» стороннего разработчика, то решить эту проблему на стадии разработки уже не получится. Но кое-что все равно можно исправить. Сделать это можно с помощью файлов robots.txt, мета тегов «noindex» и «nofollow». «Прятанья» ненужных ссылок.

Например, в разы сократить количество индексируемых страниц в форуме, на базе vBulletin, можно добавив следующие строки в файл robots.txt

— robots.txt —————
User-Agent: *
Disallow: /forum/calendar.php
Disallow: /forum/misc.php
Disallow: /forum/external.php
Disallow: /forum/search.php
Disallow: /forum/vB.Sponsors
Disallow: /forum/showgroups.php
Disallow: /forum/online.php
Disallow: /forum/showthread.php?p=
Disallow: /forum/showpost.php
Disallow: /forum/printthread.php
Disallow: /forum/attachment.php
— robots.txt —————

Перечисленные страницы содержат либо несущественную, либо дублирующуюся информацию.

Для той же цели можно использовать мета теги «noindex» и «nofollow». Но помните, чтобы обнаружить теги, поисковая система должна сначала скачать страницу с вашего сайта. По этому вместо использования мета тега «noindex» лучше просто «спрятать» ссылку на несущественную страницу.

Следующий шаг - это проверка корректности индексации сайта с помощью собственной поисковой системы. При этом, решая эту задачу, можно убить еще одного зайца — создать Google Sitemap.

Для этих целей я использую все тот же CNSearch. Это платная система, но для нашей задачи подходит и незарегистрированная версия, так как фронтенд от нее не используется.

Для начала нужно положить фронтенд и индексатор в один каталог, настроить индексатор и фронтенд (об этом можно почитать в руководстве пользователя, которое есть на официальном сайте CNSearch).

После того как настройки поисковой системы выполнены, нужно создать простой shell скрипт:

— sitemap.sh ———————
#!/bin/sh

./indexer mike

export QUERY_STRING=»sitemap=1&password=парольнастатистику»
export REQUEST_METHOD=GET
./search.cgi | tail -n +3 > ../sitemap.xml

rm ./docs.cns
rm ./files.cns
rm ./fulltxt.cns
rm ./index.cns
rm ./stats.log
— sitemap.sh ———————

Сначала запускается индексатор (indexer). Во время индексации выводится список индексируемых страниц. Визуально проверяем этот список. Если сайт содержит бесконечное количество страниц, то индексатор рано или поздно выдаст «To many files» (максимальное количество страниц — задается в настройках индексатора).

После того как произведена индексация, shell скрипт вызывает фронтенд (search.cgi), при этом, эмулируя Веб-сервер, так как фронтент является CGI приложением. После чего, с помощью tail удаляются http заголовки, которые вернул фронтенд. На этом этапе, на выходе мы имеем готовый файл sitemap.

Последний шаг — удаляем файлы поискового индекса — они нам не нужны.

Этот скрипт размещаем в отдельном каталоге и прописываем его в crontab.

После этого иногда заглядываем в файл sitemap.xml и смотрим нет ли там лишних страниц. Сам sitemap отправляем в Google, для ускорения процесса индексации сайта поисковым роботом Google.

Мой sitemap выглядит вот так: http://mikhail.krivyy.com/sitemap.xml. И я точно знаю, что поисковому роботы не понадобится много времени, чтобы произвести индексацию моего сайта.

Ниже я привожу 9 простых правил, соблюдая которые вы можете из valid HTML получить valid XHTML. Я не буду рассматривать все нюансы и подробности — просто 9 простых правил.

Для проверки правильности кода я использую FireFox с плагином «Tidy Validator». Быстро и удобно

1. Название тегов пишем маленькими буквами.

Было:

<BODY>

Стало:

<body>

2. Забываем про атрибут language у тега script.

Было:

<script language=»JavaScript»>

Стало:

<script type=»text/javascript»>

3. Убираем из адресов все служебные символы.

Было:

<a href=»http://www.codenet.ru/?a=1&b=3″>CodeNet</a>

Стало:

<a href=»http://www.codenet.ru/?a=1&amp;b=3″>CodeNet</a>

4. Слешим незакрывающиеся теги:

Было:

<img src=»image.gif»>

Стало:

<img src=»image.gif» />

5. Не забываем закрывать все теги

Было:

<p>Параграф

Стало:

<p>Параграф</p>

6. Соблюдаем объектную модель. (Не меняем теги местами)

Было:

<table>
<form>
<tr><td></td></tr>
</form>
</table>

Стало:

<form style=»margin:0″>
<table>
<tr><td></td></tr>
</table>
</form>

7. Все атрибуты пишем в кавычках.

Было:

<table cellspacing=0 align=right>

Стало:

<table cellspacing=»0″ align=»right»>

8. Забываем про сокращения.

Было:

<input type=»radio» selected>

Стало:

<input type=»radio» selected=»selected»>

9. Не забываем про атрибут ALT.

<img src=»image.gif» alt=»hello» />