PhpDig : Documentation h1 { font-family: Verdana, Arial, Helvetica, sans-serif; font-size: 18pt; font-weight: normal} h2 { font-family: Verdana, Arial, Helvetica, sans-serif; font-size: 14pt; font-weight: normal} body { font-family: Verdana, Arial, Helvetica, sans-serif; color: #000000; font-size: 10pt; background-color: #FFFFFF;} a { font-family: Verdana, Arial, Helvetica, sans-serif; color: #004488; text-decoration: none; font-size: 10pt} a:hover { font-family: Verdana, Arial, Helvetica, sans-serif; color: #FFFFFF; background-color: #004488; font-size: 10pt} a.high { font-family: Verdana, Arial, Helvetica, sans-serif; color: #000000; background-color: #FFCC55; text-decoration: none; font-size: 10pt; font-weight: bold;} a.high:hover { font-family: Verdana, Arial, Helvetica, sans-serif; color: #FFFFDD; background-color: #003060; font-size: 10pt;} .grey {padding:5px; margin-top:8px; margin-bottom:18px; margin-right:32px; border:2px dotted #BBBBBB; background-color:#EEEEEE;} .blue {background-color:#CCDDFF; margin-top:8px; margin-bottom:8px; margin-right:32px; padding:3px; border-top:1px solid #7688A7; border-bottom:1px solid #7688A7; } Documentation de PhpDig 1.6.2 DerniŁre mise ą jour : 2003-04-06 1. Table des matiŁres 1. Table des matiŁres2. Oł trouver la derniŁre version de PhpDig ?3. Fonctionnalit�s4. Installation5. Configuration6. Mise ą jour de PhpDig7. Indexation par l'interface web8. Indexation en ligne de commandes9. Les templates10. Int�grer PhpDig ą un site web11. Fonctionnement interne de PhpDig12. Obtenir de l'aide sur PhpDig 2. Oł trouver la derniŁre version de PhpDig ? A l'url : http://phpdig.toiletoine.net/ 3. Fonctionnalit�s 3.1. Exploration HTTP PhpDig suit les liens contenus dans les documents fournis par un serveur web, comme n'importe quel navigateur, afin de constituer sa liste de pages ą indexer. Les liens peuvent ętre contenus dans des AreaMap, r�sulter d'une redirection, ou ętre contenus dans des frames. Toute �criture, męme approximative, des liens HREF est support�e. Les liens en javascript simple comme window.open() et window.location() sont d�tect�s. PhpDig ne suit pas les liens externes au site d�fini comme racine lors de la recherche (Cependant, voir plus bas : Indexation de domaine). La profondeur de recherche dans le site peut ętre param�tr�e. Tout le contenu html servi par le site distant est parcouru, que ce soit du html simple, ou des pages cr��es dynamiquement. PhpDig se base sur le Mime-Type pour d�terminer quel est le type du document. 3.2. Indexation Full Text PhpDig indexe exhaustivement les mots contenus dans un document, except�s ceux de moins de 3 lettres (par d�faut), et ceux contenus dans une liste de mots consid�r�s comme courants. Les nombres seuls ne sont pas index�s. En revanche, les mots contenant des chiffres le sont. Les underscores dans les mots sont consid�r�s faisant partie des mots, comme des noms de fonctions dans une documentation technique. Le nombre d'occurences d'un mot dans une page est conserv� dans l'index pour une meilleure pertinence des r�sultats. Les mots du titre des pages peuvent ętre pond�r�s. 3.3. Types de fichiers pouvant ętre index�s PhpDig indexe nativement les fichiers HTML et texte. De plus, PhpDig est capable d'indexer les fichiers PDF, MS-Word et MS-Excel si vous installez sur la machine qui effectue l'indexation des ex�cutables externes capables d'extraire le contenu textuel de ces documents. PhpDig est configur� pour utiliser les utilitaires catdoc, xls2csv et pstotext. Vous trouverez catdoc et xls2csv ą cette adresse : http://www.45.free.net/~vitus/ice/catdoc/. Choisissez la version 0.91.5. La version dite "stable" n'extrait pas correctement le contenu des fichiers et ne contient pas le programme xls2csv. Vous trouverez pstotext ą cette adresse : http://research.compaq.com/SRC/virtualpaper/pstotext.html. Aucun support n'est fourni par l'auteur sur ces outils. Veuillez vous adresser en cas de problŁme de compilation ou d'utilisation aux auteurs respectifs de ces programmes. Cependant, rien ne vous empęche d'utiliser d'autres ex�cutables en renseignant correctement les constantes appropri�es dans le fichier de configuration. Le format de sortie doit imp�rativement ętre du texte brut. 3.4. Autres fonctions PhpDig prend en compte un �ventuel fichier robots.txt contenant les chemins des r�pertoires ą exclure de l'indexation. Les balises meta robots sont aussi examin�es. PhpDig peut indexer des sites situ�s sur un port diff�rent du port 80 par d�faut. On peut sp�cifier un nom et un mot de passe au robot pour indexer les sites prot�g�s par mot de passe. Attention ! Cette derniŁre fonction peut permettre ą des personnes non autoris�es de lire des informations prot�g�es. Il est recommand� de cr�er une instance sp�cifique de PhpDig, prot�g�e par les męmes droits d'accŁs que le site restreint, ainsi que de cr�er un compte pour le robot lui-męme. Si le serveur renvoie un header Last-Modified, la valeur est m�moris�e afin de ne pas effectuer de r�indexation inutile. La balise <META> revisit-after est �galement prise en compte pour la mise ą jour de l'index. Si le moteur est configur� pour le faire, les r�sultats affichent un extrait des pages trouv�es, contenant les termes de recherche surlign�s ou mis en gras. 3.5. ModŁles de pr�sentation Un systŁme simple de modŁles permet de personnaliser facilement la page de recherche et de r�sultats. Il suffit d'ins�rer quelques balises sp�cifiques dans une page statique servant de modŁle. 3.6. Limitations PhpDig ne gŁre pas la recherche par expression exacte. Cela impliquerait un index au moins de la taille des documents index�s (ce qui n'est pas le but), sans compter le ralentissement de la recherche. Les instances de Php qui r�alisent l'indexation ne peuvent ętre configur�s en safe_mode, sans quoi la limite de temps des scripts empęcherait le moteur de fonctionner. Cette limite est toutefois contournable de deux maniŁres : Soit en utilisant la possibilit� d'indexation distante (par les connexions TCP mysql et FTP), soit en lan�ant l'indexation en ligne de commande sur le serveur, �ventuellement par une t�che cron. L'indexation est relativement lente. En revanche, la recherche, męme sur un contenu assez �tendu, reste suffisament rapide pour ne pas gęner l'utilisateur. 4. Installation 4.1. Pr� - Requis PhpDig n�cessite un serveur web (Apache a ma pr�f�rence) dot� de Php, et d'un serveur de bases de donn�es MySql. Les configurations suivantes ont �t� test�es : Php/4.1.1, Apache/1.3.20 (Win32), Windows 2000 ; Php/4.1.2, Apache/1.3.23 (Unix) mod_ssl/2.8.7, Linux noyau 2.4.3 ; Php/4.3.0, Apache/2.0.44 (Unix) OpenSSL/0.9.6g, Linux noyau 2.4.18; Php/4.3.1, Apache/2.0.44 (Win32), Windows 2000 . 4.2. Installation des scripts Il suffit de d�plier le fichier d'archive dans un r�pertoire de votre choix. (qui sera d�sign� ult�rieurement par [PHPDIG_DIR] Il n'est pas n�cessaire de cr�er un VirtualHost Apache pour le moteur. V�rifiez par la męme occasion, si vous ętes sous un systŁme Unix, que L'utilisateur sous lequel est lanc� le serveur Apache ait le droit d'�crire dans les r�pertoires : [PHPDIG_DIR]/text_content [PHPDIG_DIR]/include [PHPDIG_DIR]/admin/temp 4.3. Installation de la base MySql Deux m�thodes sont possibles pour installer la base. Script php d'installation : Dans votre navigateur, appelez le script [PHPDIG_DIR]/admin/install.php Et suivez les instructions. Choisissez notamment si vous d�sirez cr�er la base de donn�es, ou uniquement les tables ; ou si vous d�sirer mettre ą jour une base de donn�es de la version pr�c�dente de PhpDig. Le script utilise les informations pour renseigner les champs du fichier "[PHPDIG_DIR]/include/_connect.php" et pour en faire une copie sous le nom "[PHPDIG_DIR]/include/connect.php". Installation manuelle : Il vous faut cr�er la base mysql (il n'est pas obligatoire de la nommer "phpdig") : #mysql mysql mysql> CREATE DATABASE phpdig; mysql> quit #mysql phpdig < [PHPDIG_DIR]/sql/init_db.sql V�rifiez l'existence de toutes les tables : #mysql phpdig mysql> SHOW TABLES; La base de donn�e doit vous r�pondre : +------------------+ | Tables_in_phpdig | +------------------+ | engine | | excludes | | keywords | | logs | | sites | | spider | | tempspider | +------------------+ 7 rows in set (0.00 sec) mysql> Une fois la base cr��e, copiez le fichier "[PHPDIG_DIR]/include/_connect.php" vers le fichier "[PHPDIG_DIR]/include/connect.php" et �ditez ce dernier. Remplacez les valeurs "<host>", "<user>", "<pass>", et "<database>" respectivement par l'URL de votre serveur MySql, le nom d'utilisateur, son mot de passe, et le nom que vous avez donn� ą la base de donn�es. Si vous d�sirer pr�fixer chaque table par une cha�ne de caractŁre de votre choix, remplacez "<dbprefix>" par la cha�ne et modifiez le nom des champs dans une interface MySql. Si ce n'est pas le cas, mettez une cha�ne vide. Sur une installation locale, g�n�ralement les valeurs "localhost", "root", et "" sont suffisantes pour la connexion. Vous pouvez v�rifier que l'installation s'est bien d�roul�e en ouvrant la page principale [PHPDIG_DIR]/index.php. Le formulaire de recherche doit s'afficher. 5. Configuration DŁs l'�tape d'installation franchie, le moteur est op�rationnel. L'�tape de configuration est optionnelle et d�pend de vos besoins. N'oubliez pas de modifier le login et le mot de passe d'administration si vous utilisez Php compil� en module d'apache ou en module statique. Note : l'authentification ne fonctionne pas avec php utilis� en CGI. Dans ce cas, utilisez un fichier .htaccess pour prot�ger le r�pertoire [PHPDIG_DIR]/admin Tous les paramŁtres de configuration se trouvent dans le fichier [PHPDIG_DIR]/include/config.php. Chaque paramŁtre fait l'objet d'un commentaire explicitant son utilisation. Dans les parties suivantes consacr�es ą la configuration, les lignes de code se rapportent toutes au fichier config.php. Les valeurs indiqu�es sont les valeurs d�finies par d�faut. 5.1. Configuration de l'accŁs ą l'administration Modifiez les constantes suivantes. Si vous ne voulez pas que le mot de passe appara�sse en clair quelque part, utilisez les fonctions d'authentification d'apache. define('PHPDIG_ADM_AUTH','1'); //active ou non l'authentification define('PHPDIG_ADM_USER','admin'); //Nom d'utilisateur (login) define('PHPDIG_ADM_PASS','admin'); //Mot de passe pour l'accŁs 5.2. Configuration du robot et du moteur Modifiez les variables et constantes suivantes. define('SPIDER_MAX_LIMIT',12); //Profondeur maximale s�lectionnable pour l'indexation define('SPIDER_DEFAULT_LIMIT',1); //Valeur s�l�ctionn�e par d�faut dans le formulaire define('RESPIDER_LIMIT',4); //Profondeur pour les mises ą jour define('LIMIT_DAYS',7); //Nombre de jours par d�faut avant de revisiter une page define('SMALL_WORDS_SIZE',2); //Taille des mots ą ne pas indexer define('MAX_WORDS_SIZE',30); //Taille maximale possible d'un mot define('PHPDIG_EXCLUDE_COMMENT','<!-- phpdigExclude -->'); //commentaire HTML pour exclure une partie //de page define('PHPDIG_INCLUDE_COMMENT','<!-- phpdigInclude -->'); //commentaire HTML pour arręter l'exclusion //d'une partie de page define('PHPDIG_DEFAULT_INDEX',true); //phpDig considŁre /index et /default //html, htm, php, asp, phtml comme �tant //la męme url que '/' define('PHPDIG_SESSID_REMOVE',true); // enlŁve les SIDS des urls stock�es define('PHPDIG_SESSID_VAR','PHPSESSID');// nom de la variable SID define('TITLE_WEIGHT',3); //Poids des mots du titre par rapport aux autres mots define('CHUNK_SIZE',2048); //Taille du d�coupage pour le traitement des pages (ce paramŁtre ne n�cessite pas d'ętre modifi�) define('SUMMARY_LENGTH',500); //Longueur de texte pour le r�sum� des pages define('TEXT_CONTENT_PATH','text_content/'); //r�pertoire des fichiers de contenu textuel define('CONTENT_TEXT',1); //Active ou non le stockage des fichiers de contenu. define('PHPDIG_IN_DOMAIN',false); //Permet ą PhpDig de suivre les //liens interne au domaine //si vous indexez "www.mondomaine.tld", //le domaine est "mondomaine.tld" 5.3. Configuration de l'encodage utilis� Modifiez la constante suivante. Notez que PhpDig ne supporte pas les encodages multiples : Les paramŁtres suivant s'appliquent ą tous les documents index�s ainsi qu'ą l'interface. define('PHPDIG_ENCODING','iso-8859-1'); // iso-8859-1 et iso-8859-2 support�s Pour permettre ą PhpDig de supporter des encodages suppl�mentaires, il vous faut rajouter des index de tableaux aux variables suivantes, en vous basant sur les index existants. $phpdig_string_subst['iso-8859-1'] $phpdig_string_subst['iso-8859-2'] ... $phpdig_words_chars['iso-8859-1'] $phpdig_words_chars['iso-8859-2'] ... 5.4. Configuration des ex�cutables externes Chaque outil externe est d�fini par trois constantes : - INDEX (true ou false) : Active l'indexation de ce type de document ; - PARSE (chemin) : Chemin de l'ex�cutable traitant ce type de document ; - OPTION (options) : Options ą passer ą l'ex�cutable. define('PHPDIG_INDEX_MSWORD',true); define('PHPDIG_PARSE_MSWORD','/usr/local/bin/catdoc'); define('PHPDIG_OPTION_MSWORD','-s 8859-1'); define('PHPDIG_INDEX_PDF',true); define('PHPDIG_PARSE_PDF','/usr/local/bin/pstotext'); define('PHPDIG_OPTION_PDF','-cork'); define('PHPDIG_INDEX_MSEXCEL',true); define('PHPDIG_PARSE_MSEXCEL','/usr/local/bin/xls2csv'); define('PHPDIG_OPTION_MSEXCEL',''); 5.5. Configuration du modŁle pour les r�sultats Modifiez les variables et constantes suivantes. $phpdig_language = "en"; //langue de l'interface $template = "$relative_script_path/templates/phpdig.html"; //chemin du fichier de modŁle define('HIGHLIGHT_BACKGROUND','yellow'); //Couleur de fond du surlignage //Seulement en mode 'classic' define('HIGHLIGHT_COLOR','#000000'); //Couleur du texte surlign� //Seulement en mode 'classic' define('LINK_TARGET','_blank'); //Target pour les liens de r�sultats define('WEIGHT_IMGSRC','./tpl_img/weight.gif'); //chemin de l'image servant de baragraph define('WEIGHT_HEIGHT','5'); //hauteur du baragraph define('WEIGHT_WIDTH','50'); //largeur maximale du baragraph (pour 100%) define('SEARCH_PAGE','index.php'); //Nom de la page de recherche define('SUMMARY_DISPLAY_LENGTH','150'); //Nombre de caractŁres dans //la description define('DISPLAY_SNIPPETS',true); //Affiche les extraits define('DISPLAY_SNIPPETS_NUM',4); //Nombre maximum d'extraits define('DISPLAY_SUMMARY',false); //Affiche la description define('PHPDIG_DATE_FORMAT','\1-\2-\3'); // Format de la date affich�e // \1 est l'ann�e, \2 le mois et // \3 le jour define('SEARCH_DEFAULT_LIMIT',10); //resultats par page par d�faut define('SEARCH_DEFAULT_MODE','start'); //mode de recherche par d�faut (start|exact|any) 5.6. Configuration FTP (si n�cessaire) A quoi diable peut-donc servir une connexion ftp dans PhpDig si il n'indexe pas les sites FTP ? Beaucoup d'utilisateurs de installent PhpDig sur des serveurs mutualis�s, et sur ces dernier, Php est toujours configur� en safe_mode. PhpDig ne peut effectuer d'indexation en safe_mode, et dans le cas des h�bergements mutualis�s, l'accŁs aux t�ches cron est bien entendue exclue. La solution est d'avoir une instance Php sur une autre machine. Dans mon cas, c'est une machine Linux ą mon domicile, branch�e sur une connexion ą haut d�bit qui effectue ce travail. Votre h�bergement doit toutefois vous autoriser ą vous connecter en TCP/IP ą votre serveur de bases de donn�es MySql. Et le FTP dans tout �a ? Il sert ą envoyer au serveur les fichiers de contenu textuel qui permettent d'afficher des extraits pertinents des documents trouv�s dans les pages de r�sultat. Si vous d�sactivez la fonction FTP lors d'une indexation distante, les r�sultats afficheront l'ancienne version de l'extrait ou les premiers mots du documents stock�s dans la base MySql, selon que le fichier de contenu existe ou non sur le serveur. Les paramŁtres concern�s sont les suivants. define('FTP_ENABLE',0); //Activation ou non de la connexion FTP define('FTP_HOST','<ftp host dir>'); //nom du serveur FTP define('FTP_PORT',21); //port ftp define('FTP_PASV',1); //utiliser le mode passif (conseill�) define('FTP_PATH','<phpdig root dir>'); //chemin du r�pertoire de phpdig sur le serveur ftp define('FTP_TEXT_PATH','text_content'); //r�pertoire des fichiers de contenu (default) define('FTP_USER','<ftp username>'); //utilisateur du compte FTP define('FTP_PASS','<ftp password>'); //mot de passe pour le compte FTP 6. Mise ą jour de PhpDig 6.1. Mise ą jour de la base de donn�es Le script sql [PHPDIG_DIR]/sql/update_db_to[version].sql contient les instructions SQL n�cessaires pour mettre ą jour votre installation existante, version par version. Vous pouvez �galement utiliser l'interface d'installation en choississant l'option de mise ą jour de la base. Cette fonction n'opŁre que pour la version imm�diatement pr�c�dente de la base de donn�es. 6.2. Mise ą jour des scripts Remplacez les anciens scripts par les nouveaux, en ayant pr�alablement effectu� une sauvegarde de votre configuration. 7. Indexation par l'interface web 7.1. Indexer un nouveau site A partir de l'interface d'administration [PHPDIG_DIR]/admin/index.php, un champ de formulaire vous permet de renseigner un site ą indexer. Vous pouvez �galement indiquer un chemin et/ou un fichier ą partir duquel le robot va commencer son indexation. Sp�cifiez une profondeur de recherche (combien de niveaux de liens va suivre le robot avant d'arręter son indexation, et cliquez sur le bouton [dig this!]. Une page s'ouvre montrant le processus de recherche de liens et d'indexation. Une page correctement index�e est marqu�e d'un coche vert. Les '+' indiquent les nouveaux liens trouv�s ą partir de cette page. L'indication "doublon avec une page existante" indique que malgr� une URL diff�rente, la page que PhpDig vient de trouver est identique ą une autre page d�ją index�e. A la fin de l'indexation, une liste r�capitule tous les liens trouv�s par PhpDig. 7.2. Mettre ą jour un site Dans l'interface d'administration, une liste des sites d�ją index�s permet de les mettre ą jour : S�lectionnez l'un des sites et cliquez sur le bouton [update form]. Une interface ą deux volets s'affiche. A gauche se trouve une liste des branches du site index�, ą droite s'affiche la liste des fichiers d'une branche si on clique sur la flŁche bleue situ�e ą droite de chacune des branches. Pour les deux volets, la croix rouge supprime la branche ou le fichier s�lectionn�, le coche vert force la r�indexation de la branche ou de la page ainsi que la recherche de nouveaux liens sur une profondeur d�finie par le paramŁtre RESPIDER_LIMIT. 7.3. Maintenance du moteur Trois liens situ�s en bas de l'interface d'administration permettent de nettoyer la base de donn�e des enregistrements inutiles ou corrompus. Le lien Nettoyer l'index supprime les entr�es d'index qui sont ne sont plus li�es ą aucun mot-clef. Le lien Nettoyer les mots-clefs supprime les entr�es de mots-clefs qui ne sont plus li�es ą aucune entr�e d'index. Ce lien permet de minimiser la taille de la table des mots-clefs aprŁs de nombreuses indexations et mises ą jour. Le lien Nettoyer les mots courants supprime les entr�es d'index et de mots-clefs devenues inutiles suite au rajout de mots dans le fichier des mots courants [PHPDIG_DIR]/includes/common_words.txt. 8. Indexation en ligne de commandes Le script [PHPDIG_DIR]/admin/spider.php peut ętre lanc� en ligne de commande afin de ne pas charger le serveur web. Le script se lance ainsi : #php -f [PHPDIG_DIR]/admin/spider.php [option] Les options sont les suivantes : - all (par d�faut) : Met ą jour tous les sites ; - forceall : Met ą jour tous les sites de maniŁre forc�e; - http://mondomaine.tld : ajoute ou met ą jour l'url ; - path/file : ajoute ou met ą jour les urls contenues dans le fichier sp�cifi�. Exemples d'utilisation : #php -f [PHPDIG_DIR]/admin/spider.php http://hote.mondomaine.com #php -f [PHPDIG_DIR]/admin/spider.php [Fichier contenant une liste d'urls] Comme pour n'importe quelle commande, la sortie peut ętre redirig�e vers un fichier (pour tenir des logs par exemple.) #php -f [PHPDIG_DIR]/admin/spider.php all >> /var/log/phpdig.log Le script [PHPDIG_DIR]/admin/spider.php peut �galement ętre programm� en t�che cron afin de proc�der automatiquement ą la mise ą jour du moteur. La p�riodicit� conseill�e est de 7 jours, quitte ą forcer la r�indexation par l'interface web des pages devant figurer dans le moteur imm�diatement. Ces derniŁres peuvent �galement comporter un Metatag "revisit-after" sp�cifique. 9. Les templates 9.1. G�n�ralit�s Les templates consistent en fichiers html dans lesquels quelques balises de style xml permettent de placer le contenu dynamique. Les modŁles fournis permettent de donner une petite id�e de la fa�on dont les pages de r�sultat peuvent ętre personnalis�es. Le couple de balises <phpdig:results></phpdig:results> sert au tableau de r�sultats : Tout le contenu situ� entre ces deux balises sera r�p�t� autant de fois qu'il y a de r�sultats de recherche dans la page. Deux classes CSS sont utilis�es par PhpDig dans les templates: .phpdigHighlight : Classe de niveau <SPAN/> utilis�e pour le surlignage des termes de recherche. a.phpdig : Classe de balise <A/> pour les liens de r�sultats et de navigation. Les balises sont toutes du style <phpdig:parametre/>. A part la balise <phpdig:results></phpdig:results>, ce sont toutes des balises unitaires. 9.2. Balises en dehors de la table des r�sultats phpdig:title_message Titre de la page phpdig:form_head D�but du formulaire phpdig:form_title Titre du formulaire phpdig:form_field Champ texte du formulaire phpdig:form_button Bouton de soumission du formulaire phpdig:form_select Liste d�roulante du nombre de r�sultats par page phpdig:form_radio Boutons radio sur l'interpr�tation des mots phpdig:form_foot Fin du formulaire phpdig:result_message Message sur le nombre de r�sulats phpdig:ignore_message Message sur les mots trop courts phpdig:ignore_commess Message sur les mots trop courants phpdig:nav_bar Barre de navigation dans les pages de r�sultats phpdig:pages_bar Barre de navigation sans les liens suivants/pr�c�dents phpdig:previous_link src=[img src] Lien vers l'ic�ne "pr�c�dents" phpdig:next_link src=[img src] Lien vers l'ic�ne "suivants" 9.3. Balises pour la table des r�sultats phpdig:results Encadre les lignes de r�sultat phpdig:img_tag Baragraph de pertinence phpdig:weight Pertinence de la page (sur 100) phpdig:page_link Titre du r�sultat et lien vers la page phpdig:limit_links Liens limitant la recherche ą un site/un chemin phpdig:text Texte du r�sultat phpdig:n Classement du r�sultat phpdig:complete_path URL complŁte du document phpdig:update_date DerniŁre mise ą jour du document phpdig:filesize Taille du document (Kilo Octets) 10. Int�grer PhpDig ą un site web 10.1. Le script index.php Le script index.php est juste un exemple d'utilisation de PhpDig avec le template du męme nom. Ce script peut ętre int�gr� ą n'importe quel endroit de votre site, du moment que les fichiers de configuration et les librairies sont correctment incluses. la variable $relative_script_path doit indiquer le chemin relatif de la racine du r�pertoire phpdig par rapport au script courant. La fonction phpdigSearch() doit �galement ętre appel�e toujours de la męme fa�on : extract(phpdigHttpVars( array('query_string'=>'string', 'template_demo'=>'string', 'refine'=>'integer', 'refine_url'=>'string', 'site'=>'integer', 'limite'=>'integer', 'option'=>'string', 'search'=>'string', 'lim_start'=>'integer', 'browse'=>'integer', 'path'=>'string' ) )); phpdigSearch($id_connect, $query_string, $option, $refine, $refine_url, $lim_start, $limite, $browse, $site, $path, $relative_script_path, $template); Seul le dernier paramŁtre, $template a de l'importance pour l'int�gration : Utilisez 'classic' pour la pr�sentation fixe de PhpDig (les balises d'en-tęte html sont incluses.) Utilisez la variable $template pour utiliser un template. La variable peut ętre d�finie dans le fichier config.php ou ailleurs, afin de pr�senter un aspect diff�rent selon la partie du site oł le moteur est appell�. Utilisez 'array' pour exploiter vous-męme les r�sultats de recherche. 10.2. Utiliser le mode 'classic' Vous n'avez rien ą faire : Tout l'affichage est pris en compte par la fonction phpdigSearch(). En revanche vous ne pourrez pas modifier l'affichage. 10.3. Utiliser les templates A l'aide des templates d�crits plus haut, vous pouvez facilement int�grer PhpDig ą la charte graphique de votre site. En effet, un template peut aussi bien ętre une page HTML entiŁre, comme les templates fournis avec PhpDig, qu'une seule partie de la page. Seule cette partie sera d�crite par le template et appara�tra ą l'endroit oł vous placerez l'appel de la fonction phpdigSearch(). Il vous suffira d'int�grer ą votre css une classe .phpdigHighlight. 10.4. Utiliser PHP En utilisant le mode 'array', la fonction phpdigSearch() renvoie un tableau ą la fois des r�sultats et des �l�ments du formulaire de recherche. Pour afficher le contenu du tableau de recherche, modifiez l'appel de la fonction ainsi et envoyez au script une url complŁte de r�sultat de recherche : print '<pre>'; print_r( phpdigSearch($id_connect, $query_string, $option, $refine, $refine_url, $lim_start, $limite, $browse, $site, $path, $relative_script_path, 'array') ); print '</pre>'; Exploitez ensuite le contenu du tableau comme vous l'entendez. 11. Fonctionnement interne de PhpDig 11.1. Exploration et Indexation PhpDig lit la page d'origine sp�cifi�e pour l'indexation, et rajoute au fur et ą mesure de son exploration les liens trouv�s dans une liste de liens ą suivre. Lorque aucun nouveau lien n'est trouv� par le moteur, il termine son indexation. Afin de d�terminer que faire d'un lien, PhpDig opŁre ainsi : - Il demande au serveur l'en-tęte (header HTTP) de l'URI en cours. Si le mime-type du document renvoy� correspond ą un document que PhpDig est capable d'indexer, il continue le traitement. Si le serveur renvoie une redirection, PhpDig analyse si la redirection renvoie bien ą une URI du męme site (ou du męme domaine). Le moteur compare ensuite l'en-tęte "last-modified" avec la date stock�e dans sa base de donn�es en cas de r�-indexation. Si les deux dates sont identiques, l'URI n'est pas trait�e. Enfin, PhpDig v�rifie que l'URI ne fait pas partie de la liste d'exclusions d'un fichier robots.txt ou d'exclusions d�finies par l'utilisateur. - Dans le cas d'un document HTML, PhpDig lit les meta-tags robots pour savoir si il lui est permis d'indexer et/ou de suivre les liens contenus dans le document. - PhpDig t�l�charge ensuite le document point� par l'URI dans un fichier temporaire. Le document est tout d'abord index� : Le contenu textuel est stock� dans un fichier servant ą l'affichage des extraits, puis analys� afin d'en extraire les mots-clef. Pour un document HTML, les commentaires d�finis dans le fichier de configuration (constantes PHPDIG_EXCLUDE_COMMENT et PHPDIG_INCLUDE_COMMENT) d�terminent des parties ą exclure de l'indexation. - Enfin, PhpDig relit le fichier temporaire dans le cas d'un document HTML afin d'en extraire de nouveaux liens. Tous les liens sont analys�s afin de d�terminer ceux ą indexer, ceux qui mŁnent vers un document inexistant ou prot�g�, vers un autre site, etc. - La proc�dure d'indexation est exclusive par site : Un site est verrouill� tant qu'une op�ration (indexation, suppression de branche, etc) est effectu�e. Aucune autre op�ration ne peut ętre effectu�e tant que le verrou est en place. 11.2. Recherche Męme si le formulaire de recherche parle de lui-męme, il n'est pas inutile de rappeler que : - Un op�rateur AND est appliqu� inconditionnellement ą tous les termes de recherche ; - Un mot pr�c�d� d'un '-' (signe moins) est exclu de la recherche. Aucune page contenant ce mot ne sera retourn�e en r�sultat ; - La recherche est insensible ą la casse et aux accents. 12. Obtenir de l'aide sur PhpDig Un mini-forum consacr� ą PhpDig est disponible ą l'adresse http://phpdig.toiletoine.net/messageboard/ Vous pouvez y poser toutes les questions relatives au programme. Vous pouvez demander de l'aide directement ą l'auteur en �crivant ą [e-mail] Fichier cr�� par le parser XSLT Php 4.3.0 - Sablotron 0.97