]> git.vanrenterghem.biz Git - www.vanrenterghem.biz.git/blob - phpBB2_old/includes/functions_search.php
update brief bio
[www.vanrenterghem.biz.git] / phpBB2_old / includes / functions_search.php
1 <?php
2 /***************************************************************************
3 *                              functions_search.php
4 *                              -------------------
5 *     begin                : Wed Sep 05 2001
6 *     copyright            : (C) 2002 The phpBB Group
7 *     email                : support@phpbb.com
8 *
9 *     $Id: functions_search.php,v 1.8.2.19 2004/11/18 17:49:45 acydburn Exp $
10 *
11 ****************************************************************************/
13 /***************************************************************************
14  *
15  *   This program is free software; you can redistribute it and/or modify
16  *   it under the terms of the GNU General Public License as published by
17  *   the Free Software Foundation; either version 2 of the License, or
18  *   (at your option) any later version.
19  *
20  ***************************************************************************/
22 function clean_words($mode, &$entry, &$stopword_list, &$synonym_list)
23 {
24         static $drop_char_match =   array('^', '$', '&', '(', ')', '<', '>', '`', '\'', '"', '|', ',', '@', '_', '?', '%', '-', '~', '+', '.', '[', ']', '{', '}', ':', '\\', '/', '=', '#', '\'', ';', '!');
25         static $drop_char_replace = array(' ', ' ', ' ', ' ', ' ', ' ', ' ', '',  '',   ' ', ' ', ' ', ' ', '',  ' ', ' ', '',  ' ',  ' ', ' ', ' ', ' ', ' ', ' ', ' ', ' ' , ' ', ' ', ' ', ' ',  ' ', ' ');
27         $entry = ' ' . strip_tags(strtolower($entry)) . ' ';
29         if ( $mode == 'post' )
30         {
31                 // Replace line endings by a space
32                 $entry = preg_replace('/[\n\r]/is', ' ', $entry); 
33                 // HTML entities like &nbsp;
34                 $entry = preg_replace('/\b&[a-z]+;\b/', ' ', $entry); 
35                 // Remove URL's
36                 $entry = preg_replace('/\b[a-z0-9]+:\/\/[a-z0-9\.\-]+(\/[a-z0-9\?\.%_\-\+=&\/]+)?/', ' ', $entry); 
37                 // Quickly remove BBcode.
38                 $entry = preg_replace('/\[img:[a-z0-9]{10,}\].*?\[\/img:[a-z0-9]{10,}\]/', ' ', $entry); 
39                 $entry = preg_replace('/\[\/?url(=.*?)?\]/', ' ', $entry);
40                 $entry = preg_replace('/\[\/?[a-z\*=\+\-]+(\:?[0-9a-z]+)?:[a-z0-9]{10,}(\:[a-z0-9]+)?=?.*?\]/', ' ', $entry);
41         }
42         else if ( $mode == 'search' ) 
43         {
44                 $entry = str_replace(' +', ' and ', $entry);
45                 $entry = str_replace(' -', ' not ', $entry);
46         }
48         //
49         // Filter out strange characters like ^, $, &, change "it's" to "its"
50         //
51         for($i = 0; $i < count($drop_char_match); $i++)
52         {
53                 $entry =  str_replace($drop_char_match[$i], $drop_char_replace[$i], $entry);
54         }
56         if ( $mode == 'post' )
57         {
58                 $entry = str_replace('*', ' ', $entry);
60                 // 'words' that consist of <3 or >20 characters are removed.
61                 $entry = preg_replace('/[ ]([\S]{1,2}|[\S]{21,})[ ]/',' ', $entry);
62         }
64         if ( !empty($stopword_list) )
65         {
66                 for ($j = 0; $j < count($stopword_list); $j++)
67                 {
68                         $stopword = trim($stopword_list[$j]);
70                         if ( $mode == 'post' || ( $stopword != 'not' && $stopword != 'and' && $stopword != 'or' ) )
71                         {
72                                 $entry = str_replace(' ' . trim($stopword) . ' ', ' ', $entry);
73                         }
74                 }
75         }
77         if ( !empty($synonym_list) )
78         {
79                 for ($j = 0; $j < count($synonym_list); $j++)
80                 {
81                         list($replace_synonym, $match_synonym) = split(' ', trim(strtolower($synonym_list[$j])));
82                         if ( $mode == 'post' || ( $match_synonym != 'not' && $match_synonym != 'and' && $match_synonym != 'or' ) )
83                         {
84                                 $entry =  str_replace(' ' . trim($match_synonym) . ' ', ' ' . trim($replace_synonym) . ' ', $entry);
85                         }
86                 }
87         }
89         return $entry;
90 }
92 function split_words(&$entry, $mode = 'post')
93 {
94         // If you experience problems with the new method, uncomment this block.
95 /*      
96         $rex = ( $mode == 'post' ) ? "/\b([\w±µ-ÿ][\w±µ-ÿ']*[\w±µ-ÿ]+|[\w±µ-ÿ]+?)\b/" : '/(\*?[a-z0-9±µ-ÿ]+\*?)|\b([a-z0-9±µ-ÿ]+)\b/';
97         preg_match_all($rex, $entry, $split_entries);
99         return $split_entries[1];
100 */
101         // Trim 1+ spaces to one space and split this trimmed string into words.
102         return explode(' ', trim(preg_replace('#\s+#', ' ', $entry)));
105 function add_search_words($mode, $post_id, $post_text, $post_title = '')
107         global $db, $phpbb_root_path, $board_config, $lang;
109         $stopword_array = @file($phpbb_root_path . 'language/lang_' . $board_config['default_lang'] . "/search_stopwords.txt"); 
110         $synonym_array = @file($phpbb_root_path . 'language/lang_' . $board_config['default_lang'] . "/search_synonyms.txt"); 
112         $search_raw_words = array();
113         $search_raw_words['text'] = split_words(clean_words('post', $post_text, $stopword_array, $synonym_array));
114         $search_raw_words['title'] = split_words(clean_words('post', $post_title, $stopword_array, $synonym_array));
116         @set_time_limit(0);
118         $word = array();
119         $word_insert_sql = array();
120         while ( list($word_in, $search_matches) = @each($search_raw_words) )
121         {
122                 $word_insert_sql[$word_in] = '';
123                 if ( !empty($search_matches) )
124                 {
125                         for ($i = 0; $i < count($search_matches); $i++)
126                         { 
127                                 $search_matches[$i] = trim($search_matches[$i]);
129                                 if( $search_matches[$i] != '' ) 
130                                 {
131                                         $word[] = $search_matches[$i];
132                                         if ( !strstr($word_insert_sql[$word_in], "'" . $search_matches[$i] . "'") )
133                                         {
134                                                 $word_insert_sql[$word_in] .= ( $word_insert_sql[$word_in] != "" ) ? ", '" . $search_matches[$i] . "'" : "'" . $search_matches[$i] . "'";
135                                         }
136                                 } 
137                         }
138                 }
139         }
141         if ( count($word) )
142         {
143                 sort($word);
145                 $prev_word = '';
146                 $word_text_sql = '';
147                 $temp_word = array();
148                 for($i = 0; $i < count($word); $i++)
149                 {
150                         if ( $word[$i] != $prev_word )
151                         {
152                                 $temp_word[] = $word[$i];
153                                 $word_text_sql .= ( ( $word_text_sql != '' ) ? ', ' : '' ) . "'" . $word[$i] . "'";
154                         }
155                         $prev_word = $word[$i];
156                 }
157                 $word = $temp_word;
159                 $check_words = array();
160                 switch( SQL_LAYER )
161                 {
162                         case 'postgresql':
163                         case 'msaccess':
164                         case 'mssql-odbc':
165                         case 'oracle':
166                         case 'db2':
167                                 $sql = "SELECT word_id, word_text     
168                                         FROM " . SEARCH_WORD_TABLE . " 
169                                         WHERE word_text IN ($word_text_sql)";
170                                 if ( !($result = $db->sql_query($sql)) )
171                                 {
172                                         message_die(GENERAL_ERROR, 'Could not select words', '', __LINE__, __FILE__, $sql);
173                                 }
175                                 while ( $row = $db->sql_fetchrow($result) )
176                                 {
177                                         $check_words[$row['word_text']] = $row['word_id'];
178                                 }
179                                 break;
180                 }
182                 $value_sql = '';
183                 $match_word = array();
184                 for ($i = 0; $i < count($word); $i++)
185                 { 
186                         $new_match = true;
187                         if ( isset($check_words[$word[$i]]) )
188                         {
189                                 $new_match = false;
190                         }
192                         if ( $new_match )
193                         {
194                                 switch( SQL_LAYER )
195                                 {
196                                         case 'mysql':
197                                         case 'mysql4':
198                                                 $value_sql .= ( ( $value_sql != '' ) ? ', ' : '' ) . '(\'' . $word[$i] . '\', 0)';
199                                                 break;
200                                         case 'mssql':
201                                         case 'mssql-odbc':
202                                                 $value_sql .= ( ( $value_sql != '' ) ? ' UNION ALL ' : '' ) . "SELECT '" . $word[$i] . "', 0";
203                                                 break;
204                                         default:
205                                                 $sql = "INSERT INTO " . SEARCH_WORD_TABLE . " (word_text, word_common) 
206                                                         VALUES ('" . $word[$i] . "', 0)"; 
207                                                 if( !$db->sql_query($sql) )
208                                                 {
209                                                         message_die(GENERAL_ERROR, 'Could not insert new word', '', __LINE__, __FILE__, $sql);
210                                                 }
211                                                 break;
212                                 }
213                         }
214                 }
216                 if ( $value_sql != '' )
217                 {
218                         switch ( SQL_LAYER )
219                         {
220                                 case 'mysql':
221                                 case 'mysql4':
222                                         $sql = "INSERT IGNORE INTO " . SEARCH_WORD_TABLE . " (word_text, word_common) 
223                                                 VALUES $value_sql"; 
224                                         break;
225                                 case 'mssql':
226                                 case 'mssql-odbc':
227                                         $sql = "INSERT INTO " . SEARCH_WORD_TABLE . " (word_text, word_common) 
228                                                 $value_sql"; 
229                                         break;
230                         }
232                         if ( !$db->sql_query($sql) )
233                         {
234                                 message_die(GENERAL_ERROR, 'Could not insert new word', '', __LINE__, __FILE__, $sql);
235                         }
236                 }
237         }
239         while( list($word_in, $match_sql) = @each($word_insert_sql) )
240         {
241                 $title_match = ( $word_in == 'title' ) ? 1 : 0;
243                 if ( $match_sql != '' )
244                 {
245                         $sql = "INSERT INTO " . SEARCH_MATCH_TABLE . " (post_id, word_id, title_match) 
246                                 SELECT $post_id, word_id, $title_match  
247                                         FROM " . SEARCH_WORD_TABLE . " 
248                                         WHERE word_text IN ($match_sql)"; 
249                         if ( !$db->sql_query($sql) )
250                         {
251                                 message_die(GENERAL_ERROR, 'Could not insert new word matches', '', __LINE__, __FILE__, $sql);
252                         }
253                 }
254         }
256         if ($mode == 'single')
257         {
258                 remove_common('single', 4/10, $word);
259         }
261         return;
264 //
265 // Check if specified words are too common now
266 //
267 function remove_common($mode, $fraction, $word_id_list = array())
269         global $db;
271         $sql = "SELECT COUNT(post_id) AS total_posts 
272                 FROM " . POSTS_TABLE;
273         if ( !($result = $db->sql_query($sql)) )
274         {
275                 message_die(GENERAL_ERROR, 'Could not obtain post count', '', __LINE__, __FILE__, $sql);
276         }
278         $row = $db->sql_fetchrow($result);
280         if ( $row['total_posts'] >= 100 )
281         {
282                 $common_threshold = floor($row['total_posts'] * $fraction);
284                 if ( $mode == 'single' && count($word_id_list) )
285                 {
286                         $word_id_sql = '';
287                         for($i = 0; $i < count($word_id_list); $i++)
288                         {
289                                 $word_id_sql .= ( ( $word_id_sql != '' ) ? ', ' : '' ) . "'" . $word_id_list[$i] . "'";
290                         }
292                         $sql = "SELECT m.word_id 
293                                 FROM " . SEARCH_MATCH_TABLE . " m, " . SEARCH_WORD_TABLE . " w 
294                                 WHERE w.word_text IN ($word_id_sql)  
295                                         AND m.word_id = w.word_id 
296                                 GROUP BY m.word_id 
297                                 HAVING COUNT(m.word_id) > $common_threshold";
298                 }
299                 else 
300                 {
301                         $sql = "SELECT word_id 
302                                 FROM " . SEARCH_MATCH_TABLE . " 
303                                 GROUP BY word_id 
304                                 HAVING COUNT(word_id) > $common_threshold";
305                 }
307                 if ( !($result = $db->sql_query($sql)) )
308                 {
309                         message_die(GENERAL_ERROR, 'Could not obtain common word list', '', __LINE__, __FILE__, $sql);
310                 }
312                 $common_word_id = '';
313                 while ( $row = $db->sql_fetchrow($result) )
314                 {
315                         $common_word_id .= ( ( $common_word_id != '' ) ? ', ' : '' ) . $row['word_id'];
316                 }
317                 $db->sql_freeresult($result);
319                 if ( $common_word_id != '' )
320                 {
321                         $sql = "UPDATE " . SEARCH_WORD_TABLE . "
322                                 SET word_common = " . TRUE . " 
323                                 WHERE word_id IN ($common_word_id)";
324                         if ( !$db->sql_query($sql) )
325                         {
326                                 message_die(GENERAL_ERROR, 'Could not delete word list entry', '', __LINE__, __FILE__, $sql);
327                         }
329                         $sql = "DELETE FROM " . SEARCH_MATCH_TABLE . "  
330                                 WHERE word_id IN ($common_word_id)";
331                         if ( !$db->sql_query($sql) )
332                         {
333                                 message_die(GENERAL_ERROR, 'Could not delete word match entry', '', __LINE__, __FILE__, $sql);
334                         }
335                 }
336         }
338         return;
341 function remove_search_post($post_id_sql)
343         global $db;
345         $words_removed = false;
347         switch ( SQL_LAYER )
348         {
349                 case 'mysql':
350                 case 'mysql4':
351                         $sql = "SELECT word_id 
352                                 FROM " . SEARCH_MATCH_TABLE . " 
353                                 WHERE post_id IN ($post_id_sql) 
354                                 GROUP BY word_id";
355                         if ( $result = $db->sql_query($sql) )
356                         {
357                                 $word_id_sql = '';
358                                 while ( $row = $db->sql_fetchrow($result) )
359                                 {
360                                         $word_id_sql .= ( $word_id_sql != '' ) ? ', ' . $row['word_id'] : $row['word_id']; 
361                                 }
363                                 $sql = "SELECT word_id 
364                                         FROM " . SEARCH_MATCH_TABLE . " 
365                                         WHERE word_id IN ($word_id_sql) 
366                                         GROUP BY word_id 
367                                         HAVING COUNT(word_id) = 1";
368                                 if ( $result = $db->sql_query($sql) )
369                                 {
370                                         $word_id_sql = '';
371                                         while ( $row = $db->sql_fetchrow($result) )
372                                         {
373                                                 $word_id_sql .= ( $word_id_sql != '' ) ? ', ' . $row['word_id'] : $row['word_id']; 
374                                         }
376                                         if ( $word_id_sql != '' )
377                                         {
378                                                 $sql = "DELETE FROM " . SEARCH_WORD_TABLE . " 
379                                                         WHERE word_id IN ($word_id_sql)";
380                                                 if ( !$db->sql_query($sql) )
381                                                 {
382                                                         message_die(GENERAL_ERROR, 'Could not delete word list entry', '', __LINE__, __FILE__, $sql);
383                                                 }
385                                                 $words_removed = $db->sql_affectedrows();
386                                         }
387                                 }
388                         }
389                         break;
391                 default:
392                         $sql = "DELETE FROM " . SEARCH_WORD_TABLE . " 
393                                 WHERE word_id IN ( 
394                                         SELECT word_id 
395                                         FROM " . SEARCH_MATCH_TABLE . " 
396                                         WHERE word_id IN ( 
397                                                 SELECT word_id 
398                                                 FROM " . SEARCH_MATCH_TABLE . " 
399                                                 WHERE post_id IN ($post_id_sql) 
400                                                 GROUP BY word_id 
401                                         ) 
402                                         GROUP BY word_id 
403                                         HAVING COUNT(word_id) = 1
404                                 )"; 
405                         if ( !$db->sql_query($sql) )
406                         {
407                                 message_die(GENERAL_ERROR, 'Could not delete old words from word table', '', __LINE__, __FILE__, $sql);
408                         }
410                         $words_removed = $db->sql_affectedrows();
412                         break;
413         }
415         $sql = "DELETE FROM " . SEARCH_MATCH_TABLE . "  
416                 WHERE post_id IN ($post_id_sql)";
417         if ( !$db->sql_query($sql) )
418         {
419                 message_die(GENERAL_ERROR, 'Error in deleting post', '', __LINE__, __FILE__, $sql);
420         }
422         return $words_removed;
425 //
426 // Username search
427 //
428 function username_search($search_match)
430         global $db, $board_config, $template, $lang, $images, $theme, $phpEx, $phpbb_root_path;
431         global $starttime, $gen_simple_header;
432         
433         $gen_simple_header = TRUE;
435         $username_list = '';
436         if ( !empty($search_match) )
437         {
438                 $username_search = preg_replace('/\*/', '%', phpbb_clean_username($search_match));
440                 $sql = "SELECT username 
441                         FROM " . USERS_TABLE . " 
442                         WHERE username LIKE '" . str_replace("\'", "''", $username_search) . "' AND user_id <> " . ANONYMOUS . "
443                         ORDER BY username";
444                 if ( !($result = $db->sql_query($sql)) )
445                 {
446                         message_die(GENERAL_ERROR, 'Could not obtain search results', '', __LINE__, __FILE__, $sql);
447                 }
449                 if ( $row = $db->sql_fetchrow($result) )
450                 {
451                         do
452                         {
453                                 $username_list .= '<option value="' . $row['username'] . '">' . $row['username'] . '</option>';
454                         }
455                         while ( $row = $db->sql_fetchrow($result) );
456                 }
457                 else
458                 {
459                         $username_list .= '<option>' . $lang['No_match']. '</option>';
460                 }
461                 $db->sql_freeresult($result);
462         }
464         $page_title = $lang['Search'];
465         include($phpbb_root_path . 'includes/page_header.'.$phpEx);
467         $template->set_filenames(array(
468                 'search_user_body' => 'search_username.tpl')
469         );
471         $template->assign_vars(array(
472                 'USERNAME' => (!empty($search_match)) ? phpbb_clean_username($search_match) : '', 
474                 'L_CLOSE_WINDOW' => $lang['Close_window'], 
475                 'L_SEARCH_USERNAME' => $lang['Find_username'], 
476                 'L_UPDATE_USERNAME' => $lang['Select_username'], 
477                 'L_SELECT' => $lang['Select'], 
478                 'L_SEARCH' => $lang['Search'], 
479                 'L_SEARCH_EXPLAIN' => $lang['Search_author_explain'], 
480                 'L_CLOSE_WINDOW' => $lang['Close_window'], 
482                 'S_USERNAME_OPTIONS' => $username_list, 
483                 'S_SEARCH_ACTION' => append_sid("search.$phpEx?mode=searchuser"))
484         );
486         if ( $username_list != '' )
487         {
488                 $template->assign_block_vars('switch_select_name', array());
489         }
491         $template->pparse('search_user_body');
493         include($phpbb_root_path . 'includes/page_tail.'.$phpEx);
495         return;
498 ?>