pg_bigm（模糊查詢）
pg_bigm是PolarDB PostgreSQL版的一款插件，該插件提供了全文本搜索能力，允許創(chuàng)建一個二元語法（2-gram）的GIN索引來加速搜索過程。
前提條件
支持的PolarDB PostgreSQL版的版本如下：
PostgreSQL 14（內(nèi)核小版本14.5.2.0及以上）
PostgreSQL 11（內(nèi)核小版本1.1.28及以上）
您可通過如下語句查看PolarDB PostgreSQL版的內(nèi)核小版本的版本號：
PostgreSQL 14
SELECT version();PostgreSQL 11
SHOW polar_version;
與pg_trgm異同
pg_trgm是PolarDB PostgreSQL版的另一款插件，使用3-gram的模型來實現(xiàn)全文本搜索。pg_bigm插件是在pg_trgm基礎(chǔ)上繼續(xù)開發(fā)的，兩者的區(qū)別如下。
功能和特性 | pg_trgm | pg_bigm |
全文搜索的短語匹配方法 | 3-gram | 2-gram |
支持的索引類型 | GIN和GIST | GIN |
支持的全文本搜索操作符號 |
|
|
非字母語言的全文本搜索 | 不支持 | 支持 |
帶有1~2個字符的關(guān)鍵字的全文本搜索 | 慢 | 快 |
相似性搜索 | 支持 | 支持 |
最大可以索引的列大小 | 238,609,291字節(jié)（約228 MB） | 107,374,180字節(jié)（約102 MB） |
注意事項
建立GIN索引的列的長度不可以超過107,374,180字節(jié)（約102 MB）。示例如下：
CREATE TABLE t1 (description text); CREATE INDEX t1_idx ON t1 USING gin (description gin_bigm_ops); INSERT INTO t1 SELECT repeat('A', 107374181);如果數(shù)據(jù)庫中存儲的內(nèi)容語言是非ASCII，則建議將數(shù)據(jù)庫的編碼方式改為UTF8。查詢當(dāng)前數(shù)據(jù)庫編碼方式的命令如下：
SELECT pg_encoding_to_char(encoding) FROM pg_database WHERE datname = current_database();
基本操作
創(chuàng)建插件。
CREATE EXTENSION pg_bigm;創(chuàng)建GIN索引時需要指定
pg_bigm插件提供的操作符。CREATE TABLE pg_tools (tool text, description text); INSERT INTO pg_tools VALUES ('pg_hint_plan', 'Tool that allows a user to specify an optimizer HINT to PostgreSQL'); INSERT INTO pg_tools VALUES ('pg_dbms_stats', 'Tool that allows a user to stabilize planner statistics in PostgreSQL'); INSERT INTO pg_tools VALUES ('pg_bigm', 'Tool that provides 2-gram full text search capability in PostgreSQL'); INSERT INTO pg_tools VALUES ('pg_trgm', 'Tool that provides 3-gram full text search capability in PostgreSQL'); CREATE INDEX pg_tools_idx ON pg_tools USING gin (description gin_bigm_ops); CREATE INDEX pg_tools_multi_idx ON pg_tools USING gin (tool gin_bigm_ops, description gin_bigm_ops) WITH (FASTUPDATE = off);執(zhí)行全文本搜索。
SELECT * FROM pg_tools WHERE description LIKE '%search%';返回結(jié)果如下：
tool | description ---------+--------------------------------------------------------------------- pg_bigm | Tool that provides 2-gram full text search capability in PostgreSQL pg_trgm | Tool that provides 3-gram full text search capability in PostgreSQL (2 rows)使用
=%操作符執(zhí)行相似性搜索。SELECT tool FROM pg_tools WHERE tool =% 'bigm';返回結(jié)果如下：
tool --------- pg_bigm (1 row)卸載插件
DROP EXTENSION pg_bigm;
插件常用函數(shù)
likequery函數(shù)
作用：生成可以被LIKE關(guān)鍵字識別的字符串。
參數(shù)：1個請求參數(shù)，類型為字符串。
返回值：可以被LIKE關(guān)鍵字識別的搜索字符串。
實現(xiàn)原理：
在關(guān)鍵詞前后添加
%符號。使用
\來自動轉(zhuǎn)義符號%。
示例如下：
SELECT likequery('pg_bigm has improved the full text search performance by 200%');返回結(jié)果如下：
likequery ------------------------------------------------------------------- %pg\_bigm has improved the full text search performance by 200\%% (1 row)SELECT * FROM pg_tools WHERE description LIKE likequery('search');返回結(jié)果如下：
tool | description ---------+--------------------------------------------------------------------- pg_bigm | Tool that provides 2-gram full text search capability in PostgreSQL pg_trgm | Tool that provides 3-gram full text search capability in PostgreSQL (2 rows)
show_bigm函數(shù)
作用：返回給定字符串的所有2-gram元素的集合。
參數(shù)：1個請求參數(shù)，類型為字符串。
返回值：數(shù)組，包含所有的2-gram元素。
實現(xiàn)原理：
在字符串前后添加空格字符。
計算所有的2-gram子串。
示例如下：
SELECT show_bigm('full text search');顯示結(jié)果如下：
show_bigm ------------------------------------------------------------------ {" f"," s"," t",ar,ch,ea,ex,fu,"h ","l ",ll,rc,se,"t ",te,ul,xt} (1 row)
bigm_similarity函數(shù)
作用：計算兩個字符串的相似度。
參數(shù)：2個請求參數(shù)，類型為字符串。
返回值：浮點數(shù)，表示相似度。
實現(xiàn)原理：
統(tǒng)計兩個字符串共有的2-gram元素。
相似度范圍是[0, 1]，0代表兩個字符串完全不一樣，1代表兩個字符串一樣。
說明由于計算2-gram時，會在字符串前后添加空格，于是
ABC和B的相似度為0，ABC和A的相似度為0.25。bigm_similarity函數(shù)是大小寫敏感的，例如，
ABC和abc的相似度為0。
示例如下：
SELECT bigm_similarity('full text search', 'text similarity search');返回結(jié)果如下：
bigm_similarity ----------------- 0.571429 (1 row)SELECT bigm_similarity('ABC', 'A');返回結(jié)果如下：
bigm_similarity ----------------- 0.25 (1 row)SELECT bigm_similarity('ABC', 'B');返回結(jié)果如下：
bigm_similarity ----------------- 0 (1 row)SELECT bigm_similarity('ABC', 'abc');返回結(jié)果如下：
bigm_similarity ----------------- 0 (1 row)
pg_gin_pending_stats函數(shù)
作用：返回GIN索引的pending list中頁面和元組的個數(shù)。
參數(shù)：1個，GIN索引的名字或者OID。
返回值：2個，pending list中頁面的數(shù)量和元組的數(shù)量。
說明如果GIN索引創(chuàng)建時，指定參數(shù)FASTUPDATE為False，則該GIN索引不存在pending list，即返回結(jié)果為0。
示例如下：
SELECT * FROM pg_gin_pending_stats('pg_tools_idx');顯示結(jié)果如下：
pages | tuples -------+-------- 0 | 0 (1 row)
插件行為控制參數(shù)
pg_bigm.enable_recheck
決定是否進(jìn)行recheck。
說明建議您保持默認(rèn)值（ON）以保證結(jié)果正確性。
示例如下：
準(zhǔn)備測試數(shù)據(jù)。
CREATE TABLE tbl (doc text); INSERT INTO tbl VALUES('He is awaiting trial'); INSERT INTO tbl VALUES('It was a trivial mistake'); CREATE INDEX tbl_idx ON tbl USING gin (doc gin_bigm_ops);執(zhí)行如下查詢語句。
pg_bigm.enable_recheck為on時，即進(jìn)行recheck：
SET enable_seqscan TO off; EXPLAIN ANALYZE SELECT * FROM tbl WHERE doc LIKE likequery('trial');返回結(jié)果如下：
QUERY PLAN ----------------------------------------------------------------------------------------------------------------- Bitmap Heap Scan on tbl (cost=20.00..24.01 rows=1 width=32) (actual time=0.020..0.021 rows=1 loops=1) Recheck Cond: (doc ~~ '%trial%'::text) Rows Removed by Index Recheck: 1 Heap Blocks: exact=1 -> Bitmap Index Scan on tbl_idx (cost=0.00..20.00 rows=1 width=0) (actual time=0.013..0.013 rows=2 loops=1) Index Cond: (doc ~~ '%trial%'::text) Planning Time: 0.117 ms Execution Time: 0.043 ms (8 rows)執(zhí)行如下查詢語句：
SELECT * FROM tbl WHERE doc LIKE likequery('trial');返回結(jié)果如下：
doc ---------------------- He is awaiting trial (1 row)pg_bigm.enable_recheck為off時，即不進(jìn)行recheck：
SET pg_bigm.enable_recheck = off; SELECT * FROM tbl WHERE doc LIKE likequery('trial');返回結(jié)果如下：
doc -------------------------- He is awaiting trial It was a trivial mistake (2 rows)
pg_bigm.gin_key_limit
限制用于全文本搜索的2-gram元素的最大個數(shù)，默認(rèn)為0，0代表使用所有的2-gram元素。
說明如果發(fā)現(xiàn)使用所有的2-gram元素導(dǎo)致性能下降，可以調(diào)整該參數(shù)值，限制2-gram元素的個數(shù)來提高性能。
pg_bigm.similarity_limit
設(shè)置相似度閾值，相似度超過這個閾值的元組會做為相似性搜索的結(jié)果。