作者：佚名  來源：http://www.baidu.com/  2020-08-29 12:20

R o b o t s. t x t是一種存儲在網絡站點根目錄下的文本文檔，用于起訴網絡搜索，引導引擎檢查電纜序列(也稱為網絡蜘蛛)，以及該網絡站點中的哪些內容應該被扣押。例如，你可以告訴搜索引擎不要通過傳遞robots.txt來抓取某些條目。htaccess是一個打包的超文本傳輸協議服務器的集合文檔，它可以基于服務器的存取限制系統或關聯銀行。例如，您可以設置。htaccess不允許哪些來源進入網站，哪些網站模式在打開時應該轉發到另一個網站。

機器人. txt和。htaccess文件是最簡單的，應該知道以下內容。

(1) robots.txt被放置在www的根目錄下。htaccess文件最好放在www以外的根目錄下(根據Apache安裝設置)

robots.txt的目的是告訴搜索引擎的爬蟲程序哪些可以爬行，哪些不能爬行。

Robots.txt僅用于通知。如果搜索引擎的爬蟲忽略了它，就沒有辦法了。htaccess文檔與A pache網絡服務器軟件相匹配，其他類型的服務器軟件不必使用相同的公式。例如，如果它是一個W indows服務器，它應該由程序集成來設置，以便用webb.config和?？梢赞D換htaccess和w eb.config。

(5)的目的。htaccess文件用于處理所有在線權限和訪問網站的方式。

(6)使用。htaccess文檔不提供信息。當機器進入時，將根據的語言進行處理。htaccess文檔。(7) robots.txt和。htaccess文件有不同的語法。

(2)上面提到的U . e . r-a . g . n . t用于指定哪些是特定的爬行序列，星號(*)表示所有的爬行序列o

例如，谷歌的用戶代理是谷歌：移動電纜檢測器，谷歌：移動基站的用戶代理是基站；2 0 1 0年1 0月1日之后，稍微軟一點的移動代理不再使用：100度的移動代理是移動代理，但它有其他移動代理。常見的各種用戶代理排列如下：

百度搜索Baiduspider

圖像搜索Baiduspider-圖像

視頻搜索Baiduspider-視頻

新聞搜索Baiduspider-新聞

百度收藏百度百科

百度聯盟

商業搜索廣告

(3)方便使用各種工具生成r o b o t s. t x t，并上傳到網站的根目錄下，然后使用G o o g l e網站管理員的工具來測試其是否正確。

2.關于。htaccess

以下是一些關于的重要項目。htaccess。

(1)。htaccess文件是Apache啟動后必須讀取的文件，它的位置是根據Apache設置的。

有些設置有時可以放在f文件的htt p d. c下，但是當A . p . A . c . h . e .啟動時，桌面只讀取http PD . conf，但它會讀取。htaccess每次上線。h，t，a，c，e，s，s，文件必須與一些先裝入的特殊模塊相匹配。例如，如果你想做301地址轉換，你必須先安裝mod.rewrite模塊，然后才能在中進行相關的地址轉換聲明。htaccess。

<<seo博客：百度原創星火計劃！ 學習seo：做SEO如何避免網站搜索跳出率？>>