事(shì)實上，在搜索引擎蜘蛛爬行你的網站時，首先就會查找根目錄下的robots.txt文件。如果沒(méi)有robots.txt文件，就會産生一個 404 錯誤頁面(miàn)，這(zhè)對(duì)搜索引擎來說，是很不友好(hǎo)的“待客之道(dào)”。其他處理URL的SEO技術如網站 301 重定向(xiàng)，以及 404 頁面(miàn)制作，死鏈接提交，和 500 服務器内部錯誤頁面(miàn)的制作，都(dōu)是有利于提升網站用戶體驗和搜索引擎友好(hǎo)度的。現在很多虛拟主機都(dōu)附有這(zhè)些功能(néng)，設置比較方便，一定不要忘記去設置。

二、網站代碼優化細節

（一）先來看看對(duì)于網頁代碼的五個最重要的标簽。
1.Title标簽
Title 标簽能(néng)夠告訴用戶和搜索引擎網頁頁面(miàn)的主題思想是什麼(me)，一直是搜索引擎的抓取重點。一般來說，Title标簽中的單詞最好(hǎo)保持在3~6個左右，最好(hǎo)包含關鍵字。但Title标簽中的單詞不要全部都(dōu)是關鍵字，因爲這(zhè)樣(yàng)可能(néng)會造成(chéng)頁面(miàn)關鍵字堆砌，導緻過(guò)度優化。所選單詞應簡潔明了、具有描述性，要與網頁内容具有很大的相關性，并且每個不同的頁面(miàn)都(dōu)應該包含Title标簽。
2.Heading标簽
Heading标簽包含了H1、H2、H3等等，是搜索引擎識别頁面(miàn)信息的重要标記。合理使用H1、H2、H3等不同級别的标簽能(néng)夠使得頁面(miàn)結構更加清晰，有利于搜索引擎的抓取。H1、H2、H3等标簽是按照重要程度來排名的。一般一個頁面(miàn)按照需求程度來适當添加該标簽：從H1開(kāi)始，依次往下添加。
3.Strong和B标簽
B标簽就是單純地將(jiāng)文字加粗，而Strong标簽不僅是對(duì)文字加粗，并且這(zhè)種(zhǒng)形式的加粗會告訴搜索引擎該部分文字比較重要。所以兩(liǎng)者從搜索引擎優化的角度來看，是有很大的區别的。上文中所提到的Heading标簽頁具有加粗效果，那麼(me)這(zhè)三種(zhǒng)标簽到底該怎麼(me)用？其實，Heading标簽一般用于文章大标題以及每段的小标題，而Strong标簽一般用于文章段落中的重點詞彙，而B标簽一般隻是強調一種(zhǒng)視覺效果。
4.ALT标簽
ALT标簽是一種(zhǒng)圖片标簽，它將(jiāng)圖片的信息以文本的形式展現。對(duì)ALT标簽的使用沒(méi)有太多要求，隻要在網頁中出現圖片的部分添加上該屬性即可，但其标簽内容應與相應頁面(miàn)内容具有相關性，長(cháng)度不得過(guò)長(cháng)，一般1~5個單詞即可。
5.Meta Description标簽
對(duì)Title标簽優化之後(hòu)，接下來就是對(duì)Meta Description标簽的優化。Meta Description标簽可以說是對(duì)Title标簽的進(jìn)一步解釋，可以是一句話或者是包含十幾個單詞的短語。每個頁面(miàn)都(dōu)該有其自己的Meta Description标簽，并且Meta Description标簽還(hái)可包含一些與網站内容相關但Title标簽中未提及的信息。與Title标簽要求相似，該部分内容也應具有描述性，與網頁内容具有相關性，可包含關鍵字，但不可過(guò)多。

（二）其他的一些網頁标簽，這(zhè)些對(duì)于簡潔網頁源代碼也同樣(yàng)至關重要。
1、HEAD部分代碼規範化
HEAD部分代碼是搜索引擎爬行網站的入口部分，現在很多網站的頭部代碼都(dōu)相當統一化，刻闆效應明顯十足，這(zhè)樣(yàng)的網站代碼是像模闆框架一樣(yàng)是不被(bèi)spider喜歡的，而我們要做的就是將(jiāng)網站的代碼規範化，建立起(qǐ)網站獨一無二的head部分，讓搜索引擎有新鮮感，這(zhè)樣(yàng)才能(néng)夠吸引spider爬行。
 
2、CSS代碼本身的優化
CSS是頁面(miàn)效果呈現中非常重要的組成(chéng)部分，它包括顔色、大小尺寸、背景和字體等。寫CSS很簡單很容易，但是要想寫出精煉的CSS代碼還(hái)是有很多技巧的。
（1）、CSS代碼優化
通過(guò)對(duì)css代碼屬性的簡寫、移除多餘的結構(frameworks)和重設(resets)等一系列的方法和技巧來簡化css代碼，減小css文件的大小。
（2）、css sprite技術
網站上的一些圖片可以采用css sprite技術進(jìn)行合并，減少加載請求次數，從而提高網頁的加載速度。
（3）、盡量不要使用内嵌式CSS
内嵌式CSS分爲兩(liǎng)種(zhǒng)，一是在head區域的普通内嵌式；二是在标簽内出現的行内内嵌式CSS，無論是何種(zhǒng)内嵌CSS方式結果都(dōu)會提升頁面(miàn)的體積，對(duì)此，我們可以盡量使用外調式的CSS來爲站點頁面(miàn)的體積瘦身。
（4）、CSS位置
CSS說明如果出現在網站之後(hòu)，頁面(miàn)需要重新渲染，打開(kāi)速度受到影響，所有css定義代碼的位置要放到網站之前。
 
3、使用DIV+CSS分離布局網頁
雖然現在div+css已經(jīng)很成(chéng)熟了，但是很多網頁設計者可能(néng)考慮到網頁的兼容性以及布局的簡易性還(hái)是使用老式的table布局，雖然table布局很方便，但是其弊端也是顯而易見的，那就是會大大增加網頁的大小，尤其是多層表格的嵌套，這(zhè)種(zhǒng)布局不僅會提升體積，同時如果嵌套數太多的話就會影響到搜索引擎的爬行，影響到站點的收錄。
 
4、JS位置，大小等負面(miàn)的優化
JS優化與其他語言的優化也仍然有相同之處，JS優化的關鍵，仍然是要把精力放在最關鍵的地方，也就是瓶頸上，一般來說，瓶頸總是出現在大規模循環的地方，這(zhè)倒不是說循環本身有性能(néng)問題，而是循環會迅速放大可能(néng)存在的性能(néng)問題。
（1）、合并JS
合并相同域名下的js，通過(guò)減少網絡連接次數從而提高網頁的打開(kāi)速度。
（2）、JS位置
網頁代碼中對(duì)js進(jìn)行優化的時候，seo網站優化將(jiāng)JS放在頁面(miàn)最後(hòu)，這(zhè)樣(yàng)可以加快頁面(miàn)打開(kāi)速度。
（3）、JS代碼外部的調用
我們知道(dào)當前的搜索引擎還(hái)是不能(néng)夠識别JS代碼的，倘若在網站中出現大批量的js代碼網站在收錄上就會出現困難，而我們要做的就是將(jiāng)用到Javascript代碼用外部調用的形式放在網站中，這(zhè)樣(yàng)可以簡化搜索引擎的工作，也不會在無形中衍生出無效代碼累及網站。不僅如此，杭州seo覺得可以采用外部調用的還(hái)有css代碼，建站之初可以將(jiāng)網站的文字、顔色定義在css代碼文件中，盡量不要在頁面(miàn)代碼内出現過(guò)多的樣(yàng)式代碼。
（4）、LazyLoad(延遲加載)技術
Lazy Load是一個用JavaScript編寫的jQuery插件，它可以延遲加載長(cháng)頁面(miàn)中的圖片，在浏覽器可視區域外的圖片不會被(bèi)載入，直到用戶將(jiāng)頁面(miàn)滾動到它們所在的位置。
 
5、網頁壓縮技術
對(duì)于網頁壓縮而言，相信各位站長(cháng)都(dōu)比較熟悉，主要是啓用服務器Gzip，對(duì)頁面(miàn)Gzip壓縮，減少元素的體積，從而減少數據的傳輸，進(jìn)而提高網頁的加載速度，這(zhè)個功能(néng)需要你的服務器的支持，GZIP壓縮一般能(néng)對(duì)網頁進(jìn)行30%-80%的壓縮，是最重要的一種(zhǒng)優化效果。總之，通過(guò)代碼優化來起(qǐ)到網站優化作用的方式還(hái)有很多，在這(zhè)隻是随意的說了其中比較常見的而已，希望大家能(néng)多多鑽研。
 
6、減少TABLE标簽的使用
table标簽是現在大多數上線網站中最爲常見的代碼形式，原因根本在于table在建立網站時比較快捷，但是這(zhè)也就影響了網站的後(hòu)期優化。
相對(duì)于div+css布局的精簡代碼網站來說，它的占位比較大，所以，在建站時候，盡量是少用表格，即便是要使用表格時，嵌套式表格也要盡量少用，以免産生冗雜代碼。
那麼(me)，現在的網站用什麼(me)做呢？很多程序員第一想法就是采用CSS去做，采用CSS去排版，這(zhè)種(zhǒng)做法呢，就使頁面(miàn)中的表格大大的降低了，但在杭州seo看來，網站也不能(néng)沒(méi)有表格，有些事(shì)必須使用到得，使用表格本身沒(méi)什麼(me)，但是有很多網站都(dōu)采用嵌套表格，一般這(zhè)樣(yàng)的表格形式會給網站産生大量的垃圾代碼，并且這(zhè)些垃圾代碼都(dōu)是沒(méi)有任何用處的代碼，這(zhè)一類代碼也是我們網站需要精簡的代碼之一。
 
7、將(jiāng)html控制方式轉換爲CSS控制
很多網頁設計者習慣在标簽内對(duì)内容進(jìn)行控制，比如img标簽裡(lǐ)通過(guò)width和height來控制圖片的大小，盡量將(jiāng)這(zhè)些代碼轉換成(chéng)外調式的CSS，使網頁代碼更加的瘦身。
 
8、代碼注釋省略的少量使用
很多程序人員在編寫代碼是都(dōu)習慣在别人看不懂的地方給出一段注釋，這(zhè)些代碼往往是爲了幾個程序員之間的協同工作，對(duì)于外人以及搜索引擎來說沒(méi)有任何用處，相反還(hái)會給搜索引擎蜘蛛帶來一定的困擾。打開(kāi)頁面(miàn)代碼我們經(jīng)常會看到一些注釋代碼，這(zhè)是程序員爲了表明代碼意義而做的注釋，其實這(zhè)些打開(kāi)不必，因爲對(duì)于搜索引擎而言，它們是不存在任何意義的，隻是會增加了頁面(miàn)代碼的容量，這(zhè)樣(yàng)對(duì)于網站不會有什麼(me)利處，不如直接省略。
 
9、緩存靜态資源
通過(guò)設置浏覽器緩存，將(jiāng)css、js等不太經(jīng)常更新的文件緩存在浏覽器端，這(zhè)樣(yàng)同一訪客再次訪問你的網站的時候，浏覽器就可以從浏覽器的緩存中獲取css、js等，而不必每次都(dōu)從你的服務器讀取，這(zhè)樣(yàng)在一定程度上加快了網站的打開(kāi)速度，又可以節約你的服務器流量。
 
10、權重标簽的使用
典型的權重标簽有H1，strong，b标簽等，對(duì)想參與排名的重要關鍵詞使用權重标簽，好(hǎo)處是向(xiàng)搜索引擎傳遞信号：這(zhè)個地方的關鍵詞很重要，需要區别對(duì)待，從而提升既定關鍵詞在搜索引擎的排序。
 
11、清除頁面(miàn)中多餘的代碼即精簡代碼
有的網站以爲制作者的代碼書寫習慣問題，頁面(miàn)會有很多空格代碼，比如：空格代碼、style和font重複定義的代碼，不要小看這(zhè)些體積很小的代碼，積攢多了，也會使我們的網站異常的臃腫。很多網站都(dōu)是采用的DIV+CSS，在CSS中定義了文字的字體，顔色，以及頁面(miàn)的排版，但是在網站的其他地方還(hái)用了以style以及font來再次定義字體字體，這(zhè)些代碼完全沒(méi)有必要重複定義，屬于可以精簡的代碼。