1) Robots.txt文件——纯文本文件，放置在一个站点的根目录下，而且文件名必须全部小写。 **
| Googlebot | Google对一般网页的搜索蜘蛛 |
| Googlebot-Mobile | Google对于移动设备，例如手机网页的索引蜘蛛 |
| Googlebot-Image | Google专门用来抓取图片的蜘蛛 |
| Baiduspider | 百度综合索引蜘蛛 |
| Yahoo!Slurp | 雅虎综合索引蜘蛛 |
| YodaoBot | 网易有道综合索引蜘蛛 |
| Sosospider | 腾讯搜搜综合索引蜘蛛 |
| Sogou spider | 搜狐搜狗综合索引蜘蛛 |
a) 举例说明
i. 禁止除Google外其他搜索引擎索引所有内容
User-agent: Googlebot
Disallow:
User-agent: *
Disallow: /
ii. 允许SE索引指定内容
User-agent: *
Allow: /images/abc
Disallow: /images/
iii. 允许访问所有以asp为后缀的文件
User-agent: *
Allow: .asp$
Disallow: /
iv. 禁止访问所有URL中包含?的网页，如index.jsp?id=1
User-agent: *
Disallow: /*？*
b) 注意事项：
i. 让蜘蛛远离网站的源程序文件和后台管理文件。不让蜘蛛访问数据库文件、模板文件、CSS文件等；
ii. 拒绝垃圾搜索引擎。某些蜘蛛不能访问，降低服务器负担，提高服务器性能。
iii. 如果网站使用Rewrite方式进行伪静态化，网站将有两个网址。为了节约服务器资源，使用robots.txt文件防止蜘蛛抓取动态页面，只允许抓取伪静态页面。
2) 网页链接的优化
a) 内部链接的优化：提高了网站内部链接的紧密性，从而也提高了整个网站的SEO性能；相关页面的链接优化可以提高网站的PV，提高页面之间关键词的相关度。 **
i. 导航尽量使用文本作为连接的锚文字，不使用javascript、图片、flash作为导航，如果一定要用注意：放在页面其他部位；放置网站地图，图片导航添加alt属性。
ii. 面包屑导航：面包屑导航的锚文字比较精准地反映了目标页面的主要内容，由于同类正文页面数量很大，因此每一个上级栏目页都获得大量的来自内容页面的反向链接，因此该目标页在搜索引擎中的排名也可以大大提升。 **
b) 外部链接的优化：是SEO的关键因素之一，高权重的网站，同行业的网站给予的友情链接质量高，分值也高。 **
i. 选择外部链接时，仔细分析对方网站是否被搜索引擎惩罚过，慎重交换链接。
ii. 尽量选择同行业网站，以提高友情链接的质量。
iii. 高质量的网站总会带来高质量的友情链接，如果对方PR>6，that’s great!!
iv. 定期检查网站上链接到外部的友情链接，查看是否出现空链接，对方网站是否使用JS脚本做友情链接等
3) Heading标签的优化：heading标签就是指六种不同大小的文字，从<h1>到<h6>，文字由大到小。有着举足轻重的地位。 **
i. 在每个页面中只需要放置一个h1标签。
ii. h2标签不能太多，一般不能超过3个，有些关键词或者由关键词组合成的短语标题可以使用h2标签。
iii. h3-h6标签使用频率并不太高（可作为段落标题），在页面底部为了突出整个页面的关键词时，使用h6标签包含关键词。
iv. 对heading标签的优化，可以在栏目页中，也可以在首页、专题页，甚至内容页中。
4) 图片优化：
i. 在百度图片搜索中，对于同样的图片，JPG图片的排名高于其他格式的图片，其排序规范为：jpg > jpeg > gif > png > bmp。
ii. 除非是特殊的人为干扰，否则像素较大的照片，会比同条件的其他图片排名靠前。
iii. 通过HTML代码中的元素提高图片与关键词之间的相关度。Img标签的alt
iv. 通过URL标签链接来提高图片与关键词的相关度。
v. 通过文件名、URL文件夹名称进行图片SEO。
vi. 环绕图片的文字对搜索引擎蜘蛛的干扰，图片标签的前255个字符和后255个字符对搜索引擎图片内容的判断有着非常重要的作用。前后可以<!—注释当中alt相近的关键字描述–>
5) 网页减肥
i. 去掉冗余代码
ii. css代码单独保存，标准命名
iii. 查看网页是否符合W3C标准
iv. JS代码封装，或者放在html代码之后
v. 网页文本的减肥：分页处理
vi. 网页图片的减肥：图片裁减与压缩
vii. Flash的减肥：尽量避免使用Flash，制作与Flash中内容相同的文字网页。
1.1 SEO常用作弊方式
1) 桥页(Doorway Pages)：又称为过渡页，通常是用软件自动生成大量包含关键词的网页，然后从这些网页做自动转向到主页。
2) 关键词堆砌(Keyword Stuffing)：在网页中大量堆砌关键词，希望提高关键词密度，提高网页针对关键词的相关度。
3) 隐藏文字(Hidden Text)：隐藏文字是在网页的HTML文件中放上含有关键词的文字，但这些文字不能被用户所看到，只能被搜索引擎看到。
4) 隐藏链接(Hidden Link)：隐藏链接和隐藏文字相似，但是区别是把关键词放在链接里面，而这个链接也是用户所看不到的。
5) 隐藏页面(Cloaked Page)：有的网页使用程序或脚本来检测来访问的是搜索引擎还是普通用户。如果是搜索引擎，网页就返回经过优化的网页版本。如果来访的是普通人，返回的是另外一个版本.
6) 细微文字：将本来隐藏的文字以细微的字体暴露出来。细微文字是使用微小的字体在网页不显眼的地方书写带有关键词的句子。
1.2 防止网页被搜索引擎认为是SPAM
1) 注意网页上的链接数量，并且不要给已经被处罚过的网站提供导出链接。
2) 关键词密度控制在2%-8%。
3) 网站中的每一个网页都需要独一无二的内容，切不可一个页面有多个地址访问。
4) 避免出现例如“免费抽奖”、“免费设计签名”、“免费手机铃声”等被网友反感的关键词。
5) 在注册域名之前，查询该域名是否以前被注册过，被惩罚过。在选择服务器时，查询该服务器IP下是否有被搜索引擎惩罚过的网站。
6) 如果网站有blog系统，留言本，论坛，需要注意经常检查内容。
1.3 SEOer：Search Engine Optimizer：搜索引擎优化师。这些人利用工具或者其他的各种手法使目标网站符合搜索引擎规则，从而获得搜索引擎搜索排名至高点。营销策划能力、 文字表达能力、网站运营分析能力、SEO技术、项目管理能力、沟通能力。 **
