UsenetNews系统的运作与管理课程9456.pptx
國 立 交 通 大 學計 算 機 中 心陳 昌 盛E-mail:cschencc.nctu.edu.twUsenet News 系統的運作與管理Usenet News系統的運作與管理課程大綱 Outline1.Usenet News 系統簡介2.News system INN 的相關操作設定3.其它類似 News system 的簡介4.新近的 News system 的發展趨勢Usenet News 系統簡介(1)Usenet News 相關資訊/文件RFC 977,1036977:傳送協定的規範1036:Usenet 文件的規範(e.g.檔頭 header)FAQ(e.g,INN,Dnews,)newsgroups news.admin.*,主要談行政管理性質.news.software.*,主要系統技術news,臺灣本地的技術討論區本资料来源Usenet News 系統簡介(2)Usenet News 系統簡介(3)Usenet News 是什麼?Usenet 是一個邏輯型態的網路 logical vs physical network傳統的 8 大分支comp,humanity,misc,news,rec,sci,soc,talk另類分支架構,e.g.alt.*區域性架構tw,hk,can,de,fj,fr,kr,.其他臺灣 BBS 與 NetNews 系統的結合Usenet 的一般課題(1)Usenet News 程式分類(Server,Agent,Client)系統 server(INN,DNews,.)傳送程式(push vs pull model)Push 傳送:innfeed,nntplink,.Pull 傳送:suck,nntpget閱覽程式(線上 vs 離線 閱覽)netscape,ie,tin,Usenet News 傳送方式mailing,UUCP,NNTP(RFC 977)Usenet 的一般課題(2)News 文章的檔頭(RFC 1036)Required headersOptional headersNews 文章的分類normal articles(moderated vs un-moderated)control messages(cancel,newgroup,rmgroup,checkgroups,sendsys,version)如何新建一個 newsgroup送 newgroup control messageUsenet 的一般課題(3)articles refused or rejected(NNTP)refused(round 1,存在 history database)rejected(round 2)pseudo newsgroups(active)control,junkcontrol.cancel,control.newgroup,control.rmgroupUsenet 的一般課題(4)轉換應用程式(application gateway)mail2news,news2mail,bbs2news,anti-spam vs filtering匿名問題(anonymous posting)cancel bot(automatic cancel)PGP verify(control messages)FilteringNoCem(No-See-Them)CleanfeedUsenet News server 的規畫Usenet News server 的規畫Network,Memory,Disk,CPUUPS systemMemory size128M bytes(the more,the better)Hard Disk sizeDisk capacity 12G bytes(the more,the better)SCSI II,Wide(the newer,the better)Inode number =2k bytes/inodeFilesystem(hardware or software disk array)News 系統的運作與管理課題In-coming News(接收)Unbatching/decompression,Filing,.Indexing supportOut-going newsfeeds(外送)Expiration(清理過期文章)Archive(永久保存)系統記錄與製做統計報告關於 news 站的管理建立外界連絡用的 e-mail addressnewsadmin,usenet,abuse例如 newsadminnews.nctu.edu.tw建立 news peering 關係認識你的 news 上游管理者建立第二個備援站(redundant backup site)Usenet server INN 的建置Usenet News software 的取得ftp:/nctuccca.edu.tw/Packages/news/*INN Server 的安裝 INN README INN Installation Guide(install.ms)INN FAQ Part 8:Appendix A:Normans install guideMaster/slave serversINN 中典型的系統目錄僅量分散原則News Library Directory子目錄/usr/local/news/bin,etc,lbin,lib,locks,man,run,varNews Spool Directory子目錄/news/archive,articles,ing,out.going,over.viewNews Log Directory子目錄/var/log/newsINN 上必須編輯設定的檔案inn.conf,hosts.nntp,nnrp.accessnewsfeeds,innfeed.confactive,history(*)expire.ctl,innwatch.ctl,control.ctloverview.fmt,moderatorsinnreport.conf(外加選項功能)INN 的相關系統設定(1)接收(In-coming connection)hosts.nntp,nnrp.acesss儲存與內部處理(filing)active,control.ctl外送(out-going newsfeeding)newsfeed,innfeed.conf(or nntpsend.ctl,)加掛特殊功能程式(overchan,crosspost,inpath,autoresponder,)newsfeedINN 的相關系統設定(2)定期清理(expiration;news.daily)expire.ctl系統監督(background 程式)innwatch.ctl系統報告(news.daily)innreport.conf其他次要功能設定moderators,passwd.nntp,.INN.conf 的設定範例#pathhost:如果不定,default 就是 FQDNpathhost:netnews.NCTU.edu.tworganization:National Chiao Tung University,Taiwanserver:localhostINN 的 hosts.nntp 設定格式:範例news.edu.tw:192.83.166.5:ccnews.nctu.edu.tw:!*,tw*,nctu.*,nthu.*INN 的 nnrp.access標準格式 :範例#-Default is no access,no way to authentication,and no groups.*:-no-:-no-:!*#-General IP address ranges for most Taiwans sites*.tw:R:*,!junk,!control*,!tw.bbs.adm.*,!alt.binaries.*#-NCTU-National Chiao Tung University140.113.*:Read:*,!junk,!control*,!twbbs.adm.*nctu.edu.tw:Read Post:*,!junk,!control*,!twbbs.adm.*INN 的 newsfeeds 設定(1)標準格式site/exclude,exclude,.:pattern,pattern./distrib,distrib.:flag,flag.:param詳細說明請參閱 man page-newsfeeds(5)INN 的 newsfeeds 設定(2)範例ME:!*/!local:#Create the links for cross-posted articlesxpost:*:Tc,Ap,WR,B4096/1024:/usr/local/news/bin/crosspost#News overviewNOV!:*:Tc,WO,B4096/1024:/usr/local/news/bin/overchan#innfeed-0.10.1,86/04/22innf!:!*:Tc,Wnm*,B4096/1024 :/usr/local/news/lbin/startinnfeed-c/news/innfeed/innfeed.conf#-CC1/news.nctu.edu.tw,ccnews.nctu.edu.tw :*,!control*,!junk :Tm,G20:innf!關於 feed 型態 特別說明Feed TypeTc,channel mode Tm,funnel mode Tf,file mode Tp,program(or pipe)mode Tx,exploder mode INN 的 expire.ctl 設定格式 /remember/:範例/remember/:10#Keep for 1-10 days,allow Expires headers to work.#General expire policy for most newsgroups*:A:0:0:0*:U:1:1:31*:M:1:7:31tw.*:U:1:7:31*.answers:M:1:31:31INN 的 control.ctl 設定格式 :action 型態cancel,newgroup,rmgroup,ihave/sendme,sendsys,checkgrup,version,“all”範例 all:*:*:mailcheckgroups:*:*:log=checkgroupssendsys:*:*:log=sendsysnewgroup:ltcnews.cc.nctu.edu.tw:tw.*:doit=newgrouprmgroup:*:*:mailCrontab entry-An Exmple#Daily expiration job40 2*/usr/local/news/bin/news.daily delayrm expireover#Purge News Overview database40 6*/usr/local/news/bin/expireover-a#Reload newsfeeds30 0,6,12,18*(cd/usr/local/news;bin/ctlinnd throttle regular reload;bin/ctlinnd reload newsfeeds /dev/null 2&1;bin/ctlinnd go )#Path Survey-inpaths15 9 30 1,3-12*/usr/local/news/lbin/pathsurvey15 9 28 2*/usr/local/news/lbin/pathsurveyINN 上變動性的 database(1)active(active,active.times)記錄系統接收哪些 newsgroups,以及其屬性,流水編號等資料,同時可供 news reading 當作指標.history(history,history.dir,history.pag)記錄系統上所有的 news articles 的進出時間,以及各 articles 的 message-id,儲存路徑名稱等資料.用途 1,以防重覆傳送.用途 2,expire 時根據這一些資料,找出要去除的articles.Usenet 上 active 的格式格式name himark lomark flags範例tw.test 0000012345 0000012340 ynews.answers 0000098765 0000097654 mFlags 種類y,n,m,x,j,=foo.barINN 上變動性的 database(2)newsgroups(主要用於 news-reading)記錄 newsgroups 對應的說明資料subscriptions(系統)預先設定的 newsgroups 建議列表,用途 1,推薦一些實用的 newsgroups用途 2,避免初學者,因不熟悉系統操作,以為本系統沒有任何 newsgroups 可用.目前還不是標準功能(NNTP),所以並非所有 news-reader 都支援這個功能.Debug INN 系統Enable news syslog/etc/syslog.confCheck/var/log/newsnews.crit,news.err,news.notice(系統狀態)news(記錄每篇 news article 的流向資料)telnet localhost 119直接操作 NNTP commandsINN 管理工具程式 ctlinnd使用 or 身份來執行列出所有可用的命令/usr/local/news/bin/ctlinnd helpctlinnd xxx,其中 xxx 代表mode,newgroup,rmgroup,pause,reload,go,shutdown,.其他 News server 的簡介(1)High Wind 系列(商用版,評價很好)Cyclone,Typhoon,BreezeDNews(Unix,Windows NT)NNTPcache(Unix)Diabolo(FreeBSD,Solaris)freeware,仍持續發展中,主要 news feeder 其他 News server 的簡介(2)NNTPrelay(Windows NT)商用正式版 Tortoise 即將出現Netscape server有 Unix 和 Windows NT 版從 INN 1.4 開始發展 前景不明MS IIS server只適合小規模 intranet 使用Usenet News 發展新趨勢(1)Feeder 跟 Reader server 分開如商用的 High Wind 系列走向tcp port 119(reader),433(feeder)專門的 reader supportactived(mmap,overview)NNTPcache(server 分級,kernels vs leaves)Anti-SPAMPGP verify,Filtering+Cancel-bot,Client-trackingUsenet News 發展新趨勢(2)Filteringcleanfeed(MD5 hashing,perl hook)INN,Diablo,CycloneExpire(time vs space)CNFS(Cyclic News File System)傳統的 unix bfs vs CNFS新版 INN 2.0 即將出爐,CNFS 是標準功能DejaNews-News archive,copyright,.News 系統 HTML化 的衝擊附錄Usenet Headers(RFC 1036)簡介Usenet/INN related Utility ProgramsA typical control messageA typical innfeed.confUsenet Headers(RFC 1036)-簡介(1)必要的(required headers)Newsgroups,Subject User 提供From,Date,Path,Message-ID 系統產生選擇性的(optional headers)Reply-to,SenderFollowup-To,References,XrefExpiresControl,AprovedDistributionOrganizationUsenet Headers(RFC 1036)-簡介(2)其他非 RFC 1036 定義NNTP-Posting-HostX-Newsreader.RFC 1036 Revised Draft 一些 Usenet 管理的實用程式Usenet/INN related utility programsinnreportflowstatsinpathinndfautoresponderFtp:/ftp.nctu.edu.tw/Packages/News/*A Typical Control MessagePath:netnews.NCTU.edu.tw!news.nctu.edu.tw!nntp-!cam-news-!sanjose-news-!sonysjc!vixie!news.isc.org!bounce-backFrom:group-adminisc.org(David C Lawrence)Newsgroups:comp.archivesSubject:cmsg newgroup comp.archives moderatedControl:newgroup comp.archives moderatedApproved:newgroups-requestisc.orgMessage-ID:Date:Thu,09 Apr 1998 01:30:01-0000Lines:4X-Info:ftp:/ftp.isc.org/pub/pgpcontrol/README.html ftp:/ftp.isc.org/pub/pgpcontrol/READMEX-PGP-Sig:2.6.2 Subject,Control,Message-ID,Date,From,Sender iQCVAwUBNSwkmcJdOtO4janBAQEzhwP/Y9JsOopcfVeQmo6HEJ6e21K9FWWjXwdW QipIRmTcC+0UN6RwufFQ9Qe4rHv3twY8+zM+MXZ13LZ4N64gvk1aKB8PIJLT1/yp 9rHmZFG2ac1gPfcyPSQbatsPNiOToc2ncXW5URGysTqC5swgP4h4KE7MZzhFItKL a5uLAm9yrsA=ju5cXref:netnews.NCTU.edu.tw control.newgroup:41374comp.archives is a moderated newsgroup.For your newsgroups file:comp.archives Descriptions of public access archives.(Moderated)#innfeed.conf file.See the comment block at the#end for a fuller description.#Global values.Not specific to any peer.These#are optional,but if used will override the#compiled in values.Command-line options used#will override these values.#backlog-directory:/home/innfeed/if-1backlog-highwater:5#host-highwater:15#host-highwater:15host-queue-highwater:10backlog-ckpt-period:20backlog-rotate-period:60backlog-newfile-period:300log-file:innfeed.logdebug-level:0status-file:innfeed.statususe-mmap:truepid-file:innfeed.pidconnection-stats:false典型的設定檔 Innfeed.conf (1)news-spool:/news/articlesgen-html:falsebacklog-factor:1.10max-reconnect-time:3600dns-retry:900dns-expire:86400close-period:3600stats-period:600stats-reset:43200initial-reconnect-time:30#Global scope.Defaults for all peers.These#must all exist.Any of them can be redefined#inside a peer definition.#article-timeout:400response-timeout:1200initial-connections:1max-connections:5max-queue-size:10streaming:true典型的設定檔 Innfeed.conf (2)
