国产一区二区精品久久_蜜桃狠狠狠狠狠狠狠狠狠_午夜视频精品_激情都市一区二区

當前位置:首頁 > 網站舊欄目 > 學習園地 > 設計軟件教程 > 帶局部統計識別高頻詞匯及人名識別的Lucene中文分詞

帶局部統計識別高頻詞匯及人名識別的Lucene中文分詞
2010-01-13 23:06:10  作者:  來源:

經過努力終于在 引入局部統計識別高頻詞匯的Lucene中文分詞程序 以及 基于詞典的最大匹配的Lucene中文分詞程序 把中文人名識別功能加入,能把大部分的中文姓名識別出來,結果喜人。

原理:

根據貝葉斯定理,分別建立中文形式庫FirstName.stu,從網上搜集得到的真實姓名庫Name.stu,以及以姓氏為開頭但非中文姓名的詞庫(如“曾經是”,“關門”,“陳述”等)UnName.stu。然后先使用之前完成的基于詞典的最大匹配分詞算法對文本進行初步分詞,然后利用Spring的AOP把人名識別器SimpleChineseNameAnalyzer編織到初步分詞方法執行之后,利用姓氏驅動的方式遍歷分詞碎片,找到所有以姓氏開頭后兩個分詞結果為單字或后一個分詞結果為雙字詞的碎片(成為候選詞),分別從Name.stu以及UnName.stu中獲取姓氏以及各個名字成為姓名的概率,最后判斷候選詞前后是否存在邊界詞匯,若有則對其進行概率調整,最終通過與閥值的比較判斷是否是一個中文姓名。

用法:

java 代碼
 
  1. ApplicationContext context = new FileSystemXmlApplicationContext("STUSegmentConfig.xml");   
  2. STUChineseAnalyzer analyzer = (STUChineseAnalyzer) context .getBean("stuChineseAnalyzer");  

測試數據:

東方網記者靳慧、張海盈、實習生霍世杰5月20日報道:今天上午10點,同濟大學建校100周年慶典大會在同濟大學大禮堂隆重舉行。中共中央總書記、國家主席胡錦濤發來賀信。全國人大常委會副委員長李鐵映,全國人大常委會副委員長顧秀蓮,國務委員陳至立,中共上海市委書記習近平,德國前總理施羅德,中央紀委副書記張惠新,教育部部長周濟,建設部部長汪光燾,中共上海市委副書記、市長韓正,科技部黨組書記、副部長李學勇等出席慶典大會。

  慶典大會上首先宣讀胡錦濤總書記賀信,之后科技部部長、同濟大學校長萬鋼從“大學對社會的承諾”的角度講述百年同濟的輝煌歷史和未來發展。來自德國柏林工業大學的校長庫茨勒、中國科學院院士吳孟超、同濟大學交通運輸工程學院孫立軍等也將作為友好學校代表、校友代表、師生代表先后致辭。

  今天早晨8點開始,同濟大學的師生、老校友們就陸續進入慶典大會會場,會場大屏幕上滾動播放著建校100周年的宣傳片。慶典大會開始前舉行了同濟老校友互動活動,現場十分感人。

  同濟大學是教育部直屬重點大學,創建于1907年,早期為德國醫生在上海創辦的德文醫學堂,取名"同濟"意蘊合作共濟。1912年增設工學堂,1923年被批準改名為大學,1927年正式定為國立同濟大學。抗戰期間曾內遷經浙、贛、滇入川,1946年回遷上海并發展為以擁有理、工、醫、文、法五大學院著稱海內外的綜合性大學。1952年院系調整后,同濟大學成為國內土木建筑領域最大、專業最全的工科大學。

  1978年經中央批準恢復對德交流,在中科院學部委員李國豪校長領導下實行“兩個轉變”,即由土木為主的理工科大學向理工為主的多科性大學轉變,由國內普通高校向作為中外文化交流“窗口”之一的國際性大學轉變,從而迅速恢復和發展成為一所以工為主、理工結合,經、管、文、法各具特色的多科性大學。

測試結果:

 
  1. (東方,0,2)   
  2. (網,2,3)   
  3. (記者,3,5)   
  4. (靳慧,5,7)   
  5. (張海盈,8,11)   
  6. (實習生,12,15)   
  7. (霍世杰,15,18)   
  8. (5,18,19)   
  9. (月,19,20)   
  10. (20,20,22)   
  11. (日報,22,24)   
  12. (道,24,25)   
  13. (今天,26,28)   
  14. (上午,28,30)   
  15. (10,30,32)   
  16. (點,32,33)   
  17. (同濟大學,34,38)   
  18. (建校,38,40)   
  19. (100,40,43)   
  20. (周年,43,45)   
  21. (慶典,45,47)   
  22. (大會,47,49)   
  23. (在,49,50)   
  24. (同濟大學,50,54)   
  25. (大禮堂,54,57)   
  26. (隆重舉行,57,61)   
  27. (中共中央總書記,62,69)   
  28. (國家主席,70,74)   
  29. (胡錦濤,74,77)   
  30. (發來,77,79)   
  31. (賀信,79,81)   
  32. (全國人大常委會,82,89)   
  33. (副委員長,89,93)   
  34. (李鐵映,93,96)   
  35. (全國人大常委會,97,104)   
  36. (副委員長,104,108)   
  37. (顧秀蓮,108,111)   
  38. (國務委員,112,116)   
  39. (陳至立,116,119)   
  40. (中共,120,122)   
  41. (上海市,122,125)   
  42. (委,125,126)   
  43. (書記,126,128)   
  44. (習近平,128,131)   
  45. (德國,132,134)   
  46. (前總理,134,137)   
  47. (施,137,138)   
  48. (羅德,138,140)   
  49. (中央紀委,141,145)   
  50. (副書記,145,148)   
  51. (張惠新,148,151)   
  52. (教育部,152,155)   
  53. (部長,155,157)   
  54. (周濟,157,159)   
  55. (建設部,160,163)   
  56. (部長,163,165)   
  57. (汪光燾,165,168)   
  58. (中共,169,171)   
  59. (上海市,171,174)   
  60. (委,174,175)   
  61. (副書記,175,178)   
  62. (市長,179,181)   
  63. (韓正,181,183)   
  64. (科技部,184,187)   
  65. (黨組書記,187,191)   
  66. (副部長,192,195)   
  67. (李學勇,195,198)   
  68. (等,198,199)   
  69. (出席,199,201)   
  70. (慶典,201,203)   
  71. (大會,203,205)   
  72. (慶典,210,212)   
  73. (大會,212,214)   
  74. (上首,214,216)   
  75. (先,216,217)   
  76. (宣讀,217,219)   
  77. (胡錦濤,219,222)   
  78. (總書記,222,225)   
  79. (賀信,225,227)   
  80. (之后,228,230)   
  81. (科技部,230,233)   
  82. (部長,233,235)   
  83. (同濟大學,236,240)   
  84. (校長,240,242)   
  85. (萬,242,243)   
  86. (鋼,243,244)   
  87. (從,244,245)   
  88. (大學,246,248)   
  89. (對,248,249)   
  90. (社會,249,251)   
  91. (的,251,252)   
  92. (承諾,252,254)   
  93. (的,255,256)   
  94. (角度,256,258)   
  95. (講述,258,260)   
  96. (百年,260,262)   
  97. (同濟,262,264)   
  98. (的,264,265)   
  99. (輝煌,265,267)   
  100. (歷史,267,269)   
  101. (和,269,270)   
  102. (未來,270,272)   
  103. (發展,272,274)   
  104. (來自,275,277)   
  105. (德國,277,279)   
  106. (柏林,279,281)   
  107. (工業大學,281,285)   
  108. (的,285,286)   
  109. (校長,286,288)   
  110. (庫,288,289)   
  111. (茨,289,290)   
  112. (勒,290,291)   
  113. (中國科學院,292,297)   
  114. (院士,297,299)   
  115. (吳孟超,299,302)   
  116. (同濟大學,303,307)   
  117. (交通運輸,307,311)   
  118. (工程學院,311,315)   
  119. (孫立軍,315,318)   
  120. (等,318,319)   
  121. (也將,319,321)   
  122. (作為,321,323)   
  123. (友好,323,325)   
  124. (學校,325,327)   
  125. (代表,327,329)   
  126. (校友,330,332)   
  127. (代表,332,334)   
  128. (師生,335,337)   
  129. (代表,337,339)   
  130. (先后,339,341)   
  131. (致辭,341,343)   
  132. (今天,348,350)   
  133. (早晨,350,352)   
  134. (8,352,353)   
  135. (點開,353,355)   
  136. (始,355,356)   
  137. (同濟大學,357,361)   
  138. (的,361,362)   
  139. (師生,362,364)   
  140. (老,365,366)   
  141. (校友,366,368)   
  142. (們,368,369)   
  143. (就,369,370)   
  144. (陸續,370,372)   
  145. (進入,372,374)   
  146. (慶典,374,376)   
  147. (大會,376,378)   
  148. (會場,378,380)   
  149. (會場,381,383)   
  150. (大屏幕,383,386)   
  151. (上,386,387)   
  152. (滾動,387,389)   
  153. (播放,389,391)   
  154. (著,391,392)   
  155. (建校,392,394)   
  156. (100,394,397)   
  157. (周年,397,399)   
  158. (的,399,400)   
  159. (宣傳片,400,403)   
  160. (慶典,404,406)   
  161. (大會,406,408)   
  162. (開始,408,410)   
  163. (前,410,411)   
  164. (舉行,411,413)   
  165. (了,413,414)   
  166. (同濟,414,416)   
  167. (老,416,417)   
  168. (校友,417,419)   
  169. (互動,419,421)   
  170. (活動,421,423)   
  171. (現場,424,426)   
  172. (十分,426,428)   
  173. (感人,428,430)   
  174. (同濟大學,435,439)   
  175. (是,439,440)   
  176. (教育部,440,443)   
  177. (直屬,443,445)   
  178. (重點,445,447)   
  179. (大學,447,449)   
  180. (創建,450,452)   
  181. (于,452,453)   
  182. (1907,453,457)   
  183. (年,457,458)   
  184. (早期,459,461)   
  185. (為,461,462)   
  186. (德國,462,464)   
  187. (醫生,464,466)   
  188. (在上,466,468)   
  189. (海,468,469)   
  190. (創辦,469,471)   
  191. (的,471,472)   
  192. (德文,472,474)   
  193. (醫學,474,476)   
  194. (堂,476,477)   
  195. (取名,478,480)   
  196. (同濟,481,483)   
  197. (意蘊,484,486)   
  198. (合作,486,488)   
  199. (共,488,489)   
  200. (濟,489,490)   
  201. (1912,491,495)   
  202. (年,495,496)   
  203. (增設,496,498)   
  204. (工學,498,500)   
  205. (堂,500,501)   
  206. (1923,502,506)   
  207. (年,506,507)   
  208. (被,507,508)   
  209. (批準,508,510)   
  210. (改名,510,512)   
  211. (為大,512,514)   
  212. (學,514,515)   
  213. (1927,516,520)   
  214. (年,520,521)   
  215. (正式,521,523)   
  216. (定為,523,525)   
  217. (國立,525,527)   
  218. (同濟大學,527,531)   
  219. (抗戰,532,534)   
  220. (期間,534,536)   
  221. (曾,536,537)   
  222. (內遷,537,539)   
  223. (經,539,540)   
  224. (浙,540,541)   
  225. (贛,542,543)   
  226. (滇,544,545)   
  227. (入,545,546)   
  228. (川,546,547)   
  229. (1946,548,552)   
  230. (年,552,553)   
  231. (回遷,553,555)   
  232. (上海,555,557)   
  233. (并發,557,559)   
  234. (展,559,560)   
  235. (為,560,561)   
  236. (以,561,562)   
  237. (擁有,562,564)   
  238. (理,564,565)   
  239. (工,566,567)   
  240. (醫,568,569)   
  241. (文,570,571)   
  242. (法,572,573)   
  243. (五大,573,575)   
  244. (學院,575,577)   
  245. (著稱,577,579)   
  246. (海內外,579,582)   
  247. (的,582,583)   
  248. (綜合性,583,586)   
  249. (大學,586,588)   
  250. (1952,589,593)   
  251. (年,593,594)   
  252. (院系,594,596)   
  253. (調整,596,598)   
  254. (后,598,599)   
  255. (同濟大學,600,604)   
  256. (成為,604,606)   
  257. (國內,606,608)   
  258. (土木,608,610)   
  259. (建筑,610,612)   
  260. (領域,612,614)   
  261. (最大,614,616)   
  262. (專業,617,619)   
  263. (最全,619,621)   
  264. (的,621,622)   
  265. (工科大學,622,626)   
  266. (1978,631,635)   
  267. (年,635,636)   
  268. (經,636,637)   
  269. (中央,637,639)   
  270. (批準,639,641)   
  271. (恢復,641,643)   
  272. (對,643,644)   
  273. (德,644,645)   
  274. (交流,645,647)   
  275. (在,648,649)   
  276. (中科院,649,652)   
  277. (學部委員,652,656)   
  278. (李國豪,656,659)   
  279. (校長,659,661)   
  280. (領導,661,663)   
  281. (下,663,664)   
  282. (實行,664,666)   
  283. (兩個轉變,667,671)   
  284. (即,673,674)   
  285. (由,674,675)   
  286. (土木,675,677)   
  287. (為主,677,679)   
  288. (的,679,680)   
  289. (理工科,680,683)   
  290. (大學,683,685)   
  291. (向,685,686)   
  292. (理工,686,688)   
  293. (為主,688,690)   
  294. (的,690,691)   
  295. (多科,691,693)   
  296. (性,693,694)   
  297. (大學,694,696)   
  298. (轉變,696,698)   
  299. (由,699,700)   
  300. (國內,700,702)   
  301. (普通,702,704)   
  302. (高校,704,706)   
  303. (向,706,707)   
  304. (作為,707,709)   
  305. (中外文,709,712)   
  306. (化,712,713)   
  307. (交流,713,715)   
  308. (窗口,716,718)   
  309. (之一,719,721)   
  310. (的,721,722)   
  311. (國際性,722,725)   
  312. (大學,725,727)   
  313. (轉變,727,729)   
  314. (從而,730,732)   
  315. (迅速,732,734)   
  316. (恢復,734,736)   
  317. (和,736,737)   
  318. (發展,737,739)   
  319. (成為,739,741)   
  320. (一所,741,743)   
  321. (以,743,744)   
  322. (工,744,745)   
  323. (為主,745,747)   
  324. (理工,748,750)   
  325. (結合,750,752)   
  326. (經,753,754)   
  327. (管,755,756)   
  328. (文,757,758)   
  329. (法,759,760)   
  330. (各具特色,760,764)   
  331. (的,764,765)   
  332. (多科,765,767)   
  333. (性,767,768)   
  334. (大學,768,770)  

安徽新華電腦學校專業職業規劃師為你提供更多幫助【在線咨詢