Mô hình gán nhãn từ loại dựa trên song ngữ Anh- Việt - Tailieu123.org

Luận văn - báo cáo

Thạc sĩ cao học

Kinh tế quản lý

Khoa học tự nhiên

Kinh tế - Thương mại

Lý luận chính trị

Kỹ thuật

Báo cáo, luận văn khác

Kỹ năng mềm

Mẫu slide

Mẫu slide cho thuyết trình

Mẫu slide cho giáo án điện tử

Mẫu slide khác

Mẫu slide - Template

Kinh doanh - tiếp thị

Marketing, bán hàng

PR truyền thông

Kế hoạch kinh doanh

Tài liệu kinh doanh, tiếp thị khác

Thương mại điện tử

Kinh tế - Quản lý

Bài giảng, giáo trình

Tài liệu kinh tế khác

Tài chính - Ngân hàng

Tài chính doanh nghiệp

Kế toán, kiểm toán

Ngân hàng - tín dụng

Tài liệu tài chính - ngân hàng khác

Biểu mẫu - Văn bản

Mẫu hợp đồng

Mẫu đơn từ

Biểu mẫu, văn bản khác

Thủ tục hành chính

Giáo dục đào tạo

Tài liệu, đề thi môn Toán

Tài liệu, đề thi môn Ngữ Văn

Tài liệu, đề thi THPT các trường

Tài liệu, đề thi Vật Lý

Tài liệu, đề thi Sinh Học

Tài liệu, đề thi Hóa Học

Tài liệu, đề thi Lịch Sử

Tài liệu, đề thi học sinh giỏi

Tài liệu, đề thi khác

Giải bài tập các môn

Giáo án bài giảng

Giáo án, bài giảng lớp 6

Giáo án, bài giảng lớp 7

Giáo án, bài giảng lớp 8

Giáo án, bài giảng lớp 9

Giáo án, bài giảng lớp 10

Giáo án, bài giảng lớp 11

Giáo án, bài giảng lớp 12

Giáo án, bài giảng tiểu học

Giáo án, bài giảng khác

Công nghệ thông tin

Văn bản pháp luật

Thuế - Lệ phí - Kinh phí

Văn bản pháp luật khác

Học tiếng Anh

Tài liệu học tiếng Anh khác

Y học- sức khỏe

Tài liệu y học - sức khỏe khác

Các bài văn khấn nôm

Lĩnh vực khác

Kinh doanh - tiếp thị

Kinh tế - Quản lý

Tài chính - Ngân hàng

Mô hình gán nhãn từ loại dựa trên song ngữ Anh- Việt

113

531

491

Định dạng

Báo cáo tài liệu vi phạm

Khoa CNTT - ÐH KHTN TP.HCM

TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN

KHOA CÔNG NGHỆ THÔNG TIN

BỘ MÔN CÔNG NGHỆ TRI THỨC

BÙI THANH HUY - 9912567

LÊ PHƯƠNG QUANG - 9912653

NGHIÊN CỨU VÀ CÀI ĐẶT

BỘ GÁN NHÃN TỪ LOẠI

CHO SONG NGỮ ANH-VIỆT

LUẬN VĂN CỬ NHÂN TIN HỌC

GIÁO VIÊN HƯỚNG DẪN

GS.TSKH HOÀNG KIẾM

NIÊN KHÓA 1999 - 2003

Khoa CNTT - ÐH KHTN TP.HCM

Nhận xét của giáo viên hướng dẫn

….…………………………………………………………………………………………………………

TP. HồChí Minh, ngày…. tháng ….năm 2003

Giáo viên hướng dẫn

GS.TSKH Hoàng Kiếm

Khoa CNTT - ÐH KHTN TP.HCM

Nhận xét của giáo viên phảnbiện

….…………………………………………………………………………………………………………

TP. HồChí Minh, ngày…. tháng ….năm 2003

Giáo viên phản biện

Khoa CNTT - ÐH KHTN TP.HCM

Đầu tiên, chúng em xin chân thành cảmơn thầy giáo

hướng dẫn, GS.TSKH Hoàng Kiếm, người đã tận tình

hướng dẫn bọn em trong suốt quá trình làm luận văn. Đồng

thời, chúng em xin gửi lời cảmơnđến các thầy cô trong

khoa Công Nghệ Thông Tin trường Đại họcKhoaHọcTự

Nhiên đã truyền đạt rất nhiều kiến thức quý báu cho chúng

em.

Chúng em cũng muốn cảmơn những người thân

trong gia đình đãđộng viên, giúp đỡ và tạo điều kiện để

chúng em có thể hoàn thành tốt luận văn này.

Cuối cùng, chúng em xin gửi lời cảmơn thầy Đinh

Điền và các bạn trong nhóm VCL đã giúp đỡ và hỗ trợ

chúng em rất nhiều để hoàn thành luận văn này.

Tp. HồChí Minh, 7-2003

Bùi Thanh Huy - Lê Phương Quang.

Lời cảmơn.

Khoa CNTT - ÐH KHTN TP.HCM

Mục lục

Mục lục............................................................................................ ii

Danh sách các hình........................................................................ vi

Lời nói đầu .................................................................................... vii

Chương 1: Tổng quan .................................................................... 1

1.1 Giới thiệu ............................................................................................... 2

1.2 Tổng quan về gán nhãn từ loại ............................................................ 3

1.2.1 Gán nhãn từ loại là gì? ..................................................................... 3

1.2.2 Vai trò của gán nhãn từ loại............................................................. 4

1.3 Các vấn đề gặp phải và hướng giải quyết trong bài toán gán nhãn

từ loại................................................................................................................ 6

1.3.1 Các vấn đề gặp phải khi giải quyết bài toán .................................... 6

1.3.2 Hướng giải quyết.............................................................................. 7

1.4 Bố cục ..................................................................................................... 8

Chương 2: Cơsởlý thuyết............................................................. 9

2.1 Máy học và xử lý ngôn ngữ tự nhiên................................................. 10

2.1.1 Hướng tiếp cận thống kê................................................................ 11

2.1.2 Hướng tiếp cận theo biểu trưng ..................................................... 12

2.1.2.1 Cây quyết định:...................................................................................12

2.1.2.2 Danh sách quyết định..........................................................................13

2.1.2.3 Phương pháp học hướng lỗi dựa trên các luật biến đổi trạng thái

(TBL) 13

2.1.3 Hướng tiếp cận thay thế biểu trưng ............................................... 14

2.1.3.1 Mạng Neural .......................................................................................14

2.1.3.2 Thuật toán di truyền ( Genetic Algorithm : GA) ................................14

2.2 Một số giải thuật áp dụng cho bài toán gán nhãn từ loại ............... 15

2.2.1 Giải thuật học chuyển đổi dựa trên luật cải biến (TBL)................ 15

2.2.1.1 Sơ đồ của giải thuật TBL ....................................................................17

2.2.1.2 Mô tả hoạt động của giải thuật............................................................17

2.2.1.3 Trình bày giải thuật.............................................................................20

Khoa CNTT - ÐH KHTN TP.HCM

2.2.1.4 Kết luận:..............................................................................................21

2.2.2 Mô hình mạng neural..................................................................... 22

2.2.2.1 Giới thiệu: ...........................................................................................22

2.2.2.2 Mạng neural: .......................................................................................22

2.2.2.3 Giải thuật gán nhãn từ loại dựa trên mạng neural...............................25

2.2.2.4 Từ điển:...............................................................................................27

2.2.3 Mô hình Maximum Entropy (ME): ............................................... 28

2.2.3.1 Giới thiệu: ...........................................................................................28

2.2.3.2 Các đặc trưng của gán nhãn từ loại:....................................................29

2.2.3.3 Mô hình kiểm tra:................................................................................33

2.2.4 Mô hình TBL nhanh (FnTBL) ....................................................... 34

2.2.4.1 Giới thiệu giải thuật FnTBL: ..............................................................34

2.2.4.2 Tính điểm và phát sinh luật:................................................................36

2.2.4.3 Giải thuật FnTBL:...............................................................................39

Chương 3: Mô hình ...................................................................... 41

3.1 Một số khái niệm sử dụng trong mô hình: ....................................... 42

3.1.1 Ngữ liệu(Corpus): .......................................................................... 42

3.1.2 Ngữ liệu vàng(Golden Corpus)...................................................... 44

3.1.3 Ngữ liệu huấn luyện(Training corpus): ......................................... 45

3.2 Một số mô hình kết hợp hiện nay:..................................................... 46

3.2.1 Mô hình kết hợp sử dụng nhiều mô hình liên kết.......................... 47

3.2.2 Phương pháp kết hợp dựa trên tính điểm cho các nhãn ứng viên.. 48

3.2.3 Phương pháp kết hợp dựa trên gợi ý của ngữ cảnh. ...................... 50

3.2.4 Phương pháp kết hợp dựa trên tính kế thừa kết quả của giải thuật

TBL 51

3.3 Mô hình gán nhãn từ loại dựa trên song ngữ Anh-Việt.................. 52

3.3.1 Sơ đồ hoạt động của mô hình: ....................................................... 55

3.3.1.1 Ngữ liệu huấn luyện:...........................................................................56

3.3.1.2 Quá trình khởi tạo: ..............................................................................58

3.3.1.3 Quá trình huấn luyện:..........................................................................58

3.3.1.4 Quá trình gán nhãn từ loại trên cặp câu song ngữ..............................61

3.3.2 Thuật giải ....................................................................................... 63

3.3.3 Khung luật (Template):.................................................................. 64

3.3.4 Cải tiến ........................................................................................... 66

3.3.5 Chiếu sang tiếng Việt..................................................................... 67

Chương 4: Cài đặtthửnghiệmvàđánh giá kếtquả................. 70

có thể bạn quan tâm

Tìm hiểu thể loại bút ký qua tác phẩm ca huế trên sông hương

763

282

Giáo án, bài giảng lớp 7

(New)

Tiểu luận: Những tư tưởng, nhận thức và ảnh hưởng tới đời sống xã hội...

ĐẶC ĐIỂM ĐỊA LÝ TỰ NHIÊN LƯU VỰC SÔNG THU BỒN VÀ ÁP DỤNG MÔ HÌNH SÓNG...

1.069

501

Báo cáo, luận văn khác

(New)

Luận văn: Bảo hiểm nhân thọ và nguyên tắc hoạt động- Những nội dung cơ...

Các loại hình để khởi nghiệp kinh doanh trên mạng

796

364

Tài liệu kinh doanh, tiếp thị khác

(New)

Luận văn: Các loại dịch vụ ngân hàng và thực trạng,giải pháp đa dạng h...

Phân tích đánh giá độ nhạy các thông số trong mô hình Wetspa cải tiến...

Luận văn: Định danh sơ bộ một loại nấm Linh chi đỏ mọc tự nhiên tại tr...

thông tin tài liệu

Ngày nay, khi khoa học công nghệ phát triển hết sức mạnh mẽ, yêu cầu nắm bắt thông tin về khoa học, kỹ thuật, công nghệ nhanh chóng và chính xác là hết sức cần thiết. Hiện nay, đa số các tài liệu đều được viết bằng tiếng Anh. Do đó, việc chuyển các tài liệu này về tiếng Việt là điều rất cần thiết. Nếu làm được điều này, mọi người sẽ có được nhiều cơ hội tiếp cận với các thông tin tri thức mới. Nhưng công việc này tương đối khó khăn mặc dù hiện nay có khá nhiều hệ dịch tự động ( như dịch trực tiếp, dịch qua ngôn ngữ trung gian, dịch dựa trên luật hoặc dịch dựa trên thống kê…) nhưng đa số các các hệ dịch này đều chưa đạt kết quả cao.

Mở rộng để xem thêm

tài liệu mới trong mục này

SƠ LƯỢC QUA VỀ TRUYỀN HÌNH ĐEN TRẮNG VÀ KHUẾCH ĐẠI HÌNH VÀ ĐÈN HÌNH (VIDEO AMP - CRT)

GIỚI THIỆU VÀ THIẾT KẾ VỀ ĐỘNG CƠ KHÔNG ĐỒNG BỘ ROTO DÂY QUẤN

Giới thiệu tổng quan về tổng đài SPC, tổng đài NEAX61-E và nghiên cứu Modul giao tiếp trung kế số DTIM

NGHIÊN CỨU THIẾT KẾ ĐỘNG CƠ KHÔNG ĐỒNG BỘ VẠN NĂNG

NGHIÊN CỨU BỘ CHẤN LƯU 3 CHỨC NĂNG CHO ĐÈN NEON

tài liệu hot trong mục này

Tiểu luận quản trị học: Khái niệm quản trị, chức năng quản trị, giới thiệu về MICROSOFT, TOYOTA VÀ VINAMILK và phân tích chức năng quản trị hệ thống

HỆ THỐNG ĐIỆN TRÊN TÀU THỦY, TRẠM PHÁT TÀU 700 TEU VÀ BẢNG ĐIỆN CHÍNH TÀU 700 TEU.

SƠ LƯỢC QUA VỀ TRUYỀN HÌNH ĐEN TRẮNG VÀ KHUẾCH ĐẠI HÌNH VÀ ĐÈN HÌNH (VIDEO AMP - CRT)

GIỚI THIỆU VÀ THIẾT KẾ VỀ ĐỘNG CƠ KHÔNG ĐỒNG BỘ ROTO DÂY QUẤN