Lộ trình học xử lý ngôn ngữ tự nhiên

Xử lý ngôn ngữ tự nhiên [NLP] thuộc một nhánh của trí tuệ nhân tạo. Ứng dụng thành công của NLP giúp con người tiết kiệm sức lao động, thúc đẩy kinh doanh phát triển và giúp các nhà hoạch định chiến lược đưa ra những ý tưởng, quyết định đúng đắn. Vậy NLP là gì? Ứng dụng của NLP bao gồm những gì?

1. NLP là gì?

NLP là từ viết tắt của Natural Language Processing – Xử lý ngôn ngữ tự nhiên. NLP thuộc một trong những lĩnh vực khoa học máy tính, kỹ thuật thông tin và trí tuệ nhân tạo. Trong đó, NLP tập trung nghiên cứu về khả năng tương tác ngôn ngữ giữa máy tính với con người để máy tính có thể hiểu và xử lý được ngôn ngữ của con người.

2. Những ứng dụng thành công của NLP

2.1. Ứng dụng trong giám sát mạng xã hội

Nhắc tới ứng dụng thành công của NLP không thể không nhắc tới ứng dụng giám sát mạng xã hội. Nhiệm vụ của chúng bao gồm việc tìm hiểu và phân tích ý kiến của người dùng về bất cứ sản phẩm hoặc dịch vụ trên các trang mạng xã hội phổ biến. Thông qua đó, NLP có thể phân tích được người dùng đang hài lòng hay không hài lòng về vấn đề gì. Những thông tin hữu ích này sẽ giúp bạn có thể nắm bắt được nhu cầu khách hàng để đề xuất những giải pháp chiến lược phù hợp.

2.2. Ứng dụng trong Chatbot

Chatbot được biết tới là một chương trình máy tính được xây dựng và có khả năng giao tiếp, trò chuyện với con người. Hiện nay, chatbot dần trở thành một người trợ lý ảo đắc lực giúp bạn có thể hoàn thành các công việc đặt hàng, gửi các biểu mẫu,… được thực hiện theo các bước nhất định.

Trong chatbot thường có phần giao diện và phần hiểu ngôn ngữ tự nhiên [NLU]. Trong đó, bộ phận phân loại ý định và nhận diện thực thể là 2 thành phần không thể thiếu giúp xử lý ngôn ngữ tự nhiên hiệu quả nhất. Ngoài ra, bộ phận quản lý hội thoại, quản lý ngôn ngữ và phân tích cảm xúc cũng thường được tích hợp vào chatbot. Chúng cho phép chatbot lưu trữ, phân tích và suy luận ra những câu trả lời khác nhau phụ thuộc vào cảm xúc của người dùng.

Có thể kể tới một số bài toán xử lý ngôn ngữ tự nhiên trong phát triển chatbot bao gồm:

• Bài toán xác định ý định người dùng [intent detection]
• Bài toán trích xuất thông tin [named entity extraction]
• Quản lý hội thoại [dialogue management]
• Mô hình sinh hội thoại cho chatbot.

2.3. Ứng dụng trong tổng đài tự động ACC

Tổng đài tự động ACC là một trong những ứng dụng thành công lớn nhất của NLP hiện nay. ACC bao gồm 3 thành phần chính đó là: module nhận diện tiếng nói, module xử lý ngôn ngữ tự nhiên và module chuyển văn bản thành tiếng nói. Trong đó:

• Mục đích của module nhận dạng tiếng nói là giúp máy tính có thể hiểu được tiếng nói của con người.
• Module xử lý ngôn ngữ tự nhiên hoạt động khá giống chatbot có nhiệm vụ xử lý yêu cầu của người dùng thông qua module nhận dạng tiếng nói.
• Module chuyển văn bản thành tiếng nói chịu trách nhiệm sinh ngôn ngữ nói từ câu trả lời của chat-bot đến người dùng dưới dạng văn bản.

Không ai có kiểu giọng, điệu nhấn nhá khi nói chuyện giống nhau nên việc việc diện tiếng nói cho tất cả mọi người được coi là bài toán khó. Để làm được điều đó thì bộ phận nhận dạng tiếng nói cần có sự đa dạng về giọng, độ tuổi, vùng miền, cách luyến láy khi nói,… Một bộ phận sinh tiếng nói tốt là khi âm thanh, tiếng nói phát ra tự nhiên và giống con người nhất.

Tại Việt Nam, xử lý ngôn ngữ tự nhiên NLP ngày càng được áp dụng rộng rãi và mang lại những giá trị nhất định. Tìm hiểu về NLP và những ứng dụng thành công của NLP giúp giảm tải việc lao động tay chân, tạo ra những cơ hội ngành nghề mới và đưa chúng trở thành xu hướng của cả thế giới.

Dinh Thanh Tung @dinhthanhtung

Đã đăng vào thg 5 4, 2020 1:15 SA 5 phút đọc

Bài đăng này đã không được cập nhật trong 2 năm

Xin chào các ae thiện lành, Hiện tại mình đang làm cho 1 công ty startup về AI và cũng tham gia 1 số cuộc thi hackathon về AI. Hôm nay theo trend cuộc thi Viblo May Fest 2020 mình cũng chia sẻ 1 số kiến thức và kinh nghiệm của mình về lĩnh vực mình đang làm là NLP. Các chia sẻ của mình sẽ tương đối ngắn gọn hướng về dạng note cá nhân và bản tóm tắt. Hi vọng sẽ giúp ae tìm được định hướng và bắt đúng keyword trong khi tìm hiểu về NLP. Có vấn đề gì chưa rõ hoặc cần làm chi tiết hơn ae cứ "còm men" để ae cùng mổ xẻ và giải quyết vấn đề. Seri số 1 là giới thiệu tổng quan về NLP cho các ae mới tìm hiểu. Cũng có nhiều bài giới thiệu rồi nhưng hi vọng mỗi bài sẽ cung cấp 1 cái nhìn khác nhau để ae có nhiều góc nhìn hơn. Vào bài thôi nhỉ.

Giới thiệu - Introduction

Khái niệm:

• Xử lý ngôn ngữ tự nhiên [NLP] là một nhánh của Trí tuệ nhân tạo.
• Tập trung vào việc nghiên cứu sự tương tác giữa máy tính và ngôn ngữ tự nhiên của con người.

Mục tiêu:

• Giúp máy tính hiểu và thực hiện hiệu quả những nhiệm vụ liên quan đến ngôn ngữ của con người như: tương tác giữa người và máy, cải thiện hiệu quả giao tiếp giữa con người với con người
• Nâng cao hiệu quả xử lý văn bản và lời nói.

2. Một số bài toán trong xử lý ngôn ngữ tự nhiên

• Text categorization
• Syntactic parsing
• Part-of-speech tagging [POS]
• Named Entity Recognition [NER]
• Coreference resolution
• Machine translation
• Relation extraction
• Summarization
• Sematic parsing
• Paraphrase and naatural language inference
• Question/Answering [QA]
• Sentiment analysis
• Dialogue agents

3. Học NLP nên bắt đầu từ đâu

3.1 Nền tảng

• Lập trình Python cơ bản:
• Học máy - Machine Learning
  • Blog machinelearningcoban Link
  • Khóa học Machine Learning của Andrew Ng Link
• Học sâu - Deep Learning
  • Khóa học Deep Learning của Andrew Ng Link

Bạn vẫn có thể xây dựng ứng dụng NLP mà không cần phải chuẩn bị hết các nền tảng liệt kê ở trên. Nhưng hãy dành thời gian tích lũy dần dần các kiến thức này theo năm tháng, chúng sẽ hữu ích cho quá trình phát triển của bạn sau này.

3.2 Các khóa học

Hãy chọn cho mình một khóa học phù hợp với trình độ và nhu cầu của bản thân

3.3 Sách

3.4 Trang web hữu ích

Các trang web hữu ích

• Viblo - Blog kỹ thuật tổng hợp nhiều bài viết hướng dẫn về NLP
• Underthesear - Opensource NLP modules, datasets và các tutorial cho xử lý ngôn ngữ tự nhiên tiếng Việt
• Blog Ông Xuân Hồng - Blog chia sẻ kiến thức và thông tin về Machine Learing.
• Paperswithcode - Trang tổng hợp paper, đánh giá thuật toán và source code.

4. Công cụ

Danh sách sau tổng hợp các công cụ phổ biến:

• spaCy - Phần mềm nguồn mở về xử lý ngôn ngữ tự nhiên, được viết bằng ngôn ngữ Python. Được sử dụng nhiều trong các ứng dụng công nghiệp với độ chính xác và tốc độ cao.
• Natural Language Toolkit [NLTK] - Phần mềm về xử lý ngôn ngữ, được viết bằng Python. Thường được sử dụng cho mục đích giảng dạy.
• Stanford CoreNLP - Công cụ xử lý ngôn ngữ chất lượng cao, được phát triển bởi nhóm xử lý ngôn ngữ tự nhiên từ trường Stanford.
• fastText - Công cụ xử lý ngôn ngữ tự nhiên tiện dụng, tốc độ cao, thích hợp cho bài toán phân loại, được phát triển bởi Facebook.
• gensim - Công cụ chuyên về lĩnh vực Topic Modelling.

Cần gì ae cứ comment và gạch đá vô tư nhé. Có time mình sẽ support nhiệt tình

All rights reserved